JP6349386B2 - Network system, server, communication device, and information processing method - Google Patents

Network system, server, communication device, and information processing method Download PDF

Info

Publication number
JP6349386B2
JP6349386B2 JP2016519202A JP2016519202A JP6349386B2 JP 6349386 B2 JP6349386 B2 JP 6349386B2 JP 2016519202 A JP2016519202 A JP 2016519202A JP 2016519202 A JP2016519202 A JP 2016519202A JP 6349386 B2 JP6349386 B2 JP 6349386B2
Authority
JP
Japan
Prior art keywords
server
processor
instruction
utterance
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016519202A
Other languages
Japanese (ja)
Other versions
JPWO2015174272A1 (en
Inventor
太一郎 森下
太一郎 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2015174272A1 publication Critical patent/JPWO2015174272A1/en
Application granted granted Critical
Publication of JP6349386B2 publication Critical patent/JP6349386B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Description

本発明は、サーバによって、冷蔵、エアコン、テレビなどの家電を直接的あるいは間接的に制御するための技術に関し、特にサーバによって家電の音声出力を制御するための技術に関する。   The present invention relates to a technique for directly or indirectly controlling home appliances such as refrigeration, an air conditioner, and a television by a server, and more particularly to a technique for controlling audio output of the home appliance by a server.

従来から、サーバによって家電の音声出力を制御するための技術が提案されている。たとえば、特開２００５−３１１８６４号公報（特許文献１）には、家電機器、アダプタ装置および家電機器システムが開示されている。特開２００５−３１１８６４号公報（特許文献１）によると、冷蔵庫、電子レンジなどの家電機器に、オプション装置として無線アダプタとスピーカを取り付ける。無線アダプタは、電子レンジから調理終了信号を受けるとサブネットワークを通してホームサーバに送信し、ホームサーバはその調理終了信号をインターネットを通して情報サーバに送信する。無線アダプタには「調理が終了しました」などの音声符号情報が予め保存されており、情報サーバから無線アダプタに音声合成要求信号が送信されると、情報サーバはその音声合成要求信号に対応した音声符号情報を選択し、音声合成を行ってスピーカから音声出力する。   2. Description of the Related Art Conventionally, techniques for controlling audio output of home appliances using a server have been proposed. For example, Japanese Unexamined Patent Application Publication No. 2005-311864 (Patent Document 1) discloses a home appliance, an adapter device, and a home appliance system. According to Japanese Patent Laying-Open No. 2005-311864 (Patent Document 1), a wireless adapter and a speaker are attached as an optional device to a home appliance such as a refrigerator or a microwave oven. When receiving the cooking end signal from the microwave oven, the wireless adapter transmits the cooking end signal to the home server through the sub-network, and the home server transmits the cooking end signal to the information server through the Internet. Voice code information such as “cooking is finished” is stored in advance in the wireless adapter, and when the voice synthesis request signal is transmitted from the information server to the wireless adapter, the information server responds to the voice synthesis request signal. Voice code information is selected, voice synthesis is performed, and voice is output from the speaker.

特開２００５−３１１８６４号公報JP-A-2005-311864

しかしながら、従来のネットワークシステムでは、家電などの機器が出力する音声に関してサーバが柔軟に細かい指定を与えることができなかった。あるいは、従来の他のネットワークシステムにおいては、サーバが毎回多量の音声データを送る必要があるため、他のデータの送受信が妨げられる可能性があった。あるいは、従来の他のネットワークシステムにおいては、サーバが音声の出力命令を作成してから機器にて音声が出力されるまでに時間がかかっていた。そこで、本発明の目的は、従来よりも柔軟に機器に音声出力を行わせることができる、あるいは、ネットワークのトラフィック量の最大値を抑制することができる、あるいは素早く音声を出力させることができるネットワークシステム、サーバ、端末、情報処理方法、およびプログラムを提供することにある。   However, in the conventional network system, the server cannot flexibly give detailed designations regarding the voices output by devices such as home appliances. Alternatively, in other conventional network systems, since it is necessary for the server to send a large amount of audio data every time, transmission / reception of other data may be hindered. Alternatively, in another conventional network system, it takes time from when the server generates a voice output command until the voice is output by the device. Accordingly, an object of the present invention is to allow a device to output audio more flexibly than before, or to suppress the maximum value of the network traffic volume, or to output audio quickly. A system, a server, a terminal, an information processing method, and a program are provided.

この発明のある態様に従うと、ネットワークシステムが提供される。ネットワークシステムは、複数種類の音声データを記憶することが可能な少なくとも１つの機器と、少なくとも１つの機器に、音声データを取得させるための第１の指示を送信し、音声データに基づいて音声を出力させるための第２の指示を第１の指示とは異なるタイミングにて送信するためのサーバとを備える。   According to an aspect of the present invention, a network system is provided. The network system transmits at least one device capable of storing a plurality of types of audio data, a first instruction for causing the at least one device to acquire audio data, and outputs audio based on the audio data. A server for transmitting a second instruction for output at a timing different from that of the first instruction.

好ましくは、サーバは、少なくとも１つの機器に対する複数の第２の指示を記憶する。少なくとも１つの機器は、第２の指示に応じて音声の出力を完了すると、サーバに第１の通知を送信する。サーバは、第１の通知を受信すると、少なくとも１つの機器に次の第２の指示を送信する。   Preferably, the server stores a plurality of second instructions for at least one device. When at least one device completes outputting the voice in response to the second instruction, it transmits a first notification to the server. When the server receives the first notification, the server transmits a second instruction to the at least one device.

好ましくは、サーバは、少なくとも１つの機器とグループとの対応関係を参照可能である。サーバは、同じグループの複数の機器に第２の指示を送信し、同じグループの複数の機器のいずれかから第１の通知を受信すると、同じグループの複数の機器に次の第２の指示を送信する。   Preferably, the server can refer to a correspondence relationship between at least one device and a group. When the server transmits the second instruction to the plurality of devices in the same group and receives the first notification from any of the plurality of devices in the same group, the server transmits the second instruction to the plurality of devices in the same group. Send.

好ましくは、サーバは、少なくとも１つの機器とグループとの対応関係を参照可能である。サーバは、同じグループの複数の機器が異なる音声を出力するように、同じグループの複数の機器のそれぞれに異なる第２の指示を送信する。   Preferably, the server can refer to a correspondence relationship between at least one device and a group. The server transmits a different second instruction to each of the plurality of devices in the same group so that the plurality of devices in the same group output different sounds.

好ましくは、グループは、家族、位置、部屋、属性のうちの少なくともいずれかに基づくものである。   Preferably, the group is based on at least one of family, location, room, and attribute.

好ましくは、サーバは、少なくとも１つの機器に対する複数の第２の指示を記憶する。少なくとも１つの機器は、音声を出力しなかった場合にサーバに第２の通知を送信する。サーバは、第２の通知を受信すると、少なくとも１つの機器に次の第２の指示を送信する。   Preferably, the server stores a plurality of second instructions for at least one device. The at least one device transmits a second notification to the server when no sound is output. When the server receives the second notification, the server transmits the next second instruction to at least one device.

好ましくは、第２の指示は、音声を出力するための条件と有効期限とを含む。少なくとも１つの機器は、有効期限内に条件が満たされなかった場合にサーバに第２の通知を送信する。   Preferably, the second instruction includes a condition for outputting sound and an expiration date. At least one device sends a second notification to the server if the condition is not met within the expiration date.

好ましくは、サーバは、指示をキャンセルするための命令を送信する。さらに好ましくは、サーバは、指示の実行が完了しているか否かを判断し、完了していない場合に命令を送信するものであってもよい。   Preferably, the server transmits a command for canceling the instruction. More preferably, the server may determine whether or not the execution of the instruction has been completed, and transmit a command when the instruction has not been completed.

この発明の別の態様に従うと、ネットワークシステムにおける情報処理方法が提供される。ネットワークシステムは、複数種類の音声データを記憶することが可能な少なくとも１つの機器とサーバとを含む。情報処理方法は、サーバが、少なくとも１つの機器に、音声データを取得させるための第１の指示を送信するステップと、サーバが、音声データに基づいて音声を出力させるための第２の指示を第１の指示とは異なるタイミングにて送信するステップとを備える。   According to another aspect of the present invention, an information processing method in a network system is provided. The network system includes at least one device capable of storing a plurality of types of audio data and a server. In the information processing method, the server transmits a first instruction for causing the at least one device to acquire audio data, and the server outputs a second instruction for outputting the audio based on the audio data. And a step of transmitting at a timing different from the first instruction.

この発明の別の態様に従うと、少なくとも１つの機器と通信するための通信インターフェイスと、プロセッサとを備えるサーバが提供される。プロセッサは、通信インターフェイスを介して、少なくとも１つの機器に音声データを取得させるための第１の指示を送信し、音声データに基づいて音声を出力させるための第２の指示を第１の指示とは異なるタイミングにて送信する。   According to another aspect of the invention, a server is provided that includes a communication interface for communicating with at least one device and a processor. The processor transmits, via the communication interface, a first instruction for causing at least one device to acquire audio data, and a second instruction for outputting audio based on the audio data as the first instruction. Transmit at different timings.

この発明の別の態様に従うと、サーバにおける情報処理方法が提供される。サーバは、少なくとも１つの機器と通信するための通信インターフェイスと、プロセッサとを含む。情報処理方法は、プロセッサが、通信インターフェイスを介して、少なくとも１つの機器に音声データを取得させるための第１の指示を送信するステップと、プロセッサが、通信インターフェイスを介して、音声データに基づいて音声を出力させるための第２の指示を第１の指示とは異なるタイミングにて送信するステップと、を備える。   According to another aspect of the present invention, an information processing method in a server is provided. The server includes a communication interface for communicating with at least one device and a processor. In the information processing method, the processor transmits a first instruction for causing at least one device to acquire audio data via the communication interface, and the processor based on the audio data via the communication interface. Transmitting a second instruction for outputting sound at a timing different from that of the first instruction.

この発明の別の態様に従うと、サーバ用のプログラムが提供される。サーバは、少なくとも１つの機器と通信するための通信インターフェイスとプロセッサとを含む。プログラムは、通信インターフェイスを介して、少なくとも１つの機器に音声データを取得させるための第１の指示を送信するステップと、通信インターフェイスを介して、音声データに基づいて音声を出力させるための第２の指示を第１の指示とは異なるタイミングにて送信するステップと、をプロセッサに実行させる。   According to another aspect of the present invention, a server program is provided. The server includes a communication interface and a processor for communicating with at least one device. The program transmits a first instruction for causing at least one device to acquire audio data via the communication interface, and a second for outputting audio based on the audio data via the communication interface. And a step of transmitting the instruction at a timing different from that of the first instruction.

この発明の別の態様に従うと、複数種類の音声データを記憶するためのメモリと、サーバと通信するための通信インターフェイスと、プロセッサとを備える通信機器が提供される。プロセッサは、通信インターフェイスを介して、サーバから、音声データを取得するための第１の指示を受信し、音声データに基づいて音声を出力するための第２の指示を第１の指示とは異なるタイミングにて受信する。   According to another aspect of the present invention, a communication device is provided that includes a memory for storing a plurality of types of audio data, a communication interface for communicating with a server, and a processor. The processor receives the first instruction for acquiring the voice data from the server via the communication interface, and the second instruction for outputting the voice based on the voice data is different from the first instruction. Receive at the timing.

この発明の別の態様に従うと、通信機器における情報処理方法が提供される。通信機器は、複数種類の音声データを記憶するためのメモリと、サーバと通信するための通信インターフェイスと、プロセッサとを含む。情報処理方法は、プロセッサが、通信インターフェイスを介して、サーバから、音声データを取得するための第１の指示を受信するステップと、プロセッサが、通信インターフェイスを介して、サーバから、音声データに基づいて音声を出力するための第２の指示を第１の指示とは異なるタイミングにて受信するステップと、を備える。   According to another aspect of the present invention, an information processing method in a communication device is provided. The communication device includes a memory for storing a plurality of types of audio data, a communication interface for communicating with a server, and a processor. In the information processing method, the processor receives a first instruction for acquiring audio data from the server via the communication interface, and the processor is based on the audio data from the server via the communication interface. Receiving a second instruction for outputting sound at a timing different from that of the first instruction.

この発明の別の態様に従うと、通信機器用のプログラムが提供される。通信機器は、他の装置と通信するための通信インターフェイスとプロセッサとを含む。プログラムは、通信インターフェイスを介して、サーバから、音声データを取得するための第１の指示を受信するステップと、通信インターフェイスを介して、サーバから、音声データに基づいて音声を出力するための第２の指示を第１の指示とは異なるタイミングにて受信するステップと、をプロセッサに実行させる。   According to another aspect of the present invention, a program for a communication device is provided. The communication device includes a communication interface and a processor for communicating with other devices. The program receives a first instruction for acquiring audio data from the server via the communication interface, and a first instruction for outputting audio based on the audio data from the server via the communication interface. Receiving the instruction of 2 at a timing different from that of the first instruction.

以上のように、この発明によれば、従来よりも柔軟に機器に音声出力を行わせることができる、あるいは、ネットワークのトラフィック量の最大値を抑制することができる、あるいは素早く音声を出力させることができる、ネットワークシステム、サーバ、端末、情報処理方法、およびプログラムが提供される。   As described above, according to the present invention, it is possible to cause a device to output audio more flexibly than before, or to suppress the maximum value of network traffic, or to output audio quickly. A network system, a server, a terminal, an information processing method, and a program are provided.

第１〜第３の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。It is an image figure which shows the whole structure and the operation | movement outline | summary of the network system 1 concerning the 1st-3rd embodiment. 本実施の形態にかかるサーバ１００のハードウェア構成を表わすブロック図である。It is a block diagram showing the hardware constitutions of the server 100 concerning this Embodiment. 本実施の形態にかかる音声データ取得指示データベース１２１のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the audio | voice data acquisition instruction | indication database 121 concerning this Embodiment. 本実施の形態にかかる発話指示データベース１２２のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the speech instruction | indication database 122 concerning this Embodiment. 本実施の形態にかかる機器２００のハードウェア構成を表わすブロック図である。It is a block diagram showing the hardware constitutions of the apparatus 200 concerning this Embodiment. 本実施の形態にかかるアダプタ３００のハードウェア構成を表わすブロック図である。It is a block diagram showing the hardware constitutions of the adapter 300 concerning this Embodiment. 本実施の形態にかかる音声データベース３２１のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the audio | voice database 321 concerning this Embodiment. 本実施の形態にかかる発話指示データ３２２のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the speech instruction | indication data 322 concerning this Embodiment. 本実施の形態にかかる制御サーバ５００のハードウェア構成を表わすブロック図である。It is a block diagram showing the hardware constitutions of the control server 500 concerning this Embodiment. 本実施の形態にかかるグループデータベース５２１のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the group database 521 concerning this Embodiment. 本実施の形態にかかる端末６００のハードウェア構成を表わすブロック図である。It is a block diagram showing the hardware constitutions of the terminal 600 concerning this Embodiment. 本実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。It is a sequence diagram which shows the information processing of the network system 1 concerning this Embodiment. 本実施の形態にかかる新たな音声データをアダプタにダウンロードさせるためのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 for making the adapter download the new audio | voice data concerning this Embodiment. 本実施の形態にかかる音声データのダウンロードが完了した旨の通知を受けたときのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 when the notification that the download of the audio | voice data concerning this Embodiment is completed is received. 第１の実施の形態にかかる新たな発話命令を受け付けたときのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 when the new speech command concerning 1st Embodiment is received. 第１の実施の形態にかかる発話が完了した旨の通知を受けたときのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 when the notification to the effect that the speech concerning 1st Embodiment is completed is received. 第２の実施の形態にかかる発話指示データベース１２２のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the speech instruction | indication database 122 concerning 2nd Embodiment. 第２の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図であるIt is a sequence diagram which shows the information processing of the network system 1 concerning 2nd Embodiment. 第２の実施の形態にかかる新たな発話命令を受け付けたときのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 when the new speech command concerning 2nd Embodiment is received. 第２の実施の形態にかかる発話が完了した旨の通知を受けたときのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 when the notification to the effect that the speech concerning 2nd Embodiment is completed is received. 第３の実施の形態にかかる発話指示データベース１２４のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the speech instruction | indication database 124 concerning 3rd Embodiment. 第３の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。It is a sequence diagram which shows the information processing of the network system 1 concerning 3rd Embodiment. 第３の実施の形態にかかる新たな発話命令を受け付けたときのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 when the new speech command concerning 3rd Embodiment is received. 第３の実施の形態にかかる発話が完了した旨の通知を受けたときのサーバ１００の処理を示すフローチャートである。It is a flowchart which shows the process of the server 100 when the notification to the effect that the speech concerning 3rd Embodiment is completed is received. 第４の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。It is an image figure which shows the whole structure and the operation | movement outline | summary of the network system 1 concerning 4th Embodiment. 本実施の形態にかかる端末３００の画面例を示すイメージ図である。It is an image figure which shows the example of a screen of the terminal 300 concerning this Embodiment. 第６の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。It is a sequence diagram which shows the information processing of the network system 1 concerning 6th Embodiment. 第７の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。It is a sequence diagram which shows the information processing of the network system 1 concerning 7th Embodiment.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステムの全体構成＞Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
<First Embodiment>
<Overall configuration of network system>

まず、図１を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。なお、図１は、本実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。   First, the overall configuration of the network system 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is an image diagram showing the overall configuration and operation overview of the network system 1 according to the present embodiment.

図１を参照して、ネットワークシステム１の全体構成について簡単に説明する。本実施の形態にかかるネットワークシステム１は、主に、冷蔵庫２００Ａ、エアコン２００Ｂ、洗濯機２００Ｃなどの機器と、機器の音声出力を制御するための音声サーバ１００と、通信端末としてのアダプタ３００Ａ，３００Ｂ，３００Ｃとを含む。さらに、ネットワークシステム１は、アダプタ３００Ａ，３００Ｂ，３００Ｃをインターネットに接続するためのルータ４００と、家族同士の間あるいは家族と機器との間のメッセージのやり取りなどを処理するための制御サーバ５００と、スマートフォン６００Ａ，６００Ｂ，６００Ｃ、ノートパソコン６００Ｄなどの端末とを含んでもよい。   The overall configuration of the network system 1 will be briefly described with reference to FIG. The network system 1 according to the present embodiment mainly includes devices such as a refrigerator 200A, an air conditioner 200B, and a washing machine 200C, an audio server 100 for controlling audio output of the devices, and adapters 300A and 300B as communication terminals. , 300C. Furthermore, the network system 1 includes a router 400 for connecting the adapters 300A, 300B, and 300C to the Internet, a control server 500 for processing message exchange between family members or between family members and devices, You may include terminals, such as smart phone 600A, 600B, 600C, notebook personal computer 600D.

ネットワークシステム１は、さらにデータベース１０１，５０１を含んでもよい。ただし、後述するように、音声サーバ１００または制御サーバ５００が、データベース１０１，５０１の少なくともいずれかを記憶してもよい。   The network system 1 may further include databases 101 and 501. However, as will be described later, the voice server 100 or the control server 500 may store at least one of the databases 101 and 501.

音声サーバ１００は、インターネットやルータ４００を介してアダプタ３００Ａ，３００Ｂ，３００Ｃおよび制御サーバ５００に接続される。たとえば、音声サーバ１００は、管理者から発話命令を受け付けたり、制御サーバ５００を介してスマートフォン６００Ａ，６００Ｂ，６００Ｃからの発話命令を受け付けたりする。音声サーバ１００は、発話命令に基づいて、アダプタ３００Ａ，３００Ｂ，３００Ｃを介して、冷蔵庫２００Ａ、エアコン２００Ｂ，洗濯機２００Ｃに音声を出力させる。   The voice server 100 is connected to the adapters 300A, 300B, and 300C and the control server 500 via the Internet or the router 400. For example, the voice server 100 receives an utterance command from an administrator or receives an utterance command from the smartphones 600A, 600B, and 600C via the control server 500. The voice server 100 causes the refrigerator 200A, the air conditioner 200B, and the washing machine 200C to output voice via the adapters 300A, 300B, and 300C based on the speech command.

冷蔵庫２００Ａ，エアコン２００Ｂ，洗濯機２００Ｃなどの機器は、リモコンから受け付けた制御命令やセンサで測定したデータなどをアダプタ３００Ａ，３００Ｂ，３００Ｃ、ルータ４００およびインターネットなどを介して音声サーバ１００および制御サーバ５００に送信する。冷蔵庫２００Ａ，エアコン２００Ｂ，洗濯機２００Ｃなどの機器は、音声サーバ１００および制御サーバ５００からの音声データ取得指示、音声データ、発話指示および制御命令に基づいて各種の動作を実行する。   The devices such as the refrigerator 200A, the air conditioner 200B, and the washing machine 200C transmit the control command received from the remote controller, the data measured by the sensor, and the like to the voice server 100 and the control server 500 via the adapters 300A, 300B, 300C, the router 400, the Internet, and the like. Send to. Devices such as the refrigerator 200 </ b> A, the air conditioner 200 </ b> B, and the washing machine 200 </ b> C perform various operations based on voice data acquisition instructions, voice data, speech instructions, and control commands from the voice server 100 and the control server 500.

なお、機器は、冷蔵庫２００Ａ，エアコン２００Ｂ，洗濯機２００Ｃに限らず、空気清浄器、加湿器、除湿器、自走式掃除機、照明などの家電、テレビ、ハードディスクレコーダ、音楽プレーヤーなどのＡＶ（オーディオ・ビジュアル）機器、太陽光発電機、インターホン、給湯器などの住宅設備、などであってもよい。なお、以下では、これらの装置を総称して、機器２００ともいう。   Note that the devices are not limited to the refrigerator 200A, the air conditioner 200B, and the washing machine 200C, but include air purifiers, humidifiers, dehumidifiers, self-propelled cleaners, home appliances such as lighting, AV (such as televisions, hard disk recorders, music players). Audio / visual) equipment, solar power generators, intercoms, home equipment such as water heaters, and the like. Hereinafter, these devices are also collectively referred to as a device 200.

本実施の形態にかかる機器２００の各々は、ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）などの通信インターフェイスを介して、通信用のアダプタ３００Ａ，３００Ｂ，３００Ｃとデータの送受信を行う。   Each of the devices 200 according to the present embodiment transmits / receives data to / from the communication adapters 300A, 300B, and 300C via a communication interface such as a UART (Universal Asynchronous Receiver Transmitter).

通信用のアダプタ３００Ａ，３００Ｂ，３００Ｃは、ＵＡＲＴなどの通信インターフェイスを介して、機器２００と通信を行う。通信用のアダプタ３００Ａ，３００Ｂ，３００Ｃは、ＷｉＦｉ（登録商標）などの無線ＬＡＮ用の通信インターフェイスを介してルータ４００と通信を行う。通信用のアダプタ３００Ａ、３００Ｂ，３００Ｃは、機器２００からのデータを、ルータ４００やインターネットを介して音声サーバ１００または制御サーバ５００に送信する。逆に、通信用のアダプタ３００Ａ、３００Ｂ，３００Ｃは、音声サーバ１００または制御サーバ５００からのデータを機器２００に送信する。なお、以下では、通信用のアダプタ３００Ａ，３００Ｂ，３００Ｃを総称して、アダプタ３００ともいう。   The communication adapters 300A, 300B, and 300C communicate with the device 200 via a communication interface such as UART. The communication adapters 300A, 300B, and 300C communicate with the router 400 via a wireless LAN communication interface such as WiFi (registered trademark). The communication adapters 300A, 300B, and 300C transmit data from the device 200 to the voice server 100 or the control server 500 via the router 400 or the Internet. Conversely, the communication adapters 300 </ b> A, 300 </ b> B, and 300 </ b> C transmit data from the voice server 100 or the control server 500 to the device 200. Hereinafter, the communication adapters 300A, 300B, and 300C are also collectively referred to as the adapter 300.

ルータ４００は、アダプタ３００とインターネットとを中継する。   The router 400 relays the adapter 300 and the Internet.

制御サーバ５００は、インターネットやルータ４００を介してアダプタ３００、音声サーバ１００、スマートフォン６００Ａ，６００Ｂ，６００Ｃなどに接続される。たとえば、制御サーバ５００は、家電制御アプリケーションをインストールしたスマートフォン６００Ａ，６００Ｂ，６００Ｃから、家電に対する制御命令や発話命令を受け付ける。制御サーバ５００は、制御命令に基づいてアダプタ３００を介して機器２００に操作命令を送信したり、発話命令を音声サーバ１００に送信したりする。   The control server 500 is connected to the adapter 300, the voice server 100, the smartphones 600A, 600B, and 600C via the Internet or the router 400. For example, the control server 500 receives control commands and speech commands for home appliances from smartphones 600A, 600B, and 600C in which the home appliance control application is installed. The control server 500 transmits an operation command to the device 200 via the adapter 300 based on the control command, or transmits a speech command to the voice server 100.

スマートフォン６００Ａ，６００Ｂ，６００Ｃとノートパソコン６００Ｄのそれぞれは、ユーザに保持される。ユーザは、家電制御アプリケーションをインストールしたスマートフォン６００Ａ，６００Ｂ，６００Ｃまたはノートパソコン６００Ｄを介して、機器２００を制御したり、機器２００の情報を取得したり、機器２００に音声を出力させたり、他のユーザの端末とメッセージを交換したりする。ユーザは、スマートフォン６００Ａ，６００Ｂ，６００Ｃとノートパソコン６００Ｄに限らず、タブレット、パーソナルコンピュータ、ゲーム機、電子書籍端末など、音声サーバ１００および制御サーバ５００と通信可能な他の種類の端末を利用してもよい。なお、以下では、これらの装置を総称して、端末６００ともいう。   Each of smartphones 600A, 600B, and 600C and notebook computer 600D is held by the user. The user controls the device 200, acquires information on the device 200, outputs sound to the device 200, and other audio via the smartphones 600A, 600B, 600C or the notebook computer 600D in which the home appliance control application is installed. Exchange messages with the user's terminal. The user is not limited to the smartphones 600A, 600B, and 600C and the notebook computer 600D, but uses other types of terminals that can communicate with the audio server 100 and the control server 500, such as tablets, personal computers, game machines, and electronic book terminals. Also good. Hereinafter, these devices are also collectively referred to as a terminal 600.

音声データベース１０１は、機器２００にて出力される音声に関するデータを格納する。グループデータベース５０１は、ユーザと、家族、部屋、現在位置、住所、ユーザ属性などに関するグループと、の関係を示すデータを格納する。音声データベース１０１およびグループデータベース５０１は、音声サーバ１００や制御サーバ５００から参照可能である。
＜ネットワークシステムの動作概要＞The audio database 101 stores data related to audio output from the device 200. The group database 501 stores data indicating a relationship between a user and a group related to a family, a room, a current position, an address, a user attribute, and the like. The voice database 101 and the group database 501 can be referred to from the voice server 100 and the control server 500.
<Overview of network system operation>

次に、図１を参照して、本実施の形態にかかるネットワークシステム１の動作概要について説明する。   Next, an outline of the operation of the network system 1 according to the present embodiment will be described with reference to FIG.

まず、音声サーバ１００は、第１のタイミングにおいて、音声データの取得指示をアダプタ３００に送信する（１）。取得指示は、音声を出力すべき日時や条件などを含む。ここで、第１のタイミングは、たとえば、季節の変わり目であってもよいし、毎月のうちの所定の日付の所定の時刻であってもよいし、毎週のうちの所定の曜日の所定の時刻であってもよいし、毎日のうちの所定の時刻であってもよいし、管理者によって指定された日時でもよいし、端末６００を介してユーザから指定された日時であってもよい。この第１のタイミングは、サービス側で設定・変更することができる。   First, the voice server 100 transmits a voice data acquisition instruction to the adapter 300 at the first timing (1). The acquisition instruction includes the date and conditions for outputting audio, conditions, and the like. Here, the first timing may be, for example, the turn of the season, a predetermined time on a predetermined date in each month, or a predetermined time on a predetermined day of the week. It may be a predetermined time of every day, a date designated by the administrator, or a date designated by the user via the terminal 600. This first timing can be set and changed on the service side.

アダプタ３００は、音声サーバ１００あるいは他のサーバから指定された音声データをダウンロードする。アダプタ３００は、指定された音声データのダウンロードが完了すると、音声データの取得が完了した旨を音声サーバ１００に通知する（２）。   The adapter 300 downloads audio data designated from the audio server 100 or another server. When the download of the designated audio data is completed, the adapter 300 notifies the audio server 100 that the acquisition of the audio data is completed (2).

次に、音声サーバ１００は、第２のタイミングにおいて、音声データの発話指示をアダプタ３００に送信する（３）。発話指示は、出力すべき音声データの指定を含む。あるいは、発話指示は、出力すべき音声データの指定の組み合わせや順番を含む。あるいは、発話指示は、音声を出力すべき日時や条件などを含む。ここで、第２のタイミングは、たとえば、季節の変わり目であってもよいし、毎月のうちの所定の日付の所定の時刻であってもよいし、毎週のうちの所定の曜日の所定の時刻であってもよいし、毎日のうちの所定の時刻であってもよいし、管理者によって指定された日時でもよいし、端末６００を介してユーザから指定された日時であってもよい。   Next, the voice server 100 transmits a voice data speech instruction to the adapter 300 at the second timing (3). The utterance instruction includes designation of voice data to be output. Alternatively, the utterance instruction includes a designated combination and order of audio data to be output. Alternatively, the utterance instruction includes the date and conditions for outputting the voice, conditions, and the like. Here, the second timing may be, for example, the turn of the season, a predetermined time on a predetermined date in each month, or a predetermined time on a predetermined day of the week. It may be a predetermined time of every day, a date designated by the administrator, or a date designated by the user via the terminal 600.

アダプタ３００は、発話指示に基づいて、機器２００に音声を出力させる。アダプタ３００は、指定された音声データの発話処理が完了すると、発話が完了した旨の通知を音声サーバ１００に通知する（４）。   The adapter 300 causes the device 200 to output sound based on the utterance instruction. When the utterance process for the designated voice data is completed, the adapter 300 notifies the voice server 100 that the utterance has been completed (4).

音声サーバ１００は、アダプタ３００から発話が完了した旨の通知を受信すると、あるいは第３のタイミングにおいて、当該アダプタ３００に対する次の発話指示を当該アダプタ３００に送信する（５）。ここで、第３のタイミングも、第２のタイミングと同様に、たとえば、季節の変わり目であってもよいし、毎月のうちの所定の日付の所定の時刻であってもよいし、毎週のうちの所定の曜日の所定の時刻であってもよいし、毎日のうちの所定の時刻であってもよいし、管理者によって指定された日時でもよいし、端末６００を介してユーザから指定された日時であってもよい。   When the voice server 100 receives a notification that the utterance has been completed from the adapter 300 or at a third timing, the voice server 100 transmits a next utterance instruction to the adapter 300 to the adapter 300 (5). Here, as with the second timing, the third timing may be, for example, a turn of the season, a predetermined time on a predetermined date of every month, It may be a predetermined time of a predetermined day of the week, a predetermined time of every day, a date and time specified by an administrator, or specified by the user via the terminal 600 It may be a date and time.

アダプタ３００は、次の発話指示に基づいて、機器２００に音声を出力させる。アダプタ３００は、指定された音声データの発話処理が完了すると、発話が完了した旨の通知を音声サーバ１００に通知する（６）。   The adapter 300 causes the device 200 to output sound based on the next utterance instruction. When the utterance process for the designated voice data is completed, the adapter 300 notifies the voice server 100 that the utterance has been completed (6).

このように、本実施の形態にかかるネットワークシステム１では、音声サーバ１００は、アダプタ３００に音声データを取得させるための指示と、機器２００に音声を発話させるための指示と別々のタイミングで送信する。そのため、毎回音声データを送信することなく、機器２００にて出力される音声に関して発話指示による自由な組み合わせが可能になる。すなわち、従来よりも柔軟にサーバ１００が機器２００の音声出力を制御することができる。   As described above, in the network system 1 according to the present embodiment, the voice server 100 transmits the instruction for causing the adapter 300 to acquire voice data and the instruction for causing the device 200 to speak voice at different timings. . Therefore, it is possible to freely combine the voices output from the device 200 according to the utterance instruction without transmitting the voice data every time. That is, the server 100 can control the audio output of the device 200 more flexibly than in the past.

また、データ送受信のトラフィック量が比較的少ないときに音声データをダウンロードさせることもできるため、ネットワークのトラフィック量の最大値の増大を抑制することができる。   Also, since the voice data can be downloaded when the traffic volume of data transmission / reception is relatively small, an increase in the maximum value of the network traffic volume can be suppressed.

また、発話指示は、音声データを含まないので、データ量が小さく、ＷｅｂＳｏｃｋｅｔなどを利用した常時接続によって送信しても、他のデータ送信の妨げになりにくい。つまり、サービスの管理者またはユーザが望むタイミングで、即座に発話指示をアダプタ３００に受信させることができる。その結果、サービスの管理者またはユーザが望むタイミングで、即座に機器２００に音声を出力させることができる。   In addition, since the speech instruction does not include voice data, the data amount is small, and even if it is transmitted by always-on connection using WebSocket or the like, other data transmission is not hindered. That is, it is possible to cause the adapter 300 to immediately receive an utterance instruction at a timing desired by the service manager or user. As a result, it is possible to immediately output sound to the device 200 at a timing desired by the service manager or user.

なお、本実施の形態にかかるネットワークシステム１では、アダプタ３００または機器２００が機器２００のエラーを検知した場合には、その旨の通知を一旦音声サーバ１００および制御サーバ５００に送信してもよい。そして、音声サーバ１００は、受信した通知に基づいてアダプタ３００に発話指示を送信すべきか否かを判断する。エラー音声を出力すべきときは、音声サーバ１００は、エラー音声の発話指示をアダプタ３００に送信する。発話指示のデータ量は小さいので、アダプタ３００は、機器２００にエラーが生じたことを示す音声をすぐに出力させることができる。   In the network system 1 according to the present embodiment, when the adapter 300 or the device 200 detects an error of the device 200, a notification to that effect may be once transmitted to the voice server 100 and the control server 500. Then, the voice server 100 determines whether or not to transmit an utterance instruction to the adapter 300 based on the received notification. When the error voice is to be output, the voice server 100 transmits an error voice utterance instruction to the adapter 300. Since the data amount of the utterance instruction is small, the adapter 300 can immediately output a voice indicating that an error has occurred in the device 200.

このとき、制御サーバ５００は、エラーを示す情報またはエラー音声自体を端末６００に送信してもよい。たとえば、制御サーバ５００は、エラーを示す情報を端末６００が属するグループのＳＮＳ（social networking service）のページに投稿してもよい。これによって、端末６００は、図２６に示すようにエラーを示す情報を表示したり、エラー示す音声を出力したりする。   At this time, the control server 500 may transmit information indicating an error or the error sound itself to the terminal 600. For example, the control server 500 may post information indicating an error on an SNS (social networking service) page of a group to which the terminal 600 belongs. As a result, the terminal 600 displays information indicating an error or outputs a sound indicating an error as shown in FIG.

ただし、アダプタ３００がエラーを検知した場合に関して、音声サーバ１００からの発話指示がなくても、アダプタ３００は予め記憶しているエラー音声を機器２００に出力させてもよい。このとき、アダプタ３００は、エラーを示す情報またはエラー音声自体を、制御サーバ５００を介して端末６００に送信する。これによって、端末６００は、エラーを示す情報を表示したり、エラーを示す音声を出力したりする。   However, regarding the case where the adapter 300 detects an error, the adapter 300 may cause the device 200 to output a previously stored error voice even if there is no utterance instruction from the voice server 100. At this time, the adapter 300 transmits information indicating an error or the error sound itself to the terminal 600 via the control server 500. As a result, the terminal 600 displays information indicating an error or outputs a sound indicating an error.

以下では、このような機能を実現するためのネットワークシステム１について詳細に説明する。
＜音声サーバ１００のハードウェア構成＞Hereinafter, the network system 1 for realizing such a function will be described in detail.
<Hardware Configuration of Voice Server 100>

まず、ネットワークシステム１を構成する音声サーバ１００のハードウェア構成の一態様について説明する。なお、図２は、本実施の形態にかかるサーバ１００のハードウェア構成を表わすブロック図である。   First, an aspect of the hardware configuration of the voice server 100 configuring the network system 1 will be described. FIG. 2 is a block diagram showing a hardware configuration of server 100 according to the present embodiment.

図２を参照して、音声サーバ１００は、主たる構成要素として、プロセッサ１１０と、メモリ１２０と、各種ライト１３０と、各種スイッチ１４０と、通信インターフェイス１６０とを含む。   Referring to FIG. 2, the voice server 100 includes a processor 110, a memory 120, various lights 130, various switches 140, and a communication interface 160 as main components.

プロセッサ１１０は、メモリ１２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、サーバ１００の各部を制御する。すなわち、プロセッサ１１０は、メモリ１２０に格納されているプログラムを実行することによって、後述する各種の処理を実行する。   The processor 110 controls each unit of the server 100 by executing a program stored in the memory 120 or an external storage medium. That is, the processor 110 executes various processes described later by executing a program stored in the memory 120.

メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read-Only Memory）、フラッシュメモリーなどによって実現される。なお、メモリ１２０は、インターフェイスを介して利用される、ＵＳＢ（Universal Serial Bus）（登録商標）メモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ハードディスク、ＩＣ（Integrated Circuit）カード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）などの記憶媒体などによっても実現される。   The memory 120 is realized by various types of RAM (Random Access Memory), various types of ROM (Read-Only Memory), flash memory, and the like. The memory 120 is a USB (Universal Serial Bus) (registered trademark) memory, a CD (Compact Disc), a DVD (Digital Versatile Disk), a memory card, a hard disk, an IC (Integrated Circuit) card, which is used via an interface. It is also realized by a storage medium such as an optical card, mask ROM, EPROM (Erasable Programmable Read Only Memory), or EEPROM (Electronically Erasable Programmable Read Only Memory).

メモリ１２０は、プロセッサ１１０によって実行されるプログラムや、プロセッサ１１０によるプログラムの実行により生成されたデータ、スイッチ１４０から入力されたデータ、機器２００、アダプタ３００、制御サーバ５００、端末６００から受信したデータを記憶する。なお、メモリ１２０は、図１に示すデータベース１０１を記憶してもよい。あるいは、データベース１０１は、制御サーバ５００に格納されるものであってもよい。あるいは、音声サーバ１００および制御サーバ５００から参照可能に、その他の装置に格納されるものであってもよい。   The memory 120 stores a program executed by the processor 110, data generated by execution of the program by the processor 110, data input from the switch 140, data received from the device 200, the adapter 300, the control server 500, and the terminal 600. Remember. The memory 120 may store the database 101 shown in FIG. Alternatively, the database 101 may be stored in the control server 500. Alternatively, it may be stored in another device so that it can be referred to from the voice server 100 and the control server 500.

本実施の形態においては、データベース１０１は、音声データ取得指示を順次格納するための音声データ取得指示データベース１２１と、発話指示を順次格納するための発話指示データベース１２２とを含む。   In the present embodiment, database 101 includes a voice data acquisition instruction database 121 for sequentially storing voice data acquisition instructions, and an utterance instruction database 122 for sequentially storing utterance instructions.

ここで、図３は、本実施の形態にかかる音声データ取得指示データベース１２１のデータ構造を示すイメージ図である。図３を参照して、音声データ取得指示データベース１２１は、音声データ取得指示毎に、音声データ取得指示ＩＤとアダプタＩＤと音声ＩＤと音声データ格納アドレスと開始日と終了日と開始時刻と終了時刻と送信フラグと完了フラグとの対応関係を格納する。ただし、アダプタＩＤの代わりに、アダプタ３００に対応する機器２００の機器ＩＤを利用してもよい。また、音声データ取得指示データベース１２１は、音声データ取得指示毎に、発話条件や優先度も上記の対応関係の一部として格納してもよい。   Here, FIG. 3 is an image diagram showing a data structure of the audio data acquisition instruction database 121 according to the present embodiment. Referring to FIG. 3, for each voice data acquisition instruction, voice data acquisition instruction database 121 has a voice data acquisition instruction ID, an adapter ID, a voice ID, a voice data storage address, a start date, an end date, a start time, and an end time. And the correspondence relationship between the transmission flag and the completion flag. However, the device ID of the device 200 corresponding to the adapter 300 may be used instead of the adapter ID. In addition, the voice data acquisition instruction database 121 may store the utterance condition and the priority as part of the correspondence relationship for each voice data acquisition instruction.

プロセッサ１１０は、通信インターフェイス１６０を介して、音声データ取得指示として、音声データ取得指示ＩＤとアダプタＩＤと音声ＩＤと音声データ格納アドレスと開始日と終了日と開始時刻と終了時刻とを含むデータをアダプタ３００に送信する。なお、プロセッサ１１０は、音声データ取得指示として、発話条件や優先度もアダプタ３００に送信してもよい。   The processor 110 receives data including an audio data acquisition instruction ID, an adapter ID, an audio ID, an audio data storage address, a start date, an end date, a start time, and an end time as an audio data acquisition instruction via the communication interface 160. Send to adapter 300. Note that the processor 110 may also transmit the utterance condition and priority to the adapter 300 as the voice data acquisition instruction.

より詳細には、音声データ取得指示に含まれる情報またはダウンロードされる音声データ自体に含まれる情報と、発話指示に含まれる情報とが重複する場合がある。そのような場合には、発話指示に含まれる情報が優先されることが好ましい。換言すれば、アダプタ３００のプロセッサ３１０や機器２００のプロセッサ２１０は、発話指示に含まれる開始日と終了日と開始時刻と終了時刻と発話条件と優先度とに従う。そして、発話指示に開始日と終了日と開始時刻と終了時刻と発話条件と優先度とが含まれていない場合に、アダプタ３００のプロセッサ３１０や機器２００のプロセッサ２１０は、音声データ取得指示または音声データ自体に含まれる開始日と終了日と開始時刻と終了時刻と発話条件と優先度とに従う。   More specifically, the information included in the voice data acquisition instruction or the information included in the downloaded voice data itself may overlap with the information included in the utterance instruction. In such a case, it is preferable that information included in the utterance instruction is given priority. In other words, the processor 310 of the adapter 300 and the processor 210 of the device 200 follow the start date, the end date, the start time, the end time, the utterance condition, and the priority included in the utterance instruction. When the utterance instruction does not include the start date, the end date, the start time, the end time, the utterance condition, and the priority, the processor 310 of the adapter 300 and the processor 210 of the device 200 perform the voice data acquisition instruction or the voice. It follows the start date, end date, start time, end time, utterance condition, and priority included in the data itself.

ここで、音声データ取得指示ＩＤは、音声データの取得をアダプタ３００に指示するための命令を特定するためのデータである。アダプタＩＤは、音声データの取得を指示する先となるアダプタ３００を特定するためのデータである。音声ＩＤは、機器２００が取得すべき音声データを特定するためのデータである。音声データ格納アドレスは、音声データの格納先を特定するためのデータである。送信フラグは、プロセッサ１１０が、対応する音声データ取得指示をアダプタ３００に送った際に、「ＯＮ」に切り替える。すなわち、対応する音声データ取得指示が未だアダプタに送られていない場合は、送信フラグが「ＯＦＦ」となる。完了フラグは、プロセッサ１１０が、アダプタ３００から音声データのダウンロードが完了した旨の通知を受けた際に、「ＯＮ」に切り替える。すなわち、アダプタ３００が未だ音声データをダウンロードしていない場合は、完了フラグが「ＯＦＦ」となる。   Here, the voice data acquisition instruction ID is data for specifying a command for instructing the adapter 300 to acquire voice data. The adapter ID is data for specifying the adapter 300 that is a destination for instructing acquisition of audio data. The voice ID is data for specifying the voice data that the device 200 should acquire. The audio data storage address is data for specifying the storage destination of the audio data. The transmission flag is switched to “ON” when the processor 110 sends a corresponding voice data acquisition instruction to the adapter 300. That is, if the corresponding voice data acquisition instruction has not yet been sent to the adapter, the transmission flag is “OFF”. The completion flag is switched to “ON” when the processor 110 receives a notification from the adapter 300 that the downloading of the audio data has been completed. That is, when the adapter 300 has not yet downloaded the audio data, the completion flag is “OFF”.

ここで、図４は、本実施の形態にかかる発話指示データベース１２２のデータ構造を示すイメージ図である。図４を参照して、発話指示データベース１２２は、発話指示毎に、発話指示ＩＤとアダプタＩＤと音声ＩＤと発話条件と発話優先度と開始日と終了日と開始時刻と終了時刻と送信フラグと完了フラグとの対応関係を格納する。プロセッサ１１０は、通信インターフェイス１６０を介して、発話指示として、発話指示ＩＤとアダプタＩＤと音声ＩＤと発話条件と発話優先度と開始日と終了日と開始時刻と終了時刻とを含むデータをアダプタ３００に送信する。   Here, FIG. 4 is an image diagram showing a data structure of the utterance instruction database 122 according to the present embodiment. Referring to FIG. 4, utterance instruction database 122 includes, for each utterance instruction, utterance instruction ID, adapter ID, voice ID, utterance condition, utterance priority, start date, end date, start time, end time, and transmission flag. Stores the correspondence with the completion flag. The processor 110 transmits data including an utterance instruction ID, an adapter ID, a voice ID, an utterance condition, an utterance priority, a start date, an end date, a start time, and an end time as an utterance instruction via the communication interface 160. Send to.

ここで、発話指示ＩＤは、アダプタ３００に発話を指示するための命令を特定するためのデータである。アダプタＩＤは、発話を指示する先であるアダプタ３００を特定するためのデータである。音声ＩＤは、機器２００に取得するように指示する音声データを特定するためのデータである。発話条件は、機器２００のセンサによって取得されるデータなどに関する、音声を出力するための条件である。優先度は、他の音声データとの関係で、この発話指示の音声を先に出力すべきか否かを示すデータである。開始日は、音声データを発話する期間を開始する日付である。終了日は、音声データを発話する期間を終了する日付である。開始時刻は、音声データを発話する時間帯のスタート時刻である。終了日は、音声データを発話する時間帯を終了する時刻である。送信フラグは、プロセッサ１１０が、対応する発話指示をアダプタ３００に送った際に、「ＯＮ」に切り替える。すなわち、対応する発話指示が未だアダプタ３００に送られていない場合は、送信フラグが「ＯＦＦ」となる。完了フラグは、プロセッサ１１０が、機器２００から発話が完了した旨の通知を受けた際に、「ＯＮ」に切り替える。すなわち、機器２００が未だ発話を完了していない場合は、完了フラグが「ＯＦＦ」となる。   Here, the utterance instruction ID is data for specifying an instruction for instructing the adapter 300 to utter. The adapter ID is data for specifying the adapter 300 that is the destination of the utterance. The audio ID is data for specifying audio data that instructs the device 200 to acquire. The utterance condition is a condition for outputting sound related to data acquired by the sensor of the device 200. The priority is data indicating whether or not the voice of this utterance instruction should be output first in relation to other voice data. The start date is a date on which a period for speaking voice data is started. The end date is the date when the period for speaking the voice data ends. The start time is a start time in a time zone in which voice data is uttered. The end date is a time at which the time zone for speaking the voice data ends. The transmission flag is switched to “ON” when the processor 110 sends a corresponding utterance instruction to the adapter 300. That is, when the corresponding utterance instruction has not yet been sent to the adapter 300, the transmission flag is “OFF”. The completion flag is switched to “ON” when the processor 110 receives a notification that the utterance has been completed from the device 200. That is, when the device 200 has not yet completed the utterance, the completion flag is “OFF”.

なお、より詳細には、サーバ１００がアダプタ３００に送信する発話指示に、開始日と終了日と開始時刻と終了時刻とが含まれない形態であってもよい。すなわち、サーバ１００のプロセッサ１１０が、発話指示を送信する日時に基づいて、日付が開始日以降で、日付が終了日以前で、時刻が開始時刻以降で、時刻が終了時刻以前であるか否かを判断し、これらの条件を満たす発話指示、すなわち、発話指示ＩＤとアダプタＩＤと音声ＩＤとをアダプタ３００に送信するものであってもよい。より詳細には、サーバ１００は、期間が終了したときに、発話指示をキャンセルするための通知を送信し、期間が開始したときに、発話指示を送信すればよい。   In more detail, the utterance instruction transmitted from the server 100 to the adapter 300 may not include the start date, the end date, the start time, and the end time. That is, whether or not the date is after the start date, the date is before the end date, the time is after the start time, and the time is before the end time based on the date and time when the processor 110 of the server 100 transmits the utterance instruction. Utterance instruction satisfying these conditions, that is, the utterance instruction ID, the adapter ID, and the voice ID may be transmitted to the adapter 300. More specifically, the server 100 may transmit a notification for canceling the utterance instruction when the period ends, and transmit the utterance instruction when the period starts.

本実施の形態においては、発話条件および優先度が発話指示に含まれているが、発話条件および優先度の少なくともいずれかが音声データ取得指示に含まれるものであってもよい。   In this embodiment, the utterance condition and priority are included in the utterance instruction, but at least one of the utterance condition and priority may be included in the voice data acquisition instruction.

ただし、音声データ取得指示データベース１２１と発話指示データベース１２２とは、アダプタＩＤの代わりに機器ＩＤを記憶してもよい。この場合は、音声サーバ１００は、機器ＩＤと、機器ＩＤに対応する機器２００にデータを送信するためのアダプタ３００の識別情報またはアドレスと、の対応関係を記憶しておく必要がある。   However, the voice data acquisition instruction database 121 and the utterance instruction database 122 may store device IDs instead of adapter IDs. In this case, the voice server 100 needs to store a correspondence relationship between the device ID and the identification information or address of the adapter 300 for transmitting data to the device 200 corresponding to the device ID.

図２に戻って、ライト１３０は、プロセッサ１１０からの信号によって点灯・点滅・消灯することによって、サーバ１００の各種の状態を外部に伝える。   Returning to FIG. 2, the light 130 transmits various states of the server 100 to the outside by being turned on, blinking, and turned off by a signal from the processor 110.

スイッチ１４０は、管理者からの命令を受け付けて、当該命令をプロセッサ１１０に入力する。   The switch 140 receives an instruction from the administrator and inputs the instruction to the processor 110.

通信インターフェイス１６０は、プロセッサ１１０からのデータを、インターネット、キャリア網、ルータなどを介してアダプタ３００、制御サーバ５００、端末６００に送信する。通信インターフェイス１６０は、インターネット、キャリア網、ルータなどを介してアダプタ３００、制御サーバ５００、端末６００からのデータを受信して、プロセッサ１１０に受け渡す。
＜機器２００のハードウェア構成＞The communication interface 160 transmits data from the processor 110 to the adapter 300, the control server 500, and the terminal 600 via the Internet, a carrier network, a router, or the like. The communication interface 160 receives data from the adapter 300, the control server 500, and the terminal 600 via the Internet, a carrier network, a router, etc., and passes it to the processor 110.
<Hardware Configuration of Device 200>

次に、機器２００のハードウェア構成の一態様について説明する。図５は、本実施の形態にかかる機器２００のハードウェア構成を表わすブロック図である。   Next, an aspect of the hardware configuration of the device 200 will be described. FIG. 5 is a block diagram showing a hardware configuration of the device 200 according to the present embodiment.

図５を参照して、機器２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、各種ライト２３０と、各種スイッチ２４０と、通信インターフェイス２６０と、スピーカ２８０と、機器駆動部２９０とを含む。   Referring to FIG. 5, device 200 includes a processor 210, a memory 220, various lights 230, various switches 240, a communication interface 260, a speaker 280, and a device driving unit 290 as main components. .

プロセッサ２１０は、メモリ２２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、機器２００の各部を制御する。すなわち、プロセッサ２１０は、メモリ２２０に格納されているプログラムを実行することによって、後述する各種の処理を実行する。   The processor 210 controls each unit of the device 200 by executing a program stored in the memory 220 or an external storage medium. That is, the processor 210 executes various processes to be described later by executing a program stored in the memory 220.

メモリ２２０は、各種のＲＡＭ、各種のＲＯＭ、フラッシュメモリーなどによって実現される。メモリ２２０は、プロセッサ２１０によって実行されるプログラムや、プロセッサ２１０によるプログラムの実行により生成されたデータ、入力されたデータ、サーバ１００から受信したデータなどを記憶する。   The memory 220 is realized by various RAMs, various ROMs, flash memories, and the like. The memory 220 stores a program executed by the processor 210, data generated by the execution of the program by the processor 210, input data, data received from the server 100, and the like.

ライト２３０は、プロセッサ２１０からの信号によって点灯・点滅・消灯することによって、機器２００の各種の状態を外部に伝える。   The light 230 transmits various states of the device 200 to the outside by being turned on / flashing / turned off by a signal from the processor 210.

スイッチ２４０は、ユーザからの命令を受け付けて、当該命令をプロセッサ２１０に入力する。   The switch 240 receives a command from the user and inputs the command to the processor 210.

通信インターフェイス２６０は、プロセッサ２１０からのデータ、たとえば、機器が検知した各種の状態および機器がユーザからリモコンを介して受け付けた命令など、をアダプタ３００に送信する。換言すれば、通信インターフェイス１６０は、上記データをアダプタ３００、ルータ４００、インターネットなどを介して音声サーバ１００および制御サーバ５００に送信する。通信インターフェイス２６０は、インターネット、ルータ４００、アダプタ３００などを介して音声サーバ１００からのデータ、制御サーバ５００からのデータ、端末６００からの制御命令、音声データ、発話命令および閲覧命令を受信してプロセッサ２１０に受け渡す。   The communication interface 260 transmits data from the processor 210 to the adapter 300, for example, various states detected by the device and instructions received by the device via a remote control from the user. In other words, the communication interface 160 transmits the data to the voice server 100 and the control server 500 via the adapter 300, the router 400, the Internet, and the like. The communication interface 260 receives the data from the voice server 100, the data from the control server 500, the control command from the terminal 600, the voice data, the speech command, and the browsing command via the Internet, the router 400, the adapter 300, etc. Deliver to 210.

スピーカ２８０は、プロセッサ２１０からの音声信号に基づいて音声、音楽などの様々な音声を出力する。   The speaker 280 outputs various sounds such as sound and music based on the sound signal from the processor 210.

機器駆動部２９０は、プロセッサ２１０からの制御命令に基づいて、モータ、アクチュエータ、センサなどを制御することによって、機器２００の主要な役割を果たす。
＜アダプタ３００のハードウェア構成＞The device driving unit 290 plays a main role of the device 200 by controlling a motor, an actuator, a sensor, and the like based on a control command from the processor 210.
<Hardware configuration of adapter 300>

次に、アダプタ３００のハードウェア構成の一態様について説明する。図６は、本実施の形態にかかるアダプタ３００のハードウェア構成を表わすブロック図である。   Next, an aspect of the hardware configuration of the adapter 300 will be described. FIG. 6 is a block diagram showing a hardware configuration of adapter 300 according to the present embodiment.

図６を参照して、アダプタ３００は、主たる構成要素として、プロセッサ３１０と、メモリ３２０と、各種ライト３３０と、各種スイッチ３４０と、第１の通信インターフェイス３６１と、第２の通信インターフェイス３６２とを含む。   Referring to FIG. 6, the adapter 300 includes a processor 310, a memory 320, various lights 330, various switches 340, a first communication interface 361, and a second communication interface 362 as main components. Including.

プロセッサ３１０は、メモリ３２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、アダプタ３００の各部を制御する。すなわち、プロセッサ３１０は、メモリ３２０に格納されているプログラムを実行することによって、後述する各種の処理を実行する。   The processor 310 controls each unit of the adapter 300 by executing a program stored in the memory 320 or an external storage medium. That is, the processor 310 executes various processes to be described later by executing a program stored in the memory 320.

メモリ３２０は、各種のＲＡＭ、各種のＲＯＭ、フラッシュメモリーなどによって実現される。メモリ３２０は、プロセッサ３１０によって実行されるプログラムや、プロセッサ３１０によるプログラムの実行により生成されたデータ、入力されたデータ、音声サーバ１００および制御サーバ５００から受信したデータなどを記憶する。なお、メモリ３２０は、音声データベース３２１と、発話指示データ３２２とを記憶する。   The memory 320 is realized by various RAMs, various ROMs, flash memories, and the like. The memory 320 stores a program executed by the processor 310, data generated by the execution of the program by the processor 310, input data, data received from the voice server 100 and the control server 500, and the like. Note that the memory 320 stores a voice database 321 and utterance instruction data 322.

ここで、図７は、本実施の形態にかかる音声データベース３２１のデータ構造を示すイメージ図である。図７を参照して、音声データベース３２１は、音声データ毎に、音声ＩＤと音声データとの対応関係を格納する。ただし、音声データベース３２１は、音声データそのものの代わりに、音声データの格納先を示す音声データのアドレスを格納してもよい。   Here, FIG. 7 is an image diagram showing a data structure of the audio database 321 according to the present embodiment. Referring to FIG. 7, the voice database 321 stores the correspondence between the voice ID and the voice data for each voice data. However, the audio database 321 may store an address of audio data indicating a storage location of the audio data instead of the audio data itself.

なお、音声データベース３２１と、音声データそのものとは、機器２００に格納されてもよい。さらに、発話指示データ３２２も機器２００に格納されてもよい。この場合は、機器２００のプロセッサ２１０が、アダプタ３００を介して、音声サーバ１００からの指示に基づいて、それらのデータを上書きしたり、削除したりしてもよい。   Note that the audio database 321 and the audio data itself may be stored in the device 200. Furthermore, the utterance instruction data 322 may also be stored in the device 200. In this case, the processor 210 of the device 200 may overwrite or delete the data based on an instruction from the audio server 100 via the adapter 300.

本実施の形態においては、音声ＩＤを音声データに付与する際のルールとして、たとえば、音声ＩＤの前の３ケタが対象となる機器の種類を特定し、音声ＩＤの次の３ケタが機器の設置場所や地域を特定し、音声ＩＤの後ろからの２ケタ目が音声データの種類を特定する。たとえば、下２ケタ目が「５」は天気に関するメッセージである。下２ケタ目が「７」の場合は、食べ物に関するメッセージである。下２ケタ目が「９」の場合はエラーを示すメッセージである。   In the present embodiment, as a rule for assigning a voice ID to voice data, for example, the type of device for which three digits before the voice ID are targeted is specified, and the next three digits after the voice ID is the device. The installation location and area are specified, and the second digit from the back of the audio ID specifies the type of audio data. For example, the lower second digit “5” is a message about the weather. If the second digit is “7”, it is a message about food. When the lower second digit is “9”, it is a message indicating an error.

ここで、図８は、本実施の形態にかかる発話指示データ３２２のデータ構造を示すイメージ図である。図８を参照して、発話指示データ３２２は、音声サーバ１００から受信した発話指示データの一部である。すなわち、発話指示データ３２２は、発話指示ＩＤと音声ＩＤと発話条件と優先度と開始日と終了日と開始時刻と終了時刻とを含む。   Here, FIG. 8 is an image diagram showing a data structure of the utterance instruction data 322 according to the present embodiment. Referring to FIG. 8, utterance instruction data 322 is a part of the utterance instruction data received from voice server 100. That is, the utterance instruction data 322 includes an utterance instruction ID, a voice ID, an utterance condition, a priority, a start date, an end date, a start time, and an end time.

図６に戻って、ライト３３０は、プロセッサ３１０からの信号によって点灯・点滅・消灯することによって、アダプタ３００の各種の状態を外部に伝える。   Returning to FIG. 6, the light 330 transmits the various states of the adapter 300 to the outside by being turned on, blinking, and turned off by a signal from the processor 310.

スイッチ３４０は、ユーザからの命令を受け付けて、当該命令をプロセッサ３１０に入力する。   The switch 340 receives a command from the user and inputs the command to the processor 310.

第１の通信インターフェイス３６１は、ＵＡＲＴなどによって実現されて、プロセッサ３１０からのデータを機器２００に送信したり、機器２００からのデータをプロセッサ３１０に受け渡したりする。たとえば、プロセッサ３１０は、発話指示に基づいて、第１の通信インターフェイス３６１を介して、音声データを機器２００に送信することによって、機器２００に音声を出力させる。   The first communication interface 361 is realized by UART or the like, and transmits data from the processor 310 to the device 200 and transfers data from the device 200 to the processor 310. For example, the processor 310 transmits voice data to the device 200 via the first communication interface 361 based on the utterance instruction, thereby causing the device 200 to output sound.

ただし、プロセッサ３１０は発話指示を機器２００に送信するだけであってもよい。この場合は、機器２００のプロセッサ２１０が、発話指示に基づいて、メモリ２２０に格納されている音声データをスピーカ２８０に出力する。   However, the processor 310 may only transmit the utterance instruction to the device 200. In this case, the processor 210 of the device 200 outputs the audio data stored in the memory 220 to the speaker 280 based on the utterance instruction.

第２の通信インターフェイス３６２は、ＷｉＦｉ（登録商標）アンテナなどによって実現されて、プロセッサ３１０からのデータをルータ４００およびインターネットを介して音声サーバ１００または制御サーバ５００に送信したり、音声サーバ１００または制御サーバ５００からのデータのプロセッサ１１０に受け渡したりする。たとえば、プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００から音声データ取得指示や発話指示や音声データ自体を受信する。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に音声データの取得が完了した旨の通知や発話が完了した旨の通知を送信する。
＜制御サーバ５００のハードウェア構成＞The second communication interface 362 is realized by a WiFi (registered trademark) antenna or the like, and transmits data from the processor 310 to the voice server 100 or the control server 500 via the router 400 and the Internet, or the voice server 100 or the control. The data from the server 500 is transferred to the processor 110. For example, the processor 310 receives an audio data acquisition instruction, an utterance instruction, and audio data itself from the audio server 100 via the second communication interface 362. The processor 310 transmits, via the second communication interface 362, a notification that the acquisition of the voice data has been completed and a notification that the utterance has been completed to the voice server 100.
<Hardware configuration of control server 500>

次に、ネットワークシステム１を構成する制御サーバ５００のハードウェア構成の一態様について説明する。なお、図９は、本実施の形態にかかる制御サーバ５００のハードウェア構成を表わすブロック図である。   Next, an aspect of the hardware configuration of the control server 500 configuring the network system 1 will be described. FIG. 9 is a block diagram showing a hardware configuration of the control server 500 according to the present embodiment.

図９を参照して、制御サーバ５００は、主たる構成要素として、プロセッサ５１０と、メモリ５２０と、各種ライト５３０と、各種スイッチ５４０と、通信インターフェイス５６０とを含む。   Referring to FIG. 9, control server 500 includes a processor 510, a memory 520, various lights 530, various switches 540, and a communication interface 560 as main components.

プロセッサ５１０は、メモリ５２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、制御サーバ５００の各部を制御する。すなわち、プロセッサ５１０は、メモリ５２０に格納されているプログラムを実行することによって、後述する各種の処理を実行する。   The processor 510 controls each unit of the control server 500 by executing a program stored in the memory 520 or an external storage medium. That is, the processor 510 executes various processes described later by executing a program stored in the memory 520.

メモリ５２０の具体例は、音声サーバ１００と同様であるため、ここでは説明を繰り返さない。メモリ５２０は、プロセッサ５１０によって実行されるプログラムや、プロセッサ５１０によるプログラムの実行により生成されたデータ、入力されたデータ、機器２００、アダプタ３００、音声サーバ１００、端末６００から受信したデータを記憶する。なお、メモリ５２０は、図１に示すデータベース５０１を記憶してもよい。本実施の形態においては、データベース５０１は、機器がどのグループ、たとえば、家族、部屋、現在位置、住所、あるいはユーザの属性、に属するかを示すグループデータベース５２１を含む。   Since a specific example of the memory 520 is the same as that of the voice server 100, description thereof will not be repeated here. The memory 520 stores a program executed by the processor 510, data generated by execution of the program by the processor 510, input data, data received from the device 200, the adapter 300, the voice server 100, and the terminal 600. The memory 520 may store the database 501 shown in FIG. In the present embodiment, the database 501 includes a group database 521 indicating which group the device belongs to, for example, a family, a room, a current position, an address, or a user attribute.

ここで、図１０は、本実施の形態にかかるグループデータベース５２１のデータ構造を示すイメージ図である。図１０を参照して、本実施の形態にかかるグループデータベース５２１は、アダプタＩＤと、グループＩＤとしての家族ＩＤ、およびグループＩＤとしての部屋ＩＤと、の対応関係を格納する。なお、ここではアダプタＩＤは、アダプタ３００を特定するためのＩＤも端末６００と特定するためのＩＤも含まれる。   Here, FIG. 10 is an image diagram showing a data structure of the group database 521 according to the present embodiment. Referring to FIG. 10, group database 521 according to the present embodiment stores correspondence relationships between adapter IDs, family IDs as group IDs, and room IDs as group IDs. Here, the adapter ID includes an ID for specifying the adapter 300 and an ID for specifying the terminal 600.

プロセッサ５１０は、通信インターフェイス５６０を介して、音声サーバ１００からの機器ＩＤを含む指示に基づいて、機器ＩＤの機器２００が属するグループのＩＤや当該グループに属する他の機器のＩＤなどを返答する。さらに、プロセッサ５１０は、通信インターフェイス５６０を介して、機器２００の状態を示す情報を受信したり、当該情報を端末６００に送信したりする。逆に、プロセッサ５１０は、通信インターフェイス５６０を介して、端末６００から機器２００に対する制御命令を受信したり、当該制御命令を機器２００に送信したりする。   Based on the instruction including the device ID from the voice server 100, the processor 510 returns the ID of the group to which the device 200 having the device ID belongs, the ID of another device belonging to the group, and the like via the communication interface 560. Furthermore, the processor 510 receives information indicating the state of the device 200 via the communication interface 560, and transmits the information to the terminal 600. On the contrary, the processor 510 receives a control command for the device 200 from the terminal 600 or transmits the control command to the device 200 via the communication interface 560.

図９に戻って、ライト５３０は、プロセッサ５１０からの信号によって点灯・点滅・消灯することによって、制御サーバ５００の各種の状態を外部に伝える。   Returning to FIG. 9, the light 530 transmits various states of the control server 500 to the outside by being turned on / flashing / turned off by a signal from the processor 510.

スイッチ５４０は、管理者からの命令を受け付けて、当該命令をプロセッサ５１０に入力する。   The switch 540 receives an instruction from the administrator and inputs the instruction to the processor 510.

通信インターフェイス５６０は、プロセッサ５１０からのデータを、インターネット、キャリア網、ルータ４００などを介してアダプタ３００、音声サーバ１００、端末６００に送信する。通信インターフェイス５６０は、インターネット、キャリア網、ルータ４００などを介してアダプタ３００、音声サーバ１００、端末６００からのデータを受信して、プロセッサ５１０に受け渡す。
＜端末６００のハードウェア構成＞The communication interface 560 transmits data from the processor 510 to the adapter 300, the voice server 100, and the terminal 600 via the Internet, a carrier network, the router 400, or the like. The communication interface 560 receives data from the adapter 300, the voice server 100, and the terminal 600 via the Internet, a carrier network, the router 400, etc., and passes it to the processor 510.
<Hardware configuration of terminal 600>

次に、端末６００のハードウェア構成の一態様について説明する。なお、図１１は、本実施の形態にかかる端末６００のハードウェア構成を表わすブロック図である。   Next, an aspect of the hardware configuration of the terminal 600 will be described. FIG. 11 is a block diagram showing a hardware configuration of terminal 600 according to the present embodiment.

図１１を参照して、端末６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、タッチパネル６５０（ディスプレイ６３０とポインティングデバイス６４０）と、通信インターフェイス６６０と、スピーカ６８０とを含む。   Referring to FIG. 11, terminal 600 includes a processor 610, a memory 620, a touch panel 650 (display 630 and pointing device 640), a communication interface 660, and a speaker 680 as main components.

プロセッサ６１０は、メモリ６２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、端末６００の各部を制御する。すなわち、プロセッサ６１０は、メモリ６２０に格納されているプログラムを実行することによって、後述する各種の処理を実行する。   The processor 610 controls each unit of the terminal 600 by executing a program stored in the memory 620 or an external storage medium. That is, the processor 610 executes various processes described later by executing a program stored in the memory 620.

メモリ６２０は、各種のＲＡＭ、各種のＲＯＭ、フラッシュメモリーなどによって実現される。なお、メモリ６２０は、様々なインターフェイスを介して利用される、ＳＤカードやマイクロＳＤカードのようなメモリカード、ＵＳＢ（登録商標）メモリ、ＣＤ、ＤＶＤ、ハードディスク、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの記憶媒体などによっても実現される。   The memory 620 is realized by various RAMs, various ROMs, flash memories, and the like. The memory 620 is used via various interfaces, such as a memory card such as an SD card or a micro SD card, a USB (registered trademark) memory, a CD, a DVD, a hard disk, an IC card, an optical card, a mask ROM, It is also realized by a storage medium such as EPROM or EEPROM.

メモリ６２０は、プロセッサ６１０によって実行されるプログラムや、プロセッサ６１０によるプログラムの実行により生成されたデータ、ポインティングデバイス６４０を介して入力されたデータ、音声サーバ１００および制御サーバ５００から受信したデータなどを記憶する。特に、本実施の形態においては、メモリ６２０は、機器制御アプリケーションを記憶している。プロセッサ６１０は、メモリ６２０の機器制御アプリケーションに従って、機器２００の制御命令を制御サーバ５００に送信したり、機器２００に音声を出力させるための発話命令を音声サーバ１００に送信したり、機器２００からの情報を受信したりする。   Memory 620 stores programs executed by processor 610, data generated by execution of programs by processor 610, data input via pointing device 640, data received from voice server 100 and control server 500, and the like. To do. In particular, in the present embodiment, the memory 620 stores a device control application. The processor 610 transmits a control command for the device 200 to the control server 500 according to a device control application in the memory 620, transmits an utterance command for causing the device 200 to output a voice to the voice server 100, and the like. Receive information.

ディスプレイ６３０は、プロセッサ６１０からの信号に基づいて、文字や画像を出力する。ポインティングデバイス６４０は、ユーザからの命令を受け付けて、当該命令をプロセッサ６１０に入力する。なお、本実施の形態においては、端末６００は、ディスプレイ６３０とポインティングデバイス６４０とが組み合わされたタッチパネル６５０を有する。プロセッサ６１０は、ディスプレイ６３０に、機器２００を制御するための画面やＳＮＳの家族のページなどを表示させる。   Display 630 outputs characters and images based on signals from processor 610. The pointing device 640 receives a command from the user and inputs the command to the processor 610. Note that in this embodiment, terminal 600 includes touch panel 650 in which display 630 and pointing device 640 are combined. The processor 610 causes the display 630 to display a screen for controlling the device 200, an SNS family page, and the like.

通信インターフェイス６６０は、アンテナやコネクタによって実現される。通信インターフェイス６６０は、有線通信あるいは無線通信によって他の装置との間でデータをやり取りする。プロセッサ６１０は、通信インターフェイス６６０を介して、テキストデータ、画像データなどを、音声サーバ１００および制御サーバ５００などの他の装置に送信する。たとえば、プロセッサ６１０は、機器２００に対する制御命令を音声サーバ１００および制御サーバ５００に送信する。また、プロセッサ６１０は、通信インターフェイス６６０を介して、プログラム、制御命令、画像データ、テキストデータなどを、音声サーバ１００および制御サーバ５００などの他の装置から受信する。   The communication interface 660 is realized by an antenna or a connector. The communication interface 660 exchanges data with other devices by wired communication or wireless communication. The processor 610 transmits text data, image data, and the like to other devices such as the voice server 100 and the control server 500 via the communication interface 660. For example, the processor 610 transmits a control command for the device 200 to the voice server 100 and the control server 500. Further, the processor 610 receives programs, control commands, image data, text data, and the like from other devices such as the voice server 100 and the control server 500 via the communication interface 660.

スピーカ６８０は、プロセッサ６１０からの音声信号に基づいて通話音声、音楽、動画などの様々な音声を出力する。
＜ネットワークシステム１における情報処理＞The speaker 680 outputs various sounds such as a call sound, music, and a moving image based on the sound signal from the processor 610.
<Information processing in network system 1>

次に、図１２を参照しながら、本実施の形態にかかるネットワークシステム１の情報処理について説明する。なお、図１２は、本実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。   Next, information processing of the network system 1 according to the present embodiment will be described with reference to FIG. FIG. 12 is a sequence diagram showing information processing of the network system 1 according to the present embodiment.

まず、はじめに、音声サーバ１００のプロセッサ１１０が、冷蔵庫２００Ａやエアコン２００Ｂで出力するための音声データを受け付ける（ステップＳ１０２）。プロセッサ１１０は、受け付けた音声データに基づいて、音声データ取得指示データベース１２１に、音声データ取得指示を追加する。   First, the processor 110 of the voice server 100 receives voice data to be output by the refrigerator 200A and the air conditioner 200B (step S102). The processor 110 adds an audio data acquisition instruction to the audio data acquisition instruction database 121 based on the received audio data.

音声サーバ１００のプロセッサ１１０は、音声データ取得指示データベース１２１を参照して、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに音声データ取得指示を送信する（ステップＳ１１２）。このとき、プロセッサ１１０は、音声データ取得指示データベース１２１の、当該音声データ取得指示に対応する送信フラグをＯＮにする。   The processor 110 of the voice server 100 refers to the voice data acquisition instruction database 121 and transmits a voice data acquisition instruction to the adapter 300A of the refrigerator 200A via the communication interface 160 (step S112). At this time, the processor 110 turns on a transmission flag corresponding to the voice data acquisition instruction in the voice data acquisition instruction database 121.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声データ取得指示に基づいて音声データの格納先に音声データを要求する（ステップＳ１１４）。アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声データを音声サーバ１００からダウンロードする（ステップＳ１１６）。ただし、音声データの格納場所は、音声サーバ１００以外の通信装置のメモリであってもよい。アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に音声データのダウンロードが完了した旨を通知する（ステップＳ１１８）。   The processor 310 of the adapter 300A requests voice data from the voice data storage destination via the second communication interface 362 based on the voice data acquisition instruction (step S114). The processor 310 of the adapter 300A downloads audio data from the audio server 100 via the second communication interface 362 (step S116). However, the storage location of the audio data may be a memory of a communication device other than the audio server 100. The processor 310 of the adapter 300A notifies the audio server 100 that the download of the audio data has been completed via the second communication interface 362 (step S118).

音声サーバ１００のプロセッサ１１０は、当該通知に応じて、音声データ取得指示データベース１２１の、音声データ取得指示に対応する完了フラグをＯＮにする。   In response to the notification, the processor 110 of the voice server 100 turns on a completion flag corresponding to the voice data acquisition instruction in the voice data acquisition instruction database 121.

同様に、音声データ取得指示データベース１２１を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに音声データ取得指示を送信する（ステップＳ１２２）。このとき、プロセッサ１１０は、音声データ取得指示データベース１２１の、当該音声データ取得指示に対応する送信フラグをＯＮにする。   Similarly, with reference to the voice data acquisition instruction database 121, the processor 110 of the voice server 100 transmits a voice data acquisition instruction to the adapter 300B of the air conditioner 200B via the communication interface 160 (step S122). At this time, the processor 110 turns on a transmission flag corresponding to the voice data acquisition instruction in the voice data acquisition instruction database 121.

アダプタ３００Ｂのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声データ取得指示に基づいて音声データの格納先に音声データを要求する（ステップＳ１２４）。アダプタ３００Ｂのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声データをダウンロードする（ステップＳ１２６）。アダプタ３００Ｂのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に音声データのダウンロードが完了した旨を通知する（ステップＳ１２８）。   The processor 310 of the adapter 300B requests the audio data from the storage location of the audio data based on the audio data acquisition instruction via the second communication interface 362 (step S124). The processor 310 of the adapter 300B downloads the audio data via the second communication interface 362 (step S126). The processor 310 of the adapter 300B notifies the audio server 100 that the download of the audio data has been completed via the second communication interface 362 (step S128).

音声サーバ１００のプロセッサ１１０は、当該通知に応じて、音声データ取得指示データベース１２１の、音声データ取得指示に対応する完了フラグをＯＮにする。   In response to the notification, the processor 110 of the voice server 100 turns on a completion flag corresponding to the voice data acquisition instruction in the voice data acquisition instruction database 121.

次に、音声サーバ１００のプロセッサ１１０が、冷蔵庫２００Ａに音声を出力させるための発話命令を受け付ける（ステップＳ１３０）。プロセッサ１１０は、受け付けた発話命令に基づいて、発話指示データベース１２２の最後に、発話指示のレコードを追加する。   Next, the processor 110 of the voice server 100 accepts an utterance command for causing the refrigerator 200A to output voice (step S130). The processor 110 adds an utterance instruction record to the end of the utterance instruction database 122 based on the received utterance instruction.

発話指示データベース１２２を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに発話指示を送信する（ステップＳ１３２）。このとき、プロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する送信フラグをＯＮにする。   Referring to utterance instruction database 122, processor 110 of voice server 100 transmits the utterance instruction to adapter 300A of refrigerator 200A via communication interface 160 (step S132). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 122.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。プロセッサ３１０は、条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声データを冷蔵庫２００Ａに送信することによって、冷蔵庫２００Ａに音声を出力させる（ステップＳ１３４）。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. When the condition is satisfied, the processor 310 transmits audio data to the refrigerator 200A via the first communication interface 361, thereby causing the refrigerator 200A to output audio (step S134).

このとき並行して、たとえば、音声サーバ１００のプロセッサ１１０は、冷蔵庫２００Ａに音声を出力させるための新たな発話命令を受け付けることができる（ステップＳ１４０）。プロセッサ１１０は、受け付けた発話命令に基づいて、発話指示データベース１２２に、新たな発話指示のレコードを追加する。   In parallel with this, for example, the processor 110 of the voice server 100 can accept a new utterance command for causing the refrigerator 200A to output voice (step S140). The processor 110 adds a new utterance instruction record to the utterance instruction database 122 based on the received utterance instruction.

プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ１３６）。   The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S136).

音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２２の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２２を参照して、冷蔵庫２００Ａに対応する次の発話指示を読み出す。   Upon receiving the utterance completion notification, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 122. The processor 110 reads the next utterance instruction corresponding to the refrigerator 200 </ b> A with reference to the utterance instruction database 122.

音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに次の発話指示を送信する（ステップＳ１４２）。このとき、プロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する送信フラグをＯＮにする。   The processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300A of the refrigerator 200A via the communication interface 160 (step S142). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 122.

このとき並行して、たとえば、音声サーバ１００のプロセッサ１１０が、冷蔵庫２００Ａに音声を出力させるための新たな発話命令を受け付ける（ステップＳ１５０）。すなわち、プロセッサ１１０は、受け付けた発話命令に基づいて、発話指示データベース１２２に、新たな発話指示のレコードを追加する。   At the same time, for example, the processor 110 of the voice server 100 accepts a new utterance command for causing the refrigerator 200A to output voice (step S150). That is, the processor 110 adds a new utterance instruction record to the utterance instruction database 122 based on the received utterance instruction.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。本実施の形態においては、アダプタ３００が音声サーバ１００から発話指示を受け付けると、先の発話指示が上書きされる、すなわち先の発話指示が削除される。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。プロセッサ３１０は、条件が満たされないまま、発話指示の有効期限が切れた場合（ステップＳ１４４）、第２の通信インターフェイス３６２を介して、音声サーバ１００に有効期限が切れた旨の通知を送信する（ステップＳ１４６）。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. In the present embodiment, when adapter 300 receives a speech instruction from voice server 100, the previous speech instruction is overwritten, that is, the previous speech instruction is deleted. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. When the expiration date of the utterance instruction has expired without satisfying the condition (step S144), the processor 310 transmits a notification that the expiration date has expired to the voice server 100 via the second communication interface 362 (step S144). Step S146).

音声サーバ１００のプロセッサ１１０は、有効期限切れの通知を受け取ると、通信インターフェイス１６０を介して、冷蔵庫２００Ａに送信済みの発話指示をキャンセルするための通知を送信する（ステップＳ１４８）。そして、音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２２の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２２を参照して、冷蔵庫２００Ａに対応する次の発話指示を読み出す。音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに次の発話指示を送信する（ステップＳ１５２）。このとき、プロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する送信フラグをＯＮにする。   Upon receiving the expiration date notification, the processor 110 of the voice server 100 transmits a notification for canceling the transmitted speech instruction to the refrigerator 200A via the communication interface 160 (step S148). Then, when receiving the utterance completion notification, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 122. The processor 110 reads the next utterance instruction corresponding to the refrigerator 200 </ b> A with reference to the utterance instruction database 122. The processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300A of the refrigerator 200A via the communication interface 160 (step S152). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 122.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。プロセッサ３１０は、条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声データを冷蔵庫２００Ａに送信することによって、冷蔵庫２００Ａに音声を出力させる（ステップＳ１５４）。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ１５６）。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. When the condition is satisfied, the processor 310 transmits sound data to the refrigerator 200A via the first communication interface 361, thereby causing the refrigerator 200A to output sound (step S154). The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S156).

音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２２の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２２を参照して、冷蔵庫２００Ａに対応する次の発話指示を読み出す。   Upon receiving the utterance completion notification, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 122. The processor 110 reads the next utterance instruction corresponding to the refrigerator 200 </ b> A with reference to the utterance instruction database 122.

同様に、エアコン２００Ｂに関しても、音声サーバ１００のプロセッサ１１０が、エアコン２００Ｂに音声を出力させるための発話命令を受け付ける（ステップＳ１６０）。すなわち、プロセッサ１１０は、受け付けた発話命令に基づいて、発話指示データベース１２２に、発話指示を追加する。   Similarly, regarding the air conditioner 200B, the processor 110 of the voice server 100 accepts an utterance command for causing the air conditioner 200B to output voice (step S160). That is, the processor 110 adds an utterance instruction to the utterance instruction database 122 based on the received utterance instruction.

さらに、音声サーバ１００のプロセッサ１１０が、エアコン２００Ｂに音声を出力させるための次の発話命令も受け付ける（ステップＳ１７０）。すなわち、プロセッサ１１０は、受け付けた発話命令に基づいて、発話指示データベース１２２に、次の発話指示も追加する。   Furthermore, the processor 110 of the voice server 100 accepts the next utterance command for causing the air conditioner 200B to output voice (step S170). That is, the processor 110 also adds the next utterance instruction to the utterance instruction database 122 based on the received utterance instruction.

発話指示データベース１２２を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに発話指示を送信する（ステップＳ１６２）。このとき、プロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する送信フラグをＯＮにする。   Referring to utterance instruction database 122, processor 110 of voice server 100 transmits the utterance instruction to adapter 300B of air conditioner 200B via communication interface 160 (step S162). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 122.

アダプタ３００Ｂのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。プロセッサ３１０は、条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声データをエアコン２００Ｂに送信することによって、エアコン２００Ｂに音声を出力させる（ステップＳ１６４）。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ１６６）。   The processor 310 of the adapter 300B receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. When the condition is satisfied, the processor 310 transmits sound data to the air conditioner 200B via the first communication interface 361, thereby causing the air conditioner 200B to output sound (step S164). The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S166).

音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２２の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２２を参照して、エアコン２００Ｂに対応する次の発話指示を読み出す。   Upon receiving the utterance completion notification, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 122. The processor 110 refers to the utterance instruction database 122 and reads the next utterance instruction corresponding to the air conditioner 200B.

音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに次の発話指示を送信する（ステップＳ１７２）。このとき、プロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する送信フラグをＯＮにする。   The processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300B of the air conditioner 200B via the communication interface 160 (step S172). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 122.

アダプタ３００Ｂのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。プロセッサ３１０は、条件が満たされないまま、発話指示の有効期限が切れた場合（ステップＳ１７４）、第２の通信インターフェイス３６２を介して、音声サーバ１００に有効期限が切れた旨の通知を送信する（ステップＳ１７６）。   The processor 310 of the adapter 300B receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. If the expiration date of the utterance instruction has expired without satisfying the condition (step S174), the processor 310 transmits a notification that the expiration date has expired to the voice server 100 via the second communication interface 362 (step S174). Step S176).

音声サーバ１００のプロセッサ１１０は、有効期限切れの通知を受け取ると、通信インターフェイス１６０を介して、エアコン２００Ｂに送信済みの発話指示をキャンセルするための通知を送信する（ステップＳ１７８）。そして、音声サーバ１００のプロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２２を参照して、エアコン２００Ｂに対応する次の発話指示を読み出す。以下、上記と同様の処理が繰り返される。   When receiving the expiration notification, the processor 110 of the voice server 100 transmits a notification for canceling the transmitted speech instruction to the air conditioner 200B via the communication interface 160 (step S178). Then, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 122. The processor 110 refers to the utterance instruction database 122 and reads the next utterance instruction corresponding to the air conditioner 200B. Thereafter, the same processing as described above is repeated.

なお、音声サーバ１００のプロセッサ１１０は、機器２００に出力させる音声データを、制御サーバ５００を介して、端末６００にも送信しても良い。たとえば、制御サーバ５００は、音声のテキストデータまたは音声データを端末６００に送信する。これによって、端末６００は、メッセージを表示したり、音声を出力したりする。制御サーバ５００は、メッセージを端末６００が属するグループのＳＮＳのページに投稿しても良い。   Note that the processor 110 of the audio server 100 may also transmit audio data to be output to the device 200 to the terminal 600 via the control server 500. For example, the control server 500 transmits voice text data or voice data to the terminal 600. As a result, the terminal 600 displays a message or outputs a voice. The control server 500 may post the message on the SNS page of the group to which the terminal 600 belongs.

ただし、音声サーバ１００のプロセッサ１１０は、機器２００のエラーに関する情報のみ、機器２００と端末６００とに出力させるものであっても良い。
＜サーバ１００における情報処理＞However, the processor 110 of the voice server 100 may output only the information related to the error of the device 200 to the device 200 and the terminal 600.
<Information processing in server 100>

次に、本実施の形態にかかるサーバ１００における情報処理について、フローチャートを参照しながら説明する。   Next, information processing in the server 100 according to the present embodiment will be described with reference to a flowchart.

まず、図１３を参照しながら、音声サーバ１００のプロセッサ１１０が、新たな音声データをアダプタ３００または機器２００にダウンロードさせるための命令を受け付けた場合について、以下に説明する。なお、図１３は、本実施の形態にかかる新たな音声データをアダプタにダウンロードさせるためのサーバ１００の処理を示すフローチャートである。   First, a case where the processor 110 of the voice server 100 receives a command for causing the adapter 300 or the device 200 to download new voice data will be described below with reference to FIG. FIG. 13 is a flowchart showing processing of the server 100 for causing the adapter to download new audio data according to the present embodiment.

プロセッサ１１０は、音声データ取得指示データベース１２１に今回新たに受け付けた音声データ取得指示を登録する（ステップＳ１１０２）。プロセッサ１１０は、音声データ取得指示データベース１２１の音声データ取得指示の中から、今回新たに受け付けた音声データ取得指示のアダプタＩＤを含む音声データ取得指示を全て抽出する（ステップＳ１１０４）。   The processor 110 registers the voice data acquisition instruction newly received this time in the voice data acquisition instruction database 121 (step S1102). The processor 110 extracts all voice data acquisition instructions including the adapter ID of the voice data acquisition instruction newly received this time from the voice data acquisition instructions in the voice data acquisition instruction database 121 (step S1104).

プロセッサ１１０は、抽出した音声データ取得指示の中に、完了フラグが「ＯＮ」になっていない指示があるか否かを判断する（ステップＳ１１０６）。抽出した音声データ取得指示の中に、完了フラグが「ＯＮ」になっていない指示がある場合（ステップＳ１１０６にてＹＥＳである場合）、プロセッサ１１０は本処理を終了する。   The processor 110 determines whether there is an instruction in which the completion flag is not “ON” in the extracted voice data acquisition instruction (step S1106). If there is an instruction in which the completion flag is not “ON” in the extracted voice data acquisition instruction (YES in step S1106), the processor 110 ends this process.

抽出した音声データ取得指示の中に、完了フラグが「ＯＮ」になっていない指示がない場合（ステップＳ１１０６にてＮＯである場合）、プロセッサ１１０は、通信インターフェイス１６０を介して、今回新たに受け付けた音声データ取得指示をアダプタ３００に送信する（ステップＳ１１０８）。このとき、プロセッサ１１０は、音声データ取得指示データベース１２１の、今回送信した音声データ取得指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   If there is no instruction in which the completion flag is not “ON” in the extracted voice data acquisition instruction (NO in step S1106), the processor 110 newly accepts this time via the communication interface 160. The voice data acquisition instruction is transmitted to the adapter 300 (step S1108). At this time, the processor 110 sets the transmission flag of the voice data acquisition instruction transmitted this time in the voice data acquisition instruction database 121 to “ON”. The processor 110 ends this process.

次に、図１４を参照しながら、音声サーバ１００のプロセッサ１１０が、いずれかのアダプタ３００から音声データ取得処理が完了した旨の通知を受け付けた場合について、以下に説明する。なお、図１４は、本実施の形態にかかる音声データのダウンロードが完了した旨の通知を受けたときのサーバ１００の処理を示すフローチャートである。   Next, a case where the processor 110 of the voice server 100 receives a notification that the voice data acquisition processing has been completed from any adapter 300 will be described below with reference to FIG. FIG. 14 is a flowchart showing the processing of the server 100 when receiving a notification that downloading of audio data according to the present embodiment has been completed.

プロセッサ１１０は、音声データ取得指示データベース１２１の、今回受信した通知に対応する音声データ取得指示の完了フラグをＯＮにする（ステップＳ１２０２）。プロセッサ１１０は、音声データ取得指示データベース１２１の音声データ取得指示の中から、今回受信した通知に対応する音声データ取得指示の機器ＩＤを含む音声データ取得指示を抽出する（ステップＳ１２０４）。   The processor 110 turns on the completion flag of the audio data acquisition instruction corresponding to the notification received this time in the audio data acquisition instruction database 121 (step S1202). The processor 110 extracts an audio data acquisition instruction including the device ID of the audio data acquisition instruction corresponding to the notification received this time from the audio data acquisition instruction of the audio data acquisition instruction database 121 (step S1204).

プロセッサ１１０は、抽出した音声データ取得指示の中に、送信フラグが「ＯＮ」になっていない音声データ取得指示があるか否かを判断する（ステップＳ１２０６）。抽出した音声データ取得指示の中に、送信フラグが「ＯＮ」になっていない音声データ取得指示がある場合（ステップＳ１１０６にてＹＥＳである場合）、通信インターフェイス１６０を介して当該音声データ取得指示を当該アダプタ３００に送信する（ステップＳ１２０８）。このとき、プロセッサ１１０は、音声データ取得指示データベース１２１の、今回送信した音声データ取得指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   The processor 110 determines whether or not there is an audio data acquisition instruction whose transmission flag is not “ON” in the extracted audio data acquisition instruction (step S1206). In the extracted voice data acquisition instruction, if there is a voice data acquisition instruction whose transmission flag is not “ON” (YES in step S1106), the voice data acquisition instruction is sent via the communication interface 160. It transmits to the said adapter 300 (step S1208). At this time, the processor 110 sets the transmission flag of the voice data acquisition instruction transmitted this time in the voice data acquisition instruction database 121 to “ON”. The processor 110 ends this process.

抽出した音声データ取得指示の中に、送信フラグが「ＯＮ」になっていない指示がない場合（ステップＳ１２０６にてＮＯである場合）、プロセッサ１１０は本処理を終了する。   If there is no instruction in which the transmission flag is not “ON” in the extracted voice data acquisition instruction (NO in step S1206), the processor 110 ends this process.

次に、図１５を参照しながら、音声サーバ１００のプロセッサ１１０が、新たな発話指示をアダプタ３００または機器２００に送信させるための情報を受け付けた場合について、以下に説明する。なお、図１５は、本実施の形態にかかる新たな発話命令を受け付けたときのサーバ１００の処理を示すフローチャートである。   Next, the case where the processor 110 of the voice server 100 receives information for causing the adapter 300 or the device 200 to transmit a new utterance instruction will be described below with reference to FIG. FIG. 15 is a flowchart showing processing of the server 100 when a new utterance command according to the present embodiment is received.

プロセッサ１１０は、発話指示データベース１２２に今回新たに受け付けた発話指示を登録する（ステップＳ１３０２）。プロセッサ１１０は、発話指示データベース１２２の発話指示の中から、今回新たに受け付けた発話指示の機器ＩＤを含む発話指示を抽出する（ステップＳ１３０４）。   The processor 110 registers the newly received speech instruction this time in the speech instruction database 122 (step S1302). The processor 110 extracts an utterance instruction including the device ID of the utterance instruction newly received this time from the utterance instructions in the utterance instruction database 122 (step S1304).

プロセッサ１１０は、抽出した発話指示の中に、送信フラグが「ＯＮ」になっており、かつ、完了フラグが「ＯＮ」になっていない指示があるか否かを判断する（ステップＳ１３０６）。抽出した発話指示の中に、完了フラグが「ＯＮ」になっていない指示がある場合（ステップＳ１３０６にてＹＥＳである場合）、プロセッサ１１０は本処理を終了する。   The processor 110 determines whether or not the extracted utterance instruction includes an instruction whose transmission flag is “ON” and whose completion flag is not “ON” (step S1306). If there is an instruction in which the completion flag is not “ON” in the extracted utterance instruction (YES in step S1306), the processor 110 ends this process.

抽出した発話指示の中に、送信フラグが「ＯＮ」になっており、かつ、完了フラグが「ＯＮ」になっていない指示がない場合（ステップＳ１３０６にてＮＯである場合）、プロセッサ１１０は、通信インターフェイス１６０を介して、今回新たに受け付けた発話指示をアダプタ３００に送信する（ステップＳ１３０８）。このとき、プロセッサ１１０は、発話指示データベース１２２の、今回送信した発話指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   In the extracted utterance instruction, if there is no instruction in which the transmission flag is “ON” and the completion flag is not “ON” (NO in step S1306), the processor 110 The newly received utterance instruction this time is transmitted to the adapter 300 via the communication interface 160 (step S1308). At this time, the processor 110 sets the transmission flag of the utterance instruction transmitted this time in the utterance instruction database 122 to “ON”. The processor 110 ends this process.

次に、図１６を参照しながら、音声サーバ１００のプロセッサ１１０が、いずれかのアダプタ３００から発話処理が完了した旨の通知あるいは有効期間内に指定された条件が満たされなかった旨の通知を受け付けた場合について、以下に説明する。   Next, referring to FIG. 16, the processor 110 of the voice server 100 sends a notification from one of the adapters 300 that the speech processing has been completed or a notification that the conditions specified within the valid period have not been met. The case of accepting will be described below.

プロセッサ１１０は、発話指示データベース１２２の、今回受信した通知に対応する発話指示の完了フラグを「ＯＮ」にする（ステップＳ１４０２）。プロセッサ１１０は、発話指示データベース１２２の発話指示の中から、今回受信した通知に対応する発話指示の機器ＩＤを含む発話指示を抽出する（ステップＳ１４０４）。   The processor 110 sets the utterance instruction completion flag corresponding to the notification received this time in the utterance instruction database 122 to “ON” (step S1402). The processor 110 extracts an utterance instruction including the device ID of the utterance instruction corresponding to the notification received this time from the utterance instructions in the utterance instruction database 122 (step S1404).

プロセッサ１１０は、抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない発話指示があるか否かを判断する（ステップＳ１４０６）。抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない発話指示がある場合（ステップＳ１４０６にてＹＥＳである場合）、通信インターフェイス１６０を介して当該発話指示を当該アダプタ３００に送信する（ステップＳ１４０８）。このとき、プロセッサ１１０は、発話指示データベース１２２の、今回送信した発話指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   The processor 110 determines whether or not there is an utterance instruction whose transmission flag is not “ON” in the extracted utterance instruction (step S1406). If there is an utterance instruction whose transmission flag is not “ON” in the extracted utterance instruction (YES in step S 1406), the utterance instruction is transmitted to the adapter 300 via the communication interface 160. (Step S1408). At this time, the processor 110 sets the transmission flag of the utterance instruction transmitted this time in the utterance instruction database 122 to “ON”. The processor 110 ends this process.

抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない指示がない場合（ステップＳ１４０６にてＮＯである場合）、プロセッサ１１０は本処理を終了する。
＜第２の実施の形態＞If there is no instruction in which the transmission flag is not “ON” in the extracted utterance instruction (NO in step S1406), the processor 110 ends this process.
<Second Embodiment>

第１の実施の形態においては、音声サーバ１００が、アダプタ３００毎に別々に発話指示を送信するものであった。本実施の形態においては、音声サーバ１００は、同じグループに属する複数のアダプタ３００に同じ発話指示を送信しながら、当該複数の機器２００の発話に関する調停を行うものである。   In the first embodiment, the voice server 100 transmits an utterance instruction separately for each adapter 300. In the present embodiment, the voice server 100 mediates the utterances of the plurality of devices 200 while transmitting the same utterance instruction to the plurality of adapters 300 belonging to the same group.

なお、以下では、本実施の形態にかかる発話指示データベースと、ネットワークシステム１の情報処理と、サーバ１００における情報処理と、について説明するものとし、ネットワークシステム１の全体構成および各装置のハードウェア構成などについては、第１の実施の形態にかかるそれらと同様であるため説明を繰り返さない。   In the following, the utterance instruction database according to the present embodiment, the information processing of the network system 1, and the information processing in the server 100 will be described. The overall configuration of the network system 1 and the hardware configuration of each device Since these are the same as those according to the first embodiment, description thereof will not be repeated.

図１７は、本実施の形態にかかる発話指示データベース１２３のデータ構造を示すイメージ図である。図１７を参照して、発話指示データベース１２３は、発話指示毎に、発話指示ＩＤとグループＩＤと音声ＩＤと発話条件と優先度と開始日と終了日と開始時刻と終了時刻と送信フラグと完了フラグとの対応関係を格納する。すなわち、本実施の形態にかかる発話指示データベース１２２は、対応関係の中にグループＩＤを含む点において、第１の実施の形態と異なる。なお、それぞれのデータの定義は、第１の実施の形態のそれらと同様であるため、個々では説明を繰り返さない。
＜ネットワークシステム１における情報処理＞FIG. 17 is an image diagram showing a data structure of the utterance instruction database 123 according to the present embodiment. Referring to FIG. 17, for each utterance instruction, utterance instruction database 123 includes utterance instruction ID, group ID, voice ID, utterance condition, priority, start date, end date, start time, end time, transmission flag, and completion. Stores the correspondence with the flag. That is, the utterance instruction database 122 according to the present embodiment is different from the first embodiment in that the group ID is included in the correspondence relationship. Note that the definition of each data is the same as those in the first embodiment, and thus the description thereof will not be repeated individually.
<Information processing in network system 1>

次に、図１８を参照しながら、本実施の形態にかかるネットワークシステム１の情報処理について説明する。なお、図１８は、本実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。また、ステップＳ２１２〜ステップＳ２２８の処理は、第１の実施の形態の図１２におけるステップＳ１１２〜ステップＳ１２８の処理と同様であるため、ここでは説明を繰り返さない。   Next, information processing of the network system 1 according to the present embodiment will be described with reference to FIG. FIG. 18 is a sequence diagram showing information processing of the network system 1 according to the present embodiment. Moreover, since the process of step S212-step S228 is the same as the process of step S112-step S128 in FIG. 12 of 1st Embodiment, description is not repeated here.

まず、音声サーバ１００のプロセッサ１１０が、グループに属するアダプタ３００、たとえば冷蔵庫２００Ａのアダプタ３００Ａとエアコン２００Ｂのアダプタ３００Ｂ、に音声を出力させるための発話命令を受け付ける（ステップＳ２３０）。本実施の形態においては、プロセッサ１１０は、複数種類の発話命令を受け付けた場合について説明する。プロセッサ１１０は、受け付けた発話命令に基づいて、発話指示データベース１２３に、複数の発話指示を追加する（ステップＳ２３１）。   First, the processor 110 of the voice server 100 receives an utterance command for causing the adapter 300 belonging to the group, for example, the adapter 300A of the refrigerator 200A and the adapter 300B of the air conditioner 200B to output voice (step S230). In the present embodiment, processor 110 will be described with respect to a case where a plurality of types of utterance commands are received. The processor 110 adds a plurality of utterance instructions to the utterance instruction database 123 based on the received utterance instruction (step S231).

発話指示データベース１２３を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに発話指示を送信する（ステップＳ２３２）。同様に、発話指示データベース１２３を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに発話指示を送信する（ステップＳ２３３）。このとき、プロセッサ１１０は、発話指示データベース１２３の、当該発話指示に対応する送信フラグをＯＮにする。   Referring to utterance instruction database 123, processor 110 of voice server 100 transmits an utterance instruction to adapter 300A of refrigerator 200A via communication interface 160 (step S232). Similarly, referring to utterance instruction database 123, processor 110 of voice server 100 transmits an utterance instruction to adapter 300B of air conditioner 200B via communication interface 160 (step S233). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 123.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。同様に、アダプタ３００Ｂのプロセッサ３１０も、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. Similarly, the processor 310 of the adapter 300B also receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition.

アダプタ３００Ａのプロセッサ３１０は、条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声データを冷蔵庫２００Ａに送信することによって、冷蔵庫２００Ａに音声を出力させる（ステップＳ２３４）。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ２３６）。   When the condition is satisfied, the processor 310 of the adapter 300A transmits sound data to the refrigerator 200A via the first communication interface 361, thereby causing the refrigerator 200A to output sound (step S234). The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S236).

音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２３の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２３を参照して、当該グループに対応する次の発話指示を読み出す。   Upon receiving the utterance completion notification, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 123. The processor 110 reads the next utterance instruction corresponding to the group with reference to the utterance instruction database 123.

音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに次の発話指示を送信する（ステップＳ２４２）。同様に、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに次の発話指示を送信する（ステップＳ２４３）。このとき、プロセッサ１１０は、発話指示データベース１２３の、当該発話指示に対応する送信フラグをＯＮにする。   The processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300A of the refrigerator 200A via the communication interface 160 (step S242). Similarly, the processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300B of the air conditioner 200B via the communication interface 160 (step S243). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 123.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。本実施の形態においても、アダプタ３００が音声サーバ１００から発話指示を受け付けると、先の発話指示が上書きされる、すなわち先の発話指示が削除される。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。同様に、アダプタ３００Ｂのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. Also in the present embodiment, when adapter 300 receives a speech instruction from voice server 100, the previous speech instruction is overwritten, that is, the previous speech instruction is deleted. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. Similarly, the processor 310 of the adapter 300B receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition.

アダプタ３００Ｂのプロセッサ３１０は、条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声データをエアコン２００Ｂに送信することによって、エアコン２００Ｂに音声を出力させる（ステップＳ２４４）。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ２４６）。   When the condition is satisfied, the processor 310 of the adapter 300B transmits sound data to the air conditioner 200B via the first communication interface 361, thereby causing the air conditioner 200B to output sound (step S244). The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S246).

音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２３の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２３を参照して、当該グループに対応する次の発話指示を読み出す。   Upon receiving the utterance completion notification, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 123. The processor 110 reads the next utterance instruction corresponding to the group with reference to the utterance instruction database 123.

音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに次の発話指示を送信する（ステップＳ２５２）。同様に、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに次の発話指示を送信する（ステップＳ２５３）。このとき、プロセッサ１１０は、発話指示データベース１２３の、当該発話指示に対応する送信フラグをＯＮにする。   The processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300A of the refrigerator 200A via the communication interface 160 (step S252). Similarly, the processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300B of the air conditioner 200B via the communication interface 160 (step S253). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 123.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。同様に、アダプタ３００Ｂのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. Similarly, the processor 310 of the adapter 300B receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition.

アダプタ３００Ａのプロセッサ３１０は、条件が満たされないまま、発話指示の有効期限が切れた場合（ステップＳ２５４）、第２の通信インターフェイス３６２を介して、音声サーバ１００に有効期限が切れた旨の通知を送信する（ステップＳ２５６）。同様に、アダプタ３００Ｂのプロセッサ３１０は、条件が満たされないまま、発話指示の有効期限が切れた場合（ステップＳ２５５）、第２の通信インターフェイス３６２を介して、音声サーバ１００に有効期限が切れた旨の通知を送信する（ステップＳ２５７）。   When the expiration date of the utterance instruction has expired without satisfying the condition (step S254), the processor 310 of the adapter 300A notifies the voice server 100 of the expiration date via the second communication interface 362. Transmit (step S256). Similarly, if the expiration date of the utterance instruction has expired without satisfying the condition (step S255), the processor 310 of the adapter 300B indicates that the expiration date has expired in the voice server 100 via the second communication interface 362. Is sent (step S257).

音声サーバ１００のプロセッサ１１０は、グループに属する全てのアダプタ３００から有効期限切れの通知を受け取ると、通信インターフェイス１６０を介して、グループに属する全てのアダプタ３００に送信済みの発話指示をキャンセルするための通知を送信する（ステップＳ２５８，ステップＳ２５９）。そして、音声サーバ１００のプロセッサ１１０は、発話指示データベース１２３の、当該発話指示に対応する完了フラグをＯＮにする。   When the processor 110 of the voice server 100 receives the expiration notification from all the adapters 300 belonging to the group, the notification for canceling the utterance instruction transmitted to all the adapters 300 belonging to the group via the communication interface 160. Is transmitted (step S258, step S259). Then, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 123.

音声サーバ１００のプロセッサ１１０は、発話指示データベース１２３を参照して、当該グループに対応する次の発話指示を読み出す。そしてまた、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに次の発話指示を送信する（ステップＳ２６２）。同様に、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに次の発話指示を送信する（ステップＳ２６３）。このとき、プロセッサ１１０は、発話指示データベース１２３の、当該発話指示に対応する送信フラグをＯＮにする。以下、上記と同様の処理が繰り返される。   The processor 110 of the voice server 100 reads the next utterance instruction corresponding to the group with reference to the utterance instruction database 123. Further, the processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300A of the refrigerator 200A via the communication interface 160 (step S262). Similarly, the processor 110 of the voice server 100 transmits the next utterance instruction to the adapter 300B of the air conditioner 200B via the communication interface 160 (step S263). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 123. Thereafter, the same processing as described above is repeated.

なお、音声サーバ１００のプロセッサ１１０は、機器２００に出力させる音声データを、制御サーバ５００を介して、端末６００にも送信しても良い。たとえば、制御サーバ５００は、音声のテキストデータまたは音声データを端末６００に送信する。これによって、端末６００は、メッセージを表示したり、音声を出力したりする。制御サーバ５００は、メッセージを端末６００が属するグループのＳＮＳのページに投稿しても良い。   Note that the processor 110 of the audio server 100 may also transmit audio data to be output to the device 200 to the terminal 600 via the control server 500. For example, the control server 500 transmits voice text data or voice data to the terminal 600. As a result, the terminal 600 displays a message or outputs a voice. The control server 500 may post the message on the SNS page of the group to which the terminal 600 belongs.

ただし、音声サーバ１００のプロセッサ１１０は、機器２００のエラーに関する情報のみ、機器２００と端末６００とに出力させるものであっても良い。
＜サーバ１００における情報処理＞However, the processor 110 of the voice server 100 may output only the information related to the error of the device 200 to the device 200 and the terminal 600.
<Information processing in server 100>

次に、本実施の形態にかかるサーバ１００における情報処理について、フローチャートを参照しながら説明する。ただし、音声サーバ１００が新たな音声データをアダプタ３００にダウンロードさせるための命令を受け付けた場合の処理と、音声サーバ１００がいずれかのアダプタ３００から音声データ取得処理が完了した旨の通知を受け付けた場合についての処理とは、第１の実施の形態のそれらと同様であるため、ここでは説明を繰り返さない。   Next, information processing in the server 100 according to the present embodiment will be described with reference to a flowchart. However, the processing in the case where the voice server 100 has received a command for causing the adapter 300 to download new voice data and the voice server 100 has received notification from one of the adapters 300 that the voice data acquisition processing has been completed. Since the processing for the case is the same as those of the first embodiment, description thereof will not be repeated here.

以下では、図１９を参照しながら、音声サーバ１００のプロセッサ１１０が、新たな発話指示をアダプタ３００または機器２００に送信させるための情報を受け付けた場合について説明する。なお、図１９は、本実施の形態にかかる新たな発話命令を受け付けたときのサーバ１００の処理を示すフローチャートである。   Hereinafter, a case where the processor 110 of the voice server 100 receives information for causing the adapter 300 or the device 200 to transmit a new utterance instruction will be described with reference to FIG. FIG. 19 is a flowchart showing processing of the server 100 when a new utterance command according to the present embodiment is received.

プロセッサ１１０は、発話指示データベース１２２に今回新たに受け付けた発話指示を登録する（ステップＳ２３０２）。プロセッサ１１０は、発話指示データベース１２２の発話指示の中から、今回新たに受け付けた発話指示のグループＩＤを含む発話指示を抽出する（ステップＳ２３０４）。   The processor 110 registers the newly received speech instruction this time in the speech instruction database 122 (step S2302). The processor 110 extracts an utterance instruction including the group ID of the utterance instruction newly accepted this time from the utterance instructions in the utterance instruction database 122 (step S2304).

プロセッサ１１０は、抽出した発話指示の中に、送信フラグが「ＯＮ」になっており、かつ、完了フラグが「ＯＮ」になっていない指示があるか否かを判断する（ステップＳ２３０６）。抽出した発話指示の中に、完了フラグが「ＯＮ」になっていない指示がある場合（ステップＳ２３０６にてＹＥＳである場合）、プロセッサ１１０は本処理を終了する。   The processor 110 determines whether or not the extracted utterance instruction includes an instruction whose transmission flag is “ON” and whose completion flag is not “ON” (step S2306). If there is an instruction in which the completion flag is not “ON” in the extracted utterance instruction (YES in step S2306), the processor 110 ends this process.

抽出した発話指示の中に、送信フラグが「ＯＮ」になっており、かつ、完了フラグが「ＯＮ」になっていない指示がない場合（ステップＳ２３０６にてＮＯである場合）、プロセッサ１１０は、通信インターフェイス１６０を介して、今回新たに受け付けた発話指示をグループに属する全てのアダプタ３００に送信する（ステップＳ２３０８）。このとき、プロセッサ１１０は、発話指示データベース１２２の、今回送信した発話指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   If the extracted utterance instruction does not include an instruction in which the transmission flag is “ON” and the completion flag is not “ON” (NO in step S2306), the processor 110 The newly accepted speech instruction is transmitted to all adapters 300 belonging to the group via the communication interface 160 (step S2308). At this time, the processor 110 sets the transmission flag of the utterance instruction transmitted this time in the utterance instruction database 122 to “ON”. The processor 110 ends this process.

次に、図２０を参照しながら、音声サーバ１００のプロセッサ１１０が、いずれかのアダプタ３００から発話処理が完了した旨の通知あるいは有効期間内に指定された条件が満たされなかった旨の通知を受け付けた場合について、以下に説明する。なお、図２０は、本実施の形態にかかる発話が完了した旨の通知を受けたときのサーバ１００の処理を示すフローチャートである。   Next, referring to FIG. 20, the processor 110 of the voice server 100 sends a notification that the utterance process has been completed from any one of the adapters 300 or a notification that the condition specified within the valid period has not been satisfied. The case of accepting will be described below. FIG. 20 is a flowchart showing the processing of the server 100 when receiving a notification that the utterance according to the present embodiment has been completed.

プロセッサ１１０は、発話指示データベース１２３の、今回受信した通知に対応する発話指示の完了フラグを「ＯＮ」にする（ステップＳ２４０２）。プロセッサ１１０は、発話指示データベース１２３の発話指示の中から、今回受信した通知に対応する発話指示のグループＩＤを含む発話指示を抽出する（ステップＳ２４０４）。   The processor 110 sets the utterance instruction completion flag corresponding to the notification received this time in the utterance instruction database 123 to “ON” (step S2402). The processor 110 extracts an utterance instruction including the group ID of the utterance instruction corresponding to the notification received this time from the utterance instructions in the utterance instruction database 123 (step S2404).

プロセッサ１１０は、抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない発話指示があるか否かを判断する（ステップＳ２４０６）。抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない発話指示がある場合（ステップＳ２４０６にてＹＥＳである場合）、通信インターフェイス１６０を介して当該発話指示を当該グループに属する全てのアダプタ３００に送信する（ステップＳ２４０８）。このとき、プロセッサ１１０は、発話指示データベース１２３の、今回送信した発話指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   The processor 110 determines whether or not there is an utterance instruction whose transmission flag is not “ON” in the extracted utterance instruction (step S2406). If there is an utterance instruction whose transmission flag is not “ON” in the extracted utterance instruction (YES in step S2406), the utterance instruction is transmitted to all the groups belonging to the group via the communication interface 160. It transmits to the adapter 300 (step S2408). At this time, the processor 110 sets the transmission flag of the utterance instruction transmitted this time in the utterance instruction database 123 to “ON”. The processor 110 ends this process.

抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない指示がない場合（ステップＳ２４０６にてＮＯである場合）、プロセッサ１１０は、通信インターフェイス１６０を介して、当該発話指示を削除するためのキャンセル通知を当該グループに属する全てのアダプタ３００に送信する。プロセッサ１１０は本処理を終了する。   If there is no instruction in which the transmission flag is not “ON” in the extracted utterance instruction (NO in step S2406), processor 110 deletes the utterance instruction via communication interface 160. For this purpose is transmitted to all the adapters 300 belonging to the group. The processor 110 ends this process.

このように、本実施の形態においては、第１の実施の形態のネットワークシステム１の効果を奏するだけでなく、同じグループに属する機器２００に同じ音声を出力させることを防止することができる。たとえば、家族毎または住所毎に、グループＩＤが設定される場合には、１つの家にある複数の家電が同じ音声を発することを防止することができる。また、部屋毎に、グループＩＤが設定される場合には、１つの部屋にある複数の家電が同じ音声を発することを防止することができる。
＜第３の実施の形態＞As described above, in this embodiment, not only the effects of the network system 1 of the first embodiment can be obtained, but also the devices 200 belonging to the same group can be prevented from outputting the same sound. For example, when a group ID is set for each family or each address, a plurality of home appliances in one house can be prevented from emitting the same voice. Moreover, when group ID is set for every room, it can prevent that the some household appliances in one room emit the same audio | voice.
<Third Embodiment>

第２の実施の形態においては、音声サーバ１００は、同じグループに属する複数のアダプタ３００に同じ発話指示を送信しながら、当該複数の機器２００の発話に関する調停を行うものであった。本実施の形態においては、音声サーバ１００は、同じグループに属する複数のアダプタ３００に異なる発話指示を送信することによって、当該複数の機器２００の発話に関する調停を行うものである。   In the second embodiment, the voice server 100 mediates the utterances of the plurality of devices 200 while transmitting the same utterance instruction to the plurality of adapters 300 belonging to the same group. In the present embodiment, the voice server 100 mediates the utterances of the plurality of devices 200 by transmitting different utterance instructions to the plurality of adapters 300 belonging to the same group.

なお、以下では、本実施の形態にかかる発話指示データベースと、ネットワークシステム１の情報処理と、サーバ１００における情報処理と、について説明するものとし、ネットワークシステム１の全体構成および各装置のハードウェア構成などについては、第１の実施の形態にかかるそれらと同様であるため説明を繰り返さない。   In the following, the utterance instruction database according to the present embodiment, the information processing of the network system 1, and the information processing in the server 100 will be described. The overall configuration of the network system 1 and the hardware configuration of each device Since these are the same as those according to the first embodiment, description thereof will not be repeated.

図２１を参照しながら、本実施の形態にかかる発話指示データベース１２４について説明する。なお、図２１は、本実施の形態にかかる発話指示データベース１２４のデータ構造を示すイメージ図である。発話指示データベース１２４は、発話指示毎に、発話指示ＩＤとグループＩＤと音声ＩＤと開始日と終了日と開始時刻と終了時刻と送信フラグと完了フラグとの対応関係を格納する。すなわち、本実施の形態にかかる発話指示データベース１２２は、対応関係の中にグループＩＤを含む点において、第１の実施の形態と異なる。なお、それぞれのデータの定義は、第１の実施の形態のそれらと同様であるため、個々では説明を繰り返さない。
＜ネットワークシステム１における情報処理＞The utterance instruction database 124 according to the present embodiment will be described with reference to FIG. FIG. 21 is an image diagram showing a data structure of the utterance instruction database 124 according to the present embodiment. For each utterance instruction, the utterance instruction database 124 stores a correspondence relationship among the utterance instruction ID, the group ID, the voice ID, the start date, the end date, the start time, the end time, the transmission flag, and the completion flag. That is, the utterance instruction database 122 according to the present embodiment is different from the first embodiment in that the group ID is included in the correspondence relationship. Note that the definition of each data is the same as those in the first embodiment, and thus the description thereof will not be repeated individually.
<Information processing in network system 1>

次に、図２２を参照しながら、本実施の形態にかかるネットワークシステム１の情報処理について説明する。なお、図２２は、本実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。また、ステップＳ３１２〜ステップＳ３２８の処理は、第１の実施の形態の図１２におけるステップＳ２１２〜ステップＳ２２８の処理と同様であるため、ここでは説明を繰り返さない。   Next, information processing of the network system 1 according to the present embodiment will be described with reference to FIG. FIG. 22 is a sequence diagram showing information processing of the network system 1 according to the present embodiment. Moreover, since the process of step S312-step S328 is the same as the process of step S212-step S228 in FIG. 12 of 1st Embodiment, description is not repeated here.

まず、音声サーバ１００のプロセッサ１１０が、グループに属するアダプタ３００、たとえば冷蔵庫２００Ａのアダプタ３００Ａとエアコン２００Ｂのアダプタ３００Ｂ、に音声を出力させるための発話命令を受け付ける（ステップＳ３３０）。本実施の形態においては、プロセッサ１１０は、複数種類の発話命令を受け付けた場合について説明する。プロセッサ１１０は、受け付けた発話命令に基づいて、発話指示データベース１２３に、複数の発話指示を追加する（ステップＳ３３１）。   First, the processor 110 of the voice server 100 accepts an utterance command for outputting voice to the adapter 300 belonging to the group, for example, the adapter 300A of the refrigerator 200A and the adapter 300B of the air conditioner 200B (step S330). In the present embodiment, processor 110 will be described with respect to a case where a plurality of types of utterance commands are received. Based on the received utterance command, the processor 110 adds a plurality of utterance instructions to the utterance instruction database 123 (step S331).

発話指示データベース１２３を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに、当該グループに対応する第１の発話指示を送信する（ステップＳ３３２）。このとき、プロセッサ１１０は、発話指示データベース１２３の、第１の発話指示に対応する送信フラグをＯＮにする。   Referring to utterance instruction database 123, processor 110 of voice server 100 transmits a first utterance instruction corresponding to the group to adapter 300A of refrigerator 200A via communication interface 160 (step S332). At this time, the processor 110 turns on the transmission flag corresponding to the first utterance instruction in the utterance instruction database 123.

同様に、発話指示データベース１２３を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに、当該グループに対応する第１の発話指示とは異なる第２の発話指示を送信する（ステップＳ３３３）。このとき、プロセッサ１１０は、発話指示データベース１２３の、第２の発話指示に対応する送信フラグをＯＮにする。   Similarly, referring to the utterance instruction database 123, the processor 110 of the voice server 100 sends a second utterance different from the first utterance instruction corresponding to the group to the adapter 300B of the air conditioner 200B via the communication interface 160. An utterance instruction is transmitted (step S333). At this time, the processor 110 turns on the transmission flag corresponding to the second utterance instruction in the utterance instruction database 123.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００から第１の発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。同様に、アダプタ３００Ｂのプロセッサ３１０も、第２の通信インターフェイス３６２を介して、音声サーバ１００から第２の発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が第２の発話指示の条件を満たすか否かを判断する。   The processor 310 of the adapter 300 </ b> A receives the first utterance instruction from the voice server 100 via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. Similarly, the processor 310 of the adapter 300B also receives the second utterance instruction from the voice server 100 via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the second utterance instruction condition.

アダプタ３００Ａのプロセッサ３１０は、条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声データを冷蔵庫２００Ａに送信することによって、冷蔵庫２００Ａに音声を出力させる（ステップＳ３３４）。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ３３６）。   When the condition is satisfied, the processor 310 of the adapter 300A transmits sound data to the refrigerator 200A via the first communication interface 361, thereby causing the refrigerator 200A to output sound (step S334). The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S336).

音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２３の、当該第１の発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２３を参照して、当該グループに対応する次の発話指示、すなわち第３の発話指示を読み出す。   Upon receiving the utterance completion notification, the processor 110 of the voice server 100 turns on the completion flag corresponding to the first utterance instruction in the utterance instruction database 123. The processor 110 refers to the utterance instruction database 123 and reads the next utterance instruction corresponding to the group, that is, the third utterance instruction.

音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに第３の発話指示を送信する（ステップＳ３４２）。このとき、プロセッサ１１０は、発話指示データベース１２３の、当該第３の発話指示に対応する送信フラグをＯＮにする。   The processor 110 of the voice server 100 transmits a third utterance instruction to the adapter 300A of the refrigerator 200A via the communication interface 160 (step S342). At this time, the processor 110 turns on the transmission flag corresponding to the third utterance instruction in the utterance instruction database 123.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、第３の発話指示を受信する。本実施の形態においても、アダプタ３００が音声サーバ１００から発話指示を受け付けると、先の第１の発話指示が上書きされる、すなわち先の第１の発話指示が削除される。プロセッサ３１０は、現在時刻や気温やユーザ操作が第３の発話指示の条件を満たすか否かを判断する。   The processor 310 of the adapter 300A receives the third utterance instruction via the second communication interface 362. Also in this embodiment, when adapter 300 receives an utterance instruction from voice server 100, the previous first utterance instruction is overwritten, that is, the previous first utterance instruction is deleted. The processor 310 determines whether the current time, temperature, and user operation satisfy the condition of the third utterance instruction.

アダプタ３００Ｂのプロセッサ３１０は、条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声データをエアコン２００Ｂに送信することによって、エアコン２００Ｂに音声を出力させる（ステップＳ３４４）。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ３４６）。   When the condition is satisfied, the processor 310 of the adapter 300B transmits sound data to the air conditioner 200B via the first communication interface 361, thereby causing the air conditioner 200B to output sound (step S344). The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S346).

音声サーバ１００のプロセッサ１１０は、発話完了通知を受け取ると、発話指示データベース１２３の、当該第２の発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２３を参照して、当該グループに対応する次の発話指示、すなわち第４の発話指示を読み出す。   Upon receiving the utterance completion notification, the processor 110 of the voice server 100 turns on a completion flag corresponding to the second utterance instruction in the utterance instruction database 123. The processor 110 refers to the utterance instruction database 123 and reads the next utterance instruction corresponding to the group, that is, the fourth utterance instruction.

音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに第４の発話指示を送信する（ステップＳ３５３）。このとき、プロセッサ１１０は、発話指示データベース１２３の、当該発話指示に対応する送信フラグをＯＮにする。   The processor 110 of the voice server 100 transmits a fourth utterance instruction to the adapter 300B of the air conditioner 200B via the communication interface 160 (step S353). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 123.

そして、図示しないが、アダプタ３００Ａのプロセッサ３１０は、条件が満たされないまま、第３の発話指示の有効期限が切れた場合、第２の通信インターフェイス３６２を介して、音声サーバ１００に有効期限が切れた旨の通知を送信する。   Although not shown, the processor 310 of the adapter 300A expires in the voice server 100 via the second communication interface 362 when the expiration date of the third utterance instruction expires without satisfying the condition. Send a notification to the effect.

音声サーバ１００のプロセッサ１１０は、アダプタ３００Ａから有効期限切れの通知を受け取ると、通信インターフェイス１６０を介して、発話指示データベース１２３を参照して、当該グループに対応する次の発話指示、すなわち第５の発話指示を読み出す。そしてまた、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに第５の発話指示を送信する。以下、上記と同様の処理が繰り返される。   When receiving the expiration notification from the adapter 300A, the processor 110 of the voice server 100 refers to the utterance instruction database 123 via the communication interface 160, that is, the next utterance instruction corresponding to the group, that is, the fifth utterance. Read instructions. Further, the processor 110 of the voice server 100 transmits a fifth utterance instruction to the adapter 300A of the refrigerator 200A via the communication interface 160. Thereafter, the same processing as described above is repeated.

なお、音声サーバ１００のプロセッサ１１０は、機器２００に出力させる音声データを、制御サーバ５００を介して、端末６００にも送信しても良い。たとえば、制御サーバ５００は、音声のテキストデータまたは音声データを端末６００に送信する。これによって、端末６００は、メッセージを表示したり、音声を出力したりする。制御サーバ５００は、メッセージを端末６００が属するグループのＳＮＳのページに投稿しても良い。   Note that the processor 110 of the audio server 100 may also transmit audio data to be output to the device 200 to the terminal 600 via the control server 500. For example, the control server 500 transmits voice text data or voice data to the terminal 600. As a result, the terminal 600 displays a message or outputs a voice. The control server 500 may post the message on the SNS page of the group to which the terminal 600 belongs.

ただし、音声サーバ１００のプロセッサ１１０は、機器２００のエラーに関する情報のみ、機器２００と端末６００とに出力させるものであっても良い。
＜サーバ１００における情報処理＞However, the processor 110 of the voice server 100 may output only the information related to the error of the device 200 to the device 200 and the terminal 600.
<Information processing in server 100>

次に、本実施の形態にかかるサーバ１００における情報処理について、フローチャートを参照しながら説明する。ただし、音声サーバ１００が新たな音声データをアダプタ３００にダウンロードさせるための命令を受け付けた場合の処理と、音声サーバ１００がいずれかのアダプタ３００から音声データ取得処理が完了した旨の通知を受け付けた場合についての処理とは、第１の実施の形態のそれらと同様であるため、ここでは説明を繰り返さない。   Next, information processing in the server 100 according to the present embodiment will be described with reference to a flowchart. However, the processing in the case where the voice server 100 has received a command for causing the adapter 300 to download new voice data and the voice server 100 has received notification from one of the adapters 300 that the voice data acquisition processing has been completed. Since the processing for the case is the same as those of the first embodiment, description thereof will not be repeated here.

以下では、図２３を参照しながら、音声サーバ１００のプロセッサ１１０が、新たな発話指示をアダプタ３００または機器２００に送信させるための情報を受け付けた場合について説明する。なお、図２３は、本実施の形態にかかる新たな発話命令を受け付けたときのサーバ１００の処理を示すフローチャートである。   Hereinafter, a case where the processor 110 of the voice server 100 receives information for causing the adapter 300 or the device 200 to transmit a new utterance instruction will be described with reference to FIG. FIG. 23 is a flowchart showing processing of the server 100 when a new utterance command according to the present embodiment is received.

プロセッサ１１０は、発話指示データベース１２２に今回新たに受け付けた発話指示を登録する（ステップＳ３３０２）。プロセッサ１１０は、発話指示データベース１２２の発話指示の中から、今回新たに受け付けた発話指示のグループＩＤを含む発話指示を抽出する（ステップＳ３３０４）。   The processor 110 registers the newly received utterance instruction this time in the utterance instruction database 122 (step S3302). The processor 110 extracts an utterance instruction including the group ID of the utterance instruction newly accepted this time from the utterance instructions in the utterance instruction database 122 (step S3304).

プロセッサ１１０は、グループＩＤに対応する機器ＩＤの中に、送信フラグが「ＯＮ」で完了フラグが「ＯＦＦ」の発話指示に対応付けられていない機器ＩＤがあるか否かを判断する（ステップＳ３３０６）。送信フラグが「ＯＮ」で完了フラグが「ＯＦＦ」の発話指示に対応付けられていない機器ＩＤがない場合（ステップＳ３３０６にてＮＯである場合）、プロセッサ１１０は本処理を終了する。   The processor 110 determines whether there is a device ID that is not associated with the utterance instruction with the transmission flag “ON” and the completion flag “OFF” among the device IDs corresponding to the group ID (step S3306). ). If there is no device ID that is not associated with the utterance instruction with the transmission flag “ON” and the completion flag “OFF” (NO in step S3306), the processor 110 ends this process.

送信フラグが「ＯＮ」で完了フラグが「ＯＦＦ」の発話指示に対応付けられていない機器ＩＤがある場合（ステップＳ３３０６にてＮＯである場合）、プロセッサ１１０は、通信インターフェイス１６０を介して、今回新たに受け付けた発話指示を当該機器ＩＤに対するアダプタ３００に送信する（ステップＳ３３０８）。このとき、プロセッサ１１０は、発話指示データベース１２２の、今回送信した発話指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   If there is a device ID that is not associated with the utterance instruction with the transmission flag “ON” and the completion flag “OFF” (NO in step S 3306), the processor 110 passes this time via the communication interface 160. The newly accepted utterance instruction is transmitted to the adapter 300 for the device ID (step S3308). At this time, the processor 110 sets the transmission flag of the utterance instruction transmitted this time in the utterance instruction database 122 to “ON”. The processor 110 ends this process.

次に、図２４を参照しながら、音声サーバ１００のプロセッサ１１０が、いずれかのアダプタ３００から発話処理が完了した旨の通知あるいは有効期間内に指定された条件が満たされなかった旨の通知を受け付けた場合について、以下に説明する。なお、図２４は、本実施の形態にかかる発話が完了した旨の通知を受けたときのサーバ１００の処理を示すフローチャートである。   Next, referring to FIG. 24, the processor 110 of the voice server 100 gives a notification that the utterance process has been completed from any one of the adapters 300 or a notification that the condition specified within the valid period has not been satisfied. The case of accepting will be described below. FIG. 24 is a flowchart showing the processing of the server 100 when receiving a notification that the utterance according to the present embodiment has been completed.

プロセッサ１１０は、発話指示データベース１２３の、今回受信した通知に対応する発話指示の完了フラグを「ＯＮ」にする（ステップＳ３４０２）。プロセッサ１１０は、発話指示データベース１２３の発話指示の中から、今回受信した通知に対応する発話指示のグループＩＤを含む発話指示を抽出する（ステップＳ３４０４）。   The processor 110 sets the utterance instruction completion flag corresponding to the notification received this time in the utterance instruction database 123 to “ON” (step S3402). The processor 110 extracts an utterance instruction including the group ID of the utterance instruction corresponding to the notification received this time from the utterance instructions in the utterance instruction database 123 (step S3404).

プロセッサ１１０は、抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない発話指示があるか否かを判断する（ステップＳ３４０６）。抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない発話指示がある場合（ステップＳ３４０６にてＹＥＳである場合）、通信インターフェイス１６０を介して当該発話指示を今回受信した通知の送信元のアダプタ３００に送信する（ステップＳ３４０８）。このとき、プロセッサ１１０は、発話指示データベース１２３の、今回送信した発話指示の送信フラグを「ＯＮ」にする。プロセッサ１１０は本処理を終了する。   The processor 110 determines whether or not there is an utterance instruction whose transmission flag is not “ON” in the extracted utterance instruction (step S3406). If there is an utterance instruction in which the transmission flag is not “ON” in the extracted utterance instruction (YES in step S3406), transmission of the notification that the utterance instruction has been received this time is transmitted via the communication interface 160. It transmits to the original adapter 300 (step S3408). At this time, the processor 110 sets the transmission flag of the utterance instruction transmitted this time in the utterance instruction database 123 to “ON”. The processor 110 ends this process.

抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない指示がない場合（ステップＳ３４０６にてＮＯである場合）、プロセッサ１１０は本処理を終了する。   If there is no instruction in which the transmission flag is not “ON” in the extracted utterance instruction (NO in step S3406), processor 110 ends this process.

このように、本実施の形態においては、第１の実施の形態のネットワークシステム１の効果を奏するだけでなく、同じグループに属する機器２００に同じ音声を出力させることを防止することができる。たとえば、家族毎または住所毎に、グループＩＤが設定される場合には、１つの家にある複数の家電が同じ音声を発することを防止することができる。また、部屋毎に、グループＩＤが設定される場合には、１つの部屋にある複数の家電が同じ音声を発することを防止することができる。
＜第４の実施の形態＞As described above, in this embodiment, not only the effects of the network system 1 of the first embodiment can be obtained, but also the devices 200 belonging to the same group can be prevented from outputting the same sound. For example, when a group ID is set for each family or each address, a plurality of home appliances in one house can be prevented from emitting the same voice. Moreover, when group ID is set for every room, it can prevent that the some household appliances in one room emit the same audio | voice.
<Fourth embodiment>

第１〜第３の実施の形態にかかるネットワークシステム１は、機器２００がアダプタ３００を介して音声サーバ１００とデータの送受信を行うものであった。しかしながら、本実施の形態にかかるネットワークシステム１は、機器２００がアダプタ３００を介さずに音声サーバ１００とデータの送受信を行うものである。機器２００がアダプタ３００を介さずに音声サーバ１００とデータの送受信を行う構成は、他のいずれの実施の形態のネットワークシステム１にも適用できるものである。   In the network system 1 according to the first to third embodiments, the device 200 transmits and receives data to and from the voice server 100 via the adapter 300. However, in the network system 1 according to the present embodiment, the device 200 transmits / receives data to / from the voice server 100 without using the adapter 300. The configuration in which the device 200 transmits / receives data to / from the voice server 100 without using the adapter 300 can be applied to the network system 1 of any other embodiment.

なお、以下では、ネットワークシステム１の全体構成と動作概要について説明するものとし、ネットワークシステム１の各装置のハードウェア構成や処理などについては、第１の実施の形態にかかるそれらと同様であるため説明を繰り返さない。具体的には、本実施の形態にかかるネットワークシステムは、アダプタ３００の役割を機器２００が有している点において、第１〜第３の実施の形態にかかるネットワークシステム１と異なる。
＜ネットワークシステムの全体構成＞In the following, the overall configuration and operation overview of the network system 1 will be described, and the hardware configuration and processing of each device of the network system 1 are the same as those according to the first embodiment. Do not repeat the explanation. Specifically, the network system according to the present embodiment differs from the network system 1 according to the first to third embodiments in that the device 200 has the role of the adapter 300.
<Overall configuration of network system>

まず、図２５を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。なお、図２５は、本実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示すイメージ図である。   First, the overall configuration of the network system 1 according to the present embodiment will be described with reference to FIG. FIG. 25 is an image diagram showing an overall configuration and an operation outline of the network system 1 according to the present embodiment.

図２５を参照して、ネットワークシステム１の全体構成について簡単に説明する。本実施の形態にかかるネットワークシステム１は、主に、冷蔵庫２００Ａ、エアコン２００Ｂ、洗濯機２００Ｃなどの機器と、機器の音声出力を制御するための音声サーバ１００とを含む。本実施の形態にかかるネットワークシステムは、アダプタ３００Ａ，３００Ｂ，３００Ｃを含まない点において、第１の実施の形態のネットワークシステム１と異なる。なお、ネットワークシステム１は、冷蔵庫２００Ａ、エアコン２００Ｂ、洗濯機２００Ｃなどの機器をインターネットに接続するためのルータ４００と、家族と機器との間のメッセージのやり取りなどを処理するための制御サーバ５００と、スマートフォン６００Ａ，６００Ｂ，６００Ｃ、ノートパソコン６００Ｄなどの端末、データベース１０１，５０１を含んでもよい。ただし、音声サーバ１００または制御サーバ５００が、データベース１０１，５０１の少なくともいずれかを記憶してもよい。
＜ネットワークシステムの動作概要＞The overall configuration of the network system 1 will be briefly described with reference to FIG. The network system 1 according to the present embodiment mainly includes devices such as a refrigerator 200A, an air conditioner 200B, and a washing machine 200C, and a sound server 100 for controlling sound output of the devices. The network system according to the present embodiment is different from the network system 1 of the first embodiment in that the adapters 300A, 300B, and 300C are not included. The network system 1 includes a router 400 for connecting devices such as the refrigerator 200A, the air conditioner 200B, and the washing machine 200C to the Internet, and a control server 500 for processing message exchanges between family members and devices. , Smartphones 600A, 600B, 600C, notebook personal computer 600D and other terminals, and databases 101, 501 may be included. However, the voice server 100 or the control server 500 may store at least one of the databases 101 and 501.
<Overview of network system operation>

次に、図２５を参照して、本実施の形態にかかるネットワークシステム１の動作概要について説明する。   Next, an operation outline of the network system 1 according to the present embodiment will be described with reference to FIG.

まず、音声サーバ１００は、第１のタイミングにおいて、音声データの取得指示を機器２００に送信する（１）。ここで、第１のタイミングは、第１〜第３のそれと同様であるため、ここでは説明を繰り返さない。   First, the voice server 100 transmits a voice data acquisition instruction to the device 200 at the first timing (1). Here, since the first timing is the same as the first to third timings, the description will not be repeated here.

機器２００のプロセッサ２１０は、指定された音声データをダウンロードする。機器２００のプロセッサ２１０は、指定された音声データのダウンロードが完了すると、音声データの取得が完了した旨を音声サーバ１００に通知する（２）。   The processor 210 of the device 200 downloads the designated audio data. When the download of the designated audio data is completed, the processor 210 of the device 200 notifies the audio server 100 that the acquisition of the audio data has been completed (2).

次に、音声サーバ１００は、第２のタイミングにおいて、音声データの発話指示を機器２００に送信する（３）。ここで、第２のタイミングは、第１〜第３のそれと同様であるため、ここでは説明を繰り返さない。   Next, the voice server 100 transmits a voice data speech instruction to the device 200 at the second timing (3). Here, since the second timing is the same as that of the first to third, description thereof will not be repeated here.

機器２００のプロセッサ２１０は、発話指示に基づいて、スピーカ２８０に音声を出力させる。プロセッサ２１０は、指定された音声データの発話処理が完了すると、発話が完了した旨の通知を音声サーバ１００に通知する（４）。   The processor 210 of the device 200 causes the speaker 280 to output sound based on the utterance instruction. When the utterance processing of the designated voice data is completed, the processor 210 notifies the voice server 100 of the notification that the utterance is completed (4).

音声サーバ１００は、機器２００から発話が完了した旨の通知を受信すると、あるいは第３のタイミングにおいて、当該機器２００に対する次の発話指示を当該機器２００に送信する（５）。ここで、第３のタイミングも、第１〜第３のそれと同様であるため、ここでは説明を繰り返さない。   When receiving the notification that the utterance is completed from the device 200 or at the third timing, the voice server 100 transmits a next utterance instruction to the device 200 to the device 200 (5). Here, the third timing is the same as the first to third timings, and therefore, description thereof will not be repeated here.

機器２００のプロセッサ２１０は、次の発話指示に基づいて、スピーカ２８０に音声を出力させる。プロセッサ２１０は、指定された音声データの発話処理が完了すると、通信インターフェイス２６０を介して、発話が完了した旨の通知を音声サーバ１００に通知する（６）。   The processor 210 of the device 200 causes the speaker 280 to output sound based on the next utterance instruction. When the utterance processing of the designated voice data is completed, the processor 210 notifies the voice server 100 of the notification that the utterance is completed via the communication interface 260 (6).

このように、本実施の形態にかかるネットワークシステム１においても、第１〜第３の実施の形態と同様の効果を奏する。   As described above, the network system 1 according to the present embodiment also has the same effects as those of the first to third embodiments.

なお、本実施の形態にかかるネットワークシステム１でも、機器２００が機器２００のエラーを検知した場合には、その旨の通知を音声サーバ１００および制御サーバ５００に送信してもよい。すると、音声サーバ１００は、エラー音声の発話指示を機器２００に送信する。機器２００は、エラーが生じたことを示す音声を発する。同様に、制御サーバ５００は、エラーを示す情報またはエラー音声自体を端末６００に送信する。これによって、端末６００は、エラーを示す情報を表示したり、エラー示す音声を出力したりする。制御サーバ５００は、エラーを示す情報を端末６００が属するグループのＳＮＳのページに投稿しても良い。   Even in the network system 1 according to the present embodiment, when the device 200 detects an error of the device 200, a notification to that effect may be transmitted to the voice server 100 and the control server 500. Then, the voice server 100 transmits an error voice utterance instruction to the device 200. The device 200 emits a sound indicating that an error has occurred. Similarly, control server 500 transmits information indicating an error or error sound itself to terminal 600. As a result, the terminal 600 displays information indicating an error or outputs a sound indicating an error. The control server 500 may post information indicating an error on the SNS page of the group to which the terminal 600 belongs.

ただし、機器２００のプロセッサ２１０がエラーを検知した場合には、音声サーバ１００からの発話指示がなくても、プロセッサ２１０は予め取得しているエラー音声をスピーカ２８０に出力させてもよい。このとき、機器２００は、エラーを示す情報またはエラー音声自体を、制御サーバ５００を介して端末６００に送信する。これによって、端末６００は、エラーを示す情報を表示したり、エラーを示す音声を出力したりする。
＜第５の実施の形態＞However, when the processor 210 of the device 200 detects an error, the processor 210 may cause the speaker 280 to output the error sound acquired in advance even if there is no utterance instruction from the voice server 100. At this time, the device 200 transmits information indicating an error or the error sound itself to the terminal 600 via the control server 500. As a result, the terminal 600 displays information indicating an error or outputs a sound indicating an error.
<Fifth embodiment>

第１〜第３の実施の形態にかかるネットワークシステム１は、機器２００がアダプタ３００を介して音声サーバ１００とデータの送受信を行うものであった。そして、第４の実施の形態にかかるネットワークシステム１は、機器２００がアダプタ３００を介さずに音声サーバ１００とデータの送受信を行うものであった。しかしながら、それらの中間の構成を採用することもできる。   In the network system 1 according to the first to third embodiments, the device 200 transmits and receives data to and from the voice server 100 via the adapter 300. In the network system 1 according to the fourth embodiment, the device 200 transmits / receives data to / from the voice server 100 without using the adapter 300. However, an intermediate configuration between them can also be adopted.

つまり、本実施の形態においては、冷蔵庫２００Ａ、エアコン２００Ｂ、洗濯機２００Ｃなどの機器と、ルータ４００の間に、アダプタ３００Ａ，３００Ｂ，３００Ｃが配置される。しかしながら、本実施の形態においては、第１〜第３の実施の形態と比較して、アダプタ３００の役割が減らされて、その分だけ機器２００の役割が増したものである。換言すれば、第１〜第３の実施の形態にかかるアダプタ３００の役割の一部を、機器２００が担うものである。   That is, in the present embodiment, adapters 300A, 300B, and 300C are arranged between devices such as refrigerator 200A, air conditioner 200B, and washing machine 200C and router 400. However, in the present embodiment, compared with the first to third embodiments, the role of the adapter 300 is reduced, and the role of the device 200 is increased accordingly. In other words, the device 200 plays a part of the role of the adapter 300 according to the first to third embodiments.

たとえば、アダプタ３００は、単に、機器２００からのデータをＵＡＲＴなどを利用することによって受信し、ＷｉＦｉ（登録商標）などを利用することによって当該データをルータ４００に転送する。逆に、アダプタ３００は、単に、ルータ４００からのデータをＷｉＦｉ（登録商標）などを利用することによって受信し、ＵＡＲＴなどを利用することによって当該データを機器２００に送信する。   For example, the adapter 300 simply receives data from the device 200 by using UART or the like, and transfers the data to the router 400 by using WiFi (registered trademark) or the like. Conversely, the adapter 300 simply receives data from the router 400 by using WiFi (registered trademark) or the like, and transmits the data to the device 200 by using UART or the like.

その他の第１〜第３の実施の形態におけるアダプタ３００の役割、たとえば、音声データの取得や、音声データベース３２１の記憶およびそれらの利用や、発話指示データ３２２の記憶およびそれらの利用などは機器２００が行う。
＜第６の実施の形態＞The role of the adapter 300 in the other first to third embodiments, for example, acquisition of voice data, storage of the voice database 321 and their use, storage of the speech instruction data 322 and their use, etc. Do.
<Sixth Embodiment>

第１の実施の形態にかかるネットワークシステム１は、機器２００やアダプタ３００が発話をキャンセルするための元になるデータを発信するものであった。しかしながら、音声サーバ１００が、未だ完了していない発話指示をキャンセルするための命令を発信できるものであってもよい。   The network system 1 according to the first embodiment transmits data that is the basis for the device 200 and the adapter 300 to cancel the utterance. However, the voice server 100 may be capable of transmitting a command for canceling an utterance instruction that has not yet been completed.

なお、以下では、図２７を参照しながら、本実施の形態にかかるネットワークシステム１の情報処理について、第１の実施の形態と異なる部分について説明する。その他の構成については、第１の実施の形態のそれらと同様であるため、ここでは説明を繰り返さない。図２７は、本実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。   In the following, with respect to the information processing of the network system 1 according to the present embodiment, parts different from the first embodiment will be described with reference to FIG. Other configurations are the same as those in the first embodiment, and thus description thereof will not be repeated here. FIG. 27 is a sequence diagram showing information processing of the network system 1 according to the present embodiment.

本実施の形態においては、発話指示データベース１２２を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに発話指示を送信する（ステップＳ１３２）。このとき、プロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する送信フラグをＯＮにする。   In the present embodiment, referring to utterance instruction database 122, processor 110 of voice server 100 transmits an utterance instruction to adapter 300A of refrigerator 200A via communication interface 160 (step S132). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 122.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。プロセッサ３１０は、ＬＥＤライト２３０を点滅させるための条件、すなわち発話するための条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声指示があることを示すＬＥＤ状態（点滅）の設定命令を機器２００に送信する。機器２００のプロセッサ２１０は、ＬＥＤライト２３０を点滅させる（ステップＳ１３３）。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. The processor 310 indicates an LED state (flashing) indicating that there is a voice instruction via the first communication interface 361 when a condition for blinking the LED light 230, that is, a condition for speaking is satisfied. Is sent to the device 200. The processor 210 of the device 200 causes the LED light 230 to blink (step S133).

ＬＥＤライト２３０が点滅している状態においてスイッチ（ボタン）２４０が押下されると（ステップＳ１３４）、アダプタ３００のプロセッサ３１０は、発話条件が満たされている場合に、通信インターフェイス３６０を介して、音声データを冷蔵庫２００Ａに送信することによって、冷蔵庫２００Ａに音声を出力させる（ステップＳ１３５）。   When the switch (button) 240 is pressed in a state where the LED light 230 is blinking (step S134), the processor 310 of the adapter 300 performs voice communication via the communication interface 360 when the utterance condition is satisfied. By transmitting data to the refrigerator 200A, the audio is output to the refrigerator 200A (step S135).

本実施の形態においては、音声データの有効期限が切れた場合（ステップＳ１４４、ステップＳ１７４）、機器２００のプロセッサ２１０は対象となる発話命令をキャンセルし、ＬＥＤライト２３０を消灯する（ステップＳ１４５、ステップＳ１７５）。音声サーバ１００のプロセッサ１１０は、有効期限切れの通知を受け取っても（ステップＳ１４６、ステップＳ１７６）、キャンセルするための通知を送信する必要はない。   In the present embodiment, when the expiration date of the audio data has expired (steps S144 and S174), the processor 210 of the device 200 cancels the target speech command and turns off the LED light 230 (steps S145 and step S145). S175). Even if the processor 110 of the voice server 100 receives the expiration notification (steps S146 and S176), it is not necessary to transmit a notification for cancellation.

なお、本実施の形態においても、音声サーバ１００のプロセッサ１１０は、発話指示データベース１２２の、当該発話指示に対応する完了フラグをＯＮにする。プロセッサ１１０は、発話指示データベース１２２を参照して、エアコン２００Ｂに対応する次の発話指示を読み出す。プロセッサ１１０は、通信インターフェイス１６０を介して、次の発話指示をアダプタ３００に送信する（ステップＳ１５２）。   Also in this embodiment, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 122. The processor 110 refers to the utterance instruction database 122 and reads the next utterance instruction corresponding to the air conditioner 200B. The processor 110 transmits the next utterance instruction to the adapter 300 via the communication interface 160 (step S152).

そして特に、本実施の形態においては、プロセッサ１１０は、管理者からの命令や他のコンピュータからの要求に応じて、当該発話指示をキャンセルするための命令を通信インターフェイス１６０を介してアダプタ３００に送信する（ステップＳ１８２）。機器２００やアダプタ３００のプロセッサは、当該発話指示をキャンセルするための命令を受信すると、対象となる発話命令をキャンセルする。そして、ＬＥＤライト２３０を消灯する（ステップＳ１５５）。これによって、当該発話指示を実行するための条件が満たされていない場合や、当該発話指示のためのＬＥＤライト２３０が点滅しているのにスイッチ２４０が未だ押下されていない場合に、機器２００からの音声出力を中止することができる。   In particular, in this embodiment, the processor 110 transmits a command for canceling the speech instruction to the adapter 300 via the communication interface 160 in response to a command from the administrator or a request from another computer. (Step S182). When receiving a command for canceling the utterance instruction, the processor of the device 200 or the adapter 300 cancels the target utterance command. Then, the LED light 230 is turned off (step S155). As a result, when the condition for executing the utterance instruction is not satisfied, or when the switch 240 has not been pressed even though the LED light 230 for the utterance instruction is blinking, the device 200 Can be stopped.

本実施の形態の構成は、第３から第５の実施の形態のネットワークシステム１にも適用できる。
＜第７の実施の形態＞The configuration of the present embodiment can also be applied to the network system 1 of the third to fifth embodiments.
<Seventh embodiment>

第２の実施の形態にかかるネットワークシステム１も、機器２００やアダプタ３００が発話をキャンセルするための指示を発信するものであった。しかしながら、音声サーバ１００が、機器２００に対して、他の機器にて既に完了した発話指示をキャンセルできるものであってもよい。   The network system 1 according to the second embodiment also transmits an instruction for the device 200 or the adapter 300 to cancel the utterance. However, the voice server 100 may be capable of canceling a speech instruction that has already been completed by another device with respect to the device 200.

なお、以下では、図２８を参照しながら、本実施の形態にかかるネットワークシステム１の情報処理について、第１の実施の形態と異なる部分について説明する。その他の構成については、第１の実施の形態のそれらと同様であるため、ここでは説明を繰り返さない。図２８は、本実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。   In the following, with reference to FIG. 28, the information processing of the network system 1 according to the present embodiment will be described with respect to differences from the first embodiment. Other configurations are the same as those in the first embodiment, and thus description thereof will not be repeated here. FIG. 28 is a sequence diagram showing information processing of the network system 1 according to the present embodiment.

本実施の形態においては、発話指示データベース１２３を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、冷蔵庫２００Ａのアダプタ３００Ａに発話指示を送信する（ステップＳ２３２）。同様に、発話指示データベース１２３を参照して、音声サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、エアコン２００Ｂのアダプタ３００Ｂに発話指示を送信する（ステップＳ２３３）。このとき、プロセッサ１１０は、発話指示データベース１２３の、当該発話指示に対応する送信フラグをＯＮにする。   In the present embodiment, referring to utterance instruction database 123, processor 110 of voice server 100 transmits an utterance instruction to adapter 300A of refrigerator 200A via communication interface 160 (step S232). Similarly, referring to utterance instruction database 123, processor 110 of voice server 100 transmits an utterance instruction to adapter 300B of air conditioner 200B via communication interface 160 (step S233). At this time, the processor 110 turns on the transmission flag corresponding to the utterance instruction in the utterance instruction database 123.

アダプタ３００Ａのプロセッサ３１０は、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。同様に、アダプタ３００Ｂのプロセッサ３１０も、第２の通信インターフェイス３６２を介して、発話指示を受信する。プロセッサ３１０は、現在時刻や気温やユーザ操作が発話指示の条件を満たすか否かを判断する。   The processor 310 of the adapter 300A receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition. Similarly, the processor 310 of the adapter 300B also receives the utterance instruction via the second communication interface 362. The processor 310 determines whether the current time, temperature, and user operation satisfy the utterance instruction condition.

アダプタ３００Ａのプロセッサ３１０は、ＬＥＤライト２３０を点滅させるための条件、すなわち発話するための条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声指示があることを示すＬＥＤ状態（点滅）の設定命令を機器２００に送信する。機器２００のプロセッサ２１０は、ＬＥＤライト２３０を点滅させる（ステップＳ２３２１）。   The processor 310 of the adapter 300A indicates an LED status indicating that there is a voice instruction via the first communication interface 361 when the condition for blinking the LED light 230, that is, the condition for speaking is satisfied. (Flashing) setting command is transmitted to the device 200. The processor 210 of the device 200 blinks the LED light 230 (step S2321).

ＬＥＤライト２３０が点滅している状態においてスイッチ２４０が押下されると（ステップＳ２３２２）、アダプタ３００のプロセッサ３１０は、発話条件が満たされている場合に、通信インターフェイス３６０を介して、音声データを冷蔵庫２００Ａに送信することによって、冷蔵庫２００Ａに音声を出力させる（ステップＳ２３４）。プロセッサ３１０は、第２の通信インターフェイス３６２を介して、音声サーバ１００に発話完了通知を送信する（ステップＳ２３６）。   When the switch 240 is pressed while the LED light 230 is blinking (step S2322), the processor 310 of the adapter 300 transmits the audio data to the refrigerator via the communication interface 360 when the speech condition is satisfied. By transmitting to 200A, the audio is output to refrigerator 200A (step S234). The processor 310 transmits an utterance completion notification to the voice server 100 via the second communication interface 362 (step S236).

一方、アダプタ３００Ｂのプロセッサ３１０は、ＬＥＤライト２３０を点滅させるための条件、すなわち発話するための条件が満たされている場合に、第１の通信インターフェイス３６１を介して、音声指示があることを示すＬＥＤ状態（点滅）の設定命令を機器２００に送信する。機器２００のプロセッサ２１０は、ＬＥＤライト２３０を点滅させる（ステップＳ２３３１）。   On the other hand, the processor 310 of the adapter 300B indicates that there is a voice instruction via the first communication interface 361 when the condition for blinking the LED light 230, that is, the condition for speaking is satisfied. An LED state (blinking) setting command is transmitted to the device 200. The processor 210 of the device 200 blinks the LED light 230 (step S2331).

音声サーバ１００のプロセッサ１１０は、アダプタ３００Ａから発話完了通知を受け取ると、発話指示データベース１２３の、当該発話指示に対応する完了フラグをＯＮにする。そして、プロセッサ１１０は、当該発話指示をキャンセルする指示を通信インターフェイス１６０を介してアダプタ３００Ｂに送信する（ステップＳ２３３２）。機器２００やアダプタ３００のプロセッサは、当該発話指示をキャンセルするための命令を受信すると、対象となる発話命令をキャンセルする。そして、ＬＥＤライト２３０を消灯する（ステップＳ２３３３）。音声サーバ１００のプロセッサ１１０は、発話指示データベース１２２を参照して、当該グループに対応する次の発話指示を読み出す。   Upon receiving the utterance completion notification from the adapter 300A, the processor 110 of the voice server 100 turns on the completion flag corresponding to the utterance instruction in the utterance instruction database 123. Then, the processor 110 transmits an instruction to cancel the utterance instruction to the adapter 300B via the communication interface 160 (step S2332). When receiving a command for canceling the utterance instruction, the processor of the device 200 or the adapter 300 cancels the target utterance command. Then, the LED light 230 is turned off (step S2333). The processor 110 of the voice server 100 refers to the utterance instruction database 122 and reads the next utterance instruction corresponding to the group.

本実施の形態においては、音声データの有効期限が切れた場合（ステップＳ２５４、ステップＳ２５５）、機器２００のプロセッサ２１０は対象となる発話命令をキャンセルし、ＬＥＤライト２３０を消灯する（ステップＳ２５２３、ステップＳ２５３３）。音声サーバ１００のプロセッサ１１０は、有効期限切れの通知を受け取っても（ステップＳ２５６、ステップＳ２５７）、キャンセルするための通知を送信する必要はない。   In the present embodiment, when the expiration date of the audio data has expired (step S254, step S255), the processor 210 of the device 200 cancels the target speech command and turns off the LED light 230 (step S2523, step S255). S2533). Even if the processor 110 of the voice server 100 receives the expiration notification (step S256, step S257), it is not necessary to transmit a notification for cancellation.

なお、本実施の形態においては、図２０を参照して、抽出した発話指示の中に、送信フラグが「ＯＮ」になっていない指示がない場合（ステップＳ２４０６にてＮＯである場合）、キャンセル通知をアダプタ３００に送信する必要はない。   In the present embodiment, referring to FIG. 20, if there is no instruction in which the transmission flag is not “ON” in the extracted utterance instruction (NO in step S2406), canceling is performed. There is no need to send a notification to the adapter 300.

本実施の形態の構成は、第３から第５の実施の形態のネットワークシステム１にも適用できる。
＜その他の応用例＞The configuration of the present embodiment can also be applied to the network system 1 of the third to fifth embodiments.
<Other application examples>

本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。   It goes without saying that the present invention can also be applied to a case where it is achieved by supplying a program to a system or apparatus. Then, a storage medium (or memory) storing a program represented by software for achieving the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores it in the storage medium. The effect of the present invention can also be enjoyed by reading and executing the program code.

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。   In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on the instruction of the program code However, it is needless to say that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program code read from the storage medium is written to another storage medium provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU of the function expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

１ ：ネットワークシステム
１００ ：音声サーバ
１０１ ：音声データベース
１１０ ：プロセッサ
１２０ ：メモリ
１２１ ：音声データ取得指示データベース
１２２ ：発話指示データベース
１２３ ：発話指示データベース
１２４ ：発話指示データベース
１３０ ：ライト
１４０ ：スイッチ
１６０ ：通信インターフェイス
２００ ：機器
２００Ａ ：冷蔵庫
２００Ｂ ：エアコン
２００Ｃ ：洗濯機
２１０ ：プロセッサ
２２０ ：メモリ
２３０ ：ライト
２４０ ：スイッチ
２６０ ：通信インターフェイス
２８０ ：スピーカ
２９０ ：機器駆動部
３００ ：アダプタ
３００Ａ ：アダプタ
３００Ｂ ：アダプタ
３００Ｃ ：アダプタ
３１０ ：プロセッサ
３２０ ：メモリ
３２１ ：音声データベース
３２２ ：発話指示データ
３３０ ：ライト
３４０ ：スイッチ
３６１ ：第１の通信インターフェイス
３６２ ：第２の通信インターフェイス
４００ ：ルータ
５００ ：制御サーバ
５０１ ：グループデータベース
５１０ ：プロセッサ
５２０ ：メモリ
５２１ ：グループデータベース
５３０ ：ライト
５４０ ：スイッチ
５６０ ：通信インターフェイス
６００ ：端末
６００Ａ ：スマートフォン
６００Ｂ ：スマートフォン
６００Ｃ ：スマートフォン
６００Ｄ ：ノートパソコン
６１０ ：プロセッサ
６２０ ：メモリ
６３０ ：ディスプレイ
６４０ ：ポインティングデバイス
６５０ ：タッチパネル
６６０ ：通信インターフェイス
６８０ ：スピーカ1: network system 100: voice server 101: voice database 110: processor 120: memory 121: voice data acquisition instruction database 122: utterance instruction database 123: utterance instruction database 124: utterance instruction database 130: light 140: switch 160: communication interface 200: device 200A: refrigerator 200B: air conditioner 200C: washing machine 210: processor 220: memory 230: light 240: switch 260: communication interface 280: speaker 290: device driving unit 300: adapter 300A: adapter 300B: adapter 300C: adapter 310 : Processor 320: Memory 321: Voice database 322: Utterance instruction data 330: Light 340: Switch 3 1: First communication interface 362: Second communication interface 400: Router 500: Control server 501: Group database 510: Processor 520: Memory 521: Group database 530: Light 540: Switch 560: Communication interface 600: Terminal 600A: Smartphone 600B: Smartphone 600C: Smartphone 600D: Notebook PC 610: Processor 620: Memory 630: Display 640: Pointing device 650: Touch panel 660: Communication interface 680: Speaker

Claims (11)

複数種類の音声データを記憶することが可能であって、前記音声データを記憶したことを示すデータを送信するための機器と、
前記音声データが記憶されたタイミングとは異なるタイミングで、前記機器に、前記音声データに基づいて音声を出力させるための条件と有効期限とを含む指示を送信するためのサーバとを備え、
前記サーバは、前記機器に対する複数の前記指示を記憶し、
前記機器は、前記有効期限内に前記条件が満たされなかった場合に前記サーバに第１の通知を送信し、
前記サーバは、前記第１の通知を受信すると、前記機器に次の指示を送信する、ネットワークシステム。 It is possible to store a plurality of types of audio data, and a device for transmitting data indicating that the audio data has been stored;
A server for transmitting an instruction including a condition and an expiration date for causing the device to output audio based on the audio data at a timing different from the timing at which the audio data is stored;
The server stores a plurality of said instructions to said device,
The device sends a first notification to the server if the condition is not met within the expiration date ,
When the server receives the first notification, the server transmits a next instruction to the device. 前記機器は、前記指示に応じて前記音声の出力を完了すると、前記サーバに第２の通知を送信し、
前記サーバは、前記第２の通知を受信すると、前記機器に次の指示を送信する、請求項１に記載のネットワークシステム。 Before SL equipment completes the output of the speech in response to the instruction, it transmits a second notification to the server,
The network system according to claim 1, wherein upon receiving the second notification, the server transmits a next instruction to the device. 前記サーバは、前記機器とグループとの対応関係を参照可能であって、
前記サーバは、同じグループの複数の機器に前記指示を送信し、前記同じグループの複数の機器のいずれかから前記第２の通知を受信すると、前記同じグループの複数の機器に次の指示を送信する、請求項２に記載のネットワークシステム。 The server can refer to the correspondence between the device and the group,
The server transmits the instruction to a plurality of devices in the same group, and when receiving the second notification from any of the plurality of devices in the same group, transmits the next instruction to the plurality of devices in the same group. The network system according to claim 2. 前記サーバは、前記機器とグループとの対応関係を参照可能であって、
前記サーバは、同じグループの複数の機器が異なる音声を出力するように、前記同じグループの複数の機器のそれぞれに異なる指示を送信する、請求項１または２に記載のネットワークシステム。 The server can refer to the correspondence between the device and the group,
The network system according to claim 1, wherein the server transmits different instructions to the plurality of devices in the same group so that the plurality of devices in the same group output different sounds. 前記グループは、家族、位置、部屋、属性のうちの少なくともいずれかに基づくものである、請求項３または４に記載のネットワークシステム。   The network system according to claim 3 or 4, wherein the group is based on at least one of a family, a location, a room, and an attribute. 前記サーバは、前記指示をキャンセルするための命令を送信する、請求項１から５のいずれか１項に記載のネットワークシステム。 The server sends a command for canceling the indication, the network system according to any one of claims 1 to 5. 複数種類の音声データを記憶することが可能な機器とサーバとを含むネットワークシステムにおける情報処理方法であって、
前記機器が、前記音声データを記憶したことを示すデータを送信するステップと、
前記音声データが記憶されたタイミングとは異なるタイミングで、前記サーバが、前記機器に、前記音声データに基づいて音声を出力させるための条件と有効期限とを含む指示を送信するステップと、
前記サーバが、前記機器に対する複数の前記指示を記憶するステップと、
前記機器が、前記有効期限内に前記条件が満たされなかった場合に前記サーバに第１の通知を送信するステップと、
前記サーバが、前記第１の通知を受信して、前記機器に次の指示を送信するステップと、を備える、ネットワークシステムにおける情報処理方法。 An information processing method in a network system including a device and a server capable of storing a plurality of types of audio data,
Transmitting the data indicating that the device has stored the audio data;
Transmitting an instruction including a condition and an expiration date for causing the device to output audio based on the audio data at a timing different from the timing at which the audio data is stored;
The server, storing a plurality of said instructions to said device,
The device sending a first notification to the server if the condition is not met within the expiration date ;
The server receives the first notification and transmits a next instruction to the device. An information processing method in a network system. 機器と通信するための通信インターフェイスと、
前記機器に対する、音声を出力するための条件と有効期限とを含む、複数の指示を記憶するためのメモリと、
プロセッサとを備えるサーバであって、
前記プロセッサは、音声データが前記機器に記憶されたタイミングとは異なるタイミングで、前記通信インターフェイスを介して、前記機器に、前記音声データに基づいて音声を出力させるための前記条件と前記有効期限とを含む指示を送信し、前記機器から第１の通知を受信すると、前記機器に次の指示を送信する、サーバ。 A communication interface for communicating with the device;
A memory for storing a plurality of instructions including a condition for outputting sound and an expiration date for the device;
A server comprising a processor,
The processor is configured to cause the device to output sound based on the audio data and the expiration date via the communication interface at a timing different from the timing at which the audio data is stored in the device. A server that transmits an instruction including the following instruction to the apparatus upon receiving the first notification from the apparatus. 機器と通信するための通信インターフェイスと、メモリと、プロセッサとを含むサーバにおける情報処理方法であって、
前記機器に対する、音声を出力するための条件と有効期限とを含む、複数の指示を前記メモリに記憶するステップと、
音声データが前記機器に記憶されたタイミングとは異なるタイミングで、前記プロセッサが、前記通信インターフェイスを介して、前記機器に、前記音声データに基づいて音声を出力させるための前記条件と前記有効期限とを含む指示を送信するステップと、
前記プロセッサが、前記通信インターフェイスを介して、前記機器から第１の通知を受信するステップと、
前記プロセッサが、前記通信インターフェイスを介して、前記機器に次の指示を送信するステップと、を備えるサーバにおける情報処理方法。 An information processing method in a server including a communication interface for communicating with a device, a memory, and a processor,
Storing a plurality of instructions in the memory including a condition for outputting sound and an expiration date for the device;
The condition for causing the device to output audio based on the audio data and the expiration date via the communication interface at a timing different from the timing at which the audio data is stored in the device. Sending instructions including :
The processor receiving a first notification from the device via the communication interface;
And a step in which the processor transmits a next instruction to the device via the communication interface. 複数種類の音声データを記憶するためのメモリと、
サーバと通信するための通信インターフェイスと、
プロセッサとを備える通信機器であって、前記プロセッサは、
前記音声データが前記メモリに記憶されたタイミングとは異なるタイミングで、前記通信インターフェイスを介して、前記サーバから、前記音声データに基づいて音声を出力するための条件と有効期限とを含む指示を受信し、前記有効期限内に前記条件が満たされなかった場合に前記サーバに第１の通知を送信し、前記サーバから次の指示を受信する、通信機器。 A memory for storing multiple types of audio data;
A communication interface for communicating with the server;
A communication device comprising a processor, wherein the processor is
An instruction including a condition for outputting audio based on the audio data and an expiration date is received from the server via the communication interface at a timing different from the timing at which the audio data is stored in the memory. And a communication device that transmits a first notification to the server and receives a next instruction from the server when the condition is not satisfied within the expiration date . 複数種類の音声データを記憶するためのメモリと、サーバと通信するための通信インターフェイスと、プロセッサとを含む通信機器における情報処理方法であって、
前記音声データが前記メモリに記憶されたタイミングとは異なるタイミングで、前記プロセッサが、前記通信インターフェイスを介して、前記サーバから、前記音声データに基づいて音声を出力するための条件と有効期限とを含む指示を受信するステップと、
前記有効期限内に前記条件が満たされなかった場合に、前記プロセッサが、前記通信インターフェイスを介して、前記サーバに第１の通知を送信するステップと、
前記プロセッサが、前記サーバから次の指示を受信するステップと、を備える通信機器における情報処理方法。 An information processing method in a communication device including a memory for storing a plurality of types of audio data, a communication interface for communicating with a server, and a processor,
A condition and an expiration date for the processor to output sound based on the sound data from the server via the communication interface at a timing different from the timing at which the sound data is stored in the memory. Receiving an instruction including :
If the condition is not met within the expiration date, the processor sends a first notification to the server via the communication interface;
A step of receiving a next instruction from the server;
JP2016519202A 2014-05-15 2015-04-28 Network system, server, communication device, and information processing method Active JP6349386B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014101082 2014-05-15
JP2014101082 2014-05-15
PCT/JP2015/062803 WO2015174272A1 (en) 2014-05-15 2015-04-28 Network system, server, communication apparatus, information processing method, and program

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2017147823A Division JP6678626B2 (en) 2014-05-15 2017-07-31 Network system, server, communication device, and information processing method
JP2017147822A Division JP6371889B2 (en) 2014-05-15 2017-07-31 Network system, server, and information processing method

Publications (2)

Publication Number Publication Date
JPWO2015174272A1 JPWO2015174272A1 (en) 2017-04-20
JP6349386B2 true JP6349386B2 (en) 2018-06-27

Family

ID=54479814

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016519202A Active JP6349386B2 (en) 2014-05-15 2015-04-28 Network system, server, communication device, and information processing method
JP2017147822A Active JP6371889B2 (en) 2014-05-15 2017-07-31 Network system, server, and information processing method
JP2017147823A Expired - Fee Related JP6678626B2 (en) 2014-05-15 2017-07-31 Network system, server, communication device, and information processing method

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2017147822A Active JP6371889B2 (en) 2014-05-15 2017-07-31 Network system, server, and information processing method
JP2017147823A Expired - Fee Related JP6678626B2 (en) 2014-05-15 2017-07-31 Network system, server, communication device, and information processing method

Country Status (3)

Country Link
JP (3) JP6349386B2 (en)
CN (1) CN106255963B (en)
WO (1) WO2015174272A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7036561B2 (en) * 2017-10-03 2022-03-15 東芝ライフスタイル株式会社 Home appliance system
CN108092925A (en) * 2017-12-05 2018-05-29 佛山市顺德区美的洗涤电器制造有限公司 Voice update method and device
US10885917B2 (en) * 2018-03-14 2021-01-05 Google Llc Generating IoT-based notification(s) and provisioning of command(s) to cause automatic rendering of the IoT-based notification(s) by automated assistant client(s) of client device(s)
JP6681429B2 (en) * 2018-05-25 2020-04-15 シャープ株式会社 Network system, server, and information processing method
JP2020041738A (en) * 2018-09-10 2020-03-19 シャープ株式会社 Network system, server and information processing method
CN109558357B (en) * 2018-10-31 2020-10-30 许继集团有限公司 Method for collecting and controlling signal, main CPU plug-in and sub plug-in
JP7373386B2 (en) * 2019-12-19 2023-11-02 東芝ライフスタイル株式会社 Control device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100514191B1 (en) * 2003-01-23 2005-09-13 삼성전자주식회사 remote controller and set-top-box for it
JP2004274228A (en) * 2003-03-06 2004-09-30 Matsushita Electric Ind Co Ltd Information processing system, electronic apparatus, information processor, and sound output apparatus
JP2005031540A (en) * 2003-07-10 2005-02-03 Toshiba Corp Household electric appliance with voice function
JP2005311864A (en) * 2004-04-23 2005-11-04 Toshiba Corp Household appliances, adapter instrument, and household appliance system
KR100754521B1 (en) * 2005-02-22 2007-09-03 삼성전자주식회사 Home network system and method for providing information therein
JP2008046424A (en) * 2006-08-17 2008-02-28 Toshiba Corp Electric appliance and electric appliance network system
JP4703688B2 (en) * 2008-06-03 2011-06-15 三菱電機株式会社 Utterance right adjustment system and utterable equipment
JP2010068390A (en) * 2008-09-12 2010-03-25 Hitachi Kokusai Electric Inc Wireless communication system
KR101482138B1 (en) * 2009-07-31 2015-01-13 엘지전자 주식회사 Diagnostic system and method for home appliance
KR101442107B1 (en) * 2010-07-06 2014-09-18 엘지전자 주식회사 Apparatus for diagnosing home appliances
JP2013257295A (en) * 2012-06-14 2013-12-26 Sharp Corp Body weight measurement system, server, weight scale, body weight measurement result notification method and program
JP5963557B2 (en) * 2012-06-14 2016-08-03 シャープ株式会社 Information notification system, information notification server, information notification method and program
JP5785218B2 (en) * 2013-05-22 2015-09-24 シャープ株式会社 Network system, server, home appliance, program, and home appliance linkage method
JP2015148648A (en) * 2014-02-04 2015-08-20 シャープ株式会社 Dialogue system, speech controller, dialog unit, speech control method, control program of speech controller and control program of dialog unit

Also Published As

Publication number Publication date
CN106255963A (en) 2016-12-21
WO2015174272A1 (en) 2015-11-19
JP2017220248A (en) 2017-12-14
JP6678626B2 (en) 2020-04-08
CN106255963B (en) 2019-02-15
JP2017192158A (en) 2017-10-19
JP6371889B2 (en) 2018-08-08
JPWO2015174272A1 (en) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6371889B2 (en) Network system, server, and information processing method
JP6715283B2 (en) Network system and information processing method
CN105580313B (en) Method and apparatus for controlling device for smart home service
WO2015129372A1 (en) Audio system
JP2016063415A (en) Network system, audio output method, server, device and audio output program
US20150312622A1 (en) Proximity detection of candidate companion display device in same room as primary display using upnp
WO2020228040A1 (en) Smart home system control method and apparatus, electronic device and storage medium
JP2018019313A (en) Control system, communication apparatus, control method, and program
CN113168334A (en) Data processing method and device, electronic equipment and readable storage medium
CN104182232A (en) Method for establishing context-aware applications and user terminal
US11122147B2 (en) Dongle and control method therefor
EP3588912A1 (en) Device and method for sharing context information
CN105573128B (en) User device, driving method thereof, service providing apparatus, and driving method thereof
JP6418863B2 (en) Network system, audio output method, server, device, and audio output program
JP2015170938A (en) Network system, communication method, server, terminal, and communication program
KR101989828B1 (en) Home network service providing system using portable terminal
JP6607668B2 (en) Network system, audio output method, server, device, and audio output program
US20200041151A1 (en) Air conditioning control device, air conditioning control method, and program
WO2016052107A1 (en) Network system, server, device, and communication terminal
JP2018071797A (en) Network system, server, information processing method, air conditioner, and program
JP2020122585A (en) Air-conditioning system
CN111696544A (en) Control method of household appliance, household appliance and control device
US20240015073A1 (en) Connection configuration method and apparatus
JP2017151742A (en) Network system, server, information processing method, and electric appliance
CN113366471A (en) Information pushing method and device, intelligent terminal, server and intelligent equipment system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180604

R150 Certificate of patent or registration of utility model

Ref document number: 6349386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150