WO2019202666A1

WO2019202666A1 - 機器制御システム及び機器制御方法

Info

Publication number: WO2019202666A1
Application number: PCT/JP2018/015883
Authority: WO
Inventors: 恵美竹田
Original assignee: 三菱電機株式会社
Priority date: 2018-04-17
Filing date: 2018-04-17
Publication date: 2019-10-24
Also published as: JP6918215B2; US20200412570A1; US11533191B2; CN111936981A; JPWO2019202666A1; EP3783496A4; EP3783496A1

Abstract

音声入力装置（２）は、ユーザの音声操作を入力し、音声操作に基づく音データを第１クラウドサーバ（５）に送信する。第１クラウドサーバ（５）は、音声入力装置（２）から音声データを受信し、受信した音声データを解析して、ユーザの操作スキルレベルと、音声操作の内容とを決定する。第２クラウドサーバ（６）は、第１クラウドサーバ（５）により決定された、操作スキルレベルと、音声操作の内容とに基づいて、エアコン（３）に対する制御指令を生成し、生成した制御指令をエアコン（３）に送信する。

Description

機器制御システム及び機器制御方法

　本発明は、機器制御システム及び機器制御方法に関する。

　動作指示をユーザの音声によって受け付けることができる機器は広く知られており、また、そのような機器に関し、様々な技術の提案がされている（特許文献１，２等）。

　さらに、近年においては、ＡＩスピーカ（スマートスピーカともいう。）を介した音声操作により、ＩｏＴ（Internet of Things）機器、情報家電、ネット家電等と称されるインターネットに接続される機器を操作できる技術も実現され、一般家庭においても利用されている。

特公平０７－３９８７７号公報特許第６０２５０９１号公報

　上記のように、ＡＩスピーカを介した音声操作ができると、ユーザは、例えば、当該機器の専用リモコンを探し、そして、当該専用リモコンで手動操作する手間を省くことができ、迅速に所望の機器に対して所望の操作を行うことができる。また、このような技術では、音声操作という性質を生かし、通常の専用リモコンでは入力することのできない多様な指示、詳細な指示をユーザから受け付けることが可能となる。

　一方、上記のような技術において、専用リモコンを超えた操作を可能にするためには、複数回の音声入力が必要になる等、音声操作の複雑化が余儀なくされる。音声操作は、通念的には便利なものではあるが、高齢者、幼児、その他の音声操作に不慣れなユーザにとっては、音声入力が増える等して音声操作が複雑化すると、利便感が低下し、また、誤操作を招く懸念もある。

　本発明は、上記実情に鑑みてなされたものであり、ユーザの音声操作のスキルレベルに応じた適切な機器制御を実現できる機器制御システム等を提供することを目的とする。

　上記目的を達成するため、本発明に係る機器制御システムは、
　音入力装置と、機器を制御する機器制御手段と、を備え、
　前記音入力装置は、
　ユーザの音操作を入力する入力手段と、
　前記音操作に基づく音データを前記機器制御手段に送信する送信手段と、を備え、
　前記機器制御手段は、前記音入力装置から前記音データを受信し、前記音データを解析して、前記ユーザの操作スキルレベルと、前記音操作の内容とを決定し、前記操作スキルレベルと、前記音操作の内容とに基づいて、前記機器に対する制御指令を生成し、前記制御指令を前記機器に送信する。

　本発明によれば、ユーザの音声操作のスキルレベルに応じた適切な機器制御を実現することが可能となる。

本発明の実施の形態１に係る機器制御システムの全体構成を示す図実施の形態１に係る音声入力装置のハードウェア構成を示すブロック図実施の形態１に係る音声入力装置の機能構成を示すブロック図実施の形態１に係る第１クラウドサーバのハードウェア構成を示すブロック図実施の形態１に係る第１クラウドサーバが備える二次記憶装置について説明するための図実施の形態１に係る第１クラウドサーバが備える二次記憶装置に記憶される解釈テーブルについて説明するための図実施の形態１に係る第１クラウドサーバの機能構成を示すブロック図実施の形態１に係る第２クラウドサーバのハードウェア構成を示すブロック図実施の形態１に係る第２クラウドサーバが備える二次記憶装置について説明するための図実施の形態１に係る第２クラウドサーバが備える二次記憶装置に記憶される変換テーブルについて説明するための図実施の形態１に係る第２クラウドサーバの機能構成を示すブロック図実施の形態１に係る機器制御システムが実行する処理の流れを示す図実施の形態１において、ユーザの操作スキルレベルに応じた制御結果の一例を示す図実施の形態１において、ユーザの操作スキルレベルに応じた制御結果の一例を示す図本発明の実施の形態２に係る機器制御システムの全体構成を示す図本発明の実施の形態３に係る機器制御システムの全体構成を示す図本発明の実施の形態４に係る機器制御システムの全体構成を示す図実施の形態４において、ユーザの操作スキルレベルに応じた操作画面の一例を示す図実施の形態４において、ユーザの操作スキルレベルに応じた操作画面の一例を示す図

　以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
　図１は、本発明の実施の形態１に係る機器制御システム１の全体構成を示す図である。機器制御システム１は、家屋Ｈに設置された機器を音声操作により制御できるようにしたシステムであり、音声入力装置２と、エアコン３と、ホームゲートウェイ４と、第１クラウドサーバ５と、第２クラウドサーバ６とを備える。

　音声入力装置２は、本発明に係る音入力装置の一例である。音声入力装置２は、ユーザの発話により入力された音声に基づいて様々なサービスを提供する装置であり、いわゆるＡＩスピーカ（スマートスピーカともいう。）である。音声入力装置２は、図２に示すように、マイク２０と、スピーカ２１と、通信インタフェース２２と、プロセッサ２３と、ＲＯＭ（Read Only Memory）２４と、ＲＡＭ（Random Access Memory）２５と、二次記憶装置２６とを備える。これらの構成部は、バス２７を介して相互に接続される。

　マイク２０は、ユーザが発した音声を入力し、デジタル音声信号に変換してプロセッサ２３に送出する。スピーカ２１は、プロセッサ２３から送出されたデジタル音声信号に対応する音声を出力する。

　通信インタフェース２２は、ブロードバンドルータとしての機能を有するホームゲートウェイ４と有線又は無線にて通信接続し、ホームゲートウェイ４を介してインターネットに接続される第１クラウドサーバ５を含む他の装置と通信するためのネットワークカードを備える。

　プロセッサ２３は、この音声入力装置２を統括的に制御する。プロセッサ２３によって実現される音声入力装置２の機能の詳細については後述する。ＲＯＭ２４は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ２５は、プロセッサ２３の作業領域として使用される。

　二次記憶装置２６は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤ（Hard Disk Drive）を含んで構成される。二次記憶装置２６は、何れも図示しないが、音声操作入力プログラムと、かかる音声操作入力プログラムの実行時に使用されるデータを記憶する。音声操作入力プログラムは、ユーザの音声操作を入力し、入力した音声操作に基づく音声データを第１クラウドサーバ５に送信する処理と、第１クラウドサーバ５から結果通知を受信し、受信した結果通知に基づく音声を出力する処理とが記述されたプログラムである。

　音声入力装置２は、機能的には、図３に示すように、音声入力部２００と、送信部２０１と、受信部２０２と、音声出力部２０３とを備える。これらの機能部は、プロセッサ２３が二次記憶装置２６に記憶されている音声操作入力プログラムを実行することで実現される。

　音声入力部２００は、本発明に係る入力手段の一例である。音声入力部２００は、ユーザによる音声操作を入力し、入力した音声操作に基づく音声データを生成する。詳細には、音声入力部２００は、ユーザの音声を示すアナログ音声信号にＰＣＭ（Pulse Code Modulation: パルス符号変調）を適用してデジタル音声信号に変換し、さらに非可逆圧縮を適用することにより音声データを生成する。

　送信部２０１は、本発明に係る送信手段の一例である。送信部２０１は、音声入力部２００により生成された音声データをホームゲートウェイ４を介して第１クラウドサーバ５に送信する。

　受信部２０２は、第１クラウドサーバ５から送信された結果通知をホームゲートウェイ４を介して受信する。結果通知とは、第２クラウドサーバ６によりエアコン３に対してユーザの音声操作に従った制御ができたか否かを示す通知である。音声出力部２０３は、受信部２０２により受信された結果通知に対応する音声データに基づく音声を出力する。結果通知に対応する音声データは、予め二次記憶装置２６に保存されている。例えば、結果通知が、第２クラウドサーバ６によりエアコン３に対してユーザの音声操作に従った制御ができたことを示す場合、音声出力部２０３は、“操作しました”との音声を出力する。一方、結果通知が、第２クラウドサーバ６によりエアコン３に対してユーザの音声操作に従った制御ができなかったことを示す場合、音声出力部２０３は、“操作できません”との音声を出力する。

　エアコン３は、本発明に係る機器の一例である。エアコン３は、いわゆるＩｏＴ（Internet of Things）機器、情報家電、ネット家電、スマート家電等と称される機能を有し、ホームゲートウェイ４を介してインターネットに接続される。エアコン３は、当該エアコン３専用の図示しないリモコン（以下、空調リモコンという。）がユーザにより操作されると、当該操作内容に応じた動作を行う。例えば、ユーザは、空調リモコンを手動で操作することで、運転の開始又は停止、冷房、暖房、除湿、送風などの運転モードの変更、目標温度、目標湿度、吹き出し風量、風向き等の変更を指示することができる。また、詳細は後述するが、第２クラウドサーバ６もエアコン３の動作を制御することができる。

　第１クラウドサーバ５は、本発明に係る第１クラウドサーバの一例である。第１クラウドサーバ５は、音声入力装置２のメーカ、販売会社等によって設置され、運用されるサーバコンピュータであり、一般的なＷｅｂサーバとしての機能を有し、インターネットに接続される。第１クラウドサーバ５は、後述する第２クラウドサーバ６と協調して、顧客に音声操作サービスを提供する。第１クラウドサーバ５は、図４に示すように、通信インタフェース５０と、プロセッサ５１と、ＲＯＭ５２と、ＲＡＭ５３と、二次記憶装置５４とを備える。これらの構成部は、バス５５を介して相互に接続される。

　通信インタフェース５０は、インターネットに接続して、ホームゲートウェイ４、第２クラウドサーバ６等の他の装置と通信するためのインタフェースである。プロセッサ５１は、この第１クラウドサーバ５を統括的に制御する。プロセッサ５１によって実現される第１クラウドサーバ５の機能の詳細については後述する。

　ＲＯＭ５２は、複数のファームウェアとこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ５３は、プロセッサ５１の作業領域として使用される。

　二次記憶装置５４は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される大容量の記憶装置である。二次記憶装置５４は、図５に示すように、プログラム５４０と、顧客情報ＤＢ５４１と、解釈テーブル５４２とを記憶する。なお、この他にも、二次記憶装置５４は、音声認識のためのデータベースである音声認識ＤＢ等を記憶する。

　プログラム５４０は、音声操作サービスを実現するためのプログラムである。プログラム５４０には、音声入力装置２から送信された音声データを解析して、操作情報を生成し、第２クラウドサーバ６に送信するための処理が記述されている。

　顧客情報ＤＢ５４１は、音声入力装置２を購入し、音声操作サービスに加入している顧客に関する情報（以下、第１顧客情報という。）を管理するためのデータベースである。第１顧客情報は、音声入力装置２の購入後にユーザが、自宅のパソコン、スマートフォン等を介して、第１クラウドサーバ５にアクセスし、音声操作サービスを受けるための加入手続を行うことで生成され、顧客情報ＤＢ５４１に登録される。

　第１顧客情報には、顧客ＩＤ（identification）と、パスワードと、当該顧客のパソコン、スマートフォン等のメールアドレスと、当該顧客が購入した音声入力装置２のシリアル番号と、当該顧客宅のホームゲートウェイ４のＩＰ（Internet Protocol）アドレスと、当該音声入力装置２のＩＰアドレスと、エアコン３のシリアル番号とが含まれている。

　解釈テーブル５４２は、ユーザの音声操作を解釈する際に使用されるデータテーブルである。詳細には、図６に示すように、解釈テーブル５４２には、ユーザが発した音声と、音声操作の内容、即ち、エアコン３に対する指示内容とを対応付けたレコードが複数登録されている。

　続いて、第１クラウドサーバ５の機能について説明する。図７に示すように、第１クラウドサーバ５は、機能的には、データ受信部５００と、データ解析部５０１と、情報生成部５０２と、情報送信部５０３と、通知受信部５０４と、通知送信部５０５とを備える。これらの機能部は、プロセッサ５１が二次記憶装置５４に記憶されているプログラム５４０を実行することで実現される。

　データ受信部５００は、本発明に係るデータ受信手段の一例である。データ受信部５００は、音声入力装置２から送信された音声データを受信する。データ受信部５００は、受信した音声データをＲＡＭ５３又は二次記憶装置５４に保存する。データ解析部５０１は、本発明に係る解析手段の一例である。データ解析部５０１は、データ受信部５００により受信された音声データを解析して、ユーザの音声操作のスキルレベル（以下、「操作スキルレベル」という。）と、音声操作の内容（即ち、エアコン３に対する指示内容）とを決定する。

　操作スキルレベルとは、ユーザの音声操作におけるスキルの習熟度、即ち、音声操作に慣れている程度を意味する。本実施の形態では、操作スキルレベルを１～３の数値で示す。操作スキルレベルが“１”の場合、音声操作に慣れている程度が低いことを示し、操作スキルレベルが“２”の場合、音声操作に慣れている程度が普通であることを示し、操作スキルレベルが“３”の場合、音声操作に慣れている程度が高いことを示す。

　データ解析部５０１は、音声データを周知の手法で解析して、ユーザの年齢を推定し、推定した年齢に基づいて当該ユーザの操作スキルレベルを決定する。例えば、データ解析部５０１は、推定した年齢が、０～９歳、７０歳以上の場合、操作スキルレベルを“１”に決定し、推定した年齢が、１０～１４歳、５０～６９歳の場合、操作スキルレベルを“２”に決定し、推定した年齢が、１５～４９歳の場合、操作スキルレベルを“３”に決定する。

　また、データ解析部５０１は、音声データを音声認識ＤＢを用いて、周知の音声認識手法で解析し、ユーザが発した音声を特定する。そして、データ解析部５０１は、特定した音声と、解釈テーブル５４２（図６参照）とに基づいて、指示内容、即ち、音声操作の内容を決定する。

　情報生成部５０２は、本発明に係る情報生成手段の一例である。情報生成部５０２は、データ解析部５０１により決定されたユーザの操作スキルレベル及び音声操作の内容と、音声操作の対象機器であるエアコン３のシリアル番号とを含む操作情報を生成する。情報送信部５０３は、本発明に係る情報送信手段の一例である。情報送信部５０３は、情報生成部５０２により生成された操作情報を第２クラウドサーバ６に送信する。

　通知受信部５０４は、第２クラウドサーバ６から上述した結果通知を受信する。結果通知には、制御対象であるエアコン３のシリアル番号が含まれている。通知送信部５０５は、通知受信部５０４により受信された結果通知を、当該エアコン３に対応する音声入力装置２に転送する。

　第２クラウドサーバ６は、本発明に係る第２クラウドサーバの一例である。第２クラウドサーバ６は、エアコン３のメーカ、販売会社等によって設置され、運用されるサーバコンピュータであり、一般的なＷｅｂサーバとしての機能を有し、インターネットに接続される。第２クラウドサーバ６は、顧客宅のエアコン３の動作履歴に基づいて、当該顧客のエアコン３の使用傾向を学習し、学習結果に基づいて、当該エアコン３を自動で制御したり、あるいは、当該エアコン３の使用傾向に基づいて、節電、安全性に関するアドバイスを通知する等の機器管理サービスを提供する。また、上述したように、第２クラウドサーバ６は、第１クラウドサーバ５と協調して、顧客に音声操作サービスを提供する。第１クラウドサーバ５及び第２クラウドサーバ６は、本発明に係る機器制御手段の一例である。

　第２クラウドサーバ６は、図８に示すように、通信インタフェース６０と、プロセッサ６１と、ＲＯＭ６２と、ＲＡＭ６３と、二次記憶装置６４とを備える。これらの構成部は、バス６５を介して相互に接続される。

　通信インタフェース６０は、インターネットに接続して、各顧客宅、即ち、各家屋Ｈのホームゲートウェイ４、第１クラウドサーバ５等の他の装置と通信するためのインタフェースである。プロセッサ６１は、この第２クラウドサーバ６を統括的に制御する。プロセッサ６１によって実現される第２クラウドサーバ６の機能の詳細については後述する。

　ＲＯＭ６２は、複数のファームウェアとこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ６３は、プロセッサ６１の作業領域として使用される。

　二次記憶装置６４は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される大容量の記憶装置である。二次記憶装置６４は、図９に示すように、プログラム６４０と、顧客情報ＤＢ６４１と、運転履歴ＤＢ６４２と、変換テーブル６４３とを記憶する。なお、この他にも、二次記憶装置６４は、各顧客宅のエアコン３の自動制御のためのプログラム、各顧客に節電、安全性に関するアドバイスを通知するためのプログラム等を含む各種のプログラムと、これらのプログラムの実行時に使用されるデータを記憶する。

　プログラム６４０は、第１クラウドサーバ５と協調して音声操作サービスを実現するためのプログラムである。プログラム６４０には、第１クラウドサーバ５から送信された操作情報に基づいてエアコン３を制御するための処理が記述されている。

　顧客情報ＤＢ６４１は、エアコン３を購入し、上述した機器管理サービスに加入している顧客に関する情報（以下、第２顧客情報という。）を管理するためのデータベースである。第２顧客情報は、エアコン３の購入後にユーザが、自宅のパソコン、スマートフォン等を介して、第２クラウドサーバ６にアクセスし、機器管理サービスを受けるための加入手続を行うことで生成され、顧客情報ＤＢ６４１に登録される。

　第２顧客情報には、顧客ＩＤと、パスワードと、当該顧客のパソコン、スマートフォン等のメールアドレスと、当該顧客宅のホームゲートウェイ４のＩＰアドレスと、当該顧客が購入したエアコン３のシリアル番号と、当該エアコン３のＩＰアドレスとが含まれている。

　運転履歴ＤＢ６４２は、各顧客宅のエアコン３の運転履歴に関する情報（以下、運転情報という。）が保存されるデータベースである。プロセッサ６１は、予め定めた時間毎（例えば、１０分毎）に、各顧客宅のエアコン３から、現在の運転状態を示す情報（以下、運転状態情報という。）を収集する。プロセッサ６１は、収集した各運転状態情報に基づいて、各顧客宅のエアコン３に対応する運転情報を生成し、運転履歴ＤＢ６４２に保存する。

　変換テーブル６４３は、第１クラウドサーバ５から受信した操作情報に含まれる操作スキルレベルを、エアコン３に対する調整単位に変換する際に使用されるデータテーブルである。詳細には、図１０に示すように、変換テーブル６４３には、ユーザの操作スキルレベルと、制御対象項目毎の調整単位とを対応付けたレコードが複数登録されている。ここで、調整単位とは、エアコン３における目標温度、風向き、吹き出し風量等の制御対象項目について、調整可能な最小の変更幅を意味する。

　図１０の例では、ユーザの操作スキルレベルが“１”に対して、調整単位は、目標温度では、“１℃”であり、吹き出し風量及び風向きでは、１／３段階であることが示されている。また、ユーザの操作スキルレベルが“２”に対して、調整単位は、目標温度では、“０．５℃”であり、吹き出し風量及び風向きでは、１／５段階であることが示されている。そして、ユーザの操作スキルレベルが“３”に対して、調整単位は、目標温度では“０．１℃”であり、吹き出し風量及び風向きでは、１／１０段階であることが示されている。

　続いて、第２クラウドサーバ６の機能について説明する。図１１に示すように、第２クラウドサーバ６は、機能的には、情報受信部６００と、制御指令生成部６０１と、制御指令送信部６０２と、応答受信部６０３と、通知送信部６０４とを備える。これらの機能部は、プロセッサ６１が二次記憶装置６４に記憶されているプログラム６４０を実行することで実現される。

　情報受信部６００は、本発明に係る情報受信手段の一例である。情報受信部６００は、第１クラウドサーバ５から送信された操作情報を受信する。この操作情報には、上述したように、音声操作を行ったユーザの操作スキルレベルと、その音声操作の内容（即ち、指示内容）と、エアコン３のシリアル番号とが含まれている。

　制御指令生成部６０１は、本発明に係る制御指令生成手段の一例である。制御指令生成部６０１は、情報受信部６００により受信された操作情報に基づいて、当該シリアル番号のエアコン３を制御するための制御指令を生成する。詳細には、制御指令生成部６０１は、変換テーブル６４３を参照して、制御対象項目の調整単位を決定する。例えば、操作スキルレベルが“１”で指示内容が「目標温度を上げる」の場合、制御指令生成部６０１は、調整単位は“１℃”であると決定する。この場合、制御指令生成部６０１は、当該エアコン３に対して、目標温度を現在の目標温度＋１℃に変更することを指示する制御指令を生成する。

　また、例えば、操作スキルレベルが“２”で指示内容が「風向きを下側に変更」の場合、制御指令生成部６０１は、調整単位は“１／５段階”であると決定する。この場合、制御指令生成部６０１は、当該エアコン３に対して、風向きを、現在の風向きから下側に１／５段階下げた状態に変更することを指示する制御指令を生成する。

　また、例えば、操作スキルレベルが“３”で指示内容が「吹き出し風量を増加」の場合、制御指令生成部６０１は、調整単位は“１／１０段階”であると決定する。この場合、制御指令生成部６０１は、当該エアコン３に対して、吹き出し風量を、現在の風量から１／１０段階増加させた状態に変更することを指示する制御指令を生成する。

　なお、指示内容が「起動」の場合、制御指令生成部６０１は、停止前の状態で当該エアコン３を起動させるための制御指令を生成する。しかし、停止前の吹き出し風量及び風向きの調整単位が、今回「起動」を指示したユーザの操作スキルレベルと対応していない場合、起動時の吹き出し風量及び風向きの状態を、今回「起動」を指示したユーザの操作スキルレベルに対応する調整単位に対応するように変更する。

　制御指令送信部６０２は、本発明に係る制御指令送信手段の一例である。制御指令送信部６０２は、制御指令生成部６０１により生成された制御指令を当該エアコン３に送信する。応答受信部６０３は、制御指令生成部６０１により制御指令が送信された後、送信先のエアコン３から送られてくる応答データを受信する。かかる応答データには、制御指令に従った動作を行ったか否かを示す情報が含まれている。応答データに、制御指令に従った動作を行ったことを示す情報が含まれている場合、応答受信部６０３は、エアコン３から正常応答が返ってきたことを通知送信部６０４に通知する。

　一方、応答データに、制御指令に従った動作を行っていないことを示す情報が含まれている場合、応答受信部６０３は、エアコン３から正常応答が返ってこなかったことを通知送信部６０４に通知する。また、応答受信部６０３は、制御指令がエアコン３に送信された後、予め定めた時間が経過しても当該エアコン３から応答データを受信できなかった場合、エアコン３から正常応答が返ってこなかったことを通知送信部６０４に通知する。

　通知送信部６０４は、エアコン３から正常応答が返ってきた場合、ユーザの音声操作に従った制御ができたことを示す結果通知を第１クラウドサーバ５に送信する。一方、通知送信部６０４は、エアコン３から正常応答が返ってこなかった場合、ユーザの音声操作に従った制御ができなかったことを示す結果通知を第１クラウドサーバ５に送信する。

　図１２は、ユーザによって音声操作が行われた際に機器制御システム１で実行される処理の流れを示す図である。ユーザにより音声操作が行われると、音声入力装置２は、かかる音声操作を入力し、入力した音声操作に基づく音声データを生成する（ステップＳ１０１）。そして、音声入力装置２は、生成した音声データをホームゲートウェイ４を介して第１クラウドサーバ５に送信する（ステップＳ１０２）。

　第１クラウドサーバ５は、音声入力装置２から音声データを受信すると、受信した音声データを解析して、音声操作を行ったユーザの操作スキルレベルと、音声操作の内容とを決定する（ステップＳ１０３）。第１クラウドサーバ５は、決定した操作スキルレベル及び音声操作の内容と、音声操作の対象機器であるエアコン３のシリアル番号とを含む操作情報を生成する（ステップＳ１０４）。そして、第１クラウドサーバ５は、生成した操作情報を第２クラウドサーバ６に送信する（ステップＳ１０５）。

　第２クラウドサーバ６は、第１クラウドサーバ５から操作情報を受信すると、受信した操作情報に含まれる操作スキルレベル及び音声操作の内容に基づいて、当該操作情報に含まれるシリアル番号のエアコン３を制御するための制御指令を生成する（ステップＳ１０６）。そして、第２クラウドサーバ６は、当該エアコン３に生成した制御指令を送信する（ステップＳ１０７）。

　エアコン３は、第２クラウドサーバ６から送信された制御指令をホームゲートウェイ４を介して受信すると、受信した制御指令に従った動作を行う（ステップＳ１０８）。例えば、エアコン３は、目標温度を２６℃から２６．１℃に変更する。

　そして、エアコン３は、応答データをホームゲートウェイ４を介して第２クラウドサーバ６に送信する（ステップＳ１０９）。その際、エアコン３は、制御指令に従った動作を行った場合、制御指令に従った動作を行ったことを示す情報を格納した応答データを第２クラウドサーバ６に送信する。一方、何らかの事情により制御指令に従った動作を行っていない場合、エアコン３は、制御指令に従った動作を行っていないことを示す情報を格納した応答データを第２クラウドサーバ６に送信する。

　第２クラウドサーバ６は、エアコン３から応答データを受信すると、受信した応答データの内容に応じた結果通知を第１クラウドサーバ５に送信する（ステップＳ１１０）。この結果通知には、エアコン３に対してユーザの音声操作に従った制御ができたか否かを示す情報と、当該エアコン３のシリアル番号とが含まれている。

　第１クラウドサーバ５は、第２クラウドサーバ６から結果通知を受信すると、受信した結果通知を、当該結果通知で示されるエアコン３に対応する音声入力装置２に転送する（ステップＳ１１１）。

　音声入力装置２は、第１クラウドサーバ５から結果通知を受信すると、受信した結果通知に対応する音声データを二次記憶装置２６から読み出し、読み出した音声データに基づく音声を出力する（ステップＳ１１２）。

　以上の機器制御システム１で実行される処理によって、例えば、図１３に示すように、操作スキルレベルが“１”のユーザが、“おんどあっぷ”と音声操作すると、エアコン３は、目標温度を２６℃から２７℃に変更する。また、図１４に示すように、操作スキルレベルが“３”のユーザが、“おんどあっぷ”と音声操作すると、エアコン３は、目標温度を２６℃から２６．１℃に変更する。

　以上説明したように、実施の形態１に係る機器制御システム１では、音声入力装置２を介して、ユーザにより音声操作が行われると、第１クラウドサーバ５は、当該音声操作に基づく音声データを解析して、当該ユーザの操作スキルレベルと、音声操作の内容とを決定する。そして、第２クラウドサーバ６は、第１クラウドサーバ５により決定された操作スキルレベルと、音声操作の内容とに基づいて、エアコン３を制御する。

　これにより、機器制御システム１によれば、例えば、操作スキルレベルの高いユーザに対しては、音声操作において、一般的な空調リモコンを介した操作における空調制御より細かい（換言すると、小刻みな）空調制御を提供する。一方、操作スキルレベルの低いユーザに対しては、音声操作において、一般的な空調制御、即ち、上記の空調リモコンを介した操作における空調制御と同等レベルの空調制御を提供する。つまり、操作スキルレベルの高いユーザにとっては、繰り返しの音声入力が多くなり、音声操作が若干複雑化するものの、微調整ができるため、空調を自己の好みにより精度よく近づけることができるというメリットがある。一方、操作スキルレベルの低いユーザにとっては、一般的な空調制御が提供されるものの、その分、繰り返しの音声入力が少なく、音声操作が簡便であるというメリットがある。

　このように、機器制御システム１によれば、ユーザの音声操作のスキルレベルに応じた適切な機器制御を実現することが可能となる。

　なお、第１クラウドサーバ５が、第２クラウドサーバ６の二次記憶装置６４に記憶される変換テーブル６４３と同様のテーブルを二次記憶装置５４に記憶し、かかるテーブルを参照して制御対象項目の調整単位を決定してもよい。この場合、第１クラウドサーバ５から第２クラウドサーバ６に送信される操作情報には、音声操作の内容と、調整単位と、エアコン３のシリアル番号とが含まれる。

（実施の形態２）
　続いて、本発明の実施の形態２について説明する。なお、以下の説明において、実施の形態１と共通する構成要素等については、同一の符号を付し、その説明を省略する。

　図１５は、実施の形態２に係る機器制御システム１Ａの全体構成を示す図である。機器制御システム１Ａは、音声入力装置２と、エアコン３と、ホームゲートウェイ４と、第３クラウドサーバ７とを備える。第３クラウドサーバ７は、本発明に係る第３クラウドサーバの一例である。第３クラウドサーバ７は、音声入力装置２のメーカ、販売会社等と、エアコン３のメーカ、販売会社等とが共同して運用するサーバコンピュータであり、一般的なＷｅｂサーバとしての機能を有し、インターネットに接続される。

　第３クラウドサーバ７のハードウェア構成は、実施の形態１の第１クラウドサーバ５又は第２クラウドサーバ６と同様である（図４又は図８参照）。また、第３クラウドサーバ７の機能には、第１クラウドサーバ５の機能（図７参照）と、第２クラウドサーバ６の機能（図１１参照）とが含まれる。即ち、実施の形態１では、第１クラウドサーバ５と、第２クラウドサーバ６とが、協調することで、顧客に音声操作サービスを提供していたが、本実施の形態では、実施の形態１と同様の音声操作サービスを１台の第３クラウドサーバ７で実現する。

　以上の構成の本実施の形態に係る機器制御システム１Ａでは、音声入力装置２を介して、ユーザにより音声操作が行われると、第３クラウドサーバ７は、当該音声操作に基づく音声データを解析して、当該ユーザの操作スキルレベルと、音声操作の内容とを決定する。そして、第３クラウドサーバ７は、決定した操作スキルレベルと、音声操作の内容とに基づいて、エアコン３を制御するための制御指令を生成する。そして、第３クラウドサーバ７は、生成した制御指令をエアコン３に送信する。

　これにより、機器制御システム１Ａは、実施の形態１に係る機器制御システム１と同等の効果を奏し得る。

（実施の形態３）
　続いて、本発明の実施の形態３について説明する。なお、以下の説明において、実施の形態１と共通する構成要素等については、同一の符号を付し、その説明を省略する。

　図１６は、実施の形態３に係る機器制御システム１Ｂの全体構成を示す図である。機器制御システム１Ｂは、音声入力装置２と、エアコン３と、ホームゲートウェイ４Ａと、第１クラウドサーバ５とを備える。

　ホームゲートウェイ４Ａは、本発明に係る宅内コントローラの一例である。ホームゲートウェイ４Ａは、ブロードバンドルータとしての機能に加え、さらに、実施の形態１に係る第２クラウドサーバ６と同様の機能を有する（図１１参照）。ホームゲートウェイ４Ａは、例えば、ＨＥＭＳ（Home Energy Management System）コントローラである。

　以上の構成の本実施の形態に係る機器制御システム１Ｂでは、音声入力装置２を介して、ユーザにより音声操作が行われると、第１クラウドサーバ５は、当該音声操作に基づく音声データを解析して、当該ユーザの操作スキルレベルと、音声操作の内容とを決定する。そして、第１クラウドサーバ５は、決定した操作スキルレベル及び音声操作の内容を含む操作情報を生成し、生成した操作情報をホームゲートウェイ４Ａに送信する。ホームゲートウェイ４Ａは、第１クラウドサーバ５から操作情報を受信し、受信した操作情報に含まれる操作スキルレベルと、音声操作の内容とに基づいて、エアコン３を制御する。

　これにより、機器制御システム１Ｂは、実施の形態１，２に係る機器制御システム１，１Ａと同等の効果を奏し得る。

（実施の形態４）
　続いて、本発明の実施の形態４について説明する。なお、以下の説明において、実施の形態１と共通する構成要素等については、同一の符号を付し、その説明を省略する。

　図１７に示すように、実施の形態４に係る機器制御システム１Ｃは、実施の形態１に係る機器制御システム１にリモコン３０が追加された構成を備えている。リモコン３０は、本発明に係る端末の一例である。リモコン３０は、エアコン３専用の空調リモコンであり、エアコン３と有線又は無線にて通信可能に接続される。

　リモコン３０は、何れも図示しないが、押しボタン、タッチパネル、タッチパッド等の入力デバイスと、有機ＥＬディスプレイ、液晶ディスプレイ等のディスプレイと、エアコン３と通信するための通信インタフェースと、プロセッサと、ＲＯＭと、ＲＡＭと、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリとを備える。

　例えば、音声操作によりエアコン３を起動させた後、操作スキルレベルが低くないユーザであっても、その時々の心身の状態等によっては、音声操作よりもリモコン３０による手動操作で空調の調整を行いたい場合もあり得る。そのような場合に対応できるようにするため、リモコン３０は、エアコン３が、ユーザの音声操作に基づく動作（例えば、起動、目標温度の変更等）を行った場合、当該ユーザの操作スキルレベルに応じた操作画面をディスプレイに表示する。

　例えば、操作スキルレベルが“２”のユーザが“きどう”と音声操作することで、エアコン３が起動した場合、リモコン３０は、図１８に示すような操作画面をディスプレイに表示する。図１８に示す操作画面では、ユーザは、上、下スクロールボタンを操作して、目標温度を現在の設定値である２５．５℃から０．５℃刻みで変更することができる。また、操作スキルレベルが“３”のユーザが“きどう”と音声操作することで、エアコン３が起動した場合、リモコン３０は、図１９に示すような操作画面をディスプレイに表示する。図１９に示す操作画面では、ユーザは、上、下スクロールボタンを操作して、目標温度を現在の設定値である２５．５℃から０．１℃刻みで変更することができる。

　以上の構成の本実施の形態に係る機器制御システム１Ｃは、実施の形態１に係る機器制御システム１と同等の効果を奏し得る。さらに、機器制御システム１Ｃでは、リモコン３０が、ユーザの操作スキルレベルに応じた操作画面をディスプレイに表示することで、ユーザは、自己の操作スキルレベルに応じた操作を手動で入力することができる。このため、ユーザビリティの向上が図れる。

　なお、ユーザの操作スキルレベルに応じた操作画面を、ユーザのスマートフォン、タブレット端末等のスマートデバイスに表示し、かかるスマートデバイスを介してユーザの操作を受け付けてもよい。

　本発明は、上記の各実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。

　例えば、本発明において制御対象となる機器は、エアコンに限定されず、照明器、床暖房システム、床冷暖房システム、テレビ、給湯機等であってもよい。ＩｏＴ機器、情報家電、ネット家電、スマート家電等と称される機能を有する様々な機器が、本発明の制御対象となり得る。例えば、照明器を制御対象とする場合、操作スキルレベルの高いユーザに対しては、操作スキルレベルの低いユーザより、細かい、即ち、小刻みな照明制御（例えば、照度、色温度の制御）を提供する。

　また、上記の各実施の形態では、１台のエアコン３を制御対象として例示したが、家屋Ｈに設置される複数台の機器を制御対象としてもよい。この場合、複数台の機器において、製品種別が異なる機器が混在していてもよい。

　また、実施の形態４における機器制御システム１Ｃの特徴を実施の形態２，３の機器制御システム１Ａ，１Ｂに組み入れても構わない。

　また、３台以上のクラウドサーバが協調して音声操作サービスを提供する構成にしてもよい。

　また、音声操作の際の音量に応じてエアコン３等の機器の調整量を変更してもよい。この場合、音量が大きい程、調整量が大きくなる。

　また、第１クラウドサーバ５、第２クラウドサーバ６、第３クラウドサーバ７、ホームゲートウェイ４Ａにおいて、音声操作を行ったユーザを特定し、空調に対する当該ユーザの好みも加味してエアコン３を制御してもよい。ユーザの特定は、例えば、予め登録された当該ユーザの音声データと照合することで行ったり、カメラの撮像画像を解析する等して行う。ユーザの空調に対する好みは、本人又は家屋Ｈの代表者が、事前に第１クラウドサーバ５、第２クラウドサーバ６、第３クラウドサーバ７、ホームゲートウェイ４Ａに登録しておけばよい。あるいは、第１クラウドサーバ５、第２クラウドサーバ６、第３クラウドサーバ７、ホームゲートウェイ４Ａが、各ユーザの好みの空調を学習してもよい。

　また、第１クラウドサーバ５、第３クラウドサーバ７において、音声操作に基づく音声データから、ユーザの性別を推定し、推定した性別も加味して、音声操作を行ったユーザの操作スキルレベルを決定してもよい。また、第１クラウドサーバ５、第３クラウドサーバ７において、予め登録されたユーザ毎の年齢、性別、音声データを含む情報が管理されるようにしてもよい。この場合、第１クラウドサーバ５、第３クラウドサーバ７は、音声操作を行ったユーザの正確な年齢、性別を取得することができる。さらに、第１クラウドサーバ５、第３クラウドサーバ７において、ユーザ毎の音声操作の頻度（例えば、音声操作の１日の平均回数）を管理してもよい。この場合、第１クラウドサーバ５、第３クラウドサーバ７は、ユーザの音声操作の頻度に基づいて、当該ユーザの操作スキルレベルを決定してもよい。あるいは、ユーザの操作スキルレベルを本人又は家屋Ｈの代表者が、第１クラウドサーバ５、第３クラウドサーバ７に事前に登録できるようにしてもよい。

　また、上記の各実施の形態では、操作スキルレベルを１～３の３段階で示していたが、２段階で示されてもよく、４段階以上で示されてもよい。

　また、音声入力装置２が、第１クラウドサーバ５、第２クラウドサーバ６、第３クラウドサーバ７、ホームゲートウェイ４Ａからの指令に従って、エアコン３に制御指令を送信してもよい。

　また、ユーザは、手拍子、口笛等、音声以外の音を発することで、音声入力装置２に対して操作入力してもよい。

　また、音声入力装置２により検知された音が、ペットの鳴き声、動作音である場合、エアコン３に予め定めた空調（例えば、室温を２８℃に維持する空調）をさせてもよい。あるいは、音声入力装置２により検知された音が、生き物以外の特定の動作音である場合、制御対象の機器を当該動作音に応じて制御してもよい。例えば、ドアが開いた音、スマートフォンのアラーム音を検知した場合、照明器の明るさ、色等を除々に変更するようにしてもよい。

　また、安全性を担保するため、０～５歳未満、８０歳以上のユーザに対しては、音声操作で指示できる制御対象項目の数を減らしたり、各制御対象項目の下限値から上限値の範囲を狭めたり、あるいは、音声操作を無効にする等してもよい。

　また、エアコン３に対するユーザの位置を特定し、特定したユーザの位置に応じて空調を行うようにしてもよい。例えば、ユーザが“かぜをあてて”と音声操作すると、当該ユーザに風があたるようにエアコン３の風向きを調整してもよい。ユーザの位置は、エアコン３が赤外線カメラを備える場合は、熱画像を解析することで特定することが可能であり、あるいは、音声入力装置２が複数のマイクを備える場合、各マイクの設置位置と、指向性により、ユーザの位置を特定することが可能である。

　また、ユーザは、曜日、日時等を指定した音声操作を行うことも可能である。例えば、ユーザは、“へいじつのあさろくじじゅうごふんにきどう”（平日の朝６時１５分に起動）と音声操作を行うと、例えば、第１クラウドサーバ５は、平日において朝６時１５分になると、第２クラウドサーバ６に対して、エアコン３の起動を指示する操作情報を送信する。これにより、平日では、朝６時１５分になると自動的にエアコン３が起動する。なお、第１クラウドサーバ５は、第２クラウドサーバ６に対して、「平日の朝６時１５分にエアコン３を起動させる」ことを指示する操作情報を送信し、第２クラウドサーバ６が、平日において朝６時１５分になる度にエアコン３を起動させてもよい。

　また、第１クラウドサーバ５が、ユーザのスケジュールを管理する機能を備えていてもよい。この場合、ユーザは、第１クラウドサーバ５に対して、外出、帰宅等のイベントと、その日時を含むスケジュールを予め登録しておく。ユーザが、例えば、“きたくしたらきどう”と音声操作を行うと、第１クラウドサーバ５は、ユーザの帰宅日時になると、第２クラウドサーバ６に対して、エアコン３の起動を指示する操作情報を送信する。これにより、予めスケジュール登録されたユーザの帰宅日時になると自動的にエアコン３が起動する。なお、第２クラウドサーバ６が、ユーザのスケジュールを管理する機能を備えていてもよい。

　また、音声操作において、操作スキルレベルの高いユーザには、操作スキルレベルの低いユーザに比べ、音声操作のバリエーション、制御対象項目数などを増やしてもよい、あるいは、各制御対象項目の下限値から上限値の範囲を拡大してもよい。

　上記の実施の形態１では、プロセッサ５１によって二次記憶装置５４に記憶されているプログラム５４０が実行されることで、第１クラウドサーバ５の各機能部（図７参照）が実現された。また、プロセッサ６１によって二次記憶装置６４に記憶されているプログラム６４０が実行されることで、第２クラウドサーバ６の各機能部（図１１参照）が実現された。しかし、第１クラウドサーバ５、第２クラウドサーバ６の機能部の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせである。

　また、プログラム５４０，６４０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（Magneto-Optical Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、このように配布したプログラム５４０，６４０を特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを第１クラウドサーバ５、第２クラウドサーバ６として機能させることも可能である。

　また、プログラム５４０，６４０をインターネット上の図示しないサーバが有する記憶装置に格納しておき、当該サーバから第１クラウドサーバ５、第２クラウドサーバ６にプログラム５４０，６４０がダウンロードされるようにしてもよい。

　本発明は、広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能である。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

　本発明は、宅内に設置された機器を制御するシステムに好適に採用され得る。

　１，１Ａ～１Ｃ　機器制御システム、２　音声入力装置、３　エアコン、４，４Ａ　ホームゲートウェイ、５　第１クラウドサーバ、６　第２クラウドサーバ、７　第３クラウドサーバ、２０　マイク、２１　スピーカ、２２，５０，６０　通信インタフェース、２３，５１，６１　プロセッサ、２４，５２，６２　ＲＯＭ、２５，５３，６３　ＲＡＭ、２６，５４，６４　二次記憶装置、２７，５５，６５　バス、３０　リモコン、２００　音声入力部、２０１　送信部、２０２　受信部、２０３　音声出力部、５００　データ受信部、５０１　データ解析部、５０２　情報生成部、５０３　情報送信部、５０４　通知受信部、５０５，６０４　通知送信部、５４０，６４０　プログラム、５４１，６４１　顧客情報ＤＢ、５４２　解釈テーブル５４２、６００　情報受信部、６０１　制御指令生成部、６０２　制御指令送信部、６０３　応答受信部、６４２　運転履歴ＤＢ、６４３　変換テーブル

Claims

　音入力装置と、機器を制御する機器制御手段と、を備え、
　前記音入力装置は、
　ユーザの音操作を入力する入力手段と、
　前記音操作に基づく音データを前記機器制御手段に送信する送信手段と、を備え、
　前記機器制御手段は、前記音入力装置から前記音データを受信し、前記音データを解析して、前記ユーザの操作スキルレベルと、前記音操作の内容とを決定し、前記操作スキルレベルと、前記音操作の内容とに基づいて、前記機器に対する制御指令を生成し、前記制御指令を前記機器に送信する、機器制御システム。
　前記機器制御手段は、第１クラウドサーバと、第２クラウドサーバと、を備え、
　前記第１クラウドサーバは、
　前記音入力装置から前記音データを受信するデータ受信手段と、
　前記音データを解析して、前記ユーザの操作スキルレベルと、前記音操作の内容とを決定する解析手段と、
　前記操作スキルレベルと、前記音操作の内容とを含む操作情報を生成する情報生成手段と、
　前記操作情報を前記第２クラウドサーバに送信する情報送信手段と、を備え、
　前記第２クラウドサーバは、
　前記第１クラウドサーバから前記操作情報を受信する情報受信手段と、
　前記操作情報に基づいて、前記機器に対する制御指令を生成する制御指令生成手段と、
　前記制御指令を前記機器に送信する制御指令送信手段と、を備える、請求項１に記載の機器制御システム。
　前記機器制御手段は、第３クラウドサーバであり、
　前記第３クラウドサーバは、
　前記音入力装置から前記音データを受信するデータ受信手段と、
　前記音データを解析して、前記ユーザの操作スキルレベルと、前記音操作の内容とを決定する解析手段と、
　前記操作スキルレベルと、前記音操作の内容とに基づいて、前記機器に対する制御指令を生成する制御指令生成手段と、
　前記制御指令を前記機器に送信する制御指令送信手段と、を備える、請求項１に記載の機器制御システム。
　前記機器制御手段は、第１クラウドサーバと、宅内コントローラと、を備え、
　前記第１クラウドサーバは、
　前記音入力装置から前記音データを受信するデータ受信手段と、
　前記音データを解析して、前記ユーザの操作スキルレベルと、前記音操作の内容とを決定する解析手段と、
　前記操作スキルレベルと、前記音操作の内容とを含む操作情報を生成する情報生成手段と、
　前記操作情報を前記宅内コントローラに送信する情報送信手段と、を備え、
　前記宅内コントローラは、
　前記第１クラウドサーバから前記操作情報を受信する情報受信手段と、
　前記操作情報に基づいて、前記機器に対する制御指令を生成する制御指令生成手段と、
　前記制御指令を前記機器に送信する制御指令送信手段と、を備える、請求項１に記載の機器制御システム。
　前記ユーザの操作スキルレベルに応じた操作画面を表示する端末をさらに備える、請求項１から４の何れか１項に記載の機器制御システム。
　前記機器制御手段は、前記ユーザの操作スキルレベルが高い程、より小刻みに前記機器を制御するための制御指令を生成する、請求項１から５の何れか１項に記載の機器制御システム。
　音入力装置が、
　ユーザの音操作を入力し、
　前記音操作に基づく音データを機器制御手段に送信し、
　前記機器制御手段は、前記音入力装置から前記音データを受信し、前記音データを解析して、前記ユーザの操作スキルレベルと、前記音操作の内容とを決定し、前記操作スキルレベルと、前記音操作の内容とに基づいて、機器に対する制御指令を生成し、前記制御指令を前記機器に送信する、機器制御方法。