WO2023166728A1 - 制御システム、制御装置、機器制御方法およびプログラム - Google Patents

Abstract

制御システムは、機器（４）の利用者の画像情報と自機のユニット識別情報とを送出するとともに、ユニット識別情報を含むビーコンフレームを送出するセンサユニット（２）と、ビーコンフレームを取得すると、ビーコンフレームから抽出したユニット識別情報と利用者識別情報とを送出する端末装置（５）と、ユニット識別情報と利用者識別情報との組合せに基づいて、機器（４）が設置された部屋に存在する利用者を特定する利用者特定部（１１２）と、ユニット識別情報と画像情報の組合せに基づいて、機器（４）が設置された部屋に存在する利用者を推定する利用者推定部（１１５）と、利用者特定部（１１２）により特定された利用者に対応する機器設定情報を優先的に選択して機器（４）を制御する機器制御部（１２１）と、を備える。

Description

制御システム、制御装置、機器制御方法およびプログラム

　本開示は、制御システム、制御装置、機器制御方法およびプログラムに関する。

　撮像手段と、撮像手段により撮像された画像から在室者を検出する人体検出部と、人体検出部により検出された在室者の特徴量を検出する特徴量検出手段と、在室者の特徴量が検出された頻度に基づいて、在室者が家族か否かを判定する判定手段と、を備え、判定手段により家族と判定されると家族が嗜好する設定内容で空調を制御する空気調和機が提案されている（例えば特許文献１参照）。

特開２０１５－１７７２８号公報

　ところで、特許文献１に記載された空気調和機では、在室者が家族であるか否かをより精度良く判別することにより、家族の嗜好に適した空調を行うことが要請されている。

　本開示は上記事由に鑑みてなされたものであり、利用者の嗜好を反映した機器の制御を行うことができる制御システム、制御装置、機器制御方法およびプログラムを提供することを目的とする。

　上記目的を達成するため、本開示に係る制御システムは、
　機器の設置場所に前記機器とともに設置され、前記機器の利用者の撮像画像を示す画像情報を生成し、生成した画像情報とともに前記設置場所を識別する第１識別情報を送出する撮像装置と、
　前記第１識別情報を含むビーコンフレームを前記設置場所へ送信するビーコン送信部と、
　前記ビーコンフレームを取得すると、前記ビーコンフレームに含まれる第１識別情報を抽出し、抽出した第１識別情報と自装置を識別する第２識別情報とを送出する端末装置と、
　前記第１識別情報と、前記第１識別情報とともに送出された前記第２識別情報と、の組合せに基づいて、前記設置場所に存在する利用者を特定する利用者特定部と、
　前記画像情報と、前記画像情報とともに送出された前記第１識別情報と、の組合せに基づいて、前記設置場所に存在する前記利用者を推定する利用者推定部と、
　前記第１識別情報と前記第２識別情報との組合せに基づいて特定された前記利用者に対応する前記機器の設定を示す機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、前記機器を制御する機器制御部と、を備える。

　本開示によれば、利用者特定部が、ビーコン送信部から機器の設置場所へ送信されたビーコンフレームに含まれる設置場所を識別する第１識別情報と、ビーコンフレームを取得した端末装置を識別する第２識別情報と、の組合せに基づいて、利用者を特定する。また、利用者推定部が、利用者の撮像画像を示す画像情報に基づいて、利用者を推定する。そして、機器制御部が、第１識別情報と第２識別情報との組合せに基づいて特定された第１識別情報で識別される設置場所に存在する利用者に対応する機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、機器を制御する。これにより、利用者に対応する機器設定情報が適切に選択されるので、利用者の嗜好を反映した機器の制御を行うことができる。

本開示の実施の形態１に係る制御システムの概略構成図 実施の形態１に係る制御システムのハードウェア構成を示すブロック図 実施の形態１に係る端末装置およびセンサユニットの機能構成を示すブロック図 実施の形態１に係るクラウドサーバの機能構成を示すブロック図 実施の形態１に係る機器設置場所記憶部が記憶する情報の一例を示す図 実施の形態１に係る利用者推定モデルの一例を示す図 実施の形態１に係る在室状況記憶部１３３が記憶する情報の一例を示す図 実施の形態１に係る機器設定推定モデルの一例を示す図 実施の形態１に係る制御システムの動作を示すシーケンス図 実施の形態１に係る画像情報が示す画像の一例を示す図 実施の形態１に係る制御システムの動作を示すシーケンス図 実施の形態１に係る制御システムの動作を示すシーケンス図 実施の形態１に係る制御システムの動作を示すシーケンス図 実施の形態１に係るクラウドサーバが実行する機器制御処理の流れの一例を示すフローチャート 実施の形態１に係るクラウドサーバが実行する機器制御処理の流れの一例を示すフローチャート 本開示の実施の形態２に係る端末装置およびセンサユニットの機能構成を示すブロック図 実施の形態２に係る制御システムの動作を示すシーケンス図 実施の形態２に係るクラウドサーバが実行する機器制御処理の流れの一例を示すフローチャート 実施の形態３に係るクラウドサーバの機能構成を示すブロック図 実施の形態３に係る機器設定リスト記憶部３１３６が記憶する情報の一例を示す図 実施の形態３に係るクラウドサーバが実行する機器制御処理の流れの一例を示すフローチャート

（実施の形態１）
　以下、本開示の実施の形態に係る制御システムについて、図面を参照しながら説明する。本実施の形態に係る制御システムは、機器の設置場所に機器とともに設置され、前記機器の利用者の撮像画像を示す画像情報を生成し、生成した画像情報とともに設置場所を識別する第１識別情報を送出する撮像装置と、第１識別情報を含むビーコンフレームを設置場所へ送信するビーコン送信部と、ビーコンフレームを取得すると、ビーコンフレームに含まれる第１識別情報を抽出し、抽出した第１識別情報と自装置を識別する第２識別情報とを送出する端末装置と、を備える。また、制御システムは、前述の第１識別情報と、第１識別情報とともに送出された前記第２識別情報と、の組合せに基づいて、機器の設置場所に存在する利用者を特定する利用者特定部と、前述の画像情報と、画像情報とともに送出された第１識別情報と、の組合せに基づいて、設置場所に存在する利用者を推定する利用者推定部と、を備える。更に、制御システムは、第１識別情報と第２識別情報との組合せに基づいて特定された利用者に対応する機器の設定を示す機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、機器を制御する機器制御部を備える。

　本実施の形態に係る制御システムは、図１に示すように、建物Ｈ内の複数の部屋Ｒ１、Ｒ２、Ｒ３それぞれに設置された機器４Ａ、４Ｂ、４Ｃを制御するクラウドサーバ１と、センサユニット２Ａ、２Ｂ、２Ｃと、環境センサ３Ａ、３Ｂ、３Ｃと、利用者Ｐ１、Ｐ２、Ｐ３それぞれが所持する端末装置５Ａ、５Ｂ、５Ｃと、を備える。ここで、機器４は、建物Ｈ内に設けられた局所ネットワークＮＷ２に接続されている。この局所ネットワークＮＷ２は、無線ＬＡＮ（Local Area Network）または有線ＬＡＮで構成され、ゲートウェイ装置６も接続されており、ブロードバンドルータ（以下、「ＢＢＲ」と称する。）８を介してインターネットのような広域ネットワークＮＷ１に接続されている。なお、局所ネットワークＮＷ２の一部が、例えばＢｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、Ｗｉ－ＳＵＮ等の無線規格に適合した通信方式で通信するものであってもよい。また、ゲートウェイ装置６が無く、機器４Ａ、４Ｂ、４ＣがＢＢＲ８を介して直接クラウドサーバ１と通信するものであってもよい。端末装置５は、局所ネットワークＮＷ２に接続されるとともに広域ネットワークＮＷ１にも接続されている。また、広域ネットワークＮＷ１には、気象情報を管理する気象サーバ９が接続されている。センサユニット２は、機器４Ａ、４Ｂ、４Ｃが設置された部屋Ｒ１、Ｒ２、Ｒ３それぞれに機器４Ａ、４Ｂ、４Ｃとともに設置されている。また、環境センサ３Ａ、３Ｂ、３Ｃも各部屋Ｒ１、Ｒ２、Ｒ３に設置されている。なお、部屋Ｒ１、Ｒ２、Ｒ３、センサユニット２Ａ、２Ｂ、２Ｃ、環境センサ３Ａ、３Ｂ、３Ｃ、機器４Ａ、４Ｂ、４Ｃ、端末装置５Ａ、５Ｂ、５Ｃは、それぞれ、３つに限定されるものではない。また、利用者Ｐ１、Ｐ２、Ｐ３も３人に限定されるものではない。また、部屋Ｒがある程度の広さがある場合、部屋Ｒ内を複数のエリアに分けて、複数のエリアそれぞれに各別にセンサユニット２、環境センサ３を設置してもよい。或いは、複数の機器４Ａ、４Ｂ、４Ｃをグループ化してもよい。

　機器４（４Ａ、４Ｂ、４Ｃ）は、例えばいわゆる家庭用ルームエアコンのような空気調和機、床暖房機器、照明器具、電動カーテン等であり、それぞれ、局所ネットワークＮＷ２に接続するための通信アダプタを有する。各機器４は、クラウドサーバ１から送信された制御情報を、ゲートウェイ装置６を介して取得すると、取得した制御情報に基づいて動作する。また、各機器４は、機器４の設定が利用者により変更されると、その変更後の機器設定を示す変更後機器設定情報を含む設定変更通知情報を生成して、ゲートウェイ装置６を介してクラウドサーバ１へ送信する。ゲートウェイ装置６は、クラウドサーバ１から送信される制御情報を取得すると、取得した制御情報を、その制御情報による制御対象となる機器４へ送信する。また、ゲートウェイ装置６は、各機器４から送信される前述の設定変更通知情報を取得すると、取得した設定変更通知情報をクラウドサーバ１へ送信する。

　環境センサ３（３Ａ、３Ｂ、３Ｃ）は、自機が設置された部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）内の温度のような環境パラメータを検出する。なお、環境センサ３は、自機が設置された部屋Ｒの温度のみならず、湿度、明るさ等の他の環境パラメータを検出するものであってもよい。環境センサ３は、クラウドサーバ１から環境パラメータを示す環境情報の送信を要求する環境情報要求情報を取得すると、これに応じて、環境パラメータを検出し、検出した環境パラメータを示す環境情報を生成する。また、環境センサ３は、自機が設置されている部屋Ｒと同じ部屋Ｒに設置されたセンサユニット２を識別するユニット識別情報を記憶している。そして、環境センサ３は、検出した環境パラメータを示す環境情報を、自機が記憶しているセンサユニット２のユニット識別情報とともにクラウドサーバ１へ送信する。

　気象サーバ９は、地球上における予め設定された複数の地域それぞれにおける気象条件を示す気象情報を管理する。気象サーバ９は、クラウドサーバ１から気象情報の送信を要求する気象情報要求情報を取得すると、これに応じて、気象情報要求情報に対応する地域の気象情報を特定する。ここで、気象情報要求情報には、例えば建物Ｈが存在する地域の住所を示す住所情報が含まれており、気象サーバ９は、この住所情報が示す地域の気象情報を特定する。そして、気象サーバ９は、特定した気象情報をクラウドサーバ１へ送信する。

　センサユニット２は、図２に示すように、無線モジュール２０２と、赤外線センサ２０３と、センサユニット２の動作を制御する制御部２０１と、を有する。無線モジュール２０２は、例えばＩＥＥＥ８０２．１１ａｈに準拠した無線ＬＡＮ規格に適合する通信方式で通信するものであり、アンテナ（図示せず）と、信号処理部（図示せず）と、送信回路（図示せず）と、を有する。ここで、信号処理部は、例えばＤＳＰ（Digital Signal Processor）により実現され、制御部２０１から転送されてきたビーコンフレームに基づいてベースバンド信号を生成して送信回路へ出力する。また、送信回路は、信号処理部から入力されるベースバンド信号を用いてキャリア信号を変調することにより、送信するビーコンフレームに対応する無線信号を生成し、生成した無線信号を、アンテナを介して送出する。赤外線センサ２０３は、入射する赤外線を検出し、検出した信号を制御部２０１へ入力する。

　制御部２０１は、例えばセンサユニット２専用の集積回路から構成され、図３に示すように、ビーコンフレームを生成するビーコン生成部２１１と、生成されたビーコンフレームを、無線モジュール２０２を介してブロードキャスト送信するビーコン送信部２１２と、を有する。ここで、ビーコンフレームには、センサユニット２を識別するユニット識別情報が含まれる。このユニット識別情報は、センサユニット２が設置された設置場所である部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）を識別する識別情報に相当するものであり、センサユニット２に予め付与されたＢＳＳＩＤ（Basic Service Set Identifier）、ＭＡＣ（Media Access Control）アドレス等が含まれる。また、制御部２０１は、赤外線センサ２０３から入力される信号に基づいて熱画像を形成する画像形成部２１３と、形成された熱画像を示す画像情報をユニット識別情報とともにクラウドサーバ１へ送信する画像送信部２１４と、を有する。画像形成部２１３は、クラウドサーバ１から送信される撮像指示情報を取得すると、赤外線センサ２０３から入力される信号に基づいて熱画像を形成する。ここで、画像送信部２１４は、画像情報およびユニット識別情報を、ゲートウェイ装置６を介してクラウドサーバ１へ送信する。このように、センサユニット２は、機器４の利用者の熱画像のような撮像画像を示す画像情報を生成し、生成した画像情報とともにユニット識別情報を送出する撮像装置として機能する。

　端末装置５は、例えばスマートフォンであり、図２に示すように、ＣＰＵ（Central Processing Unit）５０１と、主記憶部５０２と、補助記憶部５０３と、通信部５０６と、無線モジュール５０７と、これらを互いに接続するバス５０９と、を備える。主記憶部５０２は、ＲＡＭ（Random Access Memory）のような揮発性メモリを有し、ＣＰＵ５０１の作業領域として使用される。補助記憶部５０３は、半導体フラッシュメモリのような不揮発性メモリであり、ＣＰＵ５０１が各種処理を実行するためのプログラムを記憶する。通信部５０６は、広域ネットワークＮＷ１に接続され、ＣＰＵ５０１から転送される情報を、広域ネットワークＮＷ１を介してクラウドサーバ１へ送信したり、クラウドサーバ１から広域ネットワークＮＷ１を介して受信した情報をＣＰＵ５０１へ転送したりする。無線モジュール５０７は、例えばＩＥＥＥ８０２．１１ａｈに準拠した無線ＬＡＮ規格に適合する通信方式で通信するものであり、アンテナ（図示せず）と、受信回路（図示せず）と、信号処理部（図示せず）と、を有する。受信回路は、アンテナを介して無線信号を受信し、受信した無線信号に対応する信号を復調してベースバンド信号を生成して信号処理部へ出力する。信号処理部は、例えばＤＳＰにより実現され、受信回路から入力されるベースバンド信号に基づいて受信回路が受信したセンサユニット２から送信される無線信号に対応するビーコンフレームを生成してＣＰＵ５０１へ転送する。

　ＣＰＵ５０１は、補助記憶部５０３が記憶するプログラムを主記憶部５０２に読み出して実行することにより、図３に示すように、ビーコン取得部５１１、識別情報抽出部５１２および識別情報通知部５１３として機能する。ビーコン取得部５１１は、センサユニット２から送信されるビーコンフレームが無線モジュール５０７において受信が検知されるまでビーコンフレームを探索する。そして、ビーコン取得部５１１は、ビーコンフレームの受信が検知されると、無線モジュール５０７から入力されるビーコンフレームを識別情報抽出部５１２へ転送する。また、ビーコン取得部５１１は、クラウドサーバ１から送信されるビーコン探索指示情報を取得すると、再びビーコンフレームの探索を開始する。

　識別情報抽出部５１２は、ビーコンフレームに含まれるユニット識別情報を抽出し、抽出したユニット識別情報を識別情報通知部５１３に通知する。識別情報通知部５１３は、抽出されたユニット識別情報と端末装置５を所持する機器４の利用者を識別する利用者識別情報とを、通信部５０６を介してクラウドサーバ１へ送信する。ここで、利用者識別情報としては、端末装置５に付与されたＭＡＣアドレスを採用することができる。

　クラウドサーバ１は、機器４を制御する制御装置として機能するものであり、図２に示すように、ＣＰＵ１０１と、主記憶部１０２と、補助記憶部１０３と、通信部１０６と、計時部１０８と、各部を接続するバス１０９と、を備える。ＣＰＵ１０１は、例えばマルチコアプロセッサである。主記憶部１０２は、揮発性メモリであり、ＣＰＵ１０１の作業領域として使用される。補助記憶部１０３は、不揮発性メモリを有し、ＲＯＭ、ストレージとして機能し、クラウドサーバ１の各種機能を実現するためのプログラムを記憶する。通信部１０６は、広域ネットワークＮＷ１を介して機器４と通信したり、広域ネットワークＮＷ１を介して端末装置５と通信したりする。計時部１０８は、例えばＲＴＣ（Real Time Clock）を有する。或いは、計時部１０８が、クラウドサーバ１からアクセス可能なＮＴＰ(Network Time Protocol)サーバ(例えばntp.nict.jp)と通信して計時した時刻を修正するものであってもよい。

　ＣＰＵ１０１は、補助記憶部１０３が記憶するプログラムを主記憶部１０２に読み出して実行することにより、図４に示すように、識別情報取得部１１１、利用者特定部１１２、画像取得部１１３、人物画像抽出部１１４、利用者推定部１１５、利用者推定モデル生成部１１６、環境情報取得部１１７、気象情報取得部１１８、機器設定推定部１１９、機器設定補正部１２０、機器制御部１２１、設定変更通知取得部１２２、機器設定推定モデル生成部１２３および確認時期管理部１２４として機能する。また、図２に示す補助記憶部１０３は、図４に示すように、機器設置場所記憶部１３１と、利用者推定モデル記憶部１３２と、在室状況記憶部１３３と、環境情報記憶部１３４と、気象情報記憶部１３５と、機器設定推定モデル記憶部１３６と、機器設定記憶部１３７と、を有する。機器設置場所記憶部１３１は、例えば図５Ａに示すように、建物Ｈ内の部屋Ｒ１、Ｒ２、Ｒ３それぞれに設置された機器４の機器識別情報を、設置された部屋Ｒ１、Ｒ２、Ｒ３に機器４とともに設置されたセンサユニット２のユニット識別情報に対応づけて記憶する。図５Ａに示す例では、リビングである部屋Ｒ１に空気調和機、照明器具、床暖房機器が設置されており、それらの機器４の機器識別情報が、部屋Ｒ１の識別情報となる部屋Ｒ１に設置されたセンサユニット２のユニット識別情報ＢＳＳＩＤ［０］に対応づけられていることを示している。

　図４に戻って、利用者推定モデル記憶部１３２は、センサユニット２から送信される画像情報から利用者を推定するための利用者推定モデルを示す利用者推定モデル情報を記憶する。利用者推定モデルは、例えば畳み込みニューラルネットワーク（Convolutional Neural Network）であって、図５Ｂに示すように、入力層Ｌ１１０と、畳み込み層Ｌ１２１と、プーリング層Ｌ１２２と、全結合層Ｌ１２３と、出力層Ｌ１３０と、を含み、畳み込み層Ｌ１２１とプーリング層Ｌ１２２とが繰り返す構造を有する。畳み込み層Ｌ１２１、プーリング層Ｌ１２２および全結合層Ｌ１２３は、それぞれ複数のノードから構成されている。入力層L１１０は、人物画像抽出部１１４により抽出された熱画像を構成する画素の画素数に等しい数のノードを有し、出力層Ｌ１３０は、部屋Ｒに存在する利用者Ｐ１、Ｐ２、Ｐ３の組合せの数と同数のノードを有する。即ち、出力層Ｌ１３０は、部屋Ｒに利用者Ｐ１、Ｐ２、Ｐ３のいずれか１人が存在する場合、部屋Ｒの利用者Ｐ１、Ｐ２、Ｐ３のうちのいずれか２人が存在する場合、利用者Ｐ１、Ｐ２、Ｐ３全てが部屋Ｒに存在する場合それぞれに対応するノードを有する。この場合、利用者推定モデル記憶部１３２は、畳み込み層Ｌ１２１、プーリング層Ｌ１２２の数、隠れ層全体における各畳み込み層Ｌ１２１、プーリング層Ｌ１２２の位置、畳み込み層Ｌ１２１において使用する複数の畳み込みフィルタの数、各畳み込みフィルタのサイズおよび重み係数を示す情報を記憶する。ここで、入力層Ｌ１１０は、人物画像を構成する複数の画素それぞれに対応する入力ノードを有し、各ノードには各画素の画素値が入力される。畳み込み層Ｌ１２１の各ノードの複数の畳み込みフィルタそれぞれに対応する出力ｚ［ｉ，ｊ，ｌ，ｍ］は、下記式（１）の関係式で表される。

　　　・・・式（１）

　ここで、（ｉ，ｊ）は、畳み込み層Ｌ１２１から出力されるマップにおける各画素の座標に相当し、ｌは、畳み込み層Ｌ１２１の位置を示す。また、ｍは、畳み込みフィルタの識別番号を示し、ｈ［ｐ，ｑ，ｍ］は、識別番号ｍの畳み込みフィルタの重み係数を示す。更に、ｂ［ｉ，ｊ，ｍ］は、複数のフィルタそれぞれにおける各画素値に加わるバイアス値を示す。Ｈは、畳み込みフィルタの縦横の長さを示し、フィルタサイズがＨ画素×Ｈ画素であることを示す。式（１）は、ｌに位置する畳み込み層が、ｌ－１に位置する層から入力されるマップの各画素値がｚ［ｉ，ｊ，ｌ－１］の場合に出力するマップの各画素値を表している。ｆ（＊）は、活性化関数を示す。活性化関数としては、ロジスティック関数、シグモイド関数、正規化線形関数等が用いられる。

　プーリング層Ｌ１２２は、畳み込み層Ｌ１２１から出力されるマップについて予め設定されたサイズの正方領域それぞれにおける最大値または平均値を算出し、算出した最大値または平均値を画素値とすることにより、畳み込み層Ｌ１２１から出力されるマップよりもサイズの小さいマップを出力する。全結合層Ｌ１２３は、マップを構成する複数の画素を利用者の数と同数のノードそれぞれに対応する値を出力する。出力層Ｌ１３０は、例えばソフトマックス関数を用いた処理を実行することにより、全結合層Ｌ１２３に属するノードからの出力に基づいて、人物画像抽出部１１４により抽出された熱画像に対応する人物が各利用者Ｐ１、Ｐ２、Ｐ２であることの確率を要素とする確率ベクトルを出力する。そして、利用者推定部１１５は、確率の最も高い要素に対応する利用者Ｐ１、Ｐ２、Ｐ２を、熱画像が示す利用者Ｐ１、Ｐ２、Ｐ２と推定する。

　在室状況記憶部１３３は、例えば図６Ａに示すように、各部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３それぞれを識別する利用者識別情報を、各部屋Ｒ１、Ｒ２、Ｒ３に設置されたセンサユニット２Ａ、２Ｂ、２Ｃそれぞれのユニット識別情報と、各部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の機器識別情報とに対応づけて記憶する。図６Ａに示す例では、利用者Ｐ１、Ｐ２、Ｐ３に利用者識別情報ＩＤＵ１、ＩＤＵ２、ＩＤＵ３が付与されており、それぞれ、部屋Ｒ１（リビング）、部屋Ｒ２（ダイニング）、部屋Ｒ３（寝室）に居ることを表している。利用者識別情報としては、例えば前述の端末識別情報を採用することができる。

　環境情報記憶部１３４は、部屋Ｒ１、Ｒ２、Ｒ３それぞれに設置された環境センサ３により検出された環境パラメータを示す環境情報を、ユニット識別情報に対応づけて記憶する。気象情報記憶部１３５は、気象サーバ９から送信された気象情報を記憶する。

　機器設定推定モデル記憶部１３６は、環境情報と、気象情報と、利用者識別情報と、から機器４の設定を推定するための機器設定推定モデルを示す機器設定推定モデル情報を記憶する。機器設定推定モデルは、例えば順伝播型のニューラルネットワークである。この場合、機器設定推定モデル記憶部１３６は、機器設定推定モデルのノード数、層数、各ノードに対応する重み係数および活性化関数それぞれを示す情報を記憶する。この機器設定推定モデルは、図６Ｂに示すように入力層Ｌ２１０、隠れ層Ｌ２２０および出力層Ｌ２３０を有する。入力層Ｌ２１０には、環境情報と、気象情報と、利用者識別情報と、が入力される。

　隠れ層Ｌ２２０は、予め設定された数Ｍ［ｊ］のノードｘ［ｊ，ｉ］（１≦ｉ≦Ｍ［ｊ］、Ｍ［ｊ］は正の整数）を含むＮ（Ｎは正の整数）個の層から構成されている。即ち、隠れ層Ｌ２２０は、各ノード列同士が繋がれた構造を有する。ここで、各ノードｘ［ｊ，ｉ］の出力ｙ［ｊ，ｉ］は、下記式（２）の関係式で表される。

　　　・・・式（２）

　ここで、Ｗ［ｊ，ｉ，ｋ］は、重み係数を示し、ｆ（＊）は、活性化関数を示す。活性化関数としては、ロジスティック関数、シグモイド関数、正規化線形関数等が用いられる。隠れ層Ｌ２２０は、ノードに入力される情報が前の層の各ノードの出力それぞれに重み係数を乗じたものの総和となっている。そして、総和を引数とする活性化関数の出力が次の層へ伝達される。出力層Ｌ２３０は、例えばソフトマックス関数を用いた処理を実行し、隠れ層Ｌ２２０の最終層からの出力ｙ［ｊ，ｉ］に基づいて、機器４それぞれについて、複数種類の設定それぞれを利用者Ｐ１、Ｐ２、Ｐ３が採用する確率を要素とする確率ベクトルを出力する。そして、機器設定推定部１１９は、確率の最も高い要素に対応する機器４の設定を、利用者Ｐ１、Ｐ２、Ｐ３が好む機器４の設定と推定する。

　機器設定記憶部１３７は、機器設定推定部１１９により推定された機器４の設定を示す機器設定情報を、対応する機器４の機器識別情報に対応づけて記憶する。

　図４に戻って、識別情報取得部１１１は、端末装置５から送信されるユニット識別情報および利用者識別情報を取得し、取得したユニット識別情報および利用者識別情報を利用者特定部１１２に通知する。また、識別情報取得部１１１は、確認時期管理部１２４から在室状況確認時期が到来したことを通知されると、センサユニット２に対してビーコンフレームの探索を指示するビーコン探索指示情報をセンサユニット２へ送信することにより、センサユニット２から送信されるユニット識別情報を取得する。

　利用者特定部１１２は、ユニット識別情報と、ユニット識別情報とともに送出された利用者識別情報と、の組合せに基づいて、機器４が設置された部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者を特定する。利用者特定部１１２は、例えば部屋Ｒ１に設置されたセンサユニット２Ａのユニット識別情報とともに利用者Ｐ１の利用者識別情報とが識別情報取得部１１１から通知されると、センサユニット２Ａが設置された部屋Ｒ１に存在する利用者を、通知された利用者識別情報で識別される利用者Ｐ１と特定する。そして、利用者特定部１１２は、ユニット識別情報と、特定した利用者を識別する利用者識別情報と、を互いに対応づけて、在室状況記憶部１３３に記憶させる。また、利用者特定部１１２は、ユニット識別情報と、特定した利用者を識別する利用者識別情報と、を利用者推定モデル生成部１１６に通知する。

　画像取得部１１３は、センサユニット２から送信される画像情報とユニット識別情報とを取得し、取得した画像情報を人物画像抽出部１１４に通知するとともに、ユニット識別情報を利用者推定部１１５に通知する。

　人物画像抽出部１１４は、画像取得部１１３から通知される画像情報が示す熱画像から利用者Ｐ１、Ｐ２、Ｐ３の熱画像を抽出する。人物画像抽出部１１４は、例えば予め部屋Ｒ１、Ｒ２、Ｒ３に利用者Ｐ１、Ｐ２、Ｐ３が不在の状態でセンサユニット２から送信された画像情報が示す熱画像をリファレンス画像として保持している。そして、人物画像抽出部１１４は、部屋Ｒ１、Ｒ２、Ｒ３に利用者Ｐ１、Ｐ２、Ｐ３が存在する場合の画像情報が画像取得部１１３から通知されると、通知された画像情報が示す熱画像のうち、リファレンス画像との温度差が予め設定された差分温度閾値以上の領域を利用者Ｐ１、Ｐ２、Ｐ２の画像として抽出する。人物画像抽出部１１４が抽出した画像は、利用者Ｐ１、Ｐ２、Ｐ３の身長、頭の大きさ、腕、足の長さ等の体格上の特徴が反映されたものとなる。また、人物画像抽出部１１４は、抽出した画像から、更に領域内における温度が人間の体温に近い３５℃以上３８℃以下の部分を更に抽出するものであってもよい。人物画像抽出部１１４は、抽出した利用者Ｐ１、Ｐ２、Ｐ３の熱画像を示す抽出画像情報を利用者推定部１１５に通知する。また、人物画像抽出部１１４は、熱画像から利用者Ｐ１、Ｐ２、Ｐ３を含む人物の熱画像を抽出できなかった場合、抽出画像情報の利用者推定部１１５への通知を行わない。

　利用者推定部１１５は、人物画像抽出部１１４から通知される抽出画像情報と、センサユニット２から前述の画像情報とともに送出されたユニット識別情報と、の組合せに基づいて、センサユニット２が設置された部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３を推定する。利用者推定部１１５は、利用者推定モデル記憶部１３２が記憶する利用者推定モデル情報が示す利用者推定モデルを用いて、抽出画像情報が示す熱画像から、利用者Ｐ１、Ｐ２、Ｐ３を推定する。利用者推定部１１５は、推定した利用者を識別する利用者識別情報を、画像取得部１１３から通知されるユニット識別情報に対応づけて在室状況記憶部１３３に記憶させる。ここで、利用者推定部１１５は、利用者特定部１１２により利用者識別情報が在室状況記憶部１３３に記憶される場合、在室状況記憶部１３３への利用者識別情報の記憶を回避する。即ち、在室状況記憶部１３３には、利用者特定部１１２により特定されたユニット識別情報と利用者識別情報との組合せが優先的に記憶される。また、利用者推定部１１５は、画像取得部１１３が取得した画像情報と当該画像情報とともに送出されたユニット識別情報との組合せに基づいて、利用者の部屋Ｒ１、Ｒ２、Ｒ３における存否を推定する。具体的には、利用者推定部１１５は、人物画像抽出部１１４から部屋Ｒ１、Ｒ２、Ｒ３に対応する抽出画像情報が通知されない場合、部屋Ｒ１、Ｒ２、Ｒ３には少なくとも利用者Ｐ１、Ｐ２、Ｐ３が存在しないと推定し、利用者Ｐ１、Ｐ２、Ｐ３が不在であることを示すＮＵＬＬ値情報を、ユニット識別情報に対応づけて在室状況記憶部１３３に記憶させる。

　利用者推定モデル生成部１１６は、利用者特定部１１２により特定される利用者を識別する利用者識別情報と、センサユニット２から送信された画像情報と、を用いて、前述の利用者推定モデルを生成する。利用者推定モデル生成部１１６は、利用者特定部１１２により特定された利用者と利用者推定部１１５により推定された利用者とが異なると判定される毎に、利用者特定部１１２により特定された利用者を識別する利用者識別情報と人物画像抽出部１１４により抽出された熱画像を示す抽出画像情報とを用いて、利用者推定モデルを示す利用者推定モデル情報を生成する。具体的には、利用者推定モデル生成部１１６は、まず、利用者推定モデル記憶部１３２が記憶する利用者推定モデル情報が示す利用者推定モデルを用いて、抽出画像情報が示す熱画像から、人物画像抽出部１１４により抽出された熱画像が示す人物が利用者Ｐ１、Ｐ２、Ｐ２であることの確率を要素とする確率ベクトルを算出する。次に、利用者推定モデル生成部１１６は、利用者特定部１１２により特定された利用者（例えば利用者Ｐ１）の確率が他の利用者（例えば利用者Ｐ２、Ｐ３）の確率に比べて高くなるように要素を設定した教師ベクトルを生成する。例えば、利用者推定モデル生成部１１６は、利用者特定部１１２により特定された利用者Ｐ１の確率を０よりも大きい数に設定し、他の利用者の確率を０に設定した教師ベクトルを生成する。そして、利用者推定モデル生成部１１６は、利用者推定モデル記憶部１３２が記憶する利用者推定モデル情報が示す利用者推定モデルを用いて算出した確率ベクトルの各要素と、前述の教師ベクトルの各要素との誤差を算出する。そして、利用者推定モデル生成部１１６は、算出された誤差に基づく誤差逆伝播法（バックプロパゲーション）により利用者推定モデルの畳み込み層Ｌ１２１で用いる複数のフィルタそれぞれの重み係数および全結合層Ｌ１２３における重み係数を決定し、決定した重み係数を示す情報を含む利用者推定モデル情報で利用者推定モデル記憶部１３２が記憶する利用者推定モデル情報を更新する。

　環境情報取得部１１７は、環境センサ３に対して前述の環境情報の送信を要求する環境情報要求情報を環境センサ３へ送信することにより、環境センサ３から送信される環境情報と環境センサ３と同じ部屋Ｒ１、Ｒ２、Ｒ３に設置されたセンサユニット２を識別するユニット識別情報と、を取得する。そして、環境情報取得部１１７は、取得した環境情報とユニット識別情報とを、互いに対応づけて環境情報記憶部１３４に記憶させる。気象情報取得部１１８は、気象サーバ９に対して建物Ｈが存在する地域の気象条件を示す気象情報の送信を要求する気象情報要求情報を生成する。そして、気象情報取得部１１８は、生成した気象情報要求情報を気象サーバ９へ送信することにより、気象サーバ９から送信される気象情報を取得する。そして、気象情報取得部１１８は、取得した気象情報を気象情報記憶部１３５に記憶させる。

　機器設定推定部１１９は、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３を識別する利用者識別情報と、に基づいて、部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定を推定する。機器設定推定部１１９は、機器設置場所記憶部１３１が記憶する機器識別情報の中から利用者Ｐ１、Ｐ２、Ｐ３が存在する部屋Ｒ１、Ｒ２、Ｒ３に設置されたセンサユニット２のユニット識別情報に対応づけられた機器識別情報を特定する。そして、機器設定推定部１１９は、機器設定推定モデル記憶部１３６が記憶する機器設定推定モデル情報が示す機器設定推定モデルを用いて、前述の環境パラメータ、気象情報および利用者識別情報から、特定した機器識別情報で識別される機器４それぞれの設定を推定する。機器設定推定部１１９は、推定した機器４それぞれの設定を示す機器設定情報を、対応する部屋Ｒ１、Ｒ２、Ｒ３に設置されたセンサユニット２を識別するユニット識別情報に対応づけて機器設定記憶部１３７に記憶させる。ここで、利用者特定部１１２、或いは、利用者推定部１１５により１つの部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に複数の利用者Ｐ（例えば利用者Ｐ１、Ｐ２、Ｐ３）が存在すると特定または推定されたとする。このとき、在室状況記憶部１３３は、１つの部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に存在する複数の利用者（例えば利用者Ｐ１、Ｐ２、Ｐ３）それぞれの利用者識別情報を、１つの部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に設置されたセンサユニット２のユニット識別情報に対応づけて記憶している。この場合、機器設定推定部１１９は、複数の利用者（例えば利用者Ｐ１、Ｐ２、Ｐ３）それぞれに対応するその部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）の機器４（４Ａ、４Ｂ、４Ｃ）の設定を推定する。従って、機器設定推定部１１９は、例えば部屋Ｒ１に３人の利用者Ｐ１、Ｐ２、Ｐ３が存在する場合、３人の利用者Ｐ１、Ｐ２、Ｐ３それぞれに対応する３種類の機器４の設定を推定する。

　機器設定補正部１２０は、部屋Ｒ１、Ｒ２、Ｒ３に複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する場合、機器設定記憶部１３７が記憶する機器設定情報のうち、環境パラメータに関する機器４の設定値を示す機器設定情報について、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれに対応する機器設定情報が示す機器４の設定値の代表値を算出する。ここで、環境パラメータに関する機器４の設定値としては、空気調和機の設定温度および風量、照明器具の照度等が挙げられる。一方、環境パラメータに関連しない設定値としては、電動カーテンの開閉動作のタイミング、空気調和機、照明装置の動作開始、停止のタイミング等が挙げられる。また、代表値としては、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれに対応する機器設定情報が示す機器４の設定値の平均値、中間値、最大値、最小値等を採用することができる。そして、機器設定補正部１２０は、算出した代表値を用いて、機器設定記憶部１３７が記憶する、複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に設置された機器４の設定値を補正する。具体的には、機器設定補正部１２０は、部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に存在する複数の利用者についての環境パラメータに関する機器４の設定値が互いに異なる場合、その部屋Ｒに設置された機器４の設定値を算出した代表値に決定する。また、機器設定補正部１２０は、電動カーテンの開閉動作のタイミング、空気調和機、照明装置の動作開始、停止のタイミング等の設定については、複数の利用者Ｐ１、Ｐ２、Ｐ３の設定をそのまま残す。

　機器制御部１２１は、利用者特定部１１２により特定された利用者Ｐ１、Ｐ２、Ｐ３に対応する機器４の設定を示す機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、機器４を制御する。機器制御部１２１は、機器設定記憶部１３７が記憶する機器設定情報に基づいて、機器４の動作を制御するための制御情報を生成して機器４へ送信する。また、機器制御部１２１は、在室状況記憶部１３３が記憶する部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）のユニット識別情報に対応する利用者識別情報に基づいて、利用者推定部１１５により利用者Ｐ１、Ｐ２、Ｐ３が部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に不在と推定されている場合、当該部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に設置された機器４を停止させるための制御情報を生成して当該機器４へ送信する。なお、機器４が電動カーテン、空気調和機、照明器具であり、それらの機器４が設置された部屋Ｒに複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する場合、機器制御部１２１は、各利用者Ｐ１、Ｐ２、Ｐ３それぞれに対応する機器４の設定に基づいて、電動カーテンを開動作させるための制御情報、空気調和機、照明器具を動作開始させるための制御情報を連続して機器４へ送信する場合がある。この場合、機器４が電動カーテンであれば、機器４は、先にクラウドサーバ１から取得した制御情報に基づいて開動作を実行した後に更に機器４に開動作させるための制御情報を取得したとき、そのまま開状態を維持する。また、機器４が空気調和機または照明器具であれば、機器４は、先にクラウドサーバ１から取得した制御情報に基づいて動作開始した後に更に機器４を動作開始させるための制御情報を取得したとき、そのまま動作を継続する。即ち、機器４は、同じ制御情報を重複して連続取得した場合、後に取得した制御情報は無視して動作を継続する。

　設定変更通知取得部１２２は、機器４から送信される設定変更通知情報を取得すると、取得した設定変更通知情報に含まれる変更後の機器４の設定を示す変更後機器設定情報を抽出し、抽出した変更後機器設定情報を機器設定推定モデル生成部１２３に通知する。

　機器設定推定モデル生成部１２３は、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する各部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者の利用者識別情報と、設定変更通知取得部１２２から通知される変更後機器設定情報と、を用いて、前述の機器設定推定モデルを生成する。機器設定推定モデル生成部１２３は、設定変更通知取得部１２２から変更後機器設定情報が通知される毎に、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する利用者識別情報と、通知された変更後機器設定情報と、を用いて、機器設定推定モデルを示す機器設定推定モデル情報を生成する。具体的には、機器設定推定モデル生成部１２３は、まず、機器設定推定モデル記憶部１３６が記憶する機器設定モデル情報が示す機器設定推定モデルを用いて、前述の環境パラメータ、気象情報および利用者識別情報から、機器４の複数種類の設定それぞれについて利用者Ｐ１、Ｐ２、Ｐ２が採用する確率を要素とする確率ベクトルを算出する。次に、機器設定推定モデル生成部１２３は、通知された変更後機器設定情報が示す機器４の設定の確率が他の機器４の設定の確率に比べて高くなるように要素を設定した教師ベクトルを生成する。例えば、機器設定推定モデル生成部１２３は、変更後機器設定情報が示す機器４の設定の採用の確率を０よりも大きい数に設定し、他の機器４の設定の採用の確率を０に設定した教師ベクトルを生成する。そして、機器設定推定モデル生成部１２３は、機器設定推定モデル記憶部１３６が記憶する機器設定推定モデル情報が示す機器設定推定モデルを用いて算出した確率ベクトルの各要素と、前述の教師ベクトルの各要素との誤差を算出する。そして、機器設定推定モデル生成部１２３は、算出された誤差に基づく誤差逆伝播法（バックプロパゲーション）により機器設定推定モデルを構成する重み係数を決定し、決定した重み係数を示す情報を含む機器設定推定モデル情報で機器設定推定モデル記憶部１３６が記憶する機器設定推定モデル情報を更新する。

　確認時期管理部１２４は、予め設定された部屋Ｒ１、Ｒ２、Ｒ３それぞれにおける利用者Ｐ１、Ｐ２、Ｐ３の在室状況を確認する在室状況確認時期を管理しており、在室状況確認時期が到来する毎に、在室状況確認時期が到来したことを識別情報取得部１１１および画像取得部１１３に通知する。

　次に、本実施の形態に係る制御システムの動作について図７から図１１を参照しながら説明する。まず、図７に示すように、利用者が部屋Ｒ１、Ｒ２、Ｒ３に入室した状態で、センサユニット２が前述のビーコンフレームを生成し（ステップＳ１）、生成されたビーコンフレームが、センサユニット２から端末装置５へ送信されたとする（ステップＳ２）。この場合、端末装置５は、取得したビーコンフレームに含まれるセンサユニット２のユニット識別情報を抽出する（ステップＳ３）。次に、抽出されたユニット識別情報と端末装置５を所持する利用者を識別する利用者識別情報とが、端末装置５からクラウドサーバ１へ送信される（ステップＳ４）。一方、クラウドサーバ１は、ユニット識別情報と利用者識別情報とを取得すると、取得したユニット識別情報と利用者識別情報との組合せに基づいて、機器４が設置された部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者を特定する。そして、クラウドサーバ１は、取得したユニット識別情報と特定した利用者の利用者識別情報とを互いに対応づけて在室状況記憶部１３３に記憶させる（ステップＳ５）。

　続いて、前述の撮像指示情報が、クラウドサーバ１からセンサユニット２へ送信される（ステップＳ６）。一方、センサユニット２は、撮像指示情報を取得すると、センサユニット２が設置された部屋Ｒ１、Ｒ２、Ｒ３内を撮像して得られる熱画像を示す画像情報を生成する（ステップＳ７）。その後、生成された画像情報とセンサユニット２のユニット識別情報とが、センサユニット２からクラウドサーバ１へ送信される（ステップＳ８）。一方、クラウドサーバ１は、画像情報およびユニット識別情報を取得すると、取得した画像情報が示す部屋Ｒ１、Ｒ２、Ｒ３の熱画像の中から利用者Ｐ１、Ｐ２、Ｐ３の熱画像を抽出する熱画像抽出処理を実行する（ステップＳ９）。ここで、画像情報が示す熱画像は、例えば図８に示すような熱画像Ｇ１であり、クラウドサーバ１は、熱画像Ｇ１から利用者Ｐ１、Ｐ２、Ｐ３に対応する領域の熱画像Ｇ１１を抽出する。図７に戻って、次に、クラウドサーバ１は、抽出した熱画像と、センサユニット２から画像情報とともに取得したユニット識別情報と、の組合せに基づいて、センサユニット２が設置された部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３を推定する（ステップＳ１０）。ここで、クラウドサーバ１が、推定した利用者が、端末装置５から送信されたユニット識別情報と利用者識別情報との組合せに基づいて特定した利用者と異なると判定したとする（ステップＳ１１）。この場合、クラウドサーバ１は、端末装置５から送信されたユニット識別情報と利用者識別情報との組合せに基づいて特定した利用者の利用者識別情報と、前述の画像情報と、を用いて、利用者推定モデル情報を生成する。そして、クラウドサーバ１は、生成した利用者推定モデル情報で、利用者推定モデル記憶部１３２が記憶する利用者推定モデル情報を更新する（ステップＳ１２）。

　続いて、環境センサ３に対して環境情報の送信を要求する環境情報要求情報が、クラウドサーバ１から環境センサ３へ送信される（ステップＳ１３）。一方、環境センサ３は、環境情報要求情報を取得すると、環境センサ３が設置された部屋Ｒ１、Ｒ２、Ｒ３の環境パラメータを検出し、検出した環境パラメータを示す環境情報を生成する（ステップＳ１４）。その後、生成された環境情報が、環境センサ３からクラウドサーバ１へ送信される（ステップＳ１５）。ここで、クラウドサーバ１は、環境情報を取得すると、取得した環境情報を環境情報記憶部１３４に記憶させる。次に、図９に示すように、クラウドサーバ１が、気象サーバ９に対して気象情報の送信を要求する気象情報要求情報を生成し（ステップＳ１６）、生成された気象情報要求情報が、クラウドサーバ１から気象サーバ９へ送信される（ステップＳ１７）。一方、気象サーバ９は、気象情報要求情報を取得すると、取得した気象情報要求情報に含まれる住所情報に基づいて、建物Ｈが存在する地域の気象条件を示す気象情報を特定する（ステップＳ１８）。続いて、特定された気象情報が、気象サーバ９からクラウドサーバ１へ送信される（ステップＳ１９）。ここで、クラウドサーバ１は、気象情報を取得すると、取得した気象情報を気象情報記憶部１３５に記憶させる。

　その後、クラウドサーバ１は、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３の利用者識別情報と、に基づいて、部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定を推定する（ステップＳ２０）。そして、機器設定推定部１１９は、推定した機器４それぞれの設定を示す機器設定情報を、対応する部屋Ｒ１、Ｒ２、Ｒ３に設置されたセンサユニット２を識別するユニット識別情報に対応づけて機器設定記憶部１３７に記憶させる（ステップＳ２１）。ここで、クラウドサーバ１は、部屋Ｒ１、Ｒ２、Ｒ３に複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する場合、機器設定記憶部１３７が記憶する機器設定情報のうち、環境パラメータに関する機器４の設定値を示す機器設定情報について、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれに対応する機器設定情報が示す機器４の設定値の代表値を算出し、算出した代表値を用いて、機器設定記憶部１３７が記憶する、複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定値を補正する。次に、クラウドサーバ１が、機器設定記憶部１３７が記憶する機器設定情報に基づいて、機器４の動作を制御するための制御情報を生成し（ステップＳ２２）、生成された制御情報が、クラウドサーバ１から機器４へ送信される（ステップＳ２３）。一方、機器４は、クラウドサーバ１から送信される制御情報を取得すると、取得した制御情報に基づいて動作する（ステップＳ２４）。

　また、予め設定された在室状況確認時期が到来すると、端末装置５に対してビーコンフレームの探索を指示するビーコン探索指示情報が、クラウドサーバ１から端末装置５へ送信される（ステップＳ２５）。ここで、利用者Ｐ１、Ｐ２、Ｐ３が端末装置５を所持していない場合、クラウドサーバ１は、端末装置５から送信されるユニット識別情報および利用者識別情報を取得できない。続いて、前述の撮像指示情報が、クラウドサーバ１からセンサユニット２へ送信される（ステップＳ２６）。一方、センサユニット２は、撮像指示情報を取得すると、センサユニット２が設置された部屋Ｒ１、Ｒ２、Ｒ３内を撮像して得られる熱画像を示す画像情報を生成する（ステップＳ７）。その後、前述のステップＳ８からＳ１０までの一連の処理が実行される。次に、図１０に示すように、クラウドサーバ１は、取得したユニット識別情報と推定した利用者の利用者識別情報とを互いに対応づけて在室状況記憶部１３３に記憶させる（ステップＳ２７）。次に、前述のステップＳ１３からＳ２４までの一連の処理が実行される。

　また、利用者Ｐ１、Ｐ２、Ｐ３が部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定を手動で変更する機器設定変更操作を行ったとする。この場合、機器４は、変更後の機器４の設定を示す変更後機器設定情報を含む設定変更通知情報を生成する（ステップＳ２８）。続いて、図１１に示すように、生成された設定変更通知情報が、機器４からクラウドサーバ１へ送信される（ステップＳ２９）。一方、クラウドサーバ１は、設定変更通知情報を取得すると、取得した設定変更通知情報に含まれる変更後機器設定情報を抽出し、抽出した変更後機器設定情報と、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する利用者識別情報と、を用いて、機器設定推定モデル情報を生成する。そして、クラウドサーバ１は、生成した機器設定推定モデル情報で、機器設定推定モデル記憶部１３６が記憶する機器設定推定モデル情報を更新する（ステップＳ３０）。

　また、利用者Ｐ１、Ｐ２、Ｐ３が部屋Ｒ１、Ｒ２、Ｒ３から退出した後、前述の在室状況確認時期が到来したとする。この場合、前述のビーコン探索指示情報が、クラウドサーバ１から端末装置５へ送信される（ステップＳ２５）。ここで、利用者Ｐ１、Ｐ２、Ｐ３が部屋Ｒ１、Ｒ２、Ｒ３に不在であるため、クラウドサーバ１は、端末装置５から送信されるユニット識別情報および利用者識別情報を取得できない。その後、前述の撮像指示情報が、クラウドサーバ１からセンサユニット２へ送信される（ステップＳ２６）。一方、センサユニット２は、撮像指示情報を取得すると、センサユニット２が設置された部屋Ｒ１、Ｒ２、Ｒ３内を撮像して得られる熱画像を示す画像情報を生成する（ステップＳ７）。その後、生成された画像情報とセンサユニット２のユニット識別情報とが、センサユニット２からクラウドサーバ１へ送信される（ステップＳ８）。一方、クラウドサーバ１は、画像情報およびユニット識別情報を取得すると、取得した画像情報が示す熱画像から利用者Ｐ１、Ｐ２、Ｐ３の熱画像を抽出する処理を実行する（ステップＳ３１）。ここで、部屋Ｒ１、Ｒ２、Ｒ３内に利用者が不在であるため利用者Ｐ１、Ｐ２、Ｐ３の熱画像が抽出できず、クラウドサーバ１は、利用者Ｐ１、Ｐ２、Ｐ３が不在であると判定する（ステップＳ３２）。次に、クラウドサーバ１は、利用者Ｐ１、Ｐ２、Ｐ３が不在である部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４を停止させるための制御情報を生成する（ステップＳ３３）。続いて、生成された制御情報が、クラウドサーバ１から機器４へ送信される（ステップＳ３４）。一方、機器４は、制御情報を取得すると、取得した制御情報に基づいて動作を停止する（ステップＳ３５）。

　次に、本実施の形態に係るクラウドサーバ１が実行する機器制御処理について図１２および図１３を参照しながら説明する。この機器制御処理は、例えばクラウドサーバ１において機器制御処理を実行するためのプログラムが起動されたことを契機として開始される。まず、確認時期管理部１２４は、予め設定された利用者Ｐ１、Ｐ２、Ｐ３の部屋Ｒ１、Ｒ２、Ｒ３での在室状況を確認する在室状況確認時期が到来したか否かを判定する（ステップＳ１０１）。ここで、確認時期管理部１２４は、在室状況確認時期が到来したと判定すると（ステップＳ１０１：Ｙｅｓ）、その旨を識別情報取得部１１１に通知する。そして、識別情報取得部１１１は、前述のビーコン探索指示情報を端末装置５へ送信する（ステップＳ１０２）。次に、後述のステップＳ１０５の処理が実行される。一方、確認時期管理部１２４が、未だ在室状況確認時期が到来していないと判定すると（ステップＳ１０１：Ｎｏ）、識別情報取得部１１１は、端末装置５から送信されるユニット識別情報および利用者識別情報を取得したか否かを判定する（ステップＳ１０３）。ここで、識別情報取得部１１１が、ユニット識別情報および利用者識別情報を取得していないと判定すると（ステップＳ１０３：Ｎｏ）、後述のステップＳ１２４の処理が実行される。一方、識別情報取得部１１１が、ユニット識別情報および利用者識別情報を取得したと判定すると（ステップＳ１０３：Ｙｅｓ）、利用者特定部１１２は、取得したユニット識別情報と利用者識別情報との組合せに基づいて、機器４が設置された部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者を特定する。そして、利用者特定部１１２は、取得したユニット識別情報と特定した利用者の利用者識別情報とを互いに対応づけて在室状況記憶部１３３に記憶させる（ステップＳ１０４）。

　続いて、画像取得部１１３は、センサユニット２に対して部屋Ｒ１、Ｒ２、Ｒ３内の熱画像の撮像を指示する撮像指示情報をセンサユニット２へ送信することにより（ステップＳ１０５）、センサユニット２から送信される部屋Ｒ１、Ｒ２、Ｒ３内の熱画像を示す画像情報とユニット識別情報とを取得する（ステップＳ１０６）。その後、人物画像抽出部１１４は、取得した画像情報が示す部屋Ｒ１、Ｒ２、Ｒ３の熱画像の中から利用者Ｐ１、Ｐ２、Ｐ３の熱画像を抽出する熱画像抽出処理を実行する（ステップＳ１０７）。ここで、人物画像抽出部１１４は、熱画像抽出処理を実行した結果、利用者Ｐ１、Ｐ２、Ｐ３の熱画像の抽出に失敗した場合、利用者識別情報の利用者推定部１１５への通知を回避する。その後、利用者推定部１１５は、部屋Ｒ１、Ｒ２、Ｒ３内に利用者Ｐ１、Ｐ２、Ｐ３が不在であるか否かを判定する（ステップＳ１０８）。ここで、利用者推定部１１５は、人物画像抽出部１１４から利用者識別情報が通知されない場合、部屋Ｒ１、Ｒ２、Ｒ３内に利用者Ｐ１、Ｐ２、Ｐ３が不在と判定する。利用者推定部１１５は、部屋Ｒ１、Ｒ２、Ｒ３内に利用者Ｐ１、Ｐ２、Ｐ３が不在と判定すると（ステップＳ１０８：Ｙｅｓ）、部屋Ｒ１、Ｒ２、Ｒ３内に利用者Ｐ１、Ｐ２、Ｐ３が不在であることを示すＮＵＬＬ値情報を、ユニット識別情報に対応づけて在室状況記憶部１３３に記憶させる。そして、機器制御部１２１は、在室状況記憶部１３３が記憶するユニット識別情報に対応してＮＵＬＬ値情報が記憶されている場合、そのユニット識別情報で識別されるセンサユニット２が設置された部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の動作を停止させるための制御情報を生成し、生成した制御情報を機器４へ送信する（ステップＳ１０９）。次に、再びステップＳ１０１の処理が実行される。

　一方、利用者推定部１１５は、部屋Ｒ１、Ｒ２、Ｒ３内に利用者Ｐ１、Ｐ２、Ｐ３が存在すると判定すると（ステップＳ１０８：Ｎｏ）、抽出した熱画像と、センサユニット２から画像情報とともに取得したユニット識別情報と、の組合せに基づいて、センサユニット２が設置された部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３を推定する（ステップＳ１１０）。次に、利用者推定部１１５は、端末装置５から送信された利用者識別情報を取得しているか否かを判定する（ステップＳ１１１）。ここで、利用者推定部１１５は、端末装置５から送信された利用者識別情報を取得していないと判定すると（ステップＳ１１１：Ｎｏ）、推定した利用者の利用者識別情報とセンサユニット２から送信されたユニット識別情報とを互いに対応づけて在室状況記憶部１３３に記憶させる（ステップＳ１１２）。一方、利用者推定部１１５が、端末装置５から送信された利用者識別情報を取得したと判定したとする（ステップＳ１１１：Ｙｅｓ）。この場合、利用者推定モデル生成部１１６は、利用者推定部１１５により推定された利用者が、利用者特定部１１２により特定された利用者と異なるか否かを判定する（ステップＳ１１３）。ここで、利用者推定モデル生成部１１６が、利用者推定部１１５により推定された利用者と利用者特定部１１２により特定された利用者とが同じであると判定したとする（ステップＳ１１３：Ｎｏ）。この場合、利用者推定部１１５は、推定した利用者の利用者識別情報とユニット識別情報とを互いに対応づけて在室状況記憶部１３３に記憶させる（ステップＳ１１２）。一方、利用者推定モデル生成部１１６が、利用者推定部１１５により推定された利用者と利用者特定部１１２により特定された利用者とが異なると判定したとする（ステップＳ１１３：Ｙｅｓ）。この場合、利用者推定モデル生成部１１６は、利用者特定部１１２により特定された利用者の利用者識別情報と、前述の画像情報と、を用いて、利用者推定モデル情報を生成する。そして、利用者推定モデル生成部１１６は、生成した利用者推定モデル情報で、利用者推定モデル記憶部１３２が記憶する利用者推定モデル情報を更新する（ステップＳ１１４）。

　続いて、図１３に示すように、環境情報取得部１１７は、環境センサ３に対して環境情報の送信を要求する環境情報要求情報を環境センサ３へ送信する（ステップＳ１１５）。これにより、環境情報取得部１１７は、環境センサ３から送信される、環境センサ３により検出された環境パラメータを示す環境情報を取得し、取得した環境情報を環境情報記憶部１３４に記憶させる（ステップＳ１１６）。その後、気象情報取得部１１８は、気象サーバ９に対して気象情報の送信を要求する気象情報要求情報を生成して気象サーバ９へ送信する（ステップＳ１１７）。これにより、気象情報取得部１１８は、気象サーバ９から送信される気象情報を取得し、取得した気象情報を気象情報記憶部１３５に記憶させる（ステップＳ１１８）。

　次に、機器設定推定部１１９は、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３の利用者識別情報と、に基づいて、部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定を推定する（ステップＳ１１９）。続いて、機器設定推定部１１９は、推定した機器４それぞれの設定を示す機器設定情報を、対応する部屋Ｒ１、Ｒ２、Ｒ３に設置されたセンサユニット２を識別するユニット識別情報に対応づけて機器設定記憶部１３７に記憶させる（ステップＳ１２０）。その後、機器設定補正部１２０は、在室状況記憶部１３３が記憶する利用者識別情報を参照して、部屋Ｒ１、Ｒ２、Ｒ３に複数の利用者Ｐ１、Ｐ２、Ｐ３が存在するか否かを判定する（ステップＳ１２１）。ここで、機器設定補正部１２０が、部屋Ｒ１、Ｒ２、Ｒ３に利用者Ｐ１、Ｐ２、Ｐ３が１人だけ存在すると判定すると（ステップＳ１２１：Ｎｏ）、後述のステップＳ１２３の処理が実行される。一方、機器設定補正部１２０は、部屋Ｒ１、Ｒ２、Ｒ３に複数の利用者Ｐ１、Ｐ２、Ｐ３が存在すると判定すると（ステップＳ１２１：Ｙｅｓ）、複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定値を補正する（ステップＳ１２２）。具体的には、機器設定補正部１２０は、機器設定記憶部１３７が記憶する機器設定情報のうち、環境パラメータに関する機器４の設定値を示す機器設定情報について、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれに対応する機器設定情報が示す機器４の設定値の代表値を算出する。そして、機器設定補正部１２０は、算出した代表値を用いて、機器設定記憶部１３７が記憶する、複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定値を補正する。

　次に、機器制御部１２１は、機器設定記憶部１３７が記憶する機器設定情報に基づいて、機器４の動作を制御するための制御情報を生成し、生成した制御情報を機器４へ送信する（ステップＳ１２３）。続いて、設定変更通知取得部１２２は、機器４から送信される設定変更通知情報を取得したか否かを判定する（ステップＳ１２４）。ここで、設定変更通知取得部１２２が、機器４から送信される設定変更通知情報を取得していないと判定すると（ステップＳ１２４：Ｎｏ）、後述のステップＳ１２６の処理が実行される。一方、設定変更通知取得部１２２は、機器４から送信される設定変更通知情報を取得したと判定したとする（ステップＳ１２４：Ｙｅｓ）。この場合、機器設定推定モデル生成部１２３は、取得した設定変更通知情報に含まれる変更後機器設定情報を抽出し、抽出した変更後機器設定情報と、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する利用者識別情報と、を用いて、機器設定推定モデル情報を生成する。そして、機器設定推定モデル生成部１２３は、生成した機器設定推定モデル情報で、機器設定推定モデル記憶部１３６が記憶する機器設定推定モデル情報を更新する（ステップＳ１２５）。続いて、環境情報取得部１１７は、予め設定された機器設定更新時期が到来したか否かを判定する（ステップＳ１２６）。ここで、環境情報取得部１１７は、機器設定更新時期が到来したと判定すると（ステップＳ１２６：Ｙｅｓ）、再びステップＳ１１５の処理を実行する。一方、環境情報取得部１１７は、未だ機器設定更新時期が到来していないと判定すると（ステップＳ１２６：Ｎｏ）、再びステップＳ１０１の処理が実行される。

　以上説明したように、本実施の形態に係る制御システムによれば、利用者特定部１１２が、センサユニット２のビーコン送信部２１２から機器４が設置された部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）へ送信されたビーコンフレームに含まれるセンサユニット２（２Ａ、２Ｂ、２Ｃ）を識別するユニット識別情報と、ビーコンフレームを取得した端末装置５を識別する利用者識別情報と、の組合せに基づいて、利用者Ｐ（Ｐ１、Ｐ２、Ｐ３）を特定する。また、利用者推定部１１５が、利用者Ｐの熱画像を示す画像情報に基づいて、利用者Ｐを推定する。そして、機器制御部１２１が、利用者特定部１１２により特定されたユニット識別情報で識別される部屋Ｒに存在する利用者Ｐに対応する機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、機器４を制御する。これにより、利用者Ｐに対応する機器設定情報が適切に選択されるので、利用者Ｐの嗜好を反映した機器４の制御を行うことができる。即ち、センサユニット２で撮像された熱画像を用いた利用者Ｐの推定と、センサユニット２から送出されるビーコンフレームを用いた利用者Ｐの特定と、を組み合わせることにより、利用者Ｐの推定精度を高めることができるので、利用者Ｐに適した設定で機器４を制御することができる。従って、利用者Ｐにとって快適な環境を提供できる。

　また、本実施の形態に係る利用者推定部１１５は、センサユニット２から送出された画像情報およびユニット識別情報の組合せに基づいて利用者Ｐの部屋Ｒにおける存否を推定し、機器制御部１２１が、利用者Ｐが部屋Ｒに不在と推定されると、その部屋Ｒに設置された機器４を停止させる。これにより、利用者Ｐが部屋Ｒから退出した際、それに応じて機器４の動作が停止されるので、利用者の部屋Ｒ退出時における機器４の動作の停止忘れを防止でき、ひいては機器４での消費電力を低減できる。

　更に、本実施の形態に係る利用者推定部１１５は、利用者特定部１１２により特定された利用者と、前記画像情報に基づいて推定した利用者と、が互いに異なる場合、利用者特定部１１２により特定された利用者を、対象となる部屋Ｒに存在する利用者Ｐとし、推定した利用者の利用者識別情報の在室状況記憶部１３３に記憶させることを回避する。これにより、在室状況記憶部１３３には、利用者特定部１１２により特定された利用者の利用者識別情報が優先的に記憶される。従って、機器設定推定部１１９は、より正確な利用者の在室状況に基づいて機器４の設定を推定することができるので、利用者Ｐにとってより適切な環境を提供できる。

　また、本実施の形態に係る利用者推定モデル生成部１１６は、端末装置５から送信されるユニット識別情報と利用者識別情報の組合せに基づいて特定された利用者と、センサユニット２から送信される画像情報に基づいて推定した利用者と、が互いに異なる場合、利用者推定モデル情報を生成し、生成した利用者推定モデル情報で利用者推定モデル記憶部１３２が記憶する利用者推定モデル情報を更新する。これにより、画像情報から利用者Ｐを推定する際の推定精度を漸次向上させていくことができる。従って、例えば利用者Ｐが端末装置５を所持せずに部屋Ｒに入室した場合、或いは、端末装置５の電源がオフ状態の場合において、利用者Ｐを精度良く推定することが可能となる。

　更に、本実施の形態に係る機器設定推定部１１９は、環境センサ３により検出された環境パラメータと、気象サーバ９から取得した気象情報と、在室状況記憶部１３３が記憶する利用者識別情報と、に基づいて、機器４の設定を推定する。これにより、機器４の設定を利用者Ｐが存在する部屋Ｒの環境或いは季節を考慮した形で機器４の設定を推定することができるので、利用者にとってより快適な環境を提供することができる。

　また、本実施の形態に係る環境設定推定モデル生成部１２３は、設定変更通知取得部１２２が前述の設定変更通知情報を取得する毎に、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、在室状況記憶部１３３が記憶する利用者識別情報と、設定変更通知情報に含まれる変更後機器設定情報と、を用いて、機器設定推定モデル情報を生成し、生成した機器設定推定モデル情報で機器設定推定モデル記憶部１３６が記憶する機器設定推定モデル情報を更新する。これにより、機器設定推定部１１９が、機器設定推定モデルを用いて、利用者Ｐの嗜好に応じて機器４の設定を推定する際の推定精度を漸次向上させていくことができるので、利用者にとってより快適な環境を提供することができる。

　更に、本実施の形態に係る機器設定補正部１２０は、部屋Ｒに複数の利用者Ｐが存在する場合、部屋Ｒの環境パラメータに関する機器４の設定値を示す機器設定情報について、複数の利用者Ｐそれぞれに対応する機器設定情報が示す機器４の設定値の代表値を算出する。そして、機器設定補正部１２０は、算出した代表値を機器４の設定値とする。これにより、互いに嗜好の異なる複数の利用者Ｐが同じ部屋Ｒに存在する場合でも各利用者Ｐが不快と感じることのない環境を提供することができる。

（実施の形態２）
　本実施の形態に係る制御システムは、端末装置が、部屋Ｒ１、Ｒ２、Ｒ３における利用者Ｐ１、Ｐ２、Ｐ３の在室状況を確認するためのビーコンフレームの探索を行うビーコン探索時期を管理し、センサユニットが、部屋Ｒ１、Ｒ２、Ｒ３を撮像する撮像時期を管理する点が実施の形態１と相違する。

　図１４に示すように、本実施の形態に係るセンサユニット２００２および端末装置２００５は、それぞれ、在室状況確認時期を管理するために時刻を計時する計時部２０８、５０８を備える。なお、図１４において、実施の形態１と同様の構成については図３と同一の符号を付している。計時部２０８、５０８は、例えばＲＴＣを有するものである。端末装置２００５のビーコン取得部２５１１は、計時部５０８により計時される時刻に基づいて、在室状況管理時期が到来したと判定すると、無線モジュール５０７を介してセンサユニット２００２から送信されるビーコンフレームを探索する。センサユニット２００２の画像形成部２２１３は、計時部２０８により計時される時刻に基づいて、在室状況管理時期が到来したと判定すると、赤外線センサ２０３から入力される信号に基づいて熱画像を形成する。また、本実施の形態に係るクラウドサーバ２００１は、図４に示す実施の形態１に係るクラウドサーバ１について確認時期管理部１２４が無い構成を有する。以下、クラウドサーバ２００１の各機能構成については、図４と同一の符号を用いて説明する。

　次に、本実施の形態に係る制御システムの動作について図１５を参照しながら説明する。なお、図１５において、実施の形態１と同様の処理については、図７、図９から図１１と同一の符号を付している。まず、利用者Ｐ（Ｐ１、Ｐ２、Ｐ３）が部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に入室した状態で、センサユニット２００２が前述のビーコンフレームを生成し（ステップＳ１）、生成されたビーコンフレームが、センサユニット２００２から端末装置２００５へ送信される（ステップＳ２）。ここで、前述のビーコン探索時期が到来すると、端末装置２００５は、センサユニット２００２から送信されるビーコンフレームを取得し、取得したビーコンフレームに含まれるユニット識別情報を抽出する（ステップＳ２００１）。次に、抽出されたユニット識別情報と端末装置２００５を所持する利用者Ｐを識別する利用者識別情報とが、端末装置２００５からクラウドサーバ２００１へ送信される（ステップＳ２００２）。一方、クラウドサーバ２００１は、ユニット識別情報と利用者識別情報とを取得すると、取得したユニット識別情報と利用者識別情報との組合せに基づいて、機器４が設置された部屋Ｒに存在する利用者Ｐを特定する。そして、クラウドサーバ２００１は、取得したユニット識別情報と特定した利用者Ｐの利用者識別情報とを互いに対応づけて在室状況記憶部１３３に記憶させる（ステップＳ５）。

　続いて、前述の撮像時期が到来すると、センサユニット２００２は、センサユニット２００２が設置された部屋Ｒ内を撮像して得られる熱画像を示す画像情報を生成する（ステップＳ２００３）。その後、生成された画像情報とセンサユニット２００２のユニット識別情報とが、センサユニット２００２からクラウドサーバ２００１へ送信される（ステップＳ２００４）。その後、ステップＳ９以降の一連の処理が実行される。

　次に、本実施の形態に係るクラウドサーバ２００１が実行する機器制御処理について図１６を参照しながら説明する。なお、図１６において、実施の形態１と同様の処理については図１２および図１３と同一の符号を付している。まず、識別情報取得部１１１は、端末装置２００５から送信されるユニット識別情報および利用者識別情報を取得したか否かを判定する（ステップＳ２１０１）。ここで、識別情報取得部１１１は、ユニット識別情報および利用者識別情報を取得していないと判定すると（ステップＳ２１０１：Ｎｏ）、後述のステップＳ２１０３の処理が実行される。一方、識別情報取得部１１１が、ユニット識別情報および利用者識別情報を取得したと判定したとする（ステップＳ２１０１：Ｙｅｓ）。この場合、利用者特定部１１２は、取得したユニット識別情報と利用者識別情報との組合せに基づいて、機器４が設置された部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者を特定する。そして、利用者特定部１１２は、取得したユニット識別情報と特定した利用者の利用者識別情報とを互いに対応づけて在室状況記憶部１３３に記憶させる（ステップＳ２１０２）。

　次に、画像取得部１１３は、センサユニット２００２から送信される部屋Ｒ１、Ｒ２、Ｒ３内の熱画像を示す画像情報とユニット識別情報とを取得したか否かを判定する（ステップＳ２１０３）。ここで、画像取得部１１３が、センサユニット２００２から送信される画像情報とユニット識別情報とを取得していないと判定すると（ステップＳ２１０３：Ｎｏ）、ステップＳ１２４の処理が実行される。一方、画像取得部１１３が、センサユニット２００２から送信される画像情報とユニット識別情報とを取得したと判定したとする（ステップＳ２１０３：Ｙｅｓ）。この場合、人物画像抽出部１１４は、取得した画像情報が示す部屋Ｒ１、Ｒ２、Ｒ３の熱画像の中から利用者Ｐ１、Ｐ２、Ｐ３の熱画像を抽出する熱画像抽出処理を実行する（ステップＳ１０７）。その後、ステップＳ１０８以降の一連の処理が実行される。

　以上説明したように、本実施の形態に係る制御システムでは、端末装置が、部屋Ｒ１、Ｒ２、Ｒ３における利用者Ｐ１、Ｐ２、Ｐ３の在室状況を確認するためのビーコンフレームの探索を行うビーコン探索時期を管理し、センサユニット２００２が、部屋Ｒ１、Ｒ２、Ｒ３を撮像する撮像時期を管理する。これにより、クラウドサーバ２００１において実施の形態１で説明した在室状況確認時期を管理する必要が無くなるため、その分、クラウドサーバ２００１の機能構成の簡素化を図ることができる。

（実施の形態３）
　本実施の形態に係る制御システムは、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれについて予め設定された機器設定情報を記憶する機器設定リスト記憶部を備えており、機器制御部が、機器設定リスト情報の中から、推定された利用者に対応する機器設定情報を特定し、特定した機器設定情報に基づいて、機器を制御する点で実施の形態１と相違する。即ち、本実施の形態に係る制御システムは、実施の形態１で説明した機器設定推定部を備えていない点で実施の形態１と相違する。

　本実施の形態に係る制御システムのハードウェア構成は、実施の形態１で説明した制御システムのハードウェア構成と同様である。従って、本実施の形態に係る制御システムのハードウェア構成については適宜図２に示す符号を用いて説明する。本実施の形態に係るクラウドサーバ３００１のＣＰＵ１０１は、補助記憶部１０３が記憶するプログラムを主記憶部１０２に読み出して実行することにより、図１７に示すように、識別情報取得部１１１、利用者特定部１１２、画像取得部１１３、人物画像抽出部１１４、利用者推定部１１５、利用者推定モデル生成部１１６、環境情報取得部１１７、気象情報取得部１１８、機器設定選択部３１１９、機器設定補正部１２０、機器制御部１２１、設定変更通知取得部３１２２および確認時期管理部１２４として機能する。なお、図１７において、実施の形態１と同様の構成については図４と同一の符号を付している。また、補助記憶部１０３は、機器設置場所記憶部１３１と、利用者推定モデル記憶部１３２と、在室状況記憶部１３３と、環境情報記憶部１３４と、気象情報記憶部１３５と、機器設定リスト記憶部３１３６と、機器設定記憶部１３７と、を有する。機器設定リスト記憶部３１３６は、例えば図１８に示すような機器設定情報のリストを示す機器設定リスト情報を記憶する。この機器設定リスト情報は、利用者Ｐ１、Ｐ２、Ｐ３それぞれについて各部屋Ｒ１、Ｒ２，Ｒ３に設置された各機器４の設定を示す機器設定情報を、各部屋Ｒ１、Ｒ２、Ｒ３に対応するユニット識別情報、各部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の機器識別情報および季節を示す時期情報に対応づけたものである。また、図１８に示すような機器設定リスト情報は、環境センサ３より検出される環境パラメータの複数種類の範囲と、複数種類の気象条件と、の組合せそれぞれについて準備されている。そして、機器設定リスト記憶部３１３６は、環境パラメータの複数種類の範囲と複数種類の気象条件との組合せそれぞれに対応する機器設定リスト情報の全てを、環境パラメータの複数種類の範囲と複数種類の気象条件との組合せに対応づけて記憶している。

　機器設定選択部３１１９は、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータが属す環境パラメータの範囲と、気象情報記憶部１３５が記憶する気象情報が示す気象条件と、の組合せを特定する。次に、機器設定選択部３１１９は、機器設定リスト記憶部３１３６が記憶する複数の機器設定リスト情報の中から、特定した環境パラメータの範囲と気象条件との組合せに対応する機器設定リスト情報を選択する。そして、機器設定選択部３１１９は、在室状況記憶部１３３が記憶する利用者識別情報を参照して、各部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者を特定し、選択した機器設定リスト情報の中から、特定した利用者Ｐ１、Ｐ２、Ｐ３が存在する部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４についての特定した利用者Ｐ１、Ｐ２、Ｐ３に対応する機器設定情報を選択する。機器設定選択部３１１９は、選択した機器設定情報を機器設定記憶部１３７に記憶させる。

　設定変更通知取得部３１２２は、機器４から送信される設定変更通知情報を取得すると、取得した設定変更通知情報に含まれる変更後の機器４の設定を示す変更後機器設定情報を抽出し、抽出した変更後機器設定情報を用いて、機器設定リスト記憶部３１３６が記憶する設定変更通知情報に対応する機器設定リスト情報を更新する。これにより、機器制御部１２１が、機器４を制御した後、利用者がその機器４の設定を変更した場合、機器設定リスト情報が上書き更新される形でフィードバックされ最適化されていく。

　次に、本実施の形態に係るクラウドサーバ３００１が実行する機器制御処理について図１９を参照しながら説明する。なお、図１９において、実施の形態１と同様の処理については、図１２および図１３と同一の符号を付している。本実施の形態にかかるこの機器制御処理は、まず、実施の形態１で図１２を用いて説明したステップＳ１０１からＳ１１４までの一連の処理が実行される。次に、図１９に示すように、環境情報取得部１１７は、環境センサ３に対して環境情報の送信を要求する環境情報要求情報を環境センサ３へ送信する（ステップＳ１１５）。次に、ステップＳ１１６からＳ１１８までの一連の処理が実行された後、機器設定選択部３１１９は、環境情報記憶部１３４が記憶する環境情報が示す環境パラメータと、気象情報記憶部１３５が記憶する気象情報と、在室状況記憶部１３３が記憶する部屋Ｒ１、Ｒ２、Ｒ３に存在する利用者Ｐ１、Ｐ２、Ｐ３の利用者識別情報と、に基づいて、部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定を選択する（ステップＳ３１０１）。続いて、ステップＳ１２０からＳ１２３までの一連の処理が実行される。

　その後、設定変更通知取得部３１２２は、機器４から送信される設定変更通知情報を取得したか否かを判定する（ステップＳ１２４）。ここで、設定変更通知取得部３１２２が、機器４から送信される設定変更通知情報を取得していないと判定すると（ステップＳ１２４：Ｎｏ）、後述のステップＳ１２６の処理が実行される。一方、設定変更通知取得部３１２２は、機器４から送信される設定変更通知情報を取得したと判定したとする（ステップＳ１２４：Ｙｅｓ）。この場合、設定変更通知取得部３１２２は、取得した設定変更通知情報に含まれる変更後機器設定情報を抽出し、抽出した変更後機器設定情報を用いて、機器設定リスト記憶部３１３６が記憶する設定変更通知情報に対応する機器設定リスト情報を更新する（ステップＳ３１０２）。続いて、環境情報取得部１１７は、予め設定された機器設定更新時期が到来したか否かを判定する（ステップＳ１２６）。ここで、環境情報取得部１１７は、機器設定更新時期が到来したと判定すると（ステップＳ１２６：Ｙｅｓ）、再びステップＳ１１５の処理を実行する。一方、環境情報取得部１１７は、未だ機器設定更新時期が到来していないと判定すると（ステップＳ１２６：Ｎｏ）、再びステップＳ１０１の処理が実行される。

　以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ３００１において、機器４の設定を推定する処理を行う必要が無いので、その分、クラウドサーバ３００１の処理負荷を軽減できる。また、利用者がその機器４の設定を変更した場合、その変更後の機器４が機器設定リスト情報にフィードバックされるので、機器４の設定が最適化されていく。従って、利用者にとって最適な機器４の設定が実現され易いという利点がある。

　以上、本開示の実施の形態について説明したが、本開示は前述の実施の形態によって限定されるものではない。例えば各実施の形態において、センサユニット２、２００２が、部屋Ｒ１、Ｒ２、Ｒ３の実際の画像を撮像するカメラを備えるものであってもよい。

　各実施の形態では、クラウドサーバ１、２００１、３００１が、部屋Ｒ１、Ｒ２、Ｒ３に複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する場合、環境パラメータに関する機器４の設定値を示す機器設定情報について、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれに対応する機器設定情報が示す機器４の設定値の代表値を用いて、機器設定記憶部１３７が記憶する機器４の設定値を補正する機器設定補正部１２０を備える例について説明した。但し、これに限らず、例えば、クラウドサーバ１、２００１、３００１が、部屋Ｒ１、Ｒ２、Ｒ３に複数の利用者Ｐ１、Ｐ２、Ｐ３が存在する場合、その部屋Ｒ１、Ｒ２、Ｒ３に設置された機器４の設定を、複数の利用者Ｐ１、Ｐ２、Ｐ３から任意に選択した１人に対応する機器４の設定を選出して機器設定記憶部１３７に記憶させる機器設定選出部を備えるものであってもよい。

　各実施の形態では、機器設定推定部１１９は、部屋Ｒ（Ｒ１、Ｒ２、Ｒ３）に利用者Ｐ１、Ｐ２、Ｐ３が複数存在する場合、機器設定推定モデルを用いて、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれについて機器４の設定を推定し、機器設定補正部１２０が、複数の利用者Ｐ１、Ｐ２、Ｐ３それぞれについて推定された機器４の設定を示す機器設定情報に基づいて、部屋Ｒに設置された機器４の設定を決定する例について説明した。但し、これに限らず、機器設定推定部１１９が、部屋Ｒ１、Ｒ２、Ｒ３に利用者Ｐ１、Ｐ２、Ｐ３が複数存在する場合、機器設定推定モデルを用いて、複数の利用者Ｐ１、Ｐ２、Ｐ３の組合せに応じた機器４の設定を直接推定する構成であってもよい。機器設定推定部１１９は、例えば利用者Ｐ１、Ｐ２、Ｐ３について、機器設定推定モデルを用いて、利用者Ｐ１、Ｐ２、Ｐ３のいずれかが１人だけ部屋Ｒに存在する場合の機器４の設定、利用者Ｐ１、Ｐ２、Ｐ３のうのいずれかが２人だけ部屋Ｒに存在する場合の機器４の設定、利用者Ｐ１、Ｐ２、Ｐ３の全てが部屋Ｒに存在する場合の機器４の合計７つのケースそれぞれについて機器４の設定を推定するものであってもよい。

　実施の形態３では、設定変更通知取得部３１２２が、機器４から送信される設定変更通知情報に含まれる変更後の機器４の設定を示す変更後機器設定情報を抽出し、抽出した変更後機器設定情報を用いて、機器設定リスト記憶部３１３６が記憶する機器設定リスト情報を更新する例について説明した。但し、これに限らず、例えばクラウドサーバが、建物Ｈ内の環境パラメータに関する機器４の設定値を示す機器設定情報について、設定変更通知取得部３１２２が抽出した変更機器設定情報が示す機器４の設定値と変更前の機器４の設定値との平均値を算出し、算出した平均値を用いて機器設定リスト情報を更新するリスト更新部を備えるものであってもよい。

　また、本開示に係るクラウドサーバ１、２００１、３００１の各種機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現されてもよい。この場合、ソフトウェアまたはファームウェアは、プログラムとして記述され、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）およびＭＯ（Magneto-Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

　さらに、搬送波に各プログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板（BBS，Bulletin Board System）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前述の処理を実行できるように構成してもよい。

　本開示は、利用者の嗜好に適合するように機器を制御する制御システムに好適である。

１，２００１,３００１　クラウドサーバ、２，２Ａ，２Ｂ，２Ｃ，２００２　センサユニット、３，３Ａ，３Ｂ，３Ｃ　環境センサ、４，４Ａ，４Ｂ，４Ｃ　機器、５，５Ａ，５Ｂ，５Ｃ，２００５　端末装置、６　ゲートウェイ装置、８　ＢＢＲ、９　気象サーバ、１０１，５０１　ＣＰＵ、１０２，５０２　主記憶部、１０３，５０３　補助記憶部、１０６，５０６　通信部、１０８，２０８，５０８　計時部、１０９，５０９　バス、１１１　識別情報取得部、１１２　利用者特定部、１１３　画像取得部、１１４　人物画像抽出部、１１５　利用者推定部、１１６　利用者推定モデル生成部、１１７　環境情報取得部、１１８　気象情報取得部、１１９　機器設定推定部、１２０　機器設定補正部、１２１　機器制御部、１２２，３１２２　設定変更通知取得部、１２３　機器設定推定モデル生成部、１２４　確認時期管理部、１３１　機器設置場所記憶部、１３２　利用者推定モデル記憶部、１３３　在室状況記憶部、１３４　環境情報記憶部、１３５　気象情報記憶部、１３６　機器設定推定モデル記憶部、１３７　機器設定記憶部、２０１　制御部、２０２，５０７　無線モジュール、２０３　赤外線センサ、２１１　ビーコン生成部、２１２　ビーコン送信部、２１３，２２１３　画像形成部、２１４　画像送信部、５１１，２５１１　ビーコン取得部、５１２　識別情報抽出部、５１３　識別情報通知部、３１１９　機器設定選択部、３１３６　機器設定リスト記憶部、Ｈ　建物、Ｌ１１０，Ｌ２１０　入力層、Ｌ１２１　畳み込み層、Ｌ１２２　プーリング層、Ｌ１２３　全結合層、Ｌ１３０，Ｌ２３０　出力層、Ｌ２２０　隠れ層、ＮＷ１　広域ネットワーク、ＮＷ２　局所ネットワーク、Ｐ，Ｐ１，Ｐ２，Ｐ３　利用者、Ｒ，Ｒ１，Ｒ２，Ｒ３　部屋

Claims (12)

1. 　機器の設置場所に前記機器とともに設置され、前記機器の利用者の撮像画像を示す画像情報を生成し、生成した画像情報とともに前記設置場所を識別する第１識別情報を送出する撮像装置と、
   　前記第１識別情報を含むビーコンフレームを前記設置場所へ送信するビーコン送信部と、
   　前記ビーコンフレームを取得すると、前記ビーコンフレームに含まれる第１識別情報を抽出し、抽出した第１識別情報と自装置を所持する利用者を識別する第２識別情報とを送出する端末装置と、
   　前記第１識別情報と、前記第１識別情報とともに送出された前記第２識別情報と、の組合せに基づいて、前記設置場所に存在する利用者を特定する利用者特定部と、
   　前記画像情報と、前記画像情報とともに送出された前記第１識別情報と、の組合せに基づいて、前記設置場所に存在する前記利用者を推定する利用者推定部と、
   　前記利用者特定部により特定された前記利用者に対応する前記機器の設定を示す機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、前記機器を制御する機器制御部と、を備える、
   　制御システム。
2. 　前記利用者推定部は、前記画像情報および前記画像情報とともに送出された前記第１識別情報の組合せに基づいて前記利用者の前記設置場所における存否を推定し、
   　前記機器制御部は、前記利用者が前記設置場所に不在と推定されると、前記設置場所に設置された機器を停止させる、
   　請求項１に記載の制御システム。
3. 　前記利用者推定部は、前記第１識別情報および前記第１識別情報とともに送出された前記第２識別情報の組合せに基づいて特定された利用者と、前記画像情報に基づいて推定した利用者と、が互いに異なる場合、前記第１識別情報および前記第２識別情報の組合せに基づいて特定された利用者を、前記設置場所に存在する利用者とする、
   　請求項１または２に記載の制御システム。
4. 　前記第１識別情報および前記第１識別情報とともに送出された前記第２識別情報の組合せに基づいて特定された利用者と、前記画像情報に基づいて推定した利用者と、が互いに異なる場合、前記第１識別情報と、前記第１識別情報とともに送出された前記第２識別情報と、の組合せに基づいて特定された前記利用者を識別する利用者識別情報と、前記画像情報と、を用いて、前記画像情報から前記利用者を推定するための利用者推定モデルを生成する利用者推定モデル生成部を更に備え、
   　前記利用者推定部は、前記利用者推定モデルを用いて、前記画像情報に基づいて前記利用者を推定する、
   　請求項１から３のいずれか１項に記載の制御システム。
5. 　複数の前記利用者それぞれについて予め設定された前記機器設定情報を含む機器設定リスト情報を記憶する機器設定リスト記憶部と、
   　前記機器設定リスト情報の中から、前記利用者に対応する前記機器設定情報を選択する機器設定選択部と、を更に備え、
   　前記機器制御部は、選択された前記機器設定情報に基づいて、前記機器を制御する、
   　請求項１から４のいずれか１項に記載の制御システム。
6. 　前記設置場所の環境パラメータを検出する環境センサと、
   　前記環境センサにより検出された前記環境パラメータと、推定された前記利用者を識別する利用者識別情報と、に基づいて、前記機器の設定を推定する機器設定推定部と、を更に備え、
   　前記機器制御部は、推定された前記機器の設定を示す機器設定情報に基づいて、前記機器を制御する、
   　請求項１から４のいずれか１項に記載の制御システム。
7. 　前記利用者により前記機器の設定が変更された場合の変更後の前記機器の設定を示す変更後機器設定情報を含む設定変更通知情報を取得する設定変更通知取得部と、
   　前記環境パラメータと、前記利用者識別情報と、前記変更後機器設定情報と、を用いて、前記環境パラメータと、前記利用者識別情報と、から前記機器の設定を推定するための機器設定推定モデルを生成する機器設定推定モデル生成部を更に備え、
   　前記機器設定推定部は、前記機器設定推定モデルを用いて、前記環境パラメータと推定された前記利用者とに基づいて前記利用者を推定する、
   　請求項６に記載の制御システム。
8. 　気象条件を示す気象情報を管理する気象サーバから前記設置場所における気象条件を示す気象情報を取得する気象情報取得部を更に備え、
   　前記機器設定推定部は、前記環境パラメータと前記利用者識別情報とともに、前記気象情報に基づいて、前記機器の設定を推定する、
   　請求項６または７に記載の制御システム。
9. 　前記設置場所に複数の前記利用者が存在する場合、前記設置場所の環境パラメータに関する前記機器の設定値を示す機器設定情報について、複数の前記利用者それぞれに対応する機器設定情報が示す前記機器の設定値の代表値を算出し、算出した代表値を前記機器の設定値とする機器設定補正部を更に備える、
   　請求項１から８のいずれか１項に記載された制御システム。
10. 　機器の設置場所を識別する第１識別情報を含むビーコンフレームを前記設置場所へ送信するビーコン送信部から送信されたビーコンフレームを取得した端末装置から送信された前記第１識別情報と、前記端末装置から前記第１識別情報とともに送出された前記端末装置を所持する利用者を識別する第２識別情報と、の組合せに基づいて、前記設置場所に存在する利用者を特定する利用者特定部、
    　機器の設置場所に前記機器とともに設置された撮像装置から送出された前記利用者の撮像画像を示す画像情報と、前記撮像装置から前記画像情報とともに送出された前記第１識別情報と、の組合せに基づいて、前記設置場所に存在する前記利用者を推定する利用者推定部、
    　前記第１識別情報と前記第２識別情報との組合せに基づいて特定された前記利用者に対応する前記機器の設定を示す機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、前記機器を制御する機器制御部と、を備える、
    　制御装置。
11. 　機器の設置場所に前記機器とともに設置された撮像装置が、前記機器の利用者の撮像画像を示す画像情報を生成し、生成した画像情報とともに前記設置場所を識別する第１識別情報を送出するステップと、
    　ビーコン送信部が、前記第１識別情報を含むビーコンフレームを前記設置場所へ送信するステップと、
    　端末装置が、前記ビーコンフレームを取得すると、前記ビーコンフレームに含まれる第１識別情報を抽出し、抽出した第１識別情報と前記端末装置を所持する利用者を識別する第２識別情報とを送出するステップと、
    　制御装置が、前記第１識別情報と、前記第１識別情報とともに送出された前記第２識別情報と、の組合せに基づいて、前記利用者を特定するステップと、
    　前記制御装置が、前記画像情報と、前記画像情報とともに送出された前記第１識別情報と、の組合せに基づいて、前記利用者を推定するステップと、
    　前記制御装置が、前記第１識別情報と前記第２識別情報との組合せに基づいて特定された前記利用者に対応する前記機器の設定を示す機器設定情報を優先的に選択し、選択した機器設定情報に基づいて、前記機器を制御するステップと、を含む、
    　機器制御方法。
12. 　コンピュータを、
    　機器の設置場所を識別する第１識別情報を含むビーコンフレームを前記設置場所へ送信するビーコン送信部から送信されたビーコンフレームを取得した端末装置から送信された前記第１識別情報と、前記端末装置から前記第１識別情報とともに送出された前記端末装置を識別する第２識別情報と、の組合せに基づいて、前記設置場所に存在する利用者を特定する利用者特定部、
    　機器の設置場所に前記機器とともに設置された撮像装置から送出された前記利用者の撮像画像を示す画像情報と、前記撮像装置から前記画像情報とともに送出された前記第１識別情報と、の組合せに基づいて、前記設置場所に存在する前記利用者を推定する利用者推定部、
    　前記利用者に対応する前記機器の設定を示す機器設定情報に基づいて、前記機器を制御する機器制御部、
    　として機能させるためのプログラム。

Images