以下、本発明の各実施の形態に係る制御システムについて図面を参照して詳細に説明する。各実施の形態に係る制御システムは、いずれも、機器の利用者に関する利用者情報に基づいて、機器が設置されている場所の環境を示す環境パラメータと将来の気象条件を示す気象予報情報とから、ニューラルネットワークを用いて、将来の機器の機器設定パラメータを求めるものである。
(実施の形態1)
本実施の形態に係る制御システムでは、サーバが、機器が設置されている場所の環境パラメータと将来の気象条件を示す気象予報情報とから、予め設定されたノード数および層数を有する機器の将来の機器設定パラメータを求めるためのニューラルネットワークを用いて、将来の機器の機器設定パラメータを求める。そして、サーバは、求められた将来の機器の機器設定パラメータから機器の将来の運転スケジュールを示すスケジュール情報を生成する。サーバは、機器から機器の機器設定パラメータの履歴を示す動作履歴情報と前記機器が動作する環境の履歴を示す環境履歴情報と前記機器の利用者を示す利用者情報とを含む履歴情報を取得する履歴情報取得部と、気象サーバから、過去の気象条件を示す気象実績情報と将来の気象条件を示す気象予報情報とを含む気象情報を取得する気象情報取得部と、を有する。また、サーバは、取得した履歴情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する係数決定部と、第1ニューラルネットワーク係数が決定された第1ニューラルネットワークを用いて、気象予報情報と環境履歴情報とに含まれる現時点の環境を示す環境パラメータとから機器の将来の機器設定パラメータを求めるニューラルネットワーク計算部と、を有する。更に、サーバは、ニューラルネットワーク計算部により求められた機器設定パラメータに基づいて、機器の将来の運転スケジュールを示すスケジュール情報を生成するスケジュール生成部を有する。そして、機器は、スケジュール情報が示す運転スケジュールに従って機器を制御する機器制御部を有する。
本実施の形態に係る制御システムは、図1に示すように、住戸Hに設置された空気調和機4、52と、給湯機51と、宅外ネットワークNT1を介して通信可能なクラウドサーバ2と、を備える。宅外ネットワークNT1は、例えばインターネットである。また、宅外ネットワークNT1には、過去の気象条件を示す気象実績情報と、将来の気象条件を示す気象予報情報と、を配信する気象サーバ3が接続されている。住戸Hには、空気調和機4、52を操作するための操作機器6、72と、給湯機51と、給湯機51を操作するための操作機器71と、が設置されている。ここで、空気調和機4は、住戸H内のリビングルームのような部屋に設置され、空気調和機52は、住戸H内の浴室に設置されているものとする。また、住戸Hには、宅内ネットワークNT2に接続されたルータ82と、ルータ82および宅外ネットワークNT1に接続されたデータ回線終端装置81と、が設置されている。宅内ネットワークNT2は、例えば有線LAN(Local Area Network)または無線LANである。データ回線終端装置81は、モデム、ゲートウェイ等である。
空気調和機4は、図2に示すように、制御部400と、部屋の温度を計測する計測装置461と、空気調和機4の利用者を撮像する撮像装置481と、を有する。なお、計測装置461は、部屋の温度を計測するものに限定されるものではなく、部屋の湿度、明るさ等の他の部屋の環境を示す環境パラメータを計測するものであってもよい。撮像装置481としては、例えば利用者の表面の温度分布を示す画像を撮像するカメラが採用される。また、空気調和機4は、制御部400から入力される制御信号に基づいて動作する圧縮機(図示せず)と送風ファン(図示せず)とを有する。
制御部400は、CPU(Central Processing Unit)401と、主記憶部402と、補助記憶部403と、通信インタフェース405と、計測装置インタフェース406と、無線モジュール407と、撮像インタフェース408と、これらを相互に接続するバス409と、を備える。主記憶部402は、揮発性メモリから構成され、CPU401の作業領域として用いられる。補助記憶部403は、磁気ディスク、半導体フラッシュメモリ等の不揮発性メモリから構成され、制御部400の各種機能を実現するためのプログラムを記憶する。通信インタフェース405は、宅内ネットワークNT2に接続されており、CPU401から通知される各種情報を宅内ネットワークNT2へ送出したり、宅内ネットワークNT2から受信した各種情報をCPU401へ通知したりする。無線モジュール407は、操作機器6と無線通信し、操作機器6から利用者が操作機器6に対して行った操作内容を示す操作情報を受信すると、その操作情報をCPU401へ通知する。計測装置インタフェースは、計測装置461から計測値信号が入力されると、それに応じた温度情報を生成してCPU401へ通知する。撮像インタフェース408は、撮像装置481から画像信号が入力されると、それに応じた画像情報を生成してCPU401へ通知する。なお、空気調和機52も空気調和機4と同様のハードウェア構成を有する。また、空気調和機52の場合、計測装置461は、住戸Hの浴室の温度、湿度、明るさ等の環境パラメータを計測する。
CPU401は、補助記憶部403が記憶するプログラムを主記憶部402に読み出して実行することにより、図3に示すように、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、スケジュール取得部418、機器設定更新部419、動作モード設定部420および利用者特定部421として機能する。なお、空気調和機52も同様の機能構成を有する。また、図2に示す補助記憶部403は、図3に示すように、空気調和機4の機器設定パラメータ示す機器設定情報を記憶する機器設定記憶部431と、空気調和機4の利用者に関する利用者情報を記憶する利用者情報記憶部432と、を有する。利用者情報記憶部432は、例えば、撮像装置481により撮像される各利用者の画像情報が示す利用者の表面の温度分布から算出される利用者の表面における熱の発散が多い領域の位置を示す情報を、利用者を識別する利用者識別情報と対応づけて記憶している。また、補助記憶部403は、空気調和機4の機器履歴情報および環境履歴情報を記憶する履歴情報記憶部434と、空気調和機4の運転スケジュールを示すスケジュール記憶部435と、空気調和機4の動作モード情報を記憶する動作モード記憶部433と、を有する。
履歴情報記憶部434は、空気調和機4の利用者毎に、空気調和機4の機器設定情報と、温度情報を含む環境パラメータを示す環境情報と、の履歴を記憶する。例えば図4Aに示すように、住戸Hに居住する利用者が、冬に住戸Hに帰宅し、日時T10(例えば2018/1/1 10:00)において、空気調和機4の動作モードが手動モードの状態で設定温度をTh11(例えば28℃)に設定し風量レベルを「強」に設定して空気調和機4を動作させたとする。このとき、空気調和機4が設置された部屋の温度がTh10(例えば19℃)だったとする。この場合、空気調和機4により部屋が暖められ、日時T10後の日時T11(例えば2018/1/1 10:15)において、部屋の温度が設定温度Th11に到達する。ここで、利用者が、冷えた身体が暖まったので、空気調和機4の設定温度をTh11よりも低いTh12(例えば25℃)に設定し風量レベルを「弱」に設定したとする。この場合、空気調和機4により部屋が冷やされ、日時T11後の日時T12(例えば2018/1/1 10:20)において、部屋の温度が設定温度Th12に到達する。一方、図4Bに示すように、住戸Hに居住する利用者が、夏に住戸Hに帰宅し、日時T20(例えば2018/7/1 10:00)において、空気調和機4の動作モードが手動モードの状態で設定温度をTh21(例えば23℃)に設定し風量レベルを「強」に設定して空気調和機4を動作させたとする。このとき、空気調和機4が設置された部屋の温度がTh20(例えば28℃)だったとする。この場合、空気調和機4により部屋が冷やされ、日時T20後の日時T21(例えば2018/7/1 10:15)において、部屋の温度が設定温度Th21に到達する。ここで、利用者が、身体が冷えてきたので、空気調和機4の設定温度をTh21よりも高いTh22(例えば26℃)に設定し風量レベルを「弱」に設定したとする。この場合、空気調和機4により部屋が暖められ、日時T21後の日時T22(例えば2018/7/1 10:20)において、部屋の温度が設定温度Th22に到達する。この場合、履歴情報記憶部131は、図5に示すように、空気調和機4の設定温度、風量レベルの履歴を示す動作履歴情報と部屋の室内温度の履歴を示す環境履歴情報とを、日時情報と対応づけて記憶する。ここで、履歴情報記憶部131は、動作履歴情報と環境履歴情報とを、利用者識別情報IDU[1]、空気調和機4を識別する機器識別情報IDA[1]と対応づけて記憶する。
図3に戻って、環境情報取得部411は、計測装置461により計測される部屋の温度を示す環境パラメータである環境情報を、計測装置インタフェースを介して取得する。なお、環境情報取得部411は、計測装置461が部屋の湿度、明るさ等の他の部屋の環境パラメータを計測するものである場合、これらの他の環境パラメータを示す環境情報を取得する。環境情報取得部411は、取得した環境情報を時系列で履歴情報記憶部434に記憶させる。画像取得部412は、撮像装置481で撮像される利用者の画像情報を取得する。
操作受付部413は、操作機器6から送出された操作情報が無線モジュール407から通知されると、通知された操作情報を受け付ける。そして、操作受付部413は、操作情報が空気調和機4の機器設定パラメータの更新に関するものである場合、操作情報に対応する機器設定パラメータを示す機器設定情報を生成して、機器設定記憶部431に記憶させる。また、操作受付部413は、操作情報が空気調和機4の動作モードの変更に関するものである場合、操作情報に対応する動作モードを示す動作モード情報を動作モード設定部420に通知する。機器制御部414は、機器設定記憶部431が記憶する機器設定情報に基づいて、圧縮機および送風ファンの動作を制御する。
利用者特定部421は、画像取得部412が取得した画像情報が示す利用者の表面の温度分布から、利用者表面における熱の発散が多い領域を特定し、利用者情報記憶部432が記憶する利用者に関する情報と特定した領域の位置とに基づいて、空気調和機4の利用者を特定する。また、利用者特定部421は、特定した空気調和機4の利用者の利用者識別情報を、利用者情報記憶部432に記憶させる。スケジュール取得部418は、クラウドサーバ2から空気調和機4の運転スケジュールを示すスケジュール情報を取得し、取得したスケジュール情報をスケジュール記憶部435に記憶させる。
機器設定更新部419は、動作モード記憶部433が記憶する空気調和機4の動作モード情報を参照し、動作モードが自動モードに設定されている場合、スケジュール記憶部435が記憶するスケジュール情報と計時部415が計時する現時点の時刻とに基づいて、空気調和機4の機器設定情報を生成する。そして、機器設定更新部419は、生成した機器設定情報を、機器設定記憶部431に記憶させる。また、機器設定更新部419は、機器設定記憶部431が記憶する機器設定情報を、定期的に時系列で履歴情報記憶部434に記憶させる。
計時部415は、例えばソフトウェアタイマを有し、環境情報取得部411が環境情報を取得した日時、機器設定更新部419が機器設定情報を履歴情報記憶部434に記憶させた日時および現時点の日時を計時する。ここで、環境情報取得部411は、取得した環境情報を、計時部415により計時された日時に対応づけて履歴情報記憶部434に記憶させる。また、機器設定更新部419は、機器設定記憶部431から取得した機器設定情報を、計時部415により計時された日時に対応づけて履歴情報記憶部434に記憶させる。
履歴情報生成部416は、履歴情報記憶部434が記憶する複数の温度情報から構成される環境履歴情報と、利用者情報記憶部432が記憶する空気調和機4の利用者の利用者識別情報と、履歴情報記憶部434が記憶する複数の機器設定情報から構成される動作履歴情報と、を含む履歴情報とこれに対応する履歴属性情報とを生成する。履歴情報生成部416は、例えばファイル形式がJSONスキーマファイル形式である履歴属性情報を生成するとともに、JSONファイル形式である属性情報を生成する。履歴情報送信部417は、履歴情報生成部113が生成した履歴情報および履歴属性情報をクラウドサーバ2へ送信する。履歴情報送信部417は、履歴情報および履歴属性情報に対して可逆式の情報圧縮処理を行ってから送信する。動作モード設定部420は、操作受付部413から動作モード情報が通知されると、通知された動作モード情報を動作モード記憶部433に記憶させる。
給湯機51は、図6に示すように、給湯機51を制御する制御部500と、湯水の温度を計測する計測装置561と、を有する。制御部500は、CPU501と、主記憶部502と、補助記憶部503と、通信インタフェース505と、計測装置インタフェース506と、操作機器インタフェース507と、これらを相互に接続するバス509と、を備える。CPU501、主記憶部502、補助記憶部503、通信インタフェース505および計測装置インタフェース506は、空気調和機4の場合と同様である。操作機器インタフェース507は、操作機器6と有線接続されており、操作機器6から利用者が操作機器6に対して行った操作内容を示す操作情報を受信すると、その操作情報をCPU501へ通知する。
CPU501は、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図7に示すように、環境情報取得部511、操作受付部513、機器制御部514、計時部515、履歴情報生成部516、履歴情報送信部517、スケジュール取得部518、機器設定更新部519、動作モード設定部520および利用者特定部521として機能する。また、図6に示す補助記憶部503は、図7に示すように、給湯機51の機器設定パラメータを示す機器設定情報を記憶する機器設定記憶部531と、給湯機51の利用者、即ち、浴室の利用者に関する利用者情報を記憶する利用者情報記憶部532と、を有する。更に、補助記憶部503は、給湯機51の機器履歴情報および環境履歴情報を記憶する履歴情報記憶部534と、給湯機51の運転スケジュールを示すスケジュール記憶部535と、給湯機51の動作モード情報を記憶する動作モード記憶部533と、を有する。
履歴情報記憶部534は、給湯機51の利用者毎に、給湯機51の機器設定情報と、温度情報を含む環境パラメータを示す環境情報と、の履歴を記憶する。例えば図8Aに示すように、住戸Hに居住する他の利用者が、冬の日時T30(例えば2018/1/1 10:00)の入浴時において、空気調和機52の動作モードが手動モードの状態で設定温度をTh31(例えば27℃)に設定し風量レベルを「強」に設定して空気調和機52を動作させたとする。このとき、空気調和機52が設置された浴室の温度がTh30(例えば19℃)だったとする。また、浴室の浴槽には、給湯機51から供給された湯水が張られており、湯水の温度が42℃だったとする。この場合、空気調和機52により浴室が暖められ、日時T30後の日時T31(例えば2018/1/1 10:15)において、浴室の温度が設定温度Th31に到達する。このとき、湯水が時間の経過とともに冷めてその温度が40℃に低下しているとする。ここで、利用者が、暑くなったと感じて、空気調和機52の設定温度をTh31よりも低いTh32(例えば25℃)に設定し風量レベルを「弱」に設定したとする。この場合、空気調和機52により浴室が冷やされ、日時T31後の日時T32(例えば2018/1/1 10:20)において、浴室の温度が設定温度Th32に到達する。このとき、湯水が時間の経過とともに冷めてその温度が39℃に低下しているとする。一方、図8Bに示すように、住戸Hに居住する他の利用者が、秋の日時T40(例えば2018/9/1 10:00)の入浴時において、空気調和機52の動作モードが手動モードの状態で設定温度をTh41(例えば23℃)に設定し風量レベルを「強」に設定して空気調和機52を動作させたとする。このとき、空気調和機52が設置された浴室の温度がTh40(例えば29℃)だったとする。この場合、空気調和機52により浴室が冷やされ、日時T40後の日時T41(例えば2018/9/1 10:15)において、浴室の温度が設定温度Th41に到達する。ここで、利用者が、身体が少し冷えてきたので、空気調和機52の設定温度をTh41よりも高いTh42(例えば26℃)に設定し風量レベルを「弱」に設定したとする。この場合、空気調和機52により浴室が暖められ、日時T41後の日時T42(例えば2018/9/1 10:20)において、浴室の温度が設定温度Th42に到達する。この場合、浴室に設置された空気調和機52の履歴情報記憶部434は、図9Aに示すように、空気調和機52の設定温度、風量レベルの履歴を示す動作履歴情報と浴室の室内温度の履歴を示す環境履歴情報とを、日時情報と対応づけて記憶する。そして、給湯機51の履歴情報記憶部534は、図9Bに示すように、給湯機51の設定温度の履歴を示す動作履歴情報と湯水の温度の履歴を示す環境履歴情報とを、日時情報と対応づけて記憶する。ここで、履歴情報記憶部131は、空気調和機52および給湯機51それぞれ動作履歴情報と環境履歴情報とを、利用者識別情報IDU[2]、空気調和機52を識別する機器識別情報IDA[2]、給湯機51を識別する機器識別情報IDA[3]と対応づけて記憶する。
図7に戻って、環境情報取得部511は、計測装置561により計測される湯水の温度を示す温度情報を計測装置インタフェース506から取得する。利用者特定部521は、例えば空気調和機52の制御部400から、制御部400の利用者情報記憶部432が記憶する利用者識別情報を取得することにより、利用者を特定する。そして、利用者特定部521は、特定した浴室の利用者の利用者識別情報を、利用者情報記憶部532に記憶させる。
操作受付部513は、前述の操作受付部413と同様である。機器制御部514は、機器設定記憶部531が記憶する機器設定情報に基づいて、給湯機51を制御する。スケジュール取得部518は、クラウドサーバ2から給湯機51の運転スケジュールを示すスケジュール情報を取得し、取得したスケジュール情報をスケジュール記憶部535に記憶させる。
機器設定更新部519は、給湯機51の動作モードが自動モードに設定されている場合、スケジュール記憶部535が記憶するスケジュール情報と計時部515が計時する現時点の時刻とに基づいて、給湯機51の機器設定情報を生成する。そして、機器設定更新部519は、生成した機器設定情報を、機器設定記憶部531に記憶させる。また、機器設定更新部519は、機器設定記憶部531が記憶する機器設定情報を、定期的に時系列で履歴情報記憶部434に記憶させる。計時部515は、環境情報取得部511が環境情報を取得した日時、機器設定更新部519が機器設定情報を履歴情報記憶部534に記憶させた日時および現時点の日時を計時する。ここで、環境情報取得部511は、取得した環境情報を、計時部515により計時された日時に対応づけて履歴情報記憶部534に記憶させる。また、機器設定更新部519は、機器設定記憶部531から取得した機器設定情報を、計時部515により計時された日時に対応づけて履歴情報記憶部534に記憶させる。
クラウドサーバ2は、図10に示すように、CPU201と、主記憶部202と、補助記憶部203と、通信インタフェース205と、これらを相互に接続するバス209と、を備える。CPU201は、例えばマルチコアプロセッサである。主記憶部202は、揮発性メモリから構成され、CPU201の作業領域として用いられる。補助記憶部203は、大容量の不揮発性メモリから構成され、クラウドサーバ2の各種機能を実現するためのプログラムを記憶する。通信インタフェース205は、宅外ネットワークNT1に接続されており、気象サーバ3と宅外ネットワークNT1を介して通信可能である。CPU201は、補助記憶部203が記憶するプログラムを主記憶部に読み出して実行することにより、図11に示すように、履歴情報取得部211、気象情報取得部212、係数設定部213、ニューラルネットワーク計算部214、係数決定部215、スケジュール生成部216およびスケジュール送信部217として機能する。また、図10に示す補助記憶部は、図11に示すように、空気調和機4から取得した履歴情報を記憶する履歴情報記憶部231と、気象サーバ3から取得した気象予報情報および気象実績情報を記憶する気象情報記憶部232と、ニューラルネットワーク記憶部233と、空気調和機4へ送信するスケジュール情報を記憶するスケジュール記憶部234と、を有する。
ニューラルネットワーク記憶部233は、後述するニューラルネットワークの構造を示す情報と、ニューラルネットワークの重み係数と、を記憶する。ニューラルネットワークの構造を示す情報には、各ノードにおける活性化関数の形状を示す情報、層数情報、各層におけるノード数の情報等が含まれる。また、ニューラルネットワーク記憶部233は、前述の空気調和機4、52および給湯機51についての動作履歴情報、環境履歴情報および気象実績情報から、ニューラルネットワークの重み係数を決定する際に用いられる重み係数の初期値である初期係数を示す情報も記憶する。
履歴情報取得部211は、空気調和機4、52および給湯機51から動作履歴情報、環境履歴情報および利用者情報を含む履歴情報を取得する。履歴情報取得部211は、空気調和機4、52および給湯機51から取得した可逆式の情報圧縮処理が施された履歴情報に対して情報伸張処理を実行してから履歴情報に含まれる動作履歴情報、環境履歴情報および利用者情報を取得する。履歴情報取得部211は、取得した動作履歴情報、環境履歴情報および利用者情報を履歴情報記憶部231に記憶させる。気象情報取得部212は、過去の気象条件を示す気象実績情報と将来の気象条件を示す気象予報情報とを含む気象情報を、気象サーバ3から宅外ネットワークNT1を介して取得する。ここで、気象情報取得部212は、気象サーバ3に対して気象情報の送信を要求する気象情報要求情報を送信することにより、気象サーバ3から気象情報を取得する。
ニューラルネットワーク計算部214は、室内温度、湯水温度等の環境パラメータと、日時を示す数値と、気象条件を数値化した情報とから、予め設定されたノード数および層数を有するニューラルネットワークを用いて、一日の各時間帯における空気調和機4、52の設定温度、風量レベル、給湯機51の設定温度等の機器設定パラメータを算出する。ここで、ニューラルネットワークは、空気調和機4、52および給湯機51それぞれの将来の機器設定パラメータを求めるための第1ニューラルネットワークである。このニューラルネットワークは、図12に示すように入力層L10、隠れ層L20および出力層L30を有する。入力層L10は、室内温度、湯水温度等の環境パラメータと、日時を示す数値と、気象条件を数値化した情報とを、隠れ層L20へ入力する。ここで、気象条件の数値化方法としては、例えば気象条件を「晴れ」、「曇り」、「雨」、「雪」の4種類とした場合、各気象条件に対応する数値NUM1、NUM2、NUM3、NUM4を、NUM1<NUM2<NUM3<NUM4の関係が成立するように設定すればよい。具体的には、「晴れ」、「曇り」、「雨」、「雪」に対応する数値を、それぞれ、「10」「20」「30」「40」に設定すればよい。
隠れ層L20は、予め設定された数M[j]のノードx[j,i](1≦i≦M[j]、M[j]は正の整数)を含むN(Nは正の整数)個の層から構成されている。即ち、隠れそうL20は、各ノード列同士が繋がれた構造を有する。ここで、各ノードx[j,i]の出力y[j,i]は、下記式(1)の関係式で表される。
ここで、W[j,i,k]は、重み係数を示し、f(*)は、活性化関数を示す。この重み係数W[j,i,k]が、前述のニューラルネットワークの構造を決める第1ニューラルネットワーク係数に相当する。また、活性化関数としては、シグモイド関数、ランプ関数、ステップ関数、ソフトマックス関数等の非線形関数が用いられる。例えば、活性化関数が、シグモイド関数である場合、下記式(2)の関係式で表される。
ここで、yiは、引数を示し、yoは出力値を示す。また、活性化関数がランプ関数である場合、下記式(3)の関係式で表される。
ここで、yiは、引数を示し、yoは出力値を示す。
隠れ層L20は、ノードに入力される情報が前の層の各ノードの出力にそれぞれに重み係数を乗じたものの総和になっている。そして、総和を引数とする活性化関数の出力が次の層へ伝達される。出力層L30は、隠れ層L20の最終層からの出力y[j,i]をそのまま出力する。
係数設定部213は、前述の重み係数を設定する。そして、ニューラルネットワーク計算部214は、係数設定部213により重み係数が設定されたニューラルネットワークを用いて、気象予報情報と環境履歴情報に含まれる現時点の環境を示す環境パラメータとから空気調和機4、52および給湯機51の将来の機器設定パラメータを求める。ここで、現時点の環境を示す環境パラメータとは、空気調和機4、52から取得した室内温度または給湯機51から取得した湯水の温度を示すパラメータであり、空気調和機4、52の計測装置461および給湯機51の計測装置561の計測頻度と、履歴情報取得部211の環境パラメータの取得頻度と、によって、現時点よりも数秒から数分前の環境を示すパラメータとなる場合がある。ここで、ニューラルネットワーク計算部214は、履歴情報に含まれる環境履歴情報が示す現時点の室内温度、湯水温度等の環境パラメータと、現時点の日時を示す数値と、気象予報情報が示す将来の気象条件を数値化した情報とから、前述のニューラルネットワークを用いて、一日の各時間帯における空気調和機4、52の機器設定パラメータを算出する。
係数決定部215は、履歴情報に含まれる動作履歴情報および環境履歴情報と、気象実績情報と、に基づいて、ニューラルネットワークの重み係数を決定する。係数決定部215は、まず、ニューラルネットワーク記憶部233から初期係数を示す情報を取得し、取得した初期係数をニューラルネットワークの重み係数に設定する。次に、係数決定部215は、ニューラルネットワーク計算部214が、環境履歴情報が示す過去の環境パラメータと、日時情報が示す日時と、気象実績情報が示す過去の気象条件を数値化した情報と、に基づいて、ニューラルネットワークを用いて算出した機器設定パラメータを取得する。続いて、係数決定部215は、履歴情報記憶部231が記憶する動作履歴情報が示す過去の機器設定パラメータを取得し、ニューラルネットワークを用いて算出された機器設定パラメータとの誤差を算出する。そして、係数決定部215は、算出した誤差に基づいて、誤差逆伝播法(バックプロパゲーション)によりニューラルネットワークの重み係数を決定する。ここで、係数決定部215は、例えばオートエンコーダを用いて重み係数を決定する。
また、係数決定部215は、ニューラルネットワークの重み係数を決定する際、ドロップアウト情報を使用する。ドロップアウト情報は、前述の隠れ層L20における各ノードノードについて定義され、係数決定部215がニューラルネットワークの重み係数を決定する際に、ノードを不活性化、即ち、ノードx[j,i]の出力を「0」としたか否かを示す情報である。各ノードは、予め設定された確率Pで活性化され、確率(1-P)で不活性化される。確率Pは、ノード毎に設定されており、0よりも大きく1以下の範囲の値をとる。確率Pが「1」に設定されている場合、対応するノードは常に活性化されることになる。例えば、確率Pで「1」となり、確率(1-P)で「0」となる変数をrYとすると、各ノードx[j,i]の出力y[j,i]は、下記式(4)および式(5)の関係式で表される。
ここで、Bernoulli(*)は、ベルヌ-イ分布に従った確率で「1」となる関数を表す。
スケジュール生成部216は、ニューラルネットワーク計算部214により求められた機器設定パラメータに基づいて、空気調和機4、52および給湯機51それぞれの将来の運転スケジュールを示すスケジュール情報を生成する。スケジュール送信部217は、生成されたスケジュール情報を空気調和機4、52および給湯機51へ送信する。
次に、本実施の形態に係る制御システムの動作について図13および図14を参照しながら説明する。まず、履歴情報生成時期が到来すると、空気調和機4、52および給湯機51は、履歴情報記憶部434、534が記憶する動作履歴情報、環境履歴情報、日時情報および利用者情報を用いて履歴情報および履歴属性情報を生成する(ステップS1)。
履歴情報は、プロトコル情報と、生成した履歴情報を識別する履歴情報識別情報と、動作履歴情報と、環境履歴情報と、を含む。プロトコル情報は、履歴情報をクラウドサーバ2へ送信する際の通信プロトコルに関する各種情報を含む。また、履歴属性情報は、例えば図14に示すように、プロトコル情報と、各種属性情報と、を含む。属性情報としては、生成した履歴属性情報を識別する履歴属性情報識別情報と、空気調和機4、52または給湯機51を識別する機器識別情報と、前述の利用者識別情報と、フォーマット情報と、パラメータ取得条件情報と、機器設定種別情報と、環境種別情報と、連携機器識別情報と、連携対象情報と、操作機器識別情報と、が含まれる。履歴情報識別情報は、例えば属性情報に付与された識別情報と、履歴情報に付与された識別情報と、空気調和機4、52または給湯機51の識別情報と、の少なくとも1つを含む。フォーマット情報は、属性情報および履歴情報それぞれのデータ形式またはファイル形式を示す情報と圧縮形式を示す情報とを含む。ここで、フォーマット情報は、例えば属性情報のファイル形式がJSONスキーマファイル形式であることを示す情報と、履歴情報がJSONファイル形式であることを示す情報を含む。また、フォーマット情報は、履歴情報ファイル数、各履歴情報のファイルのファイルサイズを示す情報を含む。ここで、フォーマット情報に含まれるフラグ情報が例えば「0」であれば、履歴情報のファイル数を示し、「1」であれば1つ目の履歴情報のファイルのサイズ、「2」であれば2つ目の履歴情報のファイルのサイズ、「N」であればN個目の履歴情報のファイルのサイズを示し、「N+1」であれば、履歴情報の圧縮形式を示すようにしてもよい。
パラメータ取得条件情報は、動作履歴情報または環境履歴情報を取得した期間、機器設定パラメータ、環境パラメータを取得する時間間隔のような各種パラメータの取得条件を示す情報を含む。また、パラメータ取得条件情報は、各種パラメータの取得条件の変更履歴の有無、各種パラメータの取得条件を変更した場合の変更日時を示す情報を含んでもよい。ここで、パラメータ取得条件情報に含まれるフラグ情報が例えば「0」であれば、パラメータの取得日時を示し、「1」であればパラメータの取得開始日時を示し、「2」であればパラメータの取得終了日時を示し、「3」であればパラメータの取得間隔を示すようにしてもよい。機器設定種別情報は、動作履歴情報の内容を補足する情報であり、空気調和機4、52および給湯機51それぞれのオンオフ、設定温度、設定風量、設定風向等の機器設定パラメータの種別を示す情報を含む。ここで、機器設定種別情報に含まれるフラグ情報が例えば「0」であれば、空気調和機4、52および給湯機51それぞれのオンオフを示し、「1」であれば設定温度を示し、「2」であれば設定風量を示し、「3」であれば設定風向を示すようにしてもよい。操作機器識別情報は、機器設定パラメータを設定した操作機器6、71、72が住戸H内のリモートコントローラ、TVまたはスマートフォンのような携帯端末、クラウドサーバ2を介した遠隔操作端末のいずれであるかを示す情報を含む。例えば、操作機器識別情報は、リモートコントローラであれば「0」に設定され、携帯端末であれば「1」に設定され、遠隔情報端末であれば「2」に設定されるようにしてもよい。
環境種別情報は、環境履歴情報の内容を補足する情報であり、室温、住戸H外の気温、住戸H内の人の検知有無、住戸H内に居住する人の表面の温度、においセンサによる検知状態、CO2濃度、空気中の微粒子(例えばPM2.5)の濃度等の環境パラメータの種別を示す情報を含む。ここで、環境種別情報に含まれるフラグ情報が例えば「0」であれば、室温を示し、「1」であれば湿度を示し、「2」であれば外気温を示し、「3」であれば人の検知の有無を示すようにしてもよい。また、環境種別情報には、気象情報が含まれている。連携機器識別情報は、例えば空気調和機4、52または給湯機51と連携して動作している機器の識別情報を含む。連携対象情報は、例えば空気調和機4、52または給湯機51と連携する対象となる機器の動作状態の識別情報を含む。連携機器識別は、例えば、給湯機51と連携している換気扇の識別情報を含む。この場合、連携対象情報は、例えば給湯機51と連携する換気扇の動作がオンオフ動作であることを示す情報を含む。
図13に戻って、その後、生成された履歴情報が、空気調和機4、52および給湯機51からクラウドサーバ2へ送信される(ステップS2)。クラウドサーバ2は、履歴情報を受信すると、履歴情報に含まれる動作履歴情報、環境履歴情報、日時情報および利用者情報を履歴情報記憶部231に記憶させる。次に、気象サーバ3に対して気象予報情報と気象実績情報とを含む気象情報の送信を要求する気象情報要求情報が、クラウドサーバ2から気象サーバ3へ送信される(ステップS3)。一方、気象サーバ3は、気象情報要求情報を受信すると、住戸Hが存在する地域における気象予報情報と気象実績情報とを特定して、特定した気象予報情報と気象実績情報とを含む気象情報を生成する(ステップS4)。続いて、生成された気象情報が、気象サーバ3からクラウドサーバ2へ送信される(ステップS5)。一方、クラウドサーバ2は、気象情報を受信すると、受信した気象情報に含まれる気象実績情報と気象予報情報とを気象情報記憶部232に記憶させる。その後、クラウドサーバ2は、取得した動作履歴情報、環境履歴情報、日時情報、利用者情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する(ステップS6)。
次に、空気調和機4、52または給湯機51が、利用者による自動モードへの切り替え操作を受け付けたとする(ステップS7)。この場合、空気調和機4、52または給湯機51は、動作モード記憶部433、533に自動モードであることを示す動作モード情報を記憶させることにより、動作モードを自動モードに設定する(ステップS8)。続いて、空気調和機4、52または給湯機51が、予め設定された空気調和機4、52または給湯機51の運転スケジュールの更新時期が到来したと判定すると、クラウドサーバ2に対してスケジュール情報の送信を要求するスケジュール要求情報が、空気調和機4、52または給湯機51からクラウドサーバ2へ送信される(ステップS9)。一方、クラウドサーバ2は、スケジュール要求情報を受信すると、現時点の環境パラメータと、日時を示す数値と、気象条件を数値化した情報とから、前述のニューラルネットワークを用いて、一日の各時間帯における空気調和機4、52の設定温度、風量レベル、給湯機51の設定温度等を示す機器設定パラメータを算出する。そして、クラウドサーバ2は、算出した機器設定パラメータを用いてスケジュール情報を生成する(ステップS10)。続いて、生成されたスケジュール情報が、クラウドサーバ2から空気調和機4、52または給湯機51へ送信される(ステップS11)。一方、空気調和機4、52または給湯機51は、スケジュール情報を受信すると、受信したスケジュール情報をスケジュール記憶部435、535に記憶させる。その後、空気調和機4、52または給湯機51が、スケジュール記憶部435、535が記憶するスケジュール情報を参照して、機器設定情報の更新時期が到来したと判定したとする。この場合、空気調和機4、52または給湯機51が、スケジュール情報に基づいて、機器設定記憶部431、531が記憶する機器設定情報を更新する(ステップS12)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS12の処理が繰り返し実行される。
次に、本実施の形態に係る空気調和機4、52が実行する機器制御処理について図15を参照しながら説明する。この機器制御処理は、例えば空気調和機4、52へ電源が投入されたことを契機として開始される。なお、給湯機51も以下に説明する機器制御処理と同様の機器制御処理を実行する。以下では、空気調和機4、52についての機器制御処理を取り上げて説明する。
まず、履歴情報生成部416は、クラウドサーバ2へ送信する履歴情報を生成する履歴情報生成時期が到来したか否かを判定する(ステップS101)。履歴情報生成部416が、前述の履歴情報生成時期が未だ到来していないと判定すると(ステップS101:No)、そのまま後述のステップS106の処理が実行される。
一方、履歴情報生成部416が、履歴情報生成時期が到来したと判定したとする(ステップS101:Yes)。この場合、履歴情報生成部416は、履歴情報記憶部434から動作履歴情報および環境履歴情報を取得する(ステップS102)。次に、履歴情報生成部416は、取得した動作履歴情報、環境履歴情報と、日時情報および利用者情報記憶部432が記憶する利用者情報を用いて、これらを含む履歴情報を生成する(ステップS103)。続いて、履歴情報送信部417は、生成された履歴情報をクラウドサーバ2へ送信する(ステップS104)。
その後、操作受付部413は、空気調和機4の動作モードの変更操作を受け付けたか否かを判定する(ステップS105)。具体的には、操作受付部413が、空気調和機4の動作モードの変更に関する操作情報を受け付けたか否かを判定する。操作受付部413が、空気調和機4の動作モードの変更操作を受け付けていないと判定すると(ステップS105:No)、そのまま後述のステップS108の処理が実行される。一方、操作受付部413が、空気調和機4の動作モードの変更に関する操作情報を受け付けたと判定すると(ステップS105:Yes)、動作モード設定部420は、動作モード記憶部433が記憶する動作モード情報を更新する(ステップS106)。次に、スケジュール取得部418、518は、動作モード記憶部433が記憶する動作モード情報を参照して、空気調和機4、52または給湯機51の動作モードが自動モードであるか否かを判定する(ステップS107)。スケジュール取得部418が、空気調和機4、52または給湯機51の動作モードが手動モードであると判定すると(ステップS107:No)、再びステップS101の処理が実行される。一方、スケジュール取得部418は、空気調和機4、52または給湯機51の動作モードが自動モードであると判定すると(ステップS107:Yes)、スケジュール更新時期が到来したか否かを判定する(ステップS108)。スケジュール取得部418が、未だスケジュール更新時期が到来していないと判定すると(ステップS108:No)、そのまま後述のステップS112の処理が実行される。一方、スケジュール取得部418が、スケジュール更新時期が到来したと判定したとする(ステップ108:Yes)。この場合、スケジュール取得部418は、クラウドサーバ2へ前述のスケジュール要求情報を送信することにより(ステップS109)、クラウドサーバ2からスケジュール情報を取得する(ステップS110)。スケジュール取得部418は、取得したスケジュール情報をスケジュール記憶部435に記憶させる。続いて、機器設定情報生成部116は、スケジュール記憶部435が記憶するスケジュール情報を参照して、空気調和機4、52または給湯機51の機器設定情報の更新時期が到来したか否かを判定する(ステップS111)。機器設定情報生成部116が、空気調和機4、52または給湯機51の機器設定情報の更新時期が未だ到来していないと判定すると(ステップS111:No)、再びステップS101の処理が実行される。一方、機器設定情報生成部116は、空気調和機4、52または給湯機51の機器設定情報の更新時期が到来したと判定すると(ステップS111:Yes)、スケジュール記憶部435が記憶するスケジュール情報に基づいて、機器設定情報を更新する(ステップS113)。その後、再びステップS101の処理が実行される。
次に、本実施の形態に係るクラウドサーバ2が実行するスケジュール生成処理について図16から図18を参照しながら説明する。このスケジュール生成処理は、例えばクラウドサーバ2へ電源が投入されたことを契機として開始される。
まず、図16に示すように、履歴情報取得部211は、空気調和機4、52または給湯機51から履歴情報を取得したか否かを判定する(ステップS201)。履歴情報取得部211が、履歴情報を取得していないと判定すると(ステップS201:No)、そのまま後述のステップS206の処理が実行される。一方、履歴情報取得部211は、履歴情報を取得したと判定すると(ステップS201:Yes)、取得した履歴情報を履歴情報記憶部231に記憶させる(ステップS202)。次に、気象情報取得部212は、気象サーバ3に対して気象情報の送信を要求する気象情報要求情報を送信することにより(ステップS203)、気象サーバ3から気象情報を取得する(ステップS204)。ここで、気象情報取得部212は、取得した気象情報に含まれる気象予報情報および気象実績情報を気象情報記憶部232に記憶させる。続いて、履歴情報に含まれる動作履歴情報および環境履歴情報と気象実績情報とに基づいて、前述のニューラルネットワークの係数を決定する係数決定処理が実行される(ステップS205)。
ここで、係数決定処理の詳細について、図17を参照しながら詳細に説明する。まず、ニューラルネットワーク計算部214は、履歴情報記憶部231から動作履歴情報、環境履歴情報および日時情報を取得し、気象情報記憶部232から気象実績情報を取得する(ステップS301)。この動作履歴情報、環境履歴情報および日時情報が、ニューラルネットワークを学習させるための教師情報に相当する。次に、係数設定部213が、ニューラルネットワーク記憶部233から重み係数の初期値である初期重み係数を示す情報を取得し、前述のニューラルネットワークの重み係数を初期重み係数に設定する(ステップS302)。続いて、ニューラルネットワーク計算部214は、初期重み係数が設定されたニューラルネットワークを用いて、取得した環境履歴情報に含まれる環境パラメータ、日時情報が示す日時および気象実績情報が示す気象条件を数値化した情報から、予め設定された日における複数の時間帯それぞれにおける機器設定パラメータを算出する(ステップS303)。その後、係数決定部215は、前述複数の時間帯それぞれについて、算出された機器設定パラメータと、動作履歴情報に含まれる機器設定パラメータと、の誤差を算出する(ステップS304)。次に、係数決定部215は、算出された誤差に基づいて、誤差逆伝播法(バックプロパゲーション)により各重み係数を決定する(ステップS305)。そして、係数決定部215は、決定した重み係数をニューラルネットワーク記憶部233に記憶させる(ステップS306)。
図16に戻って、次に、スケジュール生成部216は、空気調和機4、52または給湯機51からスケジュール要求情報を取得したか否かを判定する(ステップS206)。スケジュール生成部216が、スケジュール要求情報を取得していないと判定すると(ステップS206:No)、再びステップS201の処理が実行される。一方、スケジュール生成部216が、スケジュール要求情報を取得したと判定すると(ステップS206:Yes)、機器設定算出処理が実行される(ステップS207)。
ここで、機器設定算出処理の詳細について、図18を参照しながら詳細に説明する。まず、ニューラルネットワーク計算部214は、履歴情報記憶部231から環境履歴情報および日時情報に含まれる現時点における環境パラメータおよび日時情報を取得し、気象情報記憶部232から気象予報情報を取得する(ステップS401)。次に、係数設定部213が、ニューラルネットワーク記憶部233から係数決定処理において決定した重み係数を取得し、前述のニューラルネットワークの重み係数を取得した重み係数に設定する(ステップS402)。続いて、ニューラルネットワーク計算部214は、重み係数が設定されたニューラルネットワークを用いて、取得した現時点における環境パラメータ、日時情報が示す日時および気象予報情報が示す気象条件を数値化した情報から将来の機器設定パラメータを算出する(ステップS403)。
図16に戻って、その後、スケジュール生成部216は、算出された機器設定パラメータを用いてスケジュール情報を生成する(ステップS208)。ここで、スケジュール生成部216は、生成したスケジュール情報をスケジュール記憶部234に記憶させる。次に、スケジュール送信部217は、スケジュール記憶部234が記憶するスケジュール情報を空気調和機4、52または給湯機51へ送信する(ステップS209)。そして、再びステップS201の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ2において、ニューラルネットワーク計算部214が、係数決定部215により重み係数が決定されたニューラルネットワークを用いて、気象予報情報と環境履歴情報に含まれる現時点の環境パラメータとから空気調和機4、52および給湯機51の将来の機器設定パラメータを求める。また、スケジュール生成部216が、ニューラルネットワーク計算部214により求められた機器設定パラメータに基づいて、空気調和機4、52および給湯機51の将来の運転スケジュールを示すスケジュール情報を生成する。一方、空気調和機4、52または給湯機51の機器設定更新部419、519が、スケジュール情報が示す運転スケジュールに従って機器設定記憶部431、531が記憶する機器設定情報を更新し、機器制御部414、514が、機器設定記憶部431、531が記憶する機器設定情報が示す機器設定パラメータに基づいて空気調和機4、52、給湯機51を制御する。これにより、空気調和機4、52または給湯機51は、スケジュール情報が示す運転スケジュールに対応する期間毎に、履歴情報をクラウドサーバ2へ送信し、クラウドサーバ2からスケジュール情報を取得するだけで、空気調和機4、52、給湯機51を制御することができる。従って、空気調和機4、52または給湯機51とクラウドサーバ2との間で履歴情報、スケジュール情報が送受信される頻度が低減するので、宅外ネットワークNT1における通信トラフィックの空気調和機4、52、給湯機51の動作への影響が低減されるという利点がある。
また、本実施の形態に係る制御システムによれば、空気調和機4、52または給湯機51が、空気調和機4、52または給湯機51に関する履歴情報を、教師情報としてクラウドサーバ2へ送信し、クラウドサーバ2が、ニューラルネットワーク計算部214により求められた機器設定パラメータに基づいてスケジュール情報を生成する。これにより、空気調和機4がニューロエンジンを備えていなくても利用者の身体的特徴または生活習慣に適した運転スケジュールで動作することができる。
更に、本実施の形態に係る制御システムでは、空気調和機4、52または給湯機51が、空気調和機4、52または給湯機51から利用者情報を取得してクラウドサーバ2へ送信する。これにより、クラウドサーバ2は、利用者情報の内容を考慮してニューラルネットワークの重み係数を決定するので、例えば空気調和機4、52または給湯機51の利用者が入れ替わった場合(例えば、利用者が、お父さん、お母さん、息子または娘からおばあちゃんに入れ替わった場合)でも、その利用者に適した環境を提供することができる。
(実施の形態2)
本実施の形態に係る制御システムでは、サーバが、機器の機器設定パラメータの履歴を示す動作履歴情報と機器が設置されている場所の環境履歴情報と過去の気象条件を示す気象実績情報とから、予め設定されたノード数および層数を有する利用者の嗜好の特徴を示す嗜好特徴量を求めるための第2ニューラルネットワークを用いて、機器の利用者の嗜好の特徴を数値化した情報である嗜好特徴量を求める。サーバは、機器の機器設定パラメータの履歴を示す動作履歴情報と機器が動作する環境の履歴を示す環境履歴情報と前記機器の利用者を示す利用者情報とを含む履歴情報を取得する履歴情報取得部と、気象サーバから、過去の気象条件を示す気象実績情報を含む気象情報を取得する気象情報取得部と、を有する。また、サーバは、気象実績情報と履歴情報とに基づいて、第2ニューラルネットワークの重み係数を決定する係数決定部と、係数決定部により重み係数が決定された第2ニューラルネットワークを用いて、履歴情報と気象実績情報とから嗜好特徴量を求めるニューラルネットワーク計算部と、を有する。そして、機器は、機器の運転スケジュールを示す複数種類のスケジュール情報を、嗜好特徴量情報に対応づけて記憶するスケジュール記憶部と、ニューラルネットワーク計算部により求められた嗜好特徴量に対応するスケジュール情報を特定するスケジュール特定部と、スケジュール特定部により特定されたスケジュール情報が示す運転スケジュールに従って機器を制御する機器制御部を有する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機および給湯機と、空気調和機、給湯機と宅外ネットワークNT1を介して通信可能な図19に示すクラウドサーバと、を備える。なお、本実施の形態において、実施の形態1と同様の構成については、実施の形態1と同一の符号を用いて説明する。また、本実施の形態では、空気調和機のみについて説明する。給湯機は、空気調和機と同様の処理を実行する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。
本実施の形態に係る空気調和機15004は、図2で説明したように、撮像装置481により撮像される画像を用いて利用者を特定できる。本実施の形態に係る制御システムでは、空気調和機15004において利用者を撮像装置481により撮像して得られる画像から利用者の身体的特徴を示す利用者特徴量情報を生成する。そして、生成された利用者特徴量情報が、空気調和機15004からクラウドサーバ15002へ送信される。一方、クラウドサーバ15002では、教師情報記憶部15235に記憶された嗜好特徴量と、動作履歴情報および環境履歴情報と、に基づいて、ニューラルネットワークの重み係数を決定する。ここで、クラウドサーバ15002は、利用者が、「暑がり(身体的特徴の個人差として比較的暑がりな人)」であるか「寒がり(身体的特徴の個人差として比較的寒がりな方)」といった複数種類の身体的特徴のいずれのカテゴリに分類されるかをニューラルネットワークを用いて判別する。そして、クラウドサーバ15002は、判別したカテゴリに対応する嗜好特徴量情報を空気調和機15004へ送信する。これにより、空気調和機15004は、例えば「暑がり」のカテゴリに対応するスケジュール情報が示す運転スケジュールに沿って動作する。本実施の形態では、空気調和機15004が、ニューラルネットワークの計算を行う機能を有していなくてもよい。
本実施の形態に係るクラウドサーバ15002のハードウェア構成は、実施の形態1で図10を用いて説明したクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ15002は、CPU201は、補助記憶部203が記憶するプログラムを主記憶部202に読み出して実行することにより、図19に示すように、履歴情報取得部211、気象情報取得部212、係数設定部15213、ニューラルネットワーク計算部214、係数決定部15215、嗜好特徴量情報生成部15217および嗜好情報送信部15218として機能する。また、図10に示す補助記憶部203は、図19に示すように、空気調和機15004から取得した履歴情報および履歴属性情報を記憶する履歴情報記憶部231と、気象サーバ3から取得した気象実績情報を記憶する気象情報記憶部232と、ニューラルネットワーク記憶部15233と、教師情報記憶部15235と、を有する。なお、図19において、実施の形態1と同様の構成については、図11と同一の符号を付している。教師情報記憶部15235は、係数決定部15215がニューラルネットワーク係数を決定するための教師情報を記憶する。教師情報は、住戸Hにおける室内環境パラメータの履歴を示す環境履歴情報と、住戸Hに設置された空気調和機15004の設定パラメータの履歴を示す動作履歴情報と、空気調和機15004の利用者の嗜好の特徴を示す嗜好特徴量と、を組み合わせた情報である。ここで、嗜好特徴量は、利用者の空気調和機15004を使用する際の嗜好の特徴をカテゴライズしたものである。嗜好特徴量は、例えば図20に示すように、室内温度が26℃前後以下でも冷房運転を開始し、冷房設定温度を下げる頻度が高く、室内温度に関わらずハイパワーで冷房する、冷房運転により室内温度が下降後、一定時間経過しても運転強度を下げない、といった傾向がある場合、利用者が暑がりであると推定可能であり、これらを示す環境履歴情報と動作履歴情報の組合せに対して、嗜好特徴量が10を示す「暑がり」と特徴付けられる。また、例えば、室内温度が18℃前後以上でも暖房運転を開始し、暖房設定温度を上げる頻度が高く、室内温度に関わらずハイパワーで暖房する、暖房運転により室内温度が上昇後、一定時間経過しても運転強度を下げない、といった傾向がある場合、利用者が寒がりであると推定可能であり、これらを示す環境履歴情報と動作履歴情報の組合せに対して、嗜好特徴量が20を示す「寒がり」と特徴付けられる。
教師情報記憶部15235が記憶する教師情報は、クラウドサーバ15002またはクラウドサーバ15002以外の他の情報処理装置(図示せず)において実行されるプログラムにより自動的に作成されてもよい。或いは、クラウドサーバ15002を管理する管理者側において、空気調和機15004から随時収集される環境履歴情報と動作履歴情報から人工的に嗜好特徴を定義することにより作成されてもよい。また、嗜好特徴量を推定する際、動作履歴情報および環境履歴情報に加えて気象実績情報を使用してもよい。例えば、夏日または真夏日であれば、室内環境に関わらず冷房運転を開始したり、冷房設定温度を下げたりした場合、空気調和機15004の利用者が「暑がり」であると推定して、これらの操作に対応する環境履歴情報と動作履歴情報と気象実績情報との組合せに対して、嗜好特徴量が10を示す「暑がり」と特徴付けるようにしてもよい。
ニューラルネットワーク記憶部15233は、後述するニューラルネットワークの構造を示す情報と、ニューラルネットワークの重み係数と、を記憶する。ニューラルネットワークの構造を示す情報には、各ノードにおける活性化関数の形状を示す情報、層数情報、各層におけるノード数の情報等が含まれる。また、ニューラルネットワーク記憶部233は、前述の空気調和機4、52および給湯機51についての動作履歴情報、環境履歴情報および気象実績情報から、ニューラルネットワークの重み係数を決定する際に用いられる重み係数の初期値である初期係数を示す情報も記憶する。
ニューラルネットワーク計算部214は、動作履歴情報と環境履歴情報と気象実績情報とから、予め設定されたノード数および層数を有するニューラルネットワークを用いて、利用者の嗜好の特徴を示す嗜好特徴量を算出する。ここで、ニューラルネットワークは、利用者の嗜好の特徴を示す嗜好特徴量を求めるための第2ニューラルネットワークである。
係数設定部15213は、ニューラルネットワークの重み係数を設定する。そして、ニューラルネットワーク計算部214は、係数設定部15213により重み係数が設定されたニューラルネットワークを用いて、気象実績情報と動作履歴情報と環境履歴情報とから空気調和機4、52および給湯機51の利用者の嗜好の特徴を示す嗜好特徴量を求める。ここで、ニューラルネットワーク計算部214は、動作履歴情報と環境履歴情報と気象実績情報が示す過去の気象条件を数値化した情報とから、ニューラルネットワークを用いて、嗜好特徴量を算出する。
係数決定部15215は、嗜好特徴量情報と、動作履歴情報および環境履歴情報と、気象実績情報と、に基づいて、ニューラルネットワークの重み係数を決定する。係数決定部15215は、まず、ニューラルネットワーク記憶部15233から初期係数を示す情報を取得し、取得した初期係数をニューラルネットワークの重み係数に設定する。次に、係数決定部15215は、ニューラルネットワーク計算部214が、教師情報記憶部15235が記憶する動作履歴情報と環境履歴情報と気象実績情報が示す過去の気象条件を数値化した情報と、に基づいて、ニューラルネットワークを用いて算出した嗜好特徴量を取得する。続いて、係数決定部15215は、動作履歴情報と環境履歴情報の組合せに対応する嗜好特徴量情報を教師情報記憶部15235から取得し、ニューラルネットワークを用いて算出された嗜好特徴量との誤差を算出する。そして、係数決定部15215は、算出した誤差に基づいて、誤差逆伝播法(バックプロパゲーション)によりニューラルネットワークの重み係数を決定する。
嗜好特徴量情報生成部15217は、空気調和機15004から嗜好特徴量要求情報を受信すると、ニューラルネットワーク計算部214に嗜好特徴量を算出させる。そして、嗜好特徴量情報生成部15217は、算出された嗜好特徴量を示す嗜好特徴量情報を生成する。嗜好特徴量送信部15218は、生成された嗜好特徴量情報を、嗜好特徴量要求情報の送信元の空気調和機15004へ送信する。
本実施の形態に係る空気調和機15004のCPU401は、補助記憶部403が記憶するプログラムを主記憶部402に読み出して実行することにより、図21に示すように、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、嗜好特徴量取得部15418、機器設定更新部419、動作モード設定部420、利用者特定部421およびスケジュール特定部15425として機能する。また、補助記憶部403は、図20に示すように、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、スケジュール記憶部15435と、を有する。
スケジュール記憶部15435は、例えば図22に示すように、複数種類のスケジュール情報を、嗜好特徴量を示す嗜好特徴量情報に対応づけて記憶する。ここで、嗜好特徴量は、例えば利用者の身体的特徴に基づいて利用者の嗜好の特徴をカテゴライズした場合における各嗜好を数値化した情報である。この嗜好特徴量情報は、例えば、「暑がり」に「10」、「寒がり」に「20」、「最初は暑がりではあるが室温が冷えてくるとすぐに設定を弱くする」に「30」、「帰宅直後のみ暑がり」に「40」、「風呂上りの時間帯だけ暑がり」に「90」、「食事時間は暑がり」に「100」、「空気調和機をたまにしかつけない」に「110」、「猛暑日のみつける」に「120」を割り当てるようにしてもよい。
嗜好特徴量取得部15418は、クラウドサーバ15002から嗜好特徴量情報を取得し、取得した嗜好特徴量情報をスケジュール特定部15425に通知する。スケジュール特定部15425は、スケジュール記憶部15435が記憶する複数種類のスケジュール情報の中から、嗜好特徴量取得部15418が取得した、ニューラルネットワーク計算部214により求められた嗜好特徴量に対応するスケジュール情報を特定する。そして、機器設定更新部419は、スケジュール特定部15425により特定されたスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する。
次に、本実施の形態に係る制御システムの動作について図23および図24を参照しながら説明する。なお、図23において、実施の形態1と同様の処理については、図13と同一の符号を付している。まず、クラウドサーバ15002は、教師情報記憶部15235から取得した動作履歴情報、環境履歴情報、および嗜好特徴量情報に基づいて、ニューラルネットワークの重み係数を決定する(ステップS15001)。次に、空気調和機4、52または給湯機51が、利用者による自動モードへの切り替え操作を受け付け(ステップS15002)、動作モードを自動モードに設定したとする(ステップS15003)。
その後、履歴情報生成時期が到来すると、空気調和機15004は、履歴情報記憶部434、534が記憶する動作履歴情報、環境履歴情報、日時情報および利用者情報を用いて履歴情報および履歴属性情報を生成する(ステップS15004)。ここで、履歴属性情報は、例えば図24に示すような構造を有する。次に、生成された履歴情報および履歴属性情報が、空気調和機15004からクラウドサーバ2へ送信される(ステップS15005)。
続いて、空気調和機15004が、予め設定された空気調和機15004の運転スケジュールの更新時期が到来したと判定すると、クラウドサーバ2に対してスケジュール情報の送信を要求するスケジュール要求情報が、空気調和機15004からクラウドサーバ2へ送信される(ステップS15006)。一方、クラウドサーバ2がスケジュール要求情報を受信すると、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報が、クラウドサーバ15002から気象サーバ3へ送信される(ステップS15007)。一方、気象サーバ3は、気象実績要求情報を受信すると、空気調和機4、52または給湯機51が設置された住戸Hが存在する地域の気象実績情報を生成する(ステップS15008)。その後、生成された気象実績情報が、気象サーバ3からクラウドサーバ15002へ送信される(ステップS15009)。次に、クラウドサーバ15002は、動作履歴情報と環境履歴情報と気象実績情報とから、前述のニューラルネットワークを用いて、利用者の嗜好特徴量を算出する(ステップS15010)。続いて、クラウドサーバ15002は、算出した嗜好特徴量を示す嗜好特徴量情報を生成し(ステップS15011)。その後、生成された嗜好特徴量情報が、クラウドサーバ2から空気調和機15004へ送信される(ステップS15012)。一方、空気調和機15004は、嗜好特徴量情報を受信すると、スケジュール記憶部15435が記憶する複数種類のスケジュール情報の中から、受信した嗜好特徴量に対応するスケジュール情報を特定する(ステップS15013)。その後、空気調和機15004は、スケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS12)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS12の処理が繰り返し実行される。
次に、本実施の形態に係るクラウドサーバ15002が実行する嗜好特徴量情報生成処理について図25から図27を参照しながら説明する。このスケジュール特定処理は、例えばクラウドサーバ15002へ電源が投入されたことを契機として開始される。
まず、図25に示すように、教師情報記憶部15235から取得した動作履歴情報、環境履歴情報、気象実績情報および嗜好特徴量情報に基づいて、ニューラルネットワークの係数を決定する係数決定処理が実行される(ステップS15201)。
ここで、係数決定処理の詳細について、図26を参照しながら詳細に説明する。まず、ニューラルネットワーク計算部214は、教師情報記憶部15235から動作履歴情報、環境履歴情報および日時情報を取得し、気象情報記憶部232から気象実績情報を取得する(ステップS15301)。次に、係数設定部15213が、ニューラルネットワーク記憶部15233から重み係数の初期値である初期重み係数を示す情報を取得し、ニューラルネットワークの重み係数を初期重み係数に設定する(ステップS15302)。続いて、ニューラルネットワーク計算部214は、初期重み係数が設定されたニューラルネットワークを用いて、取得した環境履歴情報に含まれる環境パラメータ、日時情報が示す日時および気象実績情報が示す気象条件を数値化した情報から、嗜好特徴量を算出する(ステップS15303)。その後、係数決定部15215は、履歴情報記憶部231から履歴属性情報に含まれる嗜好特徴量情報を取得し、算出された嗜好特徴量と、取得した嗜好特徴量情報が示す嗜好特徴量と、の誤差を算出する(ステップS15304)。次に、係数決定部15215は、算出された誤差に基づいて、誤差逆伝播法(バックプロパゲーション)によりニューラルネットワークの重み係数を決定する(ステップS15305)。そして、係数決定部15215は、決定した重み係数をニューラルネットワーク記憶部15233に記憶させる(ステップS15306)。
図25に戻って、次に、履歴情報取得部211は、空気調和機15004から履歴情報を取得したか否かを判定する(ステップS15202)。履歴情報取得部211が、履歴情報を取得していないと判定すると(ステップS15202:No)、そのまま後述のステップS15204の処理が実行される。一方、履歴情報取得部211は、履歴情報を取得したと判定すると(ステップS15202:Yes)、取得した履歴情報を履歴情報記憶部231に記憶させる(ステップS15203)。次に、嗜好特徴量情報生成部15217は、空気調和機15004から嗜好特徴量要求情報を取得したか否かを判定する(ステップS15204)。嗜好特徴量情報生成部15217が、嗜好特徴量要求情報を取得していないと判定すると(ステップS15204:No)、再びステップS15201の処理が実行される。一方、嗜好特徴量情報生成部15217が、嗜好特徴量要求情報を取得したと判定すると(ステップS15204:Yes)、嗜好特徴量算出処理が実行される(ステップS15205)。
ここで、嗜好特徴量算出処理の詳細について、図27を参照しながら詳細に説明する。まず、ニューラルネットワーク計算部214は、履歴情報記憶部231から環境履歴情報および動作履歴情報を取得する(ステップS15401)。次に、気象情報取得部212は、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報を送信することにより(ステップS15402)、気象サーバ3から気象実績情報を取得する(ステップS15403)。ここで、気象情報取得部212は、取得した気象実績情報を気象情報記憶部232に記憶させる。続いて、係数設定部15213が、ニューラルネットワーク記憶部15233から係数決定処理において決定した重み係数を取得し、ニューラルネットワークの重み係数を取得した重み係数に設定する(ステップS15404)。その後、ニューラルネットワーク計算部214は、重み係数が設定されたニューラルネットワークを用いて、取得した環境履歴情報、動作履歴情報および気象実績情報が示す気象条件を数値化した情報から利用者の嗜好の特徴量である嗜好特徴量を算出する(ステップS15405)。
図25に戻って、その後、嗜好特徴量情報生成部15217は、ニューラルネットワーク計算部214により算出された嗜好特徴量を示す嗜好特徴量情報を生成する(ステップS15206)。次に、嗜好特徴量送信部15218は、生成された嗜好特徴量情報を空気調和機15004へ送信する(ステップS15207)。そして、再びステップS15201の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ2において、ニューラルネットワーク計算部214が、係数決定部215により重み係数が決定されたニューラルネットワークを用いて、気象実績情報と環境履歴情報と動作履歴情報とから利用者の嗜好の特徴量である嗜好特徴量を算出する。一方、空気調和機15004のスケジュール特定部15425が、スケジュール記憶部15435が記憶する複数種類のスケジュール情報の中から、クラウドサーバ15002により求められた嗜好特徴量に対応するスケジュール情報を特定し、機器設定更新部419が、スケジュール特定部15425が特定したスケジュール情報が示す運転スケジュールに従って機器設定記憶部431が記憶する機器設定情報を更新し、機器制御部414が、機器設定記憶部431が記憶する機器設定情報が示す機器設定パラメータに基づいて空気調和機15004を制御する。これにより、空気調和機15004は、スケジュール情報が示す運転スケジュールに対応する期間毎に、履歴情報をクラウドサーバ2へ送信し、クラウドサーバ2から嗜好特徴量情報を取得するだけで、空気調和機15004を制御することができる。従って、クラウドサーバ15002から空気調和機15004へは、嗜好特徴量情報のみを送信すればよく、宅外ネットワークNT1における通信トラフィックの空気調和機15004の動作への影響が低減されるという利点がある。
なお、本実施の形態では、クラウドサーバ15002から空気調和機4、52へスケジュール情報を送信する例について説明したが、これに限らず、例えば嗜好特徴量を示す嗜好特徴量情報を空気調和機4、52へ送信するものであってもよい。例えば空気調和機4、52が、計測装置461を備える場合、計測装置461で得られる環境履歴情報と、嗜好特徴量情報と、を用いて制御されるようにしてもよい。また、嗜好特徴量情報は、スケジュール情報に比べて情報量が少ないため、その分、通信トラフィックを低減できるという利点がある。
(実施の形態3)
本実施の形態に係る制御システムでは、機器が、機器が設置されている場所の環境パラメータと気象予報情報が示す将来の気象条件とから、予め設定されたノード数および層数を有する機器の将来の機器設定パラメータを求めるためのニューラルネットワークを用いて、将来の機器の機器設定パラメータを求める。サーバは、機器から、機器設定パラメータの履歴を示す動作履歴情報と機器が動作する環境の履歴を示す環境履歴情報と機器の利用者を示す利用者情報とを含む履歴情報を取得する履歴情報取得部と、気象サーバから、過去の気象条件を示す気象実績情報を含む気象情報を取得する気象情報取得部と、を有する。また、サーバは、取得した履歴情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する係数決定部を有する。機器は、重み係数が決定されたニューラルネットワークを用いて、気象予報情報と環境履歴情報とに含まれる現時点の環境を示す環境パラメータとから機器の将来の機器設定パラメータを求めるニューラルネットワーク計算部を有する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機および給湯機と、空気調和機、給湯機と宅外ネットワークNT1を介して通信可能なクラウドサーバと、を備える。なお、本実施の形態において、実施の形態1と同様の構成については、実施の形態1と同一の符号を用いて説明する。また、本実施の形態では、空気調和機のみについて説明する。給湯機は、空気調和機と同様の処理を実行する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。
本実施の形態に係る空気調和機2004は、図28に示すように、制御部2400と、計測装置461と、撮像装置481と、を有する。また、空気調和機2004は、制御部400から入力される制御信号に基づいて動作する圧縮機(図示せず)と送風ファン(図示せず)とを有する。制御部2400は、CPU401と、主記憶部402と、補助記憶部403と、通信インタフェース405と、計測装置インタフェース406と、無線モジュール407と、撮像インタフェース408と、ニューロエンジン404と、これらを相互に接続するバス409と、を備える。なお、図28において、実施の形態1と同様の構成については、図2と同一の符号を付している。ニューロエンジン404は、予め設定されたノード数および層数を有するニューラルネットワークを用いた演算処理専用のハードウェアであり、実施の形態1で説明したニューラルネットワーク計算部214と同様の機能を有する。ニューロエンジン404は、図29に示すように、プロセッサ441と、ワークメモリ442と、演算アクセラレータ443と、入出力レジスタ444と、ダウンロードバッファ445と、を有する。ここで、クラウドサーバ2002からは、後述する係数属性情報と、係数情報と、を取得する。なお、係数属性情報は、例えばJSONスキーマファイル形式のフォーマットを有し、係数情報は、JSONファイル形式のフォーマットを有する。ここで、係数属性情報は、ダウンロードバッファ445に一度格納された後、プロセッサ441が使用するワークメモリ442に格納される。プロセッサ441は、ワークメモリ442の係数属性情報DAZ2を読み出し、係数属性情報DAZ2に含まれるニューラルネットワークの構造を示す情報、ニューラルネットワークの層数およびノード数を示す情報に基づいて、重み係数情報DAC2、ノード計算値情報DAN21および入出力ノード値情報DAN22を格納するために必要となるメモリ領域を確保する。そして、プロセッサ441は、それぞれのメモリ領域において、ニューラルネットワークの重み係数とノードとを対応付けていく。
また、プロセッサ441は、重み係数情報DAC2を、ワークメモリ442の対応部分に格納する。また、プロセッサ441は、入出力レジスタ444から入力されるニューラルネットワークへの入力値情報を、入出力ノード値情報DAN22を格納するためのメモリ領域に格納した上で、順次重み係数情報DAC2を読み出す。また、プロセッサ441は、ワークメモリ442に格納された係数属性情報DAZ2に含まれる活性化関数情報を、演算プログラムに設定した上で、ニューラルネットワークの各層および各ノードについて順次演算を実行する。そして、プロセッサ441は、ニューラルネットワークの各層および各ノードについての演算を完了すると、得られた出力値情報を、入出力ノード値情報DAN22を格納するメモリ領域に格納し、その後、入出力ノード値情報DAN22を格納するメモリ領域から入出力レジスタ444の出力部分へ転送する。なお、プロセッサ441による演算処理には、大きな容量のワークメモリ442が必要となるとともに、プロセッサ441とワークメモリ442との間での数値情報の転送が頻発する。従って、プロセッサ441を用いたニューラルネットワークの演算にはある程度の時間を要する。そこで、ニューラルネットワークの演算時間を短縮するために、プロセッサ441として、高速演算が可能なGPU(Grahical Processing Unit)を採用する場合もある。
一方、演算アクセラレータ443は、ハードウェアで構成された専用アクセラレータであり、ニューラルネットワークのノード毎に必要となる膨大な数の単純演算を実行するニューラルネットワークの演算に特有の処理に特化したものである。演算アクセラレータ443は、複数のノード単位演算部443aを有する。各ノード単位演算部443aは、ニューラルネットワークのノード(例えばノードX1、Y1)毎に設けられ、ローカルレジスタ443bと、積和演算部443cと、変換テーブル部443dと、を有する。ノード単位演算部443aは、ニューラルネットワークを構成するノードの数と同数だけ設けられている。また、積和演算部443cおよび変換テーブル部443dに対応するローカルレジスタ443bは、ニューラルネットワークの規模によりレジスタの数が異なることを考慮して、必要な数のローカルレジスタを選択できる構造となっている。そして、演算アクセラレータ443は、クラウドサーバ2002から取得した係数属性情報に含まれるニューラルネットワークの層数、ノード数を示す情報に基づいて、必要な数のローカルレジスタ443bを選択する。
そして、演算アクセラレータ443は、必要な数のローカルレジスタ443bが選択された後、重み係数情報を各ローカルレジスタ443bに格納してニューラルネットワークの各ノードの演算を実行する。また、変換テーブル部443dは、前述の活性化関数の演算を行うためのものであり、変換テーブル部443dの内容は、係数属性情報に含まれる活性化関数の形状を示す情報に基づいて設定される。また、係数属性情報には、後述するように、ニューラルネットワークの構造を示す構造情報を含む。そして、ノード単位演算部443aは、係数属性情報に含まれるニューラルネットワークの構造に関する情報を参照して、ニューラルネットワークの重み係数情報を格納するローカルレジスタ443bの位置と、ノード単位演算部443aの間の接続関係と、を決定し、係数情報を取得する。演算アクセラレータ443は、このようなハードウェア構成を有することにより、ニューラルネットワークのノード毎に各別に計算したり、複数のノードについての計算を纏めて実行したりすることができる。この演算アクセラレータ443は、ワークメモリ442とプロセッサ441とを用いた演算に比べて、高速な処理が可能となっている。また、演算アクセラレータ443は、ニューラルネットワークを用いた演算の結果を、出力ノードに対応するノード単位演算部443aのローカルレジスタ443bから読み出して入出力レジスタ444の出力部分へ出力する。
なお、演算アクセラレータ443は、演算規模によらずハードウェアの回路規模を変更することができない。そこで、本実施の形態に係るニューロエンジン404は、演算アクセラレータ443と、プロセッサ441とワークメモリ442とを組み合わせた構成となっている。
図28に戻って、CPU401は、補助記憶部403が記憶するプログラムを主記憶部402に読み出して実行することにより、図30に示すように、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、機器設定更新部2419、動作モード設定部420、利用者特定部421、気象情報取得部2422、係数取得部2423および係数設定部2424として機能する。また、図28に示す補助記憶部403は、図30に示すように、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、ニューラルネットワーク記憶部2436と、気象情報記憶部2437と、を有する。ニューラルネットワーク記憶部2436は、ニューロエンジン404が用いるニューラルネットワークの構造を示すニューラルネットワーク構造情報と、ニューラルネットワークの重み係数を示す重み係数情報と、を記憶する。ニューラルネットワークの構造情報には、各ノードにおける活性化関数の形状を示す情報、層数情報、各層におけるノード数の情報等が含まれる。気象情報記憶部2437は、クラウドサーバ2002から取得した気象予報情報を記憶する。
気象情報取得部2422は、将来の気象条件を示す気象予報情報を含む気象情報を、気象サーバ3から取得する第2気象情報取得部である。ここで、気象情報取得部2422は、気象サーバ3に対して気象情報の送信を要求する気象情報要求情報を送信することにより、気象サーバ3から気象情報を取得する。係数取得部2423は、ニューロエンジン404において実現されているニューラルネットワークの重み係数を示す情報を含む係数情報を、クラウドサーバ2002から取得する。ここで、係数取得部2423は、クラウドサーバ2002に対して係数情報の送信を要求する係数要求情報を送信することにより、クラウドサーバ2002から係数情報を取得する。また、係数取得部2423は、クラウドサーバ2002から取得した可逆式の情報圧縮処理が施された係数情報および係数属性情報に対して情報伸張処理を実行する。そして、係数取得部2423は、係数情報に含まれる重み係数情報をニューラルネットワーク記憶部2436に記憶させる。
係数設定部2424は、ニューラルネットワークの重み係数を設定する。そして、ニューロエンジン404は、係数設定部2424により重み係数が設定されたニューラルネットワークを用いて、気象予報情報と環境履歴情報に含まれる現時点の環境を示す環境パラメータとから空気調和機2004の将来の機器設定パラメータを算出する。ここで、現時点の環境を示す環境パラメータとは、空気調和機4、52から取得した室内温度または給湯機51から取得した湯水の温度を示すパラメータであり、空気調和機4、52の計測装置461および給湯機51の計測装置561の計測頻度と、履歴情報取得部211の環境パラメータの取得頻度と、によって、現時点よりも数秒から数分前の環境を示すパラメータとなる場合がある。また、ニューロエンジン404は、履歴情報に含まれる環境履歴情報が示す現時点の室内温度、湯水温度等の環境パラメータと、現時点の日時を示す数値と、気象予報情報が示す将来の気象条件を数値化した情報とから、ニューラルネットワークを用いて、機器設定パラメータを算出する。
機器設定更新部2419は、動作モード記憶部433が記憶する動作モード情報を参照し、動作モードが自動モードに設定されている場合、ニューロエンジン404により算出された機器設定パラメータを示す機器設定情報で、機器設定記憶部431が記憶する機器設定情報を更新する。ここで、機器設定更新部2419が機器設定情報を更新する時期は、予め設定された一定の時間間隔で到来する時刻に設定することができ、例えば5minの時間間隔で到来する時刻に設定することができる。
クラウドサーバ2002のハードウェア構成は、実施の形態1の図10に示すクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ2002は、CPUは、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図31に示すように、履歴情報取得部211、気象情報取得部212、係数設定部213、ニューラルネットワーク計算部214、係数決定部215、係数情報生成部2218および係数送信部2219として機能する。なお、図31において、実施の形態1と同様の構成については、図10と同一の符号を付している。また、図10に示す補助記憶部203は、図31に示すように、履歴情報記憶部231と、気象サーバ3から取得した気象実績情報を記憶する気象情報記憶部232と、ニューラルネットワーク記憶部233と、を有する。
気象情報取得部212は、過去の気象条件を示す気象実績情報を、気象サーバ3から取得する第1気象情報取得部である。ここで、気象情報取得部212は、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報を送信することにより、気象サーバ3から気象実績情報を取得する。係数決定部215は、実施の形態1と同様にして、履歴情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する。係数情報生成部2218は、係数決定部215が決定した重み係数を示す情報を含む係数情報を生成する。係数情報生成部2218は、例えばファイル形式がJSONスキーマファイル形式である係数属性情報を生成するとともに、JSONファイル形式である係数情報を生成する。係数送信部2219は、係数情報生成部2218が生成した係数情報を空気調和機2004へ送信する。ここで、係数送信部2219は、係数情報および係数属性情報に対して可逆式の情報圧縮処理を行ってから送信する。これにより、クラウドサーバ2002から空気調和機2004へ送信される情報量を低減することができる。
次に、本実施の形態に係る制御システムの動作について図32および図33を参照しながら説明する。まず、履歴情報生成時期が到来すると、空気調和機2004は、履歴情報記憶部434が記憶する動作履歴情報、環境履歴情報、日時情報および利用者情報を用いて履歴情報を生成する(ステップS21)。履歴情報の構造は、実施の形態1において図12を用いて説明した履歴情報の構造と同様である。その後、生成された履歴情報が、空気調和機2004からクラウドサーバ2002へ送信される(ステップS22)。クラウドサーバ2002は、履歴情報を受信すると、履歴情報に含まれる動作履歴情報、環境履歴情報、日時情報および利用者情報を履歴情報記憶部231に記憶させる。
次に、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報が、クラウドサーバ2002から気象サーバ3へ送信される(ステップS23)。一方、気象サーバ3は、気象実績要求情報を受信すると、住戸Hが存在する地域における気象実績情報を生成する(ステップS24)。続いて、生成された気象実績情報が、気象サーバ3からクラウドサーバ2002へ送信される(ステップS25)。一方、クラウドサーバ2002は、気象実績情報を受信すると、受信した気象実績情報を気象情報記憶部232に記憶させる。その後、クラウドサーバ2002は、取得した動作履歴情報、環境履歴情報、日時情報、利用者情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する(ステップS26)。クラウドサーバ2002は、決定した重み係数を示す情報をニューラルネットワーク記憶部233に記憶させる。
次に、空気調和機2004が、利用者による自動モードへの切り替え操作を受け付けたとする(ステップS27)。この場合、空気調和機2004は、動作モード記憶部433に自動モードであることを示す動作モード情報を記憶させることにより、動作モードを自動モードに設定する(ステップS28)。続いて、空気調和機2004が、予め設定されたニューロエンジン2104で実現されるニューラルネットワークの重み係数の更新時期が到来したと判定すると、クラウドサーバ2002に対して係数情報の送信を要求する係数要求情報が、空気調和機2004からクラウドサーバ2へ送信される(ステップS29)。一方、クラウドサーバ2002は、係数要求情報を受信すると、ニューラルネットワーク記憶部233が記憶する重み係数を示す情報を含む係数情報を生成する(ステップS30)。
係数情報は、プロトコル情報と、生成した係数情報を識別する係数情報識別情報と、重み係数情報と、を含む。プロトコル情報は、係数情報を空気調和機2004へ送信する際の通信プロトコルに関する各種情報を含む。係数属性情報は、例えば図33に示すように、プロトコル情報と、各種属性情報と、を含む。属性情報としては、生成した係数属性情報を識別する係数属性情報識別情報と、ニューラルネットワークを用いて機器設定パラメータを算出する対象である空気調和機4、52または給湯機51を識別する機器識別情報と、前述の利用者識別情報と、フォーマット情報と、ニューラルネットワーク構造情報と、演算情報と、学習方式情報と、学習期間情報と、係数更新時期情報と、実現機能情報と、機器使用環境情報と、が含まれる。係数情報識別情報は、例えば属性情報に付与された識別情報と、重み係数情報に付与された識別情報と、空気調和機4、52または給湯機51の識別情報と、の少なくとも1つを含む。フォーマット情報は、属性情報および重み係数情報それぞれのデータ形式またはファイル形式を示す情報と圧縮形式を示す情報とを含む。ここで、フォーマット情報は、例えば属性情報のファイル形式がJSONスキーマファイル形式であることを示す情報と、重み係数情報がJSONファイル形式であることを示す情報を含む。ニューラルネットワーク構造情報は、ニューラルネットワークの層数および各層のノード数を示す情報と、ニューラルネットワークを用いた演算に使用する行列の次数を示す情報と、ニューラルネットワークの各ノードにおける活性化関数の形状を表す情報と、を含む。また、ニューラルネットワーク構造情報は、ニューラルネットワークを用いた計算における正規化処理またはドロップアウト情報と、ニューラルネットワークの各ノードについての入力側に接続されるノードと出力側に接続されるノードに関する情報と、を含む。ここで、ドロップアウト情報とは、ニューラルネットワークの重み係数を決定する際にニューラルネットワークを構成するノードのいずれかを不活性化させたかどうかを示す情報である。演算情報は、マルチスレット処理、パイプライン処理等のニューラルネットワークを用いた演算を行う際の処理方法を示す情報を含む。学習方式情報は、オートエンコーダを用いた誤差逆伝播法のような学習方式を示す情報を含む。学習期間情報は、ニューラルネットワークの係数を決定する際に使用した動作履歴情報、環境履歴情報および気象実績情報を取得した現在または過去の時期を示す情報を含む。係数更新時期情報は、ニューラルネットワークの重み係数を更新する時期を示す情報を含む。実現機能情報は、ニューラルネットワークを用いて算出される機器設定パラメータによる制御対象となる空気調和機4、52または給湯機51の機能を示す情報を含む。また、実現機能情報は、ニューラルネットワークを用いて算出される機器設定パラメータを利用者が手動で変更する場合に操作機器6、71、72に対して行う操作内容を示す情報を含む。機器使用環境情報は、住戸H内における空気調和機4、52および給湯機51それぞれの配置を示す情報と、住戸Hに居住する世帯の構成を示す情報と、を含む。
図32に戻って、続いて、生成された係数情報が、クラウドサーバ2から空気調和機2004へ送信される(ステップS31)。一方、空気調和機2004は、係数情報を受信すると、受信した係数情報をニューラルネットワーク記憶部2436に記憶させる。そして、空気調和機2004は、ニューラルネットワーク記憶部2436が記憶する重み係数を取得し、取得した重み係数をニューロエンジン404に設定する。その後、空気調和機2004が、機器設定情報の更新時期が到来したと判定したとする。この場合、気象サーバ3に対して気象予報情報と気象実績情報とを含む気象情報の送信を要求する気象情報要求情報が、空気調和機2004から気象サーバ3へ送信される(ステップS32)。一方、気象サーバ3は、気象情報要求情報を受信すると、住戸Hが存在する地域における気象予報情報を特定して、特定した気象予報情報を含む気象情報を生成する(ステップS33)。次に、生成された気象情報が、気象サーバ3から空気調和機2004へ送信される(ステップS34)。
続いて、空気調和機2004は、重み係数が設定されたニューラルネットワークを用いて、気象予報情報が示す将来の気象条件と環境履歴情報に含まれる現時点の環境を示す環境パラメータとから空気調和機2004の将来の機器設定パラメータを算出する(ステップS35)。その後、空気調和機2004は、算出された機器設定パラメータを用いて、機器設定記憶部431が記憶する機器設定情報を更新する
(ステップS36)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS32からS36までの一連の処理が繰り返し実行される。
次に、本実施の形態に係る空気調和機2004が実行する機器制御処理について図34を参照しながら説明する。この機器制御処理は、例えば空気調和機2004へ電源が投入されたことを契機として開始される。
まず、ステップS2101からS2106までの一連の処理が実行される。ここで、ステップS2101からS2106までの一連の処理は、実施の形態1で図15を用いて説明したステップS101からS106までの一連の処理と同様である。次に、係数取得部2423は、動作モード記憶部433が記憶する動作モード情報を参照して、空気調和機2004の動作モードが自動モードであるか否かを判定する(ステップS2107)。係数取得部2423が、空気調和機2004の動作モードが手動モードであると判定すると(ステップS2107:No)、再びステップS2101の処理が実行される。一方、係数取得部2423は、空気調和機2004の動作モードが自動モードであると判定すると(ステップS2107:Yes)、ニューラルネットワークの係数更新時期が到来したか否かを判定する(ステップS2108)。係数取得部2423が、未だ係数更新時期が到来していないと判定すると(ステップS2108:No)、そのまま後述のステップS2111の処理が実行される。一方、係数取得部2423が、係数更新時期が到来したと判定したとする(ステップS2108:Yes)。この場合、係数取得部2423は、クラウドサーバ2002へ係数要求情報を送信することにより(ステップS2109)、クラウドサーバ2002から係数情報を取得する(ステップS2110)。係数取得部2423は、取得した係数情報をニューラルネットワーク記憶部2436に記憶させる。
続いて、機器設定更新部2419は、予め設定された空気調和機2004の機器設定情報の更新時期が到来したか否かを判定する(ステップS2111)。機器設定更新部2419が、空気調和機2004の機器設定情報の更新時期が未だ到来していないと判定すると(ステップS2111:No)、再びステップS2101の処理が実行される。一方、機器設定更新部2419が、空気調和機2004の機器設定情報の送信時期が到来したと判定したとする(ステップS2111:Yes)。この場合、気象情報取得部2422は、気象サーバ3に対して気象情報要求情報を送信することにより(ステップS2112)、気象サーバ3から気象情報を取得する(ステップS2113)。ここで、気象情報取得部2422は、取得した気象情報に含まれる気象予報情報を気象情報記憶部2437に記憶させる。
その後、ニューロエンジン404が、環境履歴情報に含まれる現在の環境パラメータと気象予報情報とに基づいて、係数設定部2424により重み係数が設定されたニューラルネットワークを用いて、空気調和機2004の機器設定パラメータを算出する(ステップS2114)。次に、機器設定更新部2419が、算出された機器設定パラメータを用いて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS2115)。次に、再びステップS2101の処理が実行される。
次に、本実施の形態に係るクラウドサーバ2002が実行する係数情報生成処理について図35を参照しながら説明する。この係数情報生成処理は、例えばクラウドサーバ2002へ電源が投入されたことを契機として開始される。
まず、ステップS2201およびS2202の処理が実行される。このステップS2201およびS2202の処理の内容は、実施の形態1で図16を用いて説明したステップS201、S202の処理と同様である。次に、気象実績取得部2212は、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報を送信することにより(ステップS2203)、気象サーバ3から気象情報を取得する(ステップS2204)。ここで、気象実績取得部2212は、取得した気象実績情報を気象情報記憶部232に記憶させる。続いて、履歴情報に含まれる動作履歴情報および環境履歴情報と気象実績情報とに基づいて、前述のニューラルネットワークの係数を決定する係数決定処理が実行される(ステップS2205)。係数決定処理の内容は、実施の形態1において図17を用いて説明した係数決定処理と同様である。但し、図17のステップS303において、ニューラルネットワーク計算部214は、初期重み係数が設定されたニューラルネットワークを用いて、取得した環境履歴情報に含まれる環境パラメータおよび気象実績情報が示す気象条件を数値化した情報から、日時情報が示す日時毎に機器設定パラメータを算出する。その後、ステップS304において、係数決定部215は、日時情報が示す日時毎に、算出された機器設定パラメータと、動作履歴情報に含まれる機器設定パラメータと、の誤差を算出する。
続いて、係数情報生成部2218は、空気調和機2004から係数要求情報を取得したか否かを判定する(ステップS2206)。係数情報生成部2218が、係数要求情報を取得していないと判定すると(ステップS2206:No)、再びステップS2201の処理が実行される。一方、係数情報生成部2218が、係数要求情報を取得したと判定すると(ステップS2206:Yes)、ニューラルネットワーク記憶部233が記憶する重み係数情報を含む係数情報を生成する(ステップS2207)。その後、係数送信部2219が、生成された係数情報を空気調和機2004へ送信する(ステップS2208)。次に、再びステップS2201の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ2002において、係数決定部215が、ニューラルネットワークの重み係数を決定し、決定した重み係数を示す情報を含む係数情報を空気調和機2004へ送信する。また、空気調和機2004において、ニューロエンジン404が、クラウドサーバ2002から受信した係数情報が示す重み係数に設定されたニューラルネットワークを用いて、気象予報情報と環境履歴情報に含まれる現時点の環境パラメータとから空気調和機2004の将来の機器設定パラメータを求める。そして、機器制御部414が、ニューロエンジン404により求められた機器設定パラメータに基づいて、空気調和機2004を制御する。これにより、空気調和機2004は、係数情報更新時期が到来する毎に、履歴情報をクラウドサーバ2002へ送信し、クラウドサーバ2002から係数情報を取得するとともに、機器設定情報更新時期が到来する毎にクラウドサーバ2002から気象情報を取得するだけで、空気調和機2004を制御することができる。従って、空気調和機2004とクラウドサーバ2002との間での履歴情報、係数情報、気象情報が送受信される頻度が低減するので、宅外ネットワークNT1における通信トラフィックの空気調和機2004の動作への影響が低減されるという利点がある。また、空気調和機2004は、ニューラルネットワークの再学習が必要となった場合、履歴情報をクラウドサーバ2002へ再度送信して、改訂版のニューラルネットワークの重み係数を示す情報を取得することができる。
ところで、一般的ないわゆるIoT家電機器の情報量に対してニューラルネットワークに関する情報量は非常に大きい。例えばニューラルネットワーク自体を家電機器に搭載すれば、家電機器における通信量を削減することができる。但し、この場合、家電機器にけるセンサの計測情報または家電機器の操作情報をリアルタイムに処理できる反面、家電機器のCPUの計算資源またはメモリの関係で、処理できる内容または家電機器で実現できる学習機能に制限があった。特に、家電機器は、そのメモリの容量の関係で、過去の家電機器における履歴情報のような膨大なニューラルネットワークに関する情報を保持しておくことが困難である。また、CPU資源またはメモリを十分に持つ多機能な高級仕様の家電機器から、単機能で且つ低コストであり性能が比較的低いCPUしか搭載できないような家電機器に至るまでの、全ての家電機器を同一プラットフォームでカバーする事は困難である。このため、クラウドサーバと機器とを含む制御システムとして、機器それぞれが異なCPU資源を備えるものであっても、それらについて一様にニューラルネットワークの学習機能を活用でき且つ通信トラフィックの影響も受けにくい制御システムの実現が要請されている。また、これらのニューラルネットワークを利用した制御システムにおいては、異なるメーカの家電機器または異なる機種、異なるメーカのプラットフォーム間で、同一のユーザについて学習したニューラルネットワークを活用するケースが想定される。そして、この同一のユーザついて学習したニューラルネットワークを、異なるメーカの家電機器または異なる機種、異なるメーカのプラットフォーム間で横断的に使用するためにも、ニューラルネットワークに関する情報を標準的なデータフォーマットで統一することが要請されている。
これに対して、本実施の形態に係る制御システムでは、前述のように、係数情報と係数属性情報とが予め設定された構造を有する。これにより、係数情報と係数属性情報とを、異なるメーカのプラットフォーム間で横断的に使用し易くなるという利点がある。
また、本実施の形態に係る制御システムによれば、空気調和機2004が、空気調和機2004に関する履歴情報を、クラウドサーバ2002へ送信し、クラウドサーバ2002が、受信した履歴情報に基づいてニューラルネットワークの重み係数を決定する。これにより、空気調和機2004は、係数決定部を備えていなくても、空気調和機2004に関する履歴情報に基づいて決定されたニューラルネットワークの重み係数をクラウドサーバ2002から取得することができる。従って、例えば空気調和機2004の故障または寿命到来により新たな空気調和機2004を導入する際、それまでに使用していた空気調和機2004に関する履歴情報に基づいて決定されたニューラルネットワークの重み係数を引き継いで適用することができる。従って、空気調和機2004の自動運転時の動作傾向が維持されるので、空気調和機2004が設置された環境が維持されるという利点がある。
更に、本実施の形態に係る係数属性情報は、前述のように、係数情報識別情報と機器識別情報と利用者識別情報とフォーマット情報とニューラルネットワーク構造情報と演算情報と学習方式情報と学習期間情報と係数更新時期情報と実現機能情報と機器使用環境情報とを含む。これにより、係数情報を例えば市場に流通させて機種または製造元の異なる空気調和機、給湯機等に適用し易いという利点がある。
(実施の形態4)
本実施の形態に係る制御システムでは、機器が、機器の運転スケジュールを示す複数種類のスケジュール情報を、機器の利用者の嗜好の特徴を数値化した情報である嗜好特徴量情報に対応づけて記憶するスケジュール記憶部を有し、機器が設置されている場所の環境履歴情報と過去の気象条件を示す気象実績情報とから、予め設定されたノード数および層数を有する利用者の嗜好の特徴を示す嗜好特徴量を求めるための第2ニューラルネットワークを用いて、機器の運転スケジュールを示すスケジュール情報を特定する。サーバは、機器から、機器設定パラメータの履歴を示す動作履歴情報と機器が動作する環境の履歴を示す環境履歴情報と機器の利用者を示す利用者情報とを含む履歴情報を取得する履歴情報取得部と、気象サーバから、過去の気象条件を示す気象実績情報と将来の気象条件を示す気象予報情報とを含む気象情報を取得する気象情報取得部と、を有する。また、サーバは、取得した履歴情報および気象実績情報に基づいて、第2ニューラルネットワークの重み係数を決定する係数決定部を有する。機器は、重み係数が決定された第2ニューラルネットワークを用いて、動作履歴情報と環境履歴情報と気象実績情報とから利用者の嗜好の特徴量を求めるニューラルネットワーク計算部を有する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機および給湯機と、空気調和機、給湯機と宅外ネットワークNT1を介して通信可能なクラウドサーバと、を備える。なお、本実施の形態において、実施の形態1と同様の構成については、実施の形態1と同一の符号を用いて説明する。また、本実施の形態では、空気調和機のみについて説明する。給湯機は、空気調和機と同様の処理を実行する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。
本実施の形態に係る空気調和機16004のハードウェア構成は、実施の形態3で図28を用いて説明した空気調和機2004のハードウェア構成と同様である。空気調和機16004は、図36に示すように、制御部16400と、計測装置461と、撮像装置481と、を有する。なお、図36において、実施の形態3と同様の構成については、図30と同一の符号を付している。
図36に示すように、制御部16400において、CPUは、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、機器設定更新部2419、動作モード設定部420、利用者特定部421、気象情報取得部2422、係数取得部16423および係数設定部16424として機能する。また、補助記憶部は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、ニューラルネットワーク記憶部16436と、気象情報記憶部2437と、スケジュール記憶部16435と、を有する。なお、CPU、主記憶部および補助記憶部は、図28に示すCPU401、主記憶部402および補助記憶部403と同様である。ニューラルネットワーク記憶部16436は、空気調和機16004の利用者の嗜好の特徴量である嗜好特徴量を求めるための第2ニューラルネットワークを記憶する。ニューラルネットワーク記憶部16436は、ニューロエンジン404が用いるニューラルネットワークの構造を示すニューラルネットワーク構造情報と、ニューラルネットワークの重み係数を示す重み係数情報と、を記憶する。スケジュール記憶部16435は、実施の形態2で図22を用いて説明したのと同様に、複数種類のスケジュール情報を、嗜好特徴量に対応づけて記憶する。
係数取得部16423は、ニューロエンジン404において実現されているニューラルネットワークの重み係数を示す情報を含む係数情報を、クラウドサーバ16002から宅外ネットワークNT1を介して取得する。ここで、係数取得部16423は、クラウドサーバ16002に対して係数情報の送信を要求する係数要求情報を送信することにより、クラウドサーバ16002から係数情報を取得する。係数設定部16424は、ニューラルネットワークの重み係数を設定する。そして、ニューロエンジン404は、係数設定部16424により重み係数が設定されたニューラルネットワークを用いて、気象予報情報と動作履歴情報と環境履歴情報とから嗜好特徴量を算出する。ここで、ニューロエンジン404は、履歴情報に含まれる動作履歴情報と環境履歴情報と、気象予報情報が示す将来の気象条件を数値化した情報とから、ニューラルネットワークを用いて、嗜好特徴量を算出する。
スケジュール特定部16425は、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、ニューロエンジン404により求められた嗜好特徴量に対応するスケジュール情報を特定する。機器設定更新部16419は、動作モード記憶部433が記憶する動作モード情報を参照し、動作モードが自動モードに設定されている場合、スケジュール特定部16425により特定されたスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する。
クラウドサーバ16002のハードウェア構成は、実施の形態1の図10に示すクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ16002は、図10に示すCPU201が、補助記憶部203が記憶するプログラムを主記憶部202に読み出して実行することにより、図37に示すように、係数設定部16213、ニューラルネットワーク計算部214、係数決定部16215および係数送信部16219として機能する。なお、図37において、実施の形態1と同様の構成については、図10と同一の符号を付している。また、図10に示す補助記憶部203は、図37に示すように、ニューラルネットワーク記憶部16233と、スケジュール記憶部16234と、教師情報記憶部15235と、を有する。スケジュール記憶部16234は、前述のスケジュール記憶部16435と同様に、複数種類のスケジュール情報を、嗜好特徴量に対応づけて記憶する。教師情報記憶部15235は、実施の形態2と同様に、係数決定部16215がニューラルネットワーク係数を決定するための教師情報を記憶する。
係数決定部16215は、履歴情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する。係数情報生成部16218は、係数決定部16215が決定した重み係数を示す情報を含む係数情報を生成する。係数送信部16219は、係数情報生成部16218が生成した係数情報を空気調和機2004へ送信する。ここで、係数送信部16219は、係数情報に対して可逆式の情報圧縮処理を行ってから配信する。これにより、クラウドサーバ2002から空気調和機2004へ送信される情報量を低減することができる。
次に、本実施の形態に係る制御システムの動作について図38を参照しながら説明する。なお、図38において、実施の形態3と同様の処理については図32と同一の符号を付している。まず、クラウドサーバ16002は、教師情報記憶部15235から取得した動作履歴情報、環境履歴情報、および嗜好特徴量情報に基づいて、ニューラルネットワークの重み係数を決定する(ステップS16021)。
次に、空気調和機16004が、予め設定されたニューロエンジン404で実現されるニューラルネットワークの重み係数の更新時期が到来したと判定すると、クラウドサーバ16002に対して係数情報の送信を要求する係数要求情報が、空気調和機2004からクラウドサーバ2へ送信される(ステップS16022)。一方、クラウドサーバ16002は、係数要求情報を受信すると、ニューラルネットワーク記憶部16233が記憶する重み係数を示す情報を含む係数情報と係数属性情報とを生成する(ステップS16023)。係数情報および係数属性情報それぞれの構造は、実施の形態3で説明した構造と同様である。
続いて、生成された係数情報および係数属性情報が、クラウドサーバ16002から空気調和機2004へ送信される(ステップS16024)。一方、空気調和機16004は、係数情報および係数属性情報を受信すると、受信した係数情報および係数属性情報をニューラルネットワーク記憶部16436に記憶させる。そして、空気調和機16004は、ニューラルネットワーク記憶部16436が記憶する重み係数情報を取得し、取得した重み係数情報が示す重み係数をニューロエンジン404に設定する。
その後、空気調和機16004が、利用者による自動モードへの切り替え操作を受け付けたとする(ステップS16025)。この場合、空気調和機16004は、動作モードを自動モードに設定する(ステップS16026)。次に、空気調和機16004が、スケジュール情報の更新時期が到来したと判定したとする。この場合、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報が、空気調和機16004から気象サーバ3へ送信される(ステップS16027)。一方、気象サーバ3は、気象実績要求情報を受信すると、住戸Hが存在する地域における気象実績情報を生成する(ステップS16028)。次に、生成された気象情報が、気象サーバ3から空気調和機16004へ送信される(ステップS16029)。
続いて、空気調和機16004は、重み係数が設定されたニューラルネットワークを用いて、気象予報情報が示す将来の気象条件と動作履歴情報と環境履歴情報とから嗜好特徴量を算出する。そして、空気調和機16004は、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、算出した嗜好特徴量に対応するスケジュール情報を特定する(ステップS16030)。その後、空気調和機16004は、特定されたスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS16031)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS16031の処理が繰り返し実行される。
次に、本実施の形態に係る空気調和機16004が実行する機器制御処理について図39を参照しながら説明する。この機器制御処理は、例えば空気調和機2004へ電源が投入されたことを契機として開始される。
まず、係数取得部16423は、ニューラルネットワークの係数更新時期が到来したか否かを判定する(ステップS16001)。係数取得部16423が、未だ係数更新時期が到来していないと判定すると(ステップS16001:No)、そのまま後述のステップS16004の処理が実行される。一方、係数取得部16423が、係数更新時期が到来したと判定したとする(ステップS16001:Yes)。この場合、係数取得部16423は、クラウドサーバ16002へ係数要求情報を送信することにより(ステップS16002)、クラウドサーバ16002から係数情報および係数属性情報を取得する(ステップS16003)。係数取得部2423は、取得した係数情報および係数属性情報をニューラルネットワーク記憶部16436に記憶させる。
次に、ステップS16004およびS16005の処理が実行される。ここで、ステップS16004およびS16005の処理は、実施の形態1で図15を用いて説明したステップS105およびS106の処理と同様である。続いて、スケジュール特定部16425は、動作モード記憶部433が記憶する動作モード情報を参照して、空気調和機16004の動作モードが自動モードであるか否かを判定する(ステップS16006)。スケジュール特定部16425が、空気調和機16004の動作モードが手動モードであると判定すると(ステップS16006:No)、再びステップS16001の処理が実行される。
一方、機器設定更新部16419が、空気調和機16004の動作モードが自動モードであると判定したとする(ステップS16006:Yes)。この場合、スケジュール特定部16425が、予め設定された空気調和機16004の運転スケジュールの更新時期が到来したか否かを判定する(ステップS16007)。スケジュール特定部16425が、空気調和機16004の運転スケジュールの更新時期が未だ到来していないと判定すると(ステップS16007:No)、後述するステップS16011の処理が実行される。一方、スケジュール特定部16425が、空気調和機16004の運転スケジュールの更新時期が到来したと判定したとする(ステップS16007:Yes)。この場合、気象情報取得部2422は、気象サーバ3に対して気象実績要求情報を送信することにより(ステップS16008)、気象サーバ3から気象実績情報を取得する(ステップS16009)。ここで、気象情報取得部2422は、取得した気象実績情報を気象情報記憶部2437に記憶させる。
その後、ニューロエンジン404が、動作履歴情報と環境履歴情報と気象実績情報とに基づいて、係数設定部16424により重み係数が設定されたニューラルネットワークを用いて、空気調和機16004の嗜好特徴量を算出する。そして、スケジュール特定部16425は、算出された嗜好特徴量に対応するスケジュール情報を特定する(ステップS16010)。次に、機器設定更新部16419が、予め設定された空気調和機16004の機器設定情報の更新時期が到来したか否かを判定する(ステップS16011)。機器設定更新部16419が、機器設定情報の更新時期が未だ到来していないと判定すると(ステップS16011:No)、再びステップS16101の処理が実行される。一方、機器設定更新部16419は、機器設定情報の更新時期が到来したと判定すると(ステップS16011:Yes)、スケジュール特定部16425により特定されたスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS16012)。次に、再びステップS16101の処理が実行される。
次に、本実施の形態に係るクラウドサーバ16002が実行する係数情報生成処理について図40を参照しながら説明する。この係数情報生成処理は、例えばクラウドサーバ16002へ電源が投入された後、教師情報記憶部15235が記憶する動作履歴情報、環境履歴情報、気象実績情報および嗜好特徴量情報が更新される毎に実行されるようにしてもよい。
まず、教師情報記憶部15235から取得した動作履歴情報、環境履歴情報、気象実績情報および嗜好特徴量情報に基づいて、ニューラルネットワークの係数を決定する係数決定処理が実行される(ステップS16201)。係数決定処理の内容は、実施の形態2において図26を用いて説明した係数決定処理と同様である。
次に、係数情報生成部16218は、空気調和機2004から係数要求情報を取得したか否かを判定する(ステップS16202)。係数情報生成部16218が、係数要求情報を取得していないと判定すると(ステップS16202:No)、再びステップS16202の処理が実行される。一方、係数情報生成部16218が、係数要求情報を取得したと判定すると(ステップS16202:Yes)、ニューラルネットワーク記憶部16233が記憶する重み係数情報を含む係数情報と係数属性情報とを生成する(ステップS16203)。続いて、係数送信部16219が、生成された係数情報および係数属性情報を空気調和機16004へ送信する(ステップS16204)。その後、再びステップS16202の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ16002において、係数決定部16215が、ニューラルネットワークの重み係数を決定し、決定した重み係数を示す情報を含む係数情報を空気調和機16004へ送信する。また、空気調和機16004において、ニューロエンジン404が、クラウドサーバ16002から受信した係数情報が示す重み係数に設定されたニューラルネットワークを用いて、動作履歴情報と環境履歴情報と気象実績情報とから空気調和機2004の利用者の嗜好の特徴量である嗜好特徴量を求める。そして、スケジュール特定部16425が、ニューロエンジン404により求められた嗜好特徴量に対応するスケジュール情報を特定する。そして、機器制御部414は、スケジュール情報が示す運転スケジュールに沿って空気調和機16004を制御する。これにより、空気調和機16004は、係数情報更新時期が到来する毎に、履歴情報をクラウドサーバ2002へ送信し、クラウドサーバ2002から係数情報を取得するとともに、スケジュール更新時期が到来する毎にクラウドサーバ16002から気象情報を取得するだけで、空気調和機16004を制御することができる。従って、空気調和機16004とクラウドサーバ16002との間での履歴情報、係数情報、気象情報が送受信される頻度が低減するので、宅外ネットワークNT1における通信トラフィックの空気調和機16004の動作への影響が低減されるという利点がある。
(実施の形態5)
本実施の形態に係る制御システムでは、機器が、予め設定されたノード数および層数を有する機器の将来の機器設定パラメータを求めるためのニューラルネットワークの重み係数を決定するとともに、重み係数が決定されたニューラルネットワークを用いて、将来の機器の機器設定パラメータを求める。サーバは、機器で用いられるニューラルネットワークに最初に設定される重み係数である初期係数を決定する。サーバは、ニューラルネットワークの重み係数の初期係数を決定する初期係数決定部と、初期係数を示す初期係数情報を含む係数情報を機器へ送信する係数送信部と、を有する。また、機器は、係数情報を取得する係数取得部と、機器の動作履歴情報と環境履歴情報とを取得する履歴情報取得部と、過去の気象条件を示す気象実績情報と将来の気象条件を示す気象予報情報とを含む気象情報を取得する気象情報取得部と、初期係数情報と動作履歴情報と環境履歴情報と気象実績情報とに基づいて、ニューラルネットワークの重み係数を決定する係数決定部と、ニューラルネットワークを用いて、気象予報情報が示す将来の気象条件と環境履歴情報に含まれる現時点の環境を示す環境パラメータとから機器の将来の機器設定パラメータを求めるニューラルネットワーク計算部と、求められた機器設定パラメータに基づいて、機器を制御する機器制御部と、を有する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機、給湯機と、空気調和機、給湯機と宅外ネットワークNT1を介して通信可能なクラウドサーバと、を備える。なお、本実施の形態において、実施の形態1、3と同様の構成については、実施の形態1、3と同一の符号を用いて説明する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。更に、宅外ネットワークNT1には、例えば空気調和機を購買した顧客を管理する顧客サーバ3003が接続されている。
顧客サーバ3003は、顧客が購買した空気調和機の機器設定情報と、温度情報を含む環境パラメータを示す環境情報と、の履歴を含む履歴情報、空気調和機を識別する機器識別情報に対応づけて記憶するストレージ(図示せず)を備える。顧客サーバ3003は、顧客が購買した空気調和機から定期的に履歴情報を受信する毎に、受信した履歴情報を機器識別情報に対応づけてストレージに記憶させる。また、顧客サーバ3003は、クラウドサーバ3002から履歴要求情報を受信すると、ストレージが記憶する履歴情報の中から履歴要求情報に対応する動作履歴情報および環境履歴情報を特定する。顧客サーバ3003は、例えば、空気調和機3004と同一機種の空気調和機が設置された他の住戸を特定し、特定した住戸に設置された空気調和機の動作履歴情報および環境履歴情報を含む履歴情報を生成する。ここで、履歴情報に含まれる動作履歴情報、環境履歴情報は、例えば住戸Hに設置された空気調和機3004と同一機種の空気調和機が設置された複数の世帯における機器設定パラメータの平均値の履歴および環境パラメータの平均値の履歴を示すものであってもよい。
本実施の形態に係る空気調和機3004のハードウェア構成は、実施の形態3の図28に示す空気調和機2004のハードウェア構成と同様である。制御部3400は、CPU(図示せず)と、主記憶部(図示せず)と、補助記憶部(図示せず)と、通信インタフェース(図示せず)と、計測装置インタフェース(図示せず)と、無線モジュール(図示せず)と、撮像インタフェース(図示せず)と、ニューロエンジン404と、これらを相互に接続するバス(図示せず)と、を備える。制御部3400では、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図41に示すように、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、機器設定更新部2419、動作モード設定部420、利用者特定部421、気象情報取得部2422、係数取得部2423、係数設定部3424および係数決定部3425として機能する。なお、図41において、実施の形態1、3と同様の構成については、図3および図30と同一の符号を付している。また、補助記憶部は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、ニューラルネットワーク記憶部2436と、気象情報記憶部2437と、を有する。なお、CPU、主記憶部および補助記憶部は、図28に示すCPU401、主記憶部402および補助記憶部403と同様である。係数取得部2423は、ニューロエンジン404に最初に設定する初期のニューラルネットワークの重み係数を示す初期重み係数情報を含む係数情報を、クラウドサーバ3002から宅外ネットワークNT1を介して取得する。ここで、係数取得部2423は、クラウドサーバ3002に対して係数情報の送信を要求する係数要求情報を送信することにより、クラウドサーバ3002から初期重み係数情報を含む係数情報を取得する。
係数決定部3425は、動作履歴情報、環境履歴情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する。係数決定部3425は、まず、ニューラルネットワーク記憶部2436から初期重み係数情報を取得する。そして、係数設定部3424が、係数決定部3425が取得した初期重み係数情報が示す重み係数を、ニューロエンジン404に設定する。次に、係数決定部3425は、ニューロエンジン404が、環境履歴情報が示す過去の環境パラメータと、日時情報が示す日時と、気象実績情報が示す過去の気象条件を数値化した情報と、に基づいて、ニューロエンジン404が算出した機器設定パラメータを取得する。続いて、係数決定部3425は、履歴情報記憶部434が記憶する動作履歴情報が示す過去の機器設定パラメータを取得し、ニューロエンジン404が算出した機器設定パラメータとの誤差を算出する。そして、係数決定部3425は、算出した誤差に基づいて、誤差逆伝播法(バックプロパゲーション)によりニューラルネットワークの重み係数を決定する。
係数設定部3424は、係数決定部3425が決定した重み係数を、ニューラルネットワークの重み係数に設定する。そして、ニューロエンジン404は、ニューラルネットワークを用いて、気象予報情報と環境履歴情報に含まれる現時点の環境を示す環境パラメータとから空気調和機3004の将来の機器設定パラメータを算出する。
クラウドサーバ3002のハードウェア構成は、実施の形態1の図10に示すクラウドサーバ2のハードウェア構成と同様である。図10に示すCPU201は、補助記憶部203が記憶するプログラムを主記憶部202に読み出して実行することにより、図42に示すように、履歴情報取得部3211、気象実績取得部3212、係数設定部213、ニューラルネットワーク計算部214、係数決定部215、係数情報生成部3218および係数送信部3219として機能する。なお、図42において、実施の形態3と同様の構成については、図31と同一の符号を付している。また、図10に示す補助記憶部203は、図42に示すように、履歴情報記憶部231と、気象情報記憶部232と、初期係数記憶部3233と、を有する。初期係数記憶部3233は、住戸Hに設置された空気調和機3004と同一機種の空気調和機が設置された他の住戸における空気調和機の動作履歴情報および環境履歴情報を含む履歴情報および気象実績情報に基づいて決定したニューラルネットワークの初期係数を示す情報を記憶する。
履歴情報取得部3211は、住戸Hに設置された空気調和機3004と同一機種の空気調和機が設置された他の住戸における空気調和機の動作履歴情報および環境履歴情報を含む履歴情報を取得する。履歴情報取得部3211は、例えば空気調和機の購買した顧客を管理する顧客サーバ3003から、宅外ネットワークNT2を介して履歴情報を取得する。気象実績取得部3212は、気象サーバ3から宅外ネットワークNT1を介して、履歴情報に対応する世帯の住戸の存在する地域における過去の気象条件を示す気象実績情報を取得する。係数決定部215は、実施の形態1と同様にして、前述の履歴情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する。係数情報生成部3218は、係数決定部215が決定した重み係数を示す情報と重み係数が初期係数であることを示す情報とを含む係数情報を生成する。係数送信部3219は、係数情報生成部3218が生成した係数情報を、宅外ネットワークNT1を介して空気調和機3004へ送信する。
次に、本実施の形態に係る制御システムの動作について図43および図44を参照しながら説明する。まず、図43に示すように、顧客サーバ3003に対して履歴情報の送信を要求する履歴要求情報が、クラウドサーバ3002から顧客サーバ3003へ送信される(ステップS51)。ここで、履歴情報は、空気調和機3004と同一機種の空気調和機が設置された他の住戸における空気調和機の動作履歴情報および環境履歴情報を含むものである。一方、顧客サーバ3003は、履歴要求情報を受信すると、空気調和機3004と同一機種の空気調和機が設置された他の住戸を特定し、特定した住戸に設置された空気調和機の動作履歴情報および環境履歴情報を含む履歴情報と履歴属性情報とを生成する(ステップS52)。次に、生成された履歴情報と履歴属性情報とが、顧客サーバ3003からクラウドサーバ3002へ送信される(ステップS53)。
続いて、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報が、クラウドサーバ3002から気象サーバ3へ送信される(ステップS54)。一方、気象サーバ3は、気象実績要求情報を受信すると、住戸Hが存在する地域における気象実績情報を生成する(ステップS55)。ここで、気象実績情報は、前述の履歴情報に対応する世帯の住戸の存在する地域における過去の気象条件を示す気象実績情報である。その後、生成された気象実績情報が、気象サーバ3からクラウドサーバ3002へ送信される(ステップS56)。一方、クラウドサーバ2は、気象実績情報を受信すると、受信した気象実績情報を気象情報記憶部232に記憶させる。その後、クラウドサーバ3002は、取得した動作履歴情報、環境履歴情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を初期係数として決定する(ステップS57)。クラウドサーバ3002は、決定した初期の重み係数を示す初期重み係数情報を初期係数記憶部3233に記憶させる。
次に、新たな空気調和機3004が住戸Hに設置され、起動したとする。このとき、クラウドサーバ3002に対して初期係数の送信を要求する係数要求情報が、空気調和機3004からクラウドサーバ3002へ送信される(ステップS58)。一方、クラウドサーバ3002は、係数要求情報を受信すると、初期係数記憶部3233が記憶する初期重み係数情報を含む係数情報と係数属性情報とを生成する(ステップS59)。係数情報および係数属性情報の構造は、実施の形態3において図33を用いて説明した係数情報および係数属性情報の構造と同様である。続いて、生成された係数情報と係数属性情報とが、クラウドサーバ3002から空気調和機3004へ送信される(ステップS60)。一方、空気調和機3004は、係数情報と係数属性情報とを受信すると、受信した係数情報と係数属性情報とをニューラルネットワーク記憶部2436に記憶させる。
その後、空気調和機3004が、予め設定されたニューラルネットワークの重み係数の更新時期が到来したと判定したとする。この場合、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報が、空気調和機3004から気象サーバ3へ送信される(ステップS61)一方、気象サーバ3は、気象実績要求情報を受信すると、住戸Hが存在する地域における気象実績情報を生成する(ステップS62)。次に、生成された気象実績情報が、気象サーバ3から空気調和機3004へ送信される(ステップS63)。一方、空気調和機3004は、気象実績情報を受信すると、受信した気象実績情報を気象情報記憶部2437に記憶させる。その後、空気調和機3004は、取得した動作履歴情報、環境履歴情報、日時情報、利用者情報および気象実績情報に基づいて、ニューラルネットワークの重み係数を決定する(ステップS64)。空気調和機3004は、決定した重み係数を示す重み係数情報をニューラルネットワーク記憶部2436に記憶させる。以後、ニューラルネットワークの重み係数の更新時期が到来する毎に、前述のステップS61からS64までの一連の処理が繰り返し実行される。
次に、図44に示すように、空気調和機3004が、利用者による自動モードへの切り替え操作を受け付けたとする(ステップS65)。この場合、空気調和機3004は、動作モード記憶部433に自動モードであることを示す動作モード情報を記憶させることにより、動作モードを自動モードに設定する(ステップS66)。
続いて、空気調和機3004が、空気調和機3004の機器設定情報の更新時期が到来したと判定したとする。この場合、気象サーバ3に対して気象予報情報と気象実績情報とを含む気象情報の送信を要求する気象情報要求情報が、空気調和機3004から気象サーバ3へ送信される(ステップS67)。一方、気象サーバ3は、気象情報要求情報を受信すると、住戸Hが存在する地域における気象予報情報と気象実績情報とを特定して、特定した気象予報情報と気象実績情報とを含む気象情報を生成する(ステップS68)。次に、生成された気象情報が、気象サーバ3から空気調和機3004へ送信される(ステップS69)。
続いて、空気調和機3004は、重み係数が設定されたニューラルネットワークを用いて、気象予報情報と環境履歴情報に含まれる現時点の環境を示す環境パラメータとから空気調和機3004の将来の機器設定パラメータを算出する(ステップS70)。その後、空気調和機3004は、算出された機器設定パラメータを用いて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS71)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS67からS71までの一連の処理が繰り返し実行される。
次に、本実施の形態に係る空気調和機3004が実行する機器制御処理について図45を参照しながら説明する。この機器制御処理は、例えば空気調和機3004へ電源が投入されたことを契機として開始される。
まず、係数取得部2423は、クラウドサーバ3002へ係数要求情報を送信することにより(ステップS3101)、クラウドサーバ3002からニューラルネットワークの初期重み係数情報を含む係数情報と係数属性情報とを取得する(ステップS3102)。係数取得部2423は、取得した係数情報に含まれる初期重み係数情報と係数属性情報とをニューラルネットワーク記憶部2436に記憶させる。
次に、係数決定部3425は、ニューラルネットワークの係数更新時期が到来したか否かを判定する(ステップS3103)。係数決定部3425が、未だ係数更新時期が到来していないと判定すると(ステップS3103:No)、そのまま後述のステップS3110の処理が実行される。一方、係数決定部3425が、係数更新時期が到来したと判定したとする(ステップS3103:Yes)。この場合、気象情報取得部2422は、気象実績要求情報を気象サーバ3へ送信することにより(ステップS3104)、気象サーバ3から気象実績情報を取得する(ステップS3105)。気象情報取得部2422は、取得した気象実績情報を気象情報記憶部2437に記憶させる。その後、係数決定処理が実行される(ステップS3106)。この係数決定処理の内容は、実施の形態1において図17を用いて説明した係数決定処理と同様である。
次に、ステップS3107およびS3108の処理が実行される。ステップS3107およびS3108の処理の内容は、実施の形態1で図15を用いて説明したステップS105およびS106の処理と同様である。続いて、機器設定更新部2419は、動作モード記憶部433が記憶する動作モード情報を参照して、空気調和機3004の動作モードが自動モードであるか否かを判定する(ステップS3109)。機器設定更新部2419が、空気調和機3004の動作モードが手動モードであると判定すると(ステップS3109:No)、再びステップS3103の処理が実行される。一方、機器設定更新部2419は、空気調和機3004の動作モードが自動モードであると判定すると(ステップS3109:Yes)、予め設定された空気調和機3004の機器設定情報の更新時期が到来したか否かを判定する(ステップS3110)。機器設定更新部2419が、空気調和機3004の機器設定情報の更新時期が未だ到来していないと判定すると(ステップS3110:No)、再びステップS3103の処理が実行される。一方、機器設定更新部2419が、空気調和機3004の機器設定情報の更新時期が到来したと判定したとする(ステップS3110:Yes)。この場合、ステップS3111からS3114までの一連の処理が実行される。ここで、ステップS3111からS3114までの一連の処理の内容は、実施の形態3で図34を用いて説明したステップS2112からS2115までの処理と同様である。その後、再びステップS3103の処理が実行される。
次に、本実施の形態に係るクラウドサーバ3002が実行する係数情報生成処理について図46を参照しながら説明する。この係数情報生成処理は、例えばクラウドサーバ3002へ電源が投入されたことを契機として開始される。
まず、履歴情報取得部3211は、顧客サーバ3003に対して住戸Hに設置された空気調和機3004と同一機種の空気調和機の動作履歴情報および環境履歴情報を含む履歴情報の送信を要求する履歴要求情報を顧客サーバ3003へ送信することにより(ステップS3201)、顧客サーバ3003から履歴情報と履歴属性情報とを取得する(ステップS3202)。次に、気象実績取得部2212は、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報を送信することにより(ステップS3203)、気象サーバ3から気象実績情報を取得する(ステップS3204)。続いて、履歴情報に含まれる動作履歴情報および環境履歴情報と気象実績情報とに基づいて、前述のニューラルネットワークの係数を決定する係数決定処理が実行される(ステップS3205)。係数決定処理の内容は、実施の形態1において図17を用いて説明した係数決定処理と同様である。この係数決定処理により算出される初期の重み係数を示す初期重み係数情報は、初期係数記憶部3233に記憶される。
その後、係数情報生成部3218は、空気調和機3004から係数要求情報を取得したか否かを判定する(ステップS3206)。係数情報生成部3218が、係数要求情報を取得していないと判定すると(ステップS3206:No)、再びステップS3201の処理が実行される。一方、係数情報生成部3218が、係数要求情報を取得したと判定すると(ステップS3206:Yes)、初期係数記憶部3233が記憶する初期重み係数情報を含む係数情報と係数属性情報とを生成する(ステップS3207)。その後、係数送信部3219が、生成された係数情報と係数属性情報とを空気調和機3004へ送信する(ステップS3208)。次に、再びステップS3201の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ3002において、係数決定部215が、ニューラルネットワークの初期係数を決定し、決定した初期係数を示す情報を含む係数情報を空気調和機3004へ送信する。また、空気調和機3004において、係数設定部2121が、空気調和機3004の起動後一度だけニューラルネットワークの重み係数を初期係数に設定する。その後、空気調和機3004では、係数決定部3122が、ニューラルネットワークの重み係数を更新していく。そして、ニューロエンジン2104が、係数決定部3122により重み係数が更新されたニューラルネットワークを用いて、気象予報情報と環境履歴情報に含まれる現時点の環境パラメータとから空気調和機3004の将来の機器設定パラメータを求める。そして、機器設定更新部2419が、ニューロエンジン2104により求められた機器設定パラメータに基づいて生成される機器設定情報で、機器設定記憶部431が記憶する機器設定情報を更新する。このようにして、空気調和機3004の機器制御部414は、ニューロエンジン2104により求められた機器設定パラメータを用いて空気調和機3004を制御する。これにより、機器制御部414は、係数情報更新時期または機器情報送信時期が到来する毎に、クラウドサーバ2002から気象情報を取得するだけで、空気調和機3004を制御することができる。従って、空気調和機3004とクラウドサーバ3002との間での送受信される情報量が低減するので、宅外ネットワークNT1における通信トラフィックの空気調和機3004の動作への影響が低減されるという利点がある。
(実施の形態6)
本実施の形態に係る制御システムでは、機器が、予め設定されたノード数および層数を有する機器の利用者の嗜好の特徴量を示す嗜好特徴量を求めるためのニューラルネットワークの重み係数を決定するとともに、重み係数が決定された第2ニューラルネットワークを用いて、嗜好特徴量を求める。サーバは、機器において第2ニューラルネットワークの重み係数を決定する際に用いられる教師情報を管理する。サーバは、第2ニューラルネットワークの重み係数を決定する際に用いられる教師情報を特定する教師情報特定部と、教師情報を機器へ送信する教師情報送信部と、を有する。また、機器は、教師情報を取得する教師情報取得部と、機器の動作履歴情報と環境履歴情報とを取得する履歴情報取得部と、過去の気象条件を示す気象実績情報と将来の気象条件を示す気象予報情報とを含む気象情報を取得する気象情報取得部と、教師情報に基づいて第2ニューラルネットワークの重み係数を決定する係数決定部と、第2ニューラルネットワークを用いて、動作履歴情報と環境履歴情報と気象実績情報とから嗜好特徴量を求めるニューラルネットワーク計算部と、求められた嗜好特徴量に対応するスケジュール情報を特定するスケジュール特定部と、を有する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機、給湯機と、空気調和機、給湯機と宅外ネットワークNT1を介して通信可能なクラウドサーバと、を備える。なお、本実施の形態において、実施の形態4、5と同様の構成については、実施の形態4、5と同一の符号を用いて説明する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。
本実施の形態に係る空気調和機17004のハードウェア構成は、実施の形態2の図28に示す空気調和機2004のハードウェア構成と同様である。機器制御部17400では、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図47に示すように、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、機器設定更新部2419、動作モード設定部420、利用者特定部421、気象情報取得部2422、教師情報取得部17423、係数設定部17424、係数決定部17425およびスケジュール特定部16425として機能する。なお、図47において、実施の形態4、5と同様の構成については、図36および図41と同一の符号を付している。また、補助記憶部は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、ニューラルネットワーク記憶部17436と、気象情報記憶部2437と、スケジュール記憶部16435と、を有する。なお、CPU、主記憶部および補助記憶部は、図28に示すCPU401、主記憶部402および補助記憶部403と同様である。スケジュール記憶部16435は、前述のように、複数種類のスケジュール情報を、嗜好特徴量に対応づけて記憶する。また、ニューラルネットワーク記憶部17436は、ニューラルネットワークの重み係数とともに、クラウドサーバ17002から取得した、係数決定部17425がニューラルネットワーク係数を決定するための教師情報を記憶する。
教師情報取得部17423は、教師情報をクラウドサーバ17002から取得する。ここで、教師情報取得部17423は、クラウドサーバ17002に対して教師情報の送信を要求する教師情報要求情報を送信することにより、クラウドサーバ17002から教師情報を取得する。また、教師情報取得部17423は、取得した教師情報をニューラルネットワーク記憶部17436に記憶させる。
係数決定部17425は、教師情報に基づいて、ニューラルネットワークの重み係数を決定する。係数決定部17425は、まず、予め設定された初期重み係数を、ニューロエンジン404に設定する。次に、係数決定部17425は、ニューロエンジン404が、ニューラルネットワーク記憶部17436が記憶する教師情報に含まれる動作履歴情報、環境履歴情報および気象実績情報に基づいて算出した嗜好特徴量を取得する。続いて、係数決定部17425は、ニューラルネットワーク記憶部17436が記憶する教師情報に含まれる嗜好特徴量とニューロエンジン404が算出した嗜好特徴量との誤差を算出する。そして、係数決定部17425は、算出した誤差に基づいて、誤差逆伝播法(バックプロパゲーション)によりニューラルネットワークの重み係数を決定する。
係数設定部17424は、係数決定部17425が決定した重み係数を、ニューラルネットワークの重み係数に設定する。そして、ニューロエンジン404は、重み係数が設定されたニューラルネットワークを用いて、動作履歴情報および環境履歴情報と気象実績情報とから嗜好特徴量を算出する。
クラウドサーバ17002のハードウェア構成は、実施の形態1の図10に示すクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ17002では、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図48に示すように、教師情報特定部17218および教師情報送信部17219として機能する。また、補助記憶部は、教師情報記憶部15235を有する。なお、CPU、主記憶部および補助記憶部は、図10に示すCPU201、主記憶部202および補助記憶部203と同様である。教師情報記憶部15235は、実施の形態2と同様に、係数決定部16213がニューラルネットワーク係数を決定するための教師情報を記憶する。教師情報特定部17218は、空気調和機17004から教師情報の送信を要求する教師情報要求情報を取得すると、教師情報記憶部15235が記憶する複数種類の教師情報の中から、教師情報要求情報に対応する教師情報を特定する。教師情報送信部17219は、特定された教師情報を、教師情報要求情報の送信元である空気調和機17004へ送信する。
次に、本実施の形態に係る制御システムの動作について図49を参照しながら説明する。まず、新たな空気調和機17004が住戸Hに設置され、起動したとする。このとき、クラウドサーバ17002に対して教師情報の送信を要求する教師情報要求情報が、空気調和機17004からクラウドサーバ17002へ送信される(ステップS17051)。一方、クラウドサーバ17002は、教師情報要求情報を受信すると、教師情報記憶部15235が記憶する複数種類の教師情報の中から空気調和機17004に対応する教師情報を特定する(ステップS17052)。続いて、特定された教師情報が、クラウドサーバ17002から空気調和機17004へ送信される(ステップS17053)。一方、空気調和機17004は、教師情報を受信すると、受信した教師情報をニューラルネットワーク記憶部17436に記憶させる。次に、空気調和機17004は、ニューラルネットワーク記憶部17436が記憶する教師情報に基づいて、ニューラルネットワークの重み係数を決定する(ステップS17054)。
次に、空気調和機17004が、利用者による自動モードへの切り替え操作を受け付けたとする(ステップS17055)。この場合、空気調和機17004は、動作モード記憶部433に自動モードであることを示す動作モード情報を記憶させることにより、動作モードを自動モードに設定する(ステップS17056)。
続いて、空気調和機17004が、スケジュール情報の更新時期が到来したと判定したとする。この場合、気象サーバ3に対して気象実績情報の送信を要求する気象実績要求情報が、空気調和機17004から気象サーバ3へ送信される(ステップS17057)。一方、気象サーバ3は、気象実績要求情報を受信すると、住戸Hが存在する地域における気象実績情報を生成する(ステップS17058)。次に、生成された気象情報が、気象サーバ3から空気調和機17004へ送信される(ステップS17059)。
その後、空気調和機17004は、重み係数が設定されたニューラルネットワークを用いて、動作履歴情報と環境履歴情報と気象実績情報とから嗜好特徴量を算出する。そして、空気調和機16004は、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、算出した嗜好特徴量に対応するスケジュール情報を特定する(ステップS17060)。その後、空気調和機17004は、特定されたスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS17061)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS17061の処理が繰り返し実行される。
次に、本実施の形態に係る空気調和機17004が実行する機器制御処理について図50を参照しながら説明する。この機器制御処理は、例えば空気調和機17004へ電源が投入されたことを契機として開始される。まず、教師情報取得部17423は、クラウドサーバ17002へ教師情報要求情報を送信することにより(ステップS17101)、クラウドサーバ3002から教師情報を取得する(ステップS17102)。教師情報取得部17423は、取得した教師情報をニューラルネットワーク記憶部17436に記憶させる。
次に、教師情報に基づいてニューラルネットワークの重み係数を決定する係数決定処理が実行される(ステップS17103)。この係数決定処理の内容は、実施の形態2において図26を用いて説明した係数決定処理と同様である。続いて、ステップS17004およびS17005の処理が実行される。ここで、ステップS17104およびS17105の処理は、実施の形態1で図15を用いて説明したステップS105およびS106の処理と同様である。その後、機器設定更新部16419は、動作モード記憶部433が記憶する動作モード情報を参照して、空気調和機3004の動作モードが自動モードであるか否かを判定する(ステップS17106)。機器設定更新部16419が、空気調和機3004の動作モードが手動モードであると判定すると(ステップS17106:No)、再びステップS17104の処理が実行される。一方、機器設定更新部16419が、空気調和機3004の動作モードが自動モードであると判定したとする(ステップS17106:Yes)。この場合、スケジュール特定部16425が、予め設定された空気調和機17004のスケジュール更新時期が到来したか否かを判定する(ステップS17107)。スケジュール特定部16425が、空気調和機17004のスケジュール更新時期が未だ到来していないと判定すると(ステップS17105:No)、後述するステップS17111の処理が実行される。
一方、スケジュール特定部16425が、空気調和機17004のスケジュール更新時期が到来したと判定したとする(ステップS17107:Yes)。この場合、気象情報取得部2422が、気象サーバ3へ気象実績要求情報を送信することにより(ステップS17108)、気象実績情報を取得する(ステップS17109)。次に、ニューロエンジン404が、ニューラルネットワークを用いて、動作履歴情報および環境履歴情報と気象予報情報とから嗜好特徴量を算出する。そして、スケジュール特定部16425が、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、算出した嗜好特徴量に対応するスケジュール情報を特定する(ステップS17110)。
その後、機器設定更新部16419が、空気調和機17004の機器設定情報の更新時期が到来しているか否かを判定する(ステップS17111)。機器設定更新部16419が、空気調和機17004の機器設定情報の更新時期が未だ到来していないと判定すると(ステップS17111:No)、再びステップS17104の処理が実行される。一方、機器設定更新部16419が、空気調和機17004の機器設定情報の更新時期が到来したと判定したとする(ステップS17111:Yes)。この場合、機器設定更新部16419は、スケジュール特定部16426により特定されたスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS17112)。その後、再びステップS17104の処理が実行される。
次に、本実施の形態に係るクラウドサーバ17002が実行する教師情報送信処理について図51を参照しながら説明する。この教師情報送信処理は、例えばクラウドサーバ17002へ電源が投入されたことを契機として開始される。まず、教師情報特定部17218は、空気調和機17004から教師情報の送信を要求する教師情報要求情報を取得したか否かを判定する(ステップS17201)。教師情報特定部17218が、教師情報要求情報を取得していないと判定すると(ステップS17201:No)、再びステップS17201の処理が実行される。一方、教師情報特定部17218は、教師情報要求情報を取得したと判定すると(ステップS17201:Yes)、教師情報記憶部15235が記憶する複数種類の教師情報の中から、教師情報要求情報に対応する教師情報を特定する(ステップS17202)。次に、教師情報送信部17219は、特定された教師情報を、教師情報要求情報の送信元である空気調和機17004へ送信する(ステップS17203)。その後、再びステップS17201の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ17002において、係数決定部16215が、ニューラルネットワークの初期係数を決定し、決定した初期重み係数情報を含む係数情報を空気調和機17004へ送信する。また、空気調和機17004において、係数設定部17424が、空気調和機17004の起動後一度だけニューラルネットワークの重み係数を初期重み係数情報が示す初期の重み係数に設定する。その後、空気調和機17004では、係数決定部17425が、ニューラルネットワークの重み係数を更新していく。そして、ニューロエンジン404が、係数決定部17425により重み係数が更新されたニューラルネットワークを用いて、気象予報情報と動作履歴情報および環境履歴情報とから嗜好特徴量を求める。そして、スケジュール特定部16425が、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、算出した嗜好特徴量に対応するスケジュール情報を特定する。また、機器設定更新部16419が、スケジュール特定部16425により特定されたスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する。このようにして、空気調和機17004の機器制御部17400は、ニューロエンジン404により求められた嗜好特徴量に対応するスケジュールに沿って空気調和機17004を制御する。これにより、機器制御部414は、係数情報更新時期が到来する毎に、クラウドサーバ17002から気象情報を取得するだけで、空気調和機17004を制御することができる。従って、空気調和機17004とクラウドサーバ17002との間での送受信される情報量が低減するので、宅外ネットワークNT1における通信トラフィックの空気調和機17004の動作への影響が低減されるという利点がある。
(実施の形態7)
本実施の形態に係る制御システムでは、機器が、予め設定されたノード数および層数を有する機器の将来の機器設定パラメータを求めるためのニューラルネットワークの重み係数を決定するとともに、重み係数が決定されたニューラルネットワークを用いて、利用者の嗜好の特徴量である嗜好特徴量を求める。また、機器は、ニューラルネットワークを用いて、気象予報情報と動作履歴情報および環境履歴情報とから嗜好特徴量を求めるニューラルネットワーク計算部と、求められた嗜好特徴量に対応するスケジュール情報を特定するスケジュール特定部と、求められた嗜好特徴量を他の機器へ送信する嗜好特徴量送信部と、を有する。
本実施の形態に係る制御システムは、図52に示すように、空気調和機4004と、空気調和機4004と宅外ネットワークNT1を介して通信可能なクラウドサーバ3002と、空気調和機4004と宅内ネットワークNT2を介して通信可能な空気調和機4052とを備える。なお、図52において、実施の形態1と同様の構成については、図1と同一の符号を付している。また、宅外ネットワークNT1には、気象サーバ3と、実施の形態3で説明した顧客サーバ3003と、が接続されている。住戸Hには、空気調和機4004、4052を操作するための操作機器4006、4072が設置されている。また、住戸H内には、実施の形態1と同様に、ルータ82と、データ回線終端装置81と、が設置されている。
本実施の形態に係る空気調和機4004のハードウェア構成は、実施の形態3に係る空気調和機2004のハードウェア構成と同様であり、制御部4400を有する。制御部4400は、例えば図53に示すように、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、機器設定更新部2419、動作モード設定部420、利用者特定部421、気象情報取得部2422、係数取得部2423、係数設定部3424、係数決定部3425、スケジュール特定部16425および嗜好特徴量送信部4427として機能する。なお、図53において、実施の形態6と同様の構成については、図47と同一の符号を付している。また、補助記憶部は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、ニューラルネットワーク記憶部2436と、気象情報記憶部2437と、スケジュール記憶部16435と、を有する。なお、CPU、主記憶部および補助記憶部は、図28に示すCPU401、主記憶部402および補助記憶部403と同様である。
スケジュール記憶部16435は、空気調和機4004の運転スケジュールを示す複数種類のスケジュール情報を、嗜好特徴量情報に対応づけて記憶する。スケジュール特定部16425は、ニューロエンジン404により気象実績情報と動作履歴情報と環境履歴情報とから算出した利用者の嗜好特徴量に基づいて、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中からスケジュール情報を特定する。嗜好特徴量送信部4427は、ニューロエンジン404により算出された嗜好特徴量を示す嗜好特徴量情報を、空気調和機4052へ送信する。
空気調和機4052は、実施の形態1で説明した空気調和機4と同様に、ニューロエンジンを備えていない。空気調和機4052は、図54に示すように、制御部4520と、撮像装置481と、を有する。また、空気調和機4052は、制御部4520から入力される制御信号に基づいて動作する圧縮機(図示せず)と送風ファン(図示せず)とを有する。制御部4520は、CPU401と主記憶部402と補助記憶部403と通信インタフェース405と無線モジュール407と撮像インタフェース408とこれらを相互に接続するバス409とを備える。なお、図54において、実施の形態1と同様の構成については、図2と同一の符号を付している。ここで、CPU401は、補助記憶部403が記憶するプログラムを主記憶部402に読み出して実行することにより、図55に示すように、画像取得部412、操作受付部413、機器制御部414、計時部415、嗜好特徴量取得部4418、機器設定更新部419、動作モード設定部420および利用者特定部421として機能する。また、補助記憶部403は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、スケジュール記憶部435と、を有する。嗜好特徴量取得部4418は、空気調和機4004から嗜好特徴量情報を取得し、取得した嗜好特徴量情報をスケジュール特定部4425に通知する。スケジュール特定部4425は、スケジュール記憶部435が記憶する複種類のスケジュール情報の中から、通知された嗜好特徴量に対応するスケジュール情報を特定する。そして、機器設定更新部4419は、スケジュール特定部4425が特定したスケジュール情報に基づいて、機器設定記憶部431が記憶する機器設定情報を更新する。
次に、本実施の形態に係る制御システムの動作について図56を参照しながら説明する。なお、図56において、実施の形態6と同様の処理については、図49と同一の符号を付している。空気調和機4004が、スケジュール更新時期が到来したと判定すると、図56のステップS17057からS17060までの一連の処理が実行されることにより、空気調和機4004が、気象実績情報を取得する。次に、空気調和機4004は、重み係数が設定されたニューラルネットワークを用いて、動作履歴情報および環境履歴情報と気象実績情報とから嗜好特徴量を算出する。そして、空気調和機4004は、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、算出した嗜好特徴量に対応するスケジュール情報を特定する(ステップS17060)。続いて、空気調和機4004が特定した嗜好特徴量を示す嗜好特徴量情報が、空気調和機4004から空気調和機4052へ送信される(ステップS81)。一方、空気調和機4052は、嗜好特徴量情報を受信すると、受信した嗜好特徴量情報に対応するスケジュール情報を特定する(ステップS82)。その後、機器設定情報の更新時期が到来すると、空気調和機4004は、特定されたスケジュール情報を用いて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS17061)。また、空気調和機4052も、特定されたスケジュール情報を用いて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS83)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS17061の処理およびステップS83の処理が繰り返し実行される。
次に、本実施の形態に係る空気調和機4004が実行する機器制御処理について図57を参照しながら説明する。なお、図57において、実施の形態6と同様の処理については、図50と同一の符号を付している。
まず、ステップS3101からS3112の一連の処理が実行される。次に、スケジュール特定部16425が、予め設定された空気調和機4004のスケジュール更新時期が到来したか否かを判定する(ステップS17105)。スケジュール特定部16425が、空気調和機17004のスケジュール更新時期が未だ到来していないと判定すると(ステップS17105:No)、後述するステップS17109の処理が実行される。一方、スケジュール特定部16425が、空気調和機17004のスケジュール更新時期が到来したと判定したとする(ステップS17105:Yes)。この場合、ステップS17106およびステップS17107の処理が実行された後、ニューロエンジン404が、ニューラルネットワークを用いて、動作履歴情報および環境履歴情報と気象予報情報とから嗜好特徴量を算出する。そして、スケジュール特定部16425が、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、算出した嗜好特徴量に対応するスケジュール情報を特定する(ステップS17008)。続いて、嗜好特徴量送信部4427は、ニューロエンジン404により算出された嗜好特徴量を示す嗜好特徴量を、空気調和機4052へ送信する(ステップS4101)。その後、ステップS17109以降の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでは、空気調和機4004において、ニューロエンジン404が、ニューラルネットワークを用いて、動作履歴情報および環境履歴情報と気象予報情報とから嗜好特徴量を算出する。そして、そして、スケジュール特定部16425が、スケジュール記憶部16435が記憶する複数種類のスケジュール情報の中から、算出した嗜好特徴量に対応するスケジュール情報を特定するまた、嗜好特徴量送信部4427は、ニューロエンジン404により算出された嗜好特徴量を、空気調和機4052へ送信する。これにより、空気調和機4052が、ニューロエンジンを備えていない場合であっても、空気調和機4004において特定された嗜好特徴量に応じたスケジュール情報が示す運転スケジュールに従って制御することができる。従って、ニューロエンジン404を備える空気調和機4004において特定されたスケジュール情報を、ニューロエンジンを備えない空気調和機4052と共有できる。従って、ニューロエンジンを備えない空気調和機4052と連携して、空気調和機4004、4052が設置された住戸H全体を利用者にとって快適な環境で維持することができる。
(実施の形態8)
本実施の形態に係る制御システムは、予め設定されたノード数および層数を有する機器の将来の機器設定パラメータを求めるためのニューラルネットワークの重み係数を決定するとともに、重み係数が決定されたニューラルネットワークを用いて、将来の機器設定パラメータを求める機能を有する複数の機器を備える。
本実施の形態に係る制御システムは、図58に示すように、空気調和機5041、5042、5043と、クラウドサーバ5002と、を備える。なお、図58において、実施の形態1と同様の構成については、図1と同一の符号を付している。
空気調和機5041、5042、5043のハードウェア構成は、実施の形態3に係る空気調和機2004のハードウェア構成と同様である。400と、計測装置461と、撮像装置481と、を有する。CPUは、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図59に示すように、環境情報取得部411、画像取得部412、操作受付部413、機器制御部414、計時部415、履歴情報生成部416、履歴情報送信部417、機器設定更新部2419、動作モード設定部420、利用者特定部421、気象情報取得部2422、係数取得部2423、係数設定部3424、係数決定部3425、係数情報生成部5428および係数送信部5429として機能する。なお、図59において、実施の形態5と同様の構成については図41と同一の符号を付している。また、補助記憶部は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、履歴情報記憶部434と、ニューラルネットワーク記憶部2436と、気象情報記憶部2437と、を有する。なお、CPU、主記憶部および補助記憶部は、図28に示すCPU401、主記憶部402および補助記憶部403と同様である。
係数取得部2423は、クラウドサーバ5002から係数情報および係数属性情報を取得する第2係数取得部である。係数情報生成部5428が、ニューラルネットワーク記憶部2436が記憶する重み係数情報を含む係数情報と係数属性情報とを生成する。係数送信部5429は、係数情報生成部5428が生成した係数情報と係数属性情報とを、クラウドサーバ5002へ送信する。動作モード設定部5423は、操作受付部413が空気調和機5041、5042、5043の動作モードを設定するための操作を受け付けると、受け付けた操作内容に応じた動作モードを示す動作モード情報を動作モード記憶部5435に記憶させる。
クラウドサーバ5002のハードウェア構成は、実施の形態1で説明したクラウドサーバ2のハードウェア構成と同様である。CPUは、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図60に示すように、履歴情報取得部3211、気象実績取得部2212、係数設定部213、ニューラルネットワーク計算部214、係数決定部215、係数情報生成部5218、係数送信部5219および係数取得部5220として機能する。なお、図60において、実施の形態5と同様の構成については、図42と同一の符号を付している。また、補助記憶部は、履歴情報記憶部231と、気象情報記憶部232と、ニューラルネットワーク記憶部5233と、を有する。なお、CPU、主記憶部および補助記憶部は、図10に示すCPU201、主記憶部202および補助記憶部203と同様である。ニューラルネットワーク記憶部5233は、住戸Hに設置された空気調和機5041、5042、5043と同一機種の空気調和機が設置された他の住戸における空気調和機の動作履歴情報および環境履歴情報と気象実績情報とに基づいて決定したニューラルネットワークの初期の重み係数を示す初期重み係数情報を記憶する。また、ニューラルネットワーク記憶部5233は、空気調和機5041、5042、5043から取得した係数情報に含まれる重み係数情報を、係数情報の送信元の空気調和機5041、5042、5043の機器識別情報に対応づけて記憶する。
係数情報生成部5218は、係数決定部215が決定した重み係数を示す重み係数情報を含む係数情報を生成する。また、係数情報生成部5218は、ニューラルネットワーク記憶部5233が記憶する重み係数情報を含む係数情報と係数属性情報とを生成する。係数送信部5219は、係数情報生成部3218が生成した係数情報と係数属性情報とを、空気調和機5041、5042、5043へ送信する。係数取得部5220は、空気調和機5041、5042、5043から送信される係数情報と係数属性情報とを取得すると、取得した係数情報に含まれる重み係数情報を、空気調和機5041、5042、5043の機器識別情報に対応づけてニューラルネットワーク記憶部5233に記憶させる第1係数取得部である。
次に、本実施の形態に係る制御システムの動作について図61および図62を参照しながら説明する。なお、図61および図62において、実施の形態5と同様の処理については、図43および図44と同一の符号を付している。図61に示すように、まず、ステップS51からS57までの一連の処理が実行されることにより、ニューラルネットワークの初期の重み係数が決定される。ここで、クラウドサーバ5002は、決定した初期の重み係数を示す初期重み係数情報をニューラルネットワーク記憶部5233に記憶させる。次に、新たな空気調和機5041(5042、5043)が住戸Hに設置され、起動したとする。このとき、クラウドサーバ5002に対して初期重み係数情報を含む係数情報の送信を要求する係数要求情報が、空気調和機5041(5042、5043)からクラウドサーバ5002へ送信される(ステップS58)。一方、クラウドサーバ5002は、係数要求情報を受信すると、ニューラルネットワーク記憶部5233が記憶する初期重み係数情報を含む係数情報と係数属性情報とを生成する(ステップS59)。続いて、生成された係数情報と係数属性情報とが、クラウドサーバ5002から空気調和機5041(5042、5043)へ送信される(ステップS60)。その後、空気調和機5041(5042、5043)が、予め設定されたニューラルネットワークの重み係数を更新する係数更新時期が到来したと判定したとする。この場合、ステップS61からS65までの一連の処理が実行されることにより、空気調和機5041(5042、5043)が、気象実績情報を取得する。その後、空気調和機5041(5042、5043)は、履歴情報記憶部434が記憶する動作履歴情報、環境履歴情報、日時情報および利用者情報と、気象情報記憶部2437が記憶する気象実績情報と、に基づいて、ニューラルネットワークの重み係数を決定する(ステップS66)。以後、ニューラルネットワークの重み係数の更新時期が到来する毎に、前述のステップS61からS66までの一連の処理が繰り返し実行される。
次に、空気調和機5041(5042、5043)が、利用者による自動モードへの切り替え操作を受け付けたとする(ステップS67)。この場合、空気調和機5041(5042、5043)は、動作モード情報を自動モードに設定する(ステップS68)。その後、空気調和機5041(5042、5043)が、機器設定記憶部431が記憶する機器設定情報の更新時期が到来したと判定したとする。この場合、ステップS67からS69までの一連の処理が実行されることにより、空気調和機5041(5042、5043)が気象実績情報を取得する。続いて、図62に示すように、空気調和機5041(5042、5043)は、ニューラルネットワークを用いて、気象予報情報と現時点の環境を示す環境パラメータとから空気調和機5041(5042、5043)の将来の機器設定パラメータを算出する(ステップS70)。その後、空気調和機5041(5042、5043)は、算出された機器設定パラメータを用いて、機器設定記憶部431が記憶する機器設定情報を更新する(ステップS71)。以後、機器設定情報の更新時期が到来する毎に、前述のステップS67からS71までの一連の処理が繰り返し実行される。
その後、空気調和機5041(5042、5043)が、ニューラルネットワーク記憶部2436が記憶する重み係数情報を含む係数情報をクラウドサーバ3002へアップロードする操作を受け付けたとする(ステップS1009)。この場合、空気調和機5041(5042、5043)は、ニューラルネットワーク記憶部2436が記憶する重み係数情報を用いて係数情報を生成するとともに係数属性情報を生成する(ステップS1010)。そして、生成された係数情報と係数属性情報とが、空気調和機5041(5042、5043)からクラウドサーバ5002へ送信される(ステップS1011)。一方、クラウドサーバ5002は、係数情報と係数属性情報とを受信すると、受信した係数情報と係数属性情報とを、空気調和機5041(5042、5043)を識別する機器識別情報に対応づけてニューラルネットワーク記憶部2436に記憶させる(ステップS1012)。
また、空気調和機5041(5042、5043)が、クラウドサーバ5002から係数情報をダウンロードする操作を受け付けたとする(ステップS1013)。この場合、クラウドサーバ5002に対して係数情報を送信するよう要求する係数要求情報が、空気調和機5041(5042、5043)からクラウドサーバ5002へ送信される(ステップS1014)。この係数要求情報には、空気調和機5041(5042、5043)の機器識別情報が含まれる。一方、クラウドサーバ5002は、係数要求情報を受信すると、受信した係数要求情報に含まれる機器識別情報に対応づけられた係数情報を特定する(ステップS1015)。次に、特定された係数情報とそれに対応する係数属性情報とが、クラウドサーバ5002から空気調和機5041(5042、5043)へ送信される(ステップS1016)。一方、空気調和機5041(5042、5043)は、係数情報と係数属性情報とを受信すると、受信した係数情報に含まれる重み係数情報をニューラルネットワーク記憶部2436に記憶させる(ステップS1017)。
次に、本実施の形態に係る空気調和機5041(5042、5043)が実行する機器制御処理について図63および図64を参照しながら説明する。なお、図63および図64において、実施の形態5と同様の処理については図44と同一の符号を付している。まず、係数取得部2423は、クラウドサーバ5002へ係数要求情報を送信することにより(ステップS3101)、クラウドサーバ5002からニューラルネットワークの初期係数を示す情報を含む係数情報を取得する(ステップS3102)。係数取得部2423は、取得した初期係数を示す情報をニューラルネットワーク記憶部2436に記憶させる。
次に、係数決定部3425は、ニューラルネットワークの係数更新時期が到来したか否かを判定する(ステップS3103)。係数決定部3425が、未だ係数更新時期が到来していないと判定すると(ステップS3103:No)、そのまま後述のステップS3107の処理が実行される。一方、係数決定部3425が、係数更新時期が到来したと判定したとする(ステップS3103:Yes)。この場合、ステップS3014およびS3015の処理が実行される。その後、係数決定処理が実行される(ステップS3106)。この係数決定処理の内容は、実施の形態1において図17を用いて説明した係数決定処理と同様である。次に、ステップS3107およびS3108の処理が実行される。ステップS3107およびS3108の処理の内容は、実施の形態1で図15を用いて説明したステップS105およびS106の処理と同様である。
続いて、機器設定更新部2419は、空気調和機5041(5042、5043)の動作モードが自動モードであるか否かを判定する(ステップS3109)。機器設定更新部2419が、空気調和機5041(5042、5043)の動作モードが手動モードであると判定すると(ステップS3109:No)、後述するステップS3115の処理が実行される。一方、機器設定更新部2419は、空気調和機5041(5042、5043)の動作モードが自動モードであると判定すると(ステップS3109:Yes)、予め設定された空気調和機5041(5042、5043)の機器設定情報の更新時期が到来したか否かを判定する(ステップS3110)。機器設定更新部2419が、機器設定更新時期が未だ到来していないと判定すると(ステップS3110:No)、後述するステップS5115の処理が実行される。一方、機器設定更新部2419が、機器設定情報の更新時期が到来したと判定したとする(ステップSS3110:Yes)。この場合、ステップS3111からS3114までの一連の処理が実行される。ここで、ステップS3111からS3114までの一連の処理の内容は、実施の形態5で図44を用いて説明したステップS3111からS3114までの処理と同様である。その後、図64に示すように、操作受付部413は、クラウドサーバ5002へ係数情報をアップロードするためのアップロード操作を受け付けたか否かを判定する(ステップS5115)。操作受付部413が、アップロード操作を受け付けていないと判定すると(ステップS5115:No)、後述するステップS5118の処理が実行される。一方、操作受付部413が、アップロード操作を受け付けたと判定すると(ステップS5115:Yes)、係数情報生成部5428が、ニューラルネットワーク記憶部5433が記憶する重み係数情報を含む係数情報を生成するとともに、これに対応する係数属性情報を生成する(ステップS5116)。次に、係数送信部5429は、生成された係数情報と係数属性情報とをクラウドサーバ5002へ送信する(ステップS5117)。続いて、操作受付部413は、クラウドサーバ5002から係数情報をダウンロードするためのダウンロード操作を受け付けたか否かを判定する(ステップS5118)。操作受付部413が、ダウンロード操作を受け付けていないと判定すると(ステップS5118:No)、再びステップS5113の処理が実行される。一方、操作受付部413が、ダウンロード操作を受け付けたと判定すると(ステップS5118:Yes)、係数取得部2423が、係数要求情報をクラウドサーバ5002へ送信することにより(ステップS5119)、クラウドサーバ5002から係数情報と係数属性情報とを取得する(ステップS5120)。係数取得部2423は、取得した係数情報に含まれる重み係数情報をニューラルネットワーク記憶部2436に記憶させる。その後、再びステップS3103の処理が実行される。
ここで、空気調和機5041(5042)において決定されたニューラルネットワークの重み係数を、空気調和機5043へ転送する場合について図65を参照しながら説明する。なお、図65において、前述の図61および図62を用いて説明した処理と同様の処理については図61および図62と同一の符号を付している。まず、空気調和機5041(5042)が、予め設定されたニューラルネットワークの重み係数の更新時期が到来したと判定したとする。この場合、ステップS61からS66までの一連の処理が実行されることにより、空気調和機5041(5042)のニューラルネットワークの重み係数が決定される。その後、空気調和機5041(5042)が、係数情報をクラウドサーバ5002へアップロードする操作を受け付けたとする(ステップS1047)。この場合、空気調和機5041(5042)は、ニューラルネットワーク記憶部2436が記憶する重み係数を示す情報を用いて係数情報とそれに対応する係数属性情報とを生成する(ステップS1048)。そして、生成された係数情報と係数属性情報とが、空気調和機5041(5042)からクラウドサーバ5002へ送信される(ステップS1049)。一方、クラウドサーバ5002は、係数情報と係数属性情報とを受信すると、受信した係数情報と係数属性情報とを、空気調和機5041(5042)を識別する機器識別情報に対応づけてニューラルネットワーク記憶部5233に記憶させる。
そして、空気調和機5043が、例えば新たに住戸Hに設置された後、クラウドサーバ5002から係数情報をダウンロードする操作を受け付けたとする(ステップS1051)。この場合、係数要求情報が、空気調和機5043からクラウドサーバ5002へ送信される(ステップS1052)。この係数要求情報には、例えば空気調和機5041(5042)の機器識別情報が含まれているとする。一方、クラウドサーバ5002は、係数要求情報を受信すると、受信した係数要求情報に含まれる機器識別情報に対応づけられた係数情報を特定する(ステップS1053)。次に、特定された係数情報とそれに対応する係数属性情報とが、クラウドサーバ5002から空気調和機5043へ送信される(ステップS1054)。一方、空気調和機5043は、係数情報と係数属性情報とを受信すると、受信した係数情報に含まれる重み係数情報を自機のニューラルネットワーク記憶部2436に記憶させる(ステップS1054)。このようにして、空気調和機5041(5042)で用いられるニューラルネットワークに設定されていた重み係数を、空気調和機5043で用いられるニューラルネットワークに設定することができる。
また、空気調和機5041(5042、5043)は、図63および図64を用いて説明した機器設定処理において、履歴情報をクラウドサーバ5002へアップロードしたり、クラウドサーバ5002から履歴情報をダウンロードしたりするものであってもよい。この場合、空気調和機5041(5042、5043)は、履歴情報記憶部434が記憶する動作履歴情報および環境履歴情報を含む履歴情報とこれに対応する履歴属性情報とを生成する履歴情報生成部と、履歴情報と履歴属性情報とを送信する履歴情報送信部と、クラウドサーバ5002から他の空気調和機の履歴情報と履歴属性情報とを取得する第2履歴情報取得部である機器側履歴情報取得部と、を備える構成とすればよい。そして、クラウドサーバ5002の履歴情報取得部が、空気調和機5041、5042、5043から送信される履歴情報と履歴属性情報とを取得すると、取得した履歴情報と履歴属性情報とを、空気調和機5041、5042、5043の機器識別情報に対応づけて履歴情報記憶部231に記憶させる第1履歴情報取得部であるクラウド側履歴情報取得部として機能するものとすればよい。
この空気調和機5041(5042、5043)では、図63を用いて説明したステップS3114の後、図66に示すように、操作受付部413は、クラウドサーバ5002へ履歴情報をアップロードするためのアップロード操作を受け付けたか否かを判定する(ステップS5121)。操作受付部413が、アップロード操作を受け付けていないと判定すると(ステップS5121:No)、後述するステップS5124の処理が実行される。一方、操作受付部413が、アップロード操作を受け付けたと判定すると(ステップS5121:Yes)、履歴情報生成部が、履歴情報記憶部5434が記憶する動作履歴情報および環境履歴情報を含む履歴情報を生成するとともに、これに対応する履歴属性情報を生成する(ステップS5122)。次に、履歴情報送信部は、生成された履歴情報と履歴属性情報とをクラウドサーバ5002へ送信する(ステップS5123)。このとき、クラウド側履歴情報取得部は、空気調和機5041(5042、5043)から取得した履歴情報と履歴属性情報とを、空気調和機5041、5042、5043の機器識別情報に対応づけて履歴情報記憶部231に記憶させる。続いて、操作受付部413は、クラウドサーバ5002から履歴情報をダウンロードするためのダウンロード操作を受け付けたか否かを判定する(ステップS5124)。操作受付部413が、ダウンロード操作を受け付けていないと判定すると(ステップS5124:No)、再びステップS3113の処理が実行される。一方、操作受付部413が、ダウンロード操作を受け付けたと判定すると(ステップS5124:Yes)、機器側履歴情報取得部が、履歴要求情報をクラウドサーバ5002へ送信することにより(ステップS5125)、クラウドサーバ5002から履歴情報と履歴属性情報とを取得する(ステップS5126)。履歴情報取得部は、取得した履歴情報に含まれる動作履歴情報、環境履歴情報および利用者情報を、履歴情報記憶部434に記憶させる。その後、再びステップS3103の処理が実行される。
ここで、空気調和機5041(5042)において蓄積された動作履歴情報および環境履歴情報を、空気調和機5043へ転送する場合について図67を参照しながら説明する。なお、図67において、前述の図61および図62を用いて説明した処理と同様の処理については図61および図62と同一の符号を付している。まず、空気調和機5041(5042)が、予め設定されたニューラルネットワークの重み係数の更新時期が到来したと判定すると、ステップS61からS66の一連の処理が実行されることにより、空気調和機5041(5042)のニューラルネットワークの重み係数が決定される。その後、空気調和機5041(5042)が、履歴情報をクラウドサーバ5002へアップロードする操作を受け付けたとする(ステップS1201)。この場合、空気調和機5041(5042)は、履歴情報記憶部5434が記憶する動作履歴情報および環境履歴情報を含む履歴情報を生成するとともに、これに対応する履歴属性情報を生成する(ステップS1202)。そして、生成された履歴情報と履歴属性情報とが、空気調和機5041(5042)からクラウドサーバ3002へ送信される(ステップS1203)。一方、クラウドサーバ5002は、履歴情報と履歴属性情報とを受信すると、受信した履歴情報と履歴属性情報とを、空気調和機5041(5042)を識別する機器識別情報に対応づけて履歴情報記憶部231に記憶させる。
そして、空気調和機5043が、例えば新たに住戸Hに設置された後、クラウドサーバ5002から履歴情報をダウンロードする操作を受け付けたとする(ステップS1205)。この場合、履歴要求情報が、空気調和機5043からクラウドサーバ5002へ送信される(ステップS1206)。この履歴要求情報には、例えば空気調和機5041(5042)の機器識別情報が含まれているとする。一方、クラウドサーバ5002は、履歴要求情報を受信すると、受信した履歴要求情報に含まれる機器識別情報に対応づけられた履歴情報を特定する(ステップS1207)。次に、特定された履歴情報とこれに対応する履歴属性情報とが、クラウドサーバ5002から空気調和機5043へ送信される(ステップS1208)。一方、空気調和機5043は、履歴情報と履歴属性情報とを受信すると、受信した履歴情報に含まれる動作履歴情報および環境履歴情報を自機の履歴情報記憶部434に記憶させる(ステップS1209)。このようにして、空気調和機5041(5042)で蓄積された動作履歴情報および環境履歴情報を、空気調和機5043の履歴情報記憶部434に記憶させることができる。これにより、空気調和機5043では、係数決定部5420が、空気調和機5041(5042)から取得した動作履歴情報および環境履歴情報を用いて、ニューラルネットワークの重み係数を決定することができる。
以上説明したように、本実施の形態に係る制御システムでは、空気調和機5041、5042、5043のニューラルネットワークの重み係数をクラウドサーバ5002からダウンロードして更新することにより、利用者の空気調和機5041、5042、5043の使用方法の変化、特に、利用者の引っ越しに伴う空気調和機5041、5042、5043の設置環境の変化、利用者の家族構成の変化等に柔軟に対応できる。また、新たな空気調和機5041、5042、5043を導入する際、予めクラウドサーバ5002にアップロードしておいたニューラルネットワークの重み係数を示す情報をダウンロードすることにより、それまでに使用していた空気調和機5041、5042、5043の自動運転時の動作傾向を新たな空気調和機5041、5042、5043へ引き継ぐことができる。
更に、本実施の形態に係る制御システムでは、複数の異なる利用者に対応するニューラルネットワークの重み係数情報を、予めクラウドサーバ5002にアップロードさせておくことにより、利用者毎に対応する係数情報をダウンロードして用いることができる。これにより、利用者の数が大幅に増加した場合であっても、空気調和機5041、5042、5043を、各利用者に適した動作傾向で自動運転させることができる。
(実施の形態9)
本実施の形態に係る制御システムでは、機器が、過去に撮像装置により撮像された利用者の複数種類のジェスチャ画像それぞれに対応する画像情報と当該画像情報に対応付けられた機器設定パラメータとに基づいて、予め設定されたノード数および層数を有する利用者の操作を特定するための第3ニューラルネットワークの重み係数を決定する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機と、空気調和機と宅外ネットワークNT1を介して通信可能なクラウドサーバと、を備える。なお、本実施の形態において、実施の形態1と同様の構成については、実施の形態1と同一の符号を用いて説明する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。
本実施の形態に係る空気調和機6004は、図68に示すように、制御部6400と、撮像装置481と、を有する。また、空気調和機6004は、制御部400から入力される制御信号に基づいて動作する圧縮機(図示せず)と送風ファン(図示せず)とを有する。制御部6400は、CPU401と、主記憶部402と、補助記憶部403と、通信インタフェース405と、無線モジュール407と、撮像インタフェース408と、ニューロエンジン404と、これらを相互に接続するバス409と、を備える。なお、図68において、実施の形態3と同様の構成については、図28と同一の符号を付している。
CPU401は、補助記憶部403が記憶するプログラムを主記憶部402に読み出して実行することにより、図69に示すように、画像取得部412、操作受付部413、機器制御部414、機器設定更新部6419、動作モード設定部420、利用者特定部421、係数取得部6120、係数設定部6121、ニューラルネットワーク出力情報生成部(以下、「NN出力情報生成部」と称する)6123およびニューラルネットワーク出力情報送信部(以下、「NN出力情報送信部」と称する)6124として機能する。また、補助記憶部103は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、操作特定用ニューラルネットワーク記憶部(以下、「操作特定用NN記憶部」と称する。)6435と、画像記憶部6436と、を有する。操作特定用NN記憶部6435は、利用者のジェスチャから利用者が行う操作を特定するための操作特定用ニューラルネットワークの構造を示す情報と、後述する畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数および全結合層における重み係数とを示す情報と、を記憶する。
ここで、操作特定用ニューラルネットワークは、いわゆる畳み込みニューラルネットワーク(CNN)であって、入力層、隠れ層および出力層を含み、隠れ層が、畳み込み層と、プーリング層と、全結合層と、判定層と、を含む第3ニューラルネットワークである。畳み込み層では、複数の予め設定された幅の畳み込みフィルタを用いて畳み込み演算が行われ、プーリング層では、畳み込み層からの出力に対する予め設定された幅での平均プーリング処理が行われる。この畳み込み層とプーリング層とが組み合わされて、入力層から入力される画像情報からその画像情報に対応する特徴量が算出される。全結合層は、複数の特徴量それぞれに重み係数を掛けて得られる値の総和を算出し、算出した総和を活性化関数により特徴変数に変換して出力する。ここで、活性化関数としては、例えばシグモイド関数が採用される。判定層は、全結合層からの出力される特徴変数を、例えばソフトマックス関数を用いて予め設定された数値範囲内の判定値に変換することにより、画像情報に対応する操作内容を推定する。なお、図70Aに示すように、ニューロエンジン2104で処理する情報量は、入力層において情報量ND1だったものが、畳み込み層、プーリング層の後段に進むにつれて減少して全結合層の直前では情報量ND2まで減少する。これは、プーリング処理において、複数の特徴量を平均化して1つの特徴量に集約する処理が実行されることに起因する。
ここで、例えば前述したジェスチャ操作の場合は、畳み込み層およびプーリング層までは、あくまで画像の特徴情報を検出するためのものとなっており、目や鼻や口、腕や指や関節、首といった各画像パーツを認識し、目を閉じる開くや、手のひらを開く握るといったパーツ内容を判断するものである。一方、畳み込み層やプーリング層の後段の全結合層以降では、具体的なジェスチャ操作に必要な手や指握り方や顔に対する手の位置といった、ジャスチャに必要な各パーツの位置関係を判断する部分であり、これによりジェスチャの画像と機器操作内容を紐づける事が可能になるものである。例えば、空気調和機6004のジェスチャ操作の内容が、空気調和機6004をオフするときに手のひらを開くジェスチャ、空気調和機6004をオンするとき手を握るジェスチャに設定されているとする。この場合、ジェスチャ操作の内容が、空気調和機6004をオフするときに手を握るジェスチャ、空気調和機6004をオンするとき手のひらを開くジェスチャとなるように変更したり、空気調和機6004をオフするときに手を挙げるジェスチャ、空気調和機6004をオンするときに手を下げるジェスチャに変更したりする場合、全結合層以降の重み係数のみを変更すればジェスチャ操作の内容の変更が可能となる。
図69に戻って、操作特定用NN記憶部6435は、利用者が行う操作の内容を数値化した判定値を示す判定値情報を、利用者が行う操作内容を識別する操作識別情報に対応づけて記憶する。例えば「空気調和機ON」の操作を識別する操作識別情報に判定値「NUM1」が付与され、「空気調和機OFF」の操作を識別する操作識別情報に判定値「NUM2」が付与され、「空気調和機の温度設定変更」の操作を識別する操作識別情報に判定値「NUM3」が付与され、「空気調和機の温度設定維持」の操作を識別する操作識別情報に判定値「NUM4」が付与されているとする。
画像記憶部6436は、空気調和機6004から送信された画像情報を記憶する。画像記憶部6436は、例えば図70Bに示すように、例えば「空気調和機ON」の操作に対応する画像GE1を示す画像情報を、「空気調和機ON」の操作を識別する操作識別情報に対応づけて記憶し、「空気調和機OFF」の操作に対応する画像GE2を示す画像情報を、「空気調和機OFF」の操作を識別する操作識別情報に対応づけて記憶する。また、画像記憶部6436は、「空気調和機の温度設定変更」の操作に対応する画像GE3を示す画像情報を、「空気調和機の温度設定変更」の操作を識別する操作識別情報に対応づけて記憶し、「空気調和機の温度設定維持」の操作に対応する画像GE4を示す画像情報を、「空気調和機の温度設定維持」の操作を識別する操作識別情報に対応づけて記憶する。
図69に戻って、画像取得部412は、撮像装置481により撮像して得られた画像情報および操作識別情報を取得し、取得した画像情報を操作識別情報に対応づけて画像記憶部6436に記憶させる。
ニューロエンジン404は、操作特定用ニューラルネットワークにおける畳み込み層とプーリング層とに相当する部分を用いた演算処理と、操作特定用ニューラルネットワークのうち全結合層と判定層とに相当する部分を用いて、操作特定用ニューラルネットワークにおける畳み込み層とプーリング層とに相当する部分を用いて算出した特徴量から判定値を算出する第1ニューラルネットワーク計算部および第2ニューラルネットワーク計算部として機能する。ニューロエンジン404は、操作特定用ニューラルネットワークを用いて、例えば図70Bに示すような「空気調和機ON」に対応するジェスチャの画像GE1を示す画像情報から判定値「NUM1」を算出し、「空気調和機OFF」に対応するジェスチャの画像GE2を示す画像情報から判定値「NUM2」を算出する。また、ニューロエンジン2104とニューラルネットワーク計算部6126とは、操作特定用ニューラルネットワークを用いて、「温度設定変更」に対応するジェスチャの画像GE3を示す画像情報から判定値「NUM3」を算出し、「温度設定維持」に対応するジェスチャの画像GE4から判定値「NUM4」を算出する。
係数取得部6120は、操作特定用ニューラルネットワークの畳み込み層における複数の畳み込みフィルタそれぞれの重み係数を示す重み係数情報と、全結合層における重み係数を示す重み係数情報と、を含む係数情報を、クラウドサーバ6002から取得する。係数取得部6120は、取得した係数情報に含まれる、畳み込み層における複数の畳み込みフィルタそれぞれの重み係数を示す重み係数情報と、全結合層における重み係数を示す重み係数情報と、を操作特定用NN記憶部6435に記憶させる。
係数設定部6121は、操作特定用NN記憶部6435が記憶する複数の畳み込みフィルタそれぞれの重み係数を、操作特定用ニューラルネットワークの複数の畳み込みフィルタに設定する。また、係数設定部6121は、操作特定用NN記憶部6135が記憶する全結合層における重み係数を、操作特定用ニューラルネットワークの全結合層に相当する部分に設定する。そして、ニューロエンジン404は、操作特定用ニューラルネットワークを用いて、画像取得部412が直近に撮像装置481により撮像された利用者のジェスチャを示す画像情報から当該画像情報に対応する判定値を算出する。
機器設定更新部6419は、操作特定用NN記憶部6435が記憶する判定値情報を参照して、ニューロエンジン404が算出した判定値に対応する操作識別情報を特定する。そして、機器設定更新部6419は、特定した操作識別情報が示す操作内容に基づいて、機器設定パラメータを生成し、生成した機器設定パラメータを示す機器設定情報で機器設定記憶部431が記憶する機器設定情報を更新する。即ち、機器設定更新部6419は、ニューロエンジン404により求められた操作識別情報に対応する機器設定パラメータを算出する機器設定パラメータ算出部として機能する。
NN出力情報生成部6124は、ニューロエンジン404により画像情報に対して複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返して得られた特徴量を示すニューラルネットワーク出力情報(以下、「NN出力情報」と称する。)と、NN出力情報の属性を示すニューラルネットワーク出力属性情報(以下、「NN出力属性情報」と称する。)と、を生成する。ニューラルネットワーク出力情報送信部(以下、「NN出力情報送信部」と称する。)6125は、NN出力情報生成部6124が生成したNN出力情報を、宅外ネットワークNT1を介してクラウドサーバ6002へ送信する。
クラウドサーバ6002のハードウェア構成は、実施の形態1で説明したクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ6002では、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図71に示すように、係数設定部6213、ニューラルネットワーク計算部6214、係数決定部6215、係数情報生成部6218、係数送信部6219およびニューラルネットワーク出力情報取得部(以下、「NN出力情報取得部」と称する。)6220として機能する。また、補助記憶部は、操作特定用ニューラルネットワーク記憶部(以下、「操作特定用NN記憶部」と称する。)6234を有する。なお、CPU、主記憶部および補助記憶部は、図10に示すCPU201、主記憶部202および補助記憶部203と同様である。操作特定用NN記憶部6234は、利用者が行う操作の内容を数値化した判定値を示す情報を、利用者が行う操作内容を識別する操作識別情報に対応づけて記憶する。また、操作特定用NN記憶部6234は、空気調和機6004から取得したNN出力情報とNN出力情報に対応する操作識別情報に対応づけて記憶する。
NN出力情報取得部6220は、空気調和機6004から送信されるNN出力情報とNN出力情報に対応する操作識別情報とを取得し、取得したNN出力情報と操作識別情報とを互いに対応づけて操作特定用NN記憶部6234に記憶させる。
ニューラルネットワーク計算部6214は、操作特定用ニューラルネットワークを用いた演算処理を行う。ここで、ニューラルネットワーク計算部6214は、操作特定用ニューラルネットワークのうち前述の全結合層と判定層とに相当する部分のみの演算を実行する第2ニューラルネットワーク計算部として機能する。ニューラルネットワーク計算部6214は、操作特定用ニューラルネットワークのうち前述の全結合層と判定層とに相当する部分を用いて、NN出力情報取得部6220が取得したNN出力情報が示す特徴量から判定値を算出する。係数設定部6213は、操作特定用ニューラルネットワークの全結合層における重み係数を設定する。
係数決定部6215は、操作特定用ニューラルネットワークの全結合層における重み係数を決定する。具体的には、係数決定部6215は、まず、ニューラルネットワーク計算部6214により操作特定用NN記憶部6234が記憶するNN出力情報が示す複数の出力値それぞれに重み係数を掛けたものの総和から得られる判定値を取得する。次に、係数決定部6215は、操作特定用NN記憶部6234から、NN出力情報取得部6220が取得したNN出力情報に対応する操作識別情報を取得し、操作特定用NN記憶部6234が記憶する判定値情報を参照して取得した操作識別情報に対応する判定値を特定する。そして、係数決定部6215は、NN出力情報に基づいて算出された判定値が、特定した判定値と一致するように、操作特定用ニューラルネットワークの全結合層の重み係数を決定する。この全結合層の重み係数は、操作特定用ニューラルネットワークに設定される第2ニューラルネットワーク係数の一部を構成する。
係数情報生成部6218は、係数決定部6213が決定したパラメータ算出用ニューラルネットワークの重み係数、または、操作特定用ニューラルネットワークの全結合層における重み係数を示す情報を含む係数情報を生成する。係数送信部6219は、係数情報生成部6218が生成した係数情報を、宅外ネットワークNT1を介して空気調和機6004へ送信する。
次に、本実施の形態に係る制御システムの動作について図72および図73を参照しながら説明する。まず、図72に示すように、空気調和機6004が、利用者が自己のジェスチャを空気調和機6004に対する操作内容と対応づけるためのジェスチャ登録操作を受け付けたとする(ステップS1081)。ここで、ジェスチャ登録操作は、例えば操作機器6に空気調和機6004に対する複数種類の種操作内容を示す情報が表示された状態で、利用者が複数種類の操作内容から1つの操作内容を選択するための操作を行う。そして、利用者は、操作内容を選択した後に、ジェスチャを行った状態で空気調和機6004に利用者を撮像させるための操作を行う。これにより、空気調和機6004は、利用者により選択された操作内容を識別する操作識別情報と、ジェスチャ画像を示す画像情報とを取得する。そして、空気調和機6004は、操作特定用ニューラルネットワークの畳み込み層およびプーリング層に相当する部分を用いて、画像取得部412が直近に撮像装置により撮像された利用者のジェスチャを示す画像情報からその画像情報の特徴量を算出し、算出した特徴量を示すNN出力情報とNN出力属性情報とを生成する(ステップS1082)。
NN出力情報は、プロトコル情報と、NN出力情報識別情報と、特徴量情報と、を含む。プロトコル情報は、NN出力情報をクラウドサーバ6002へ送信する際の通信プロトコルに関する各種情報を含む。また、NN出力属性情報は、例えば図73に示すように、プロトコル情報と、各種属性情報と、を含む。属性情報としては、生成したNN出力情報に対応する畳み込み層、プーリング層、全結合層および判定層の組み合わせを識別する組み合わせ識別情報と、NN識別情報の作成者を識別する作成者識別情報と、操作特定用ニューラルネットワークの重み係数を決定する際に用いられる画像情報のファイル名を示す画像関連情報と、操作特定用ニューラルネットワークの重み係数を格納するファイル名を示す係数ファイル関連情報と、が含まれる。また、NN出力属性情報は、操作特定用ニューラルネットワークの入力層のノード数、層数、機能、バージョン番号、更新時期を示す情報を含む入力層情報と、操作特定用ニューラルネットワークの畳み込み層のノード数、層数、機能、バージョン番号、更新時期を示す情報を含む畳み込み層情報と、操作特定用ニューラルネットワークのプーリング層のノード数、層数、機能、バージョン番号、更新時期を示す情報を含むプーリング層情報と、操作特定用ニューラルネットワークの全結合層および判定層のノード数、層数、機能、バージョン番号、更新時期を示す情報を含む全結合層・判定層情報と、を含む。更に、NN出力属性情報は、操作特定用ニューラルネットワークの分割方法および分割数を示す情報を含む分割情報と、NN出力情報に連結可能な他のNN出力情報が格納されたファイル名を示す連結可能ファイル情報と、を含む。
図72に戻って、続いて、生成されたNN出力情報とNN出力属性情報と操作識別情報とが、空気調和機6004からクラウドサーバ6002へ送信される(ステップS1083)。一方、クラウドサーバ6002は、NN出力情報とNN出力属性情報と操作識別情報とを取得すると、取得したNN出力情報とNN出力属性情報と操作識別情報とを互いに対応づけて操作特定用NN記憶部6234に記憶させる。その後、クラウドサーバ6002は、操作特定用ニューラルネットワークの全結合層における重み係数を決定する(ステップS1084)。ここでは、ニューラルネットワーク計算部6214が、操作特定用ニューラルネットワークのうち前述の全結合層と判定層とに相当する部分を用いて、取得したNN出力情報が示す出力値から判定値を算出する。そして、係数決定部6213が、算出した判定値が、NN出力情報に対応付けられた操作識別情報に対応する判定値と一致するように、操作特定用ニューラルネットワークの全結合層の重み係数を決定する。
次に、クラウドサーバ6002は、決定した操作特定用ニューラルネットワークの全結合層における重み係数を示す重み係数情報を含む係数情報とこれに対応する係数属性情報とを生成する(ステップS1085)。ここで、係数情報は、プロトコル情報と、生成した係数情報を識別する係数情報識別情報と、重み係数情報と、を含む。係数属性情報は、NN主力属性情報と同様に、図73に示すような、プロトコル情報と、各種属性情報と、を含む。即ち、係数属性情報は、組み合わせ識別情報と、作成者識別情報と、画像関連情報と、係数ファイル関連情報と、入力層情報と、畳み込み層情報と、プーリング層情報と、全結合層・判定層情報と、分割情報と、連結可能ファイル情報と、を含む。
図72に戻って、続いて、生成された係数情報と係数属性情報とが、クラウドサーバ6002から空気調和機6004へ送信される(ステップS1086)。一方、空気調和機6004は、係数情報と係数属性情報とを取得すると、取得した係数情報に含まれる操作特定用ニューラルネットワークの全結合層の重み係数を示す重み係数情報を、操作特定用NN記憶部6435に記憶させる(ステップS1087)。
その後、空気調和機6004が、利用者によるジェスチャ操作モードへの切り替え操作を受け付けたとする(ステップSS1088)。この場合、空気調和機6004は、動作モード記憶部433にジェスチャ操作モードであることを示す動作モード情報を記憶させることにより、動作モードをジェスチャ操作モードに設定する(ステップS1089)。
次に、空気調和機6004が、撮像装置481により利用者のジェスチャを撮像することにより画像情報を取得したとする(ステップS1090)。この場合、空気調和機6004は、画像情報に基づいて、操作識別情報を特定する(ステップS1091)。ここでは、係数設定部6121が、係数決定部6122が決定した複数の畳み込みフィルタそれぞれの重み係数を、操作特定用ニューラルネットワークの複数の畳み込みフィルタそれぞれの重み係数に設定する。次に、ニューロエンジン404が、操作特定用ニューラルネットワークを用いて、画像取得部412が取得した画像情報から当該画像情報に対応する判定値を算出する。そして、機器設定更新部6419が、操作特定用NN記憶部6135が記憶する判定値情報を参照して、ニューロエンジン404が算出した判定値に対応する操作識別情報を特定する。
その後、空気調和機6004が、機器設定パラメータを算出する(ステップS1092)。ここでは、機器設定更新部6419が、特定した操作識別情報が示す操作内容に基づいて、機器設定パラメータを算出する。次に、空気調和機6004は、算出した機器設定パラメータを示す機器設定情報で機器設定記憶部431が記憶する機器設定情報を更新する(ステップS1093)。
次に、本実施の形態に係る空気調和機6004が実行する機器制御処理について図74を参照しながら説明する。この機器制御処理は、例えば空気調和機6004へ電源が投入されたことを契機として開始される。まず、操作受付部413は、空気調和機6004へのジェスチャ登録操作を受け付けたか否かを判定する(ステップS6101)。操作受付部413が、ジェスチャ登録操作を受け付けていないと判定すると(ステップS6101:No)、そのまま後述のステップS6107の処理が実行される。一方、操作受付部413が、ジェスチャ登録操作を受け付けたと判定すると(ステップS6101:Yes)、画像取得部412が、ジェスチャ登録操作の対象となるジェスチャ画像を示す画像情報を取得する(ステップS6102)。画像取得部412は、取得した画像情報を画像記憶部6436に記憶させる。次に、ニューロエンジン404は、画像記憶部6436が記憶する画像情報に対して、係数設定部6121により重み係数が設定された複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行する(ステップS6102)。ここで、ニューロエンジン404は、前述の演算アクセラレータ443により、複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行するようにしてもよい。これにより、ニューロエンジン404は、画像情報に対応する特徴量を算出する。続いて、NN出力情報生成部6123は、算出された特徴量を用いてNN出力情報を生成するとともに、これに対応するNN出力属性情報を生成する(ステップS6104)。その後、NN出力情報送信部6214は、生成されたNN出力情報およびNN出力属性情報と、画像情報に対応する操作を識別する操作識別情報と、をクラウドサーバ6002へ送信する(ステップS6105)。このとき、クラウドサーバ6002は、後述するように、NN出力情報送信部6214が送信したNN出力情報、NN出力属性情報および操作識別情報に基づいて、操作特定用ニューラルネットワークのうち全結合層と判定層とに相当する部分の重み係数を決定する。
その後、係数取得部6120は、操作特定用ニューラルネットワークの全結合層および判定層における係数情報を含む係数情報とこれに対応する係数属性情報とを取得し、取得した係数情報および係数属性情報を操作特定用NN記憶部6435に記憶させる(ステップS6106)。
次に、操作受付部413は、空気調和機4の動作モードの設定操作を受け付けたか否かを判定する(ステップS6107)。具体的には、操作受付部413が、空気調和機4の動作モードをジェスチャ操作モードに設定するための操作を示す操作情報を受け付けたか否かを判定する。操作受付部413が、空気調和機4の動作モード設定操作を受け付けていないと判定すると(ステップS6107:No)、そのまま後述のステップS6109の処理が実行される。一方、操作受付部413が、空気調和機4の動作モード設定操作を受け付けたと判定すると(ステップS6107:Yes)、動作モード設定部420は、ジェスチャ操作モードを示す動作モード情報を動作モード記憶部433に記憶させる(ステップS6108)。続いて、機器設定更新部6419は、空気調和機6004の動作モードがジェスチャ操作モードであるか否かを判定する(ステップS6109)。ここで、機器設定更新部6419は、空気調和機6004の動作モードがジェスチャ操作モードでないと判定すると(ステップS6109:No)、再びステップS6101の処理が実行される。一方、機器設定更新部6419が、空気調和機6004の動作モードがジェスチャ操作モードであると判定すると(ステップS6109:Yes)、画像取得部412が、ジェスチャ操作のための画像情報を取得したか否かを判定する(ステップS6110)。画像取得部412が、ジェスチャ操作のための画像情報を取得していないと判定すると(ステップS6110:No)、再びステップS6101の処理が実行される。一方、画像取得部412は、ジェスチャ操作のための画像情報を取得したと判定すると(ステップS6110:Yes)、取得した画像情報を画像記憶部6436に記憶させる。そして、ニューロエンジン404は、画像記憶部6436に記憶された画像情報に対して、操作特定用ニューラルネットワークを用いた計算を実行することにより、判定値を算出する(ステップS6111)。ここで、ニューロエンジン404は、演算アクセラレータ443により、複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行し、プロセッサ441により、操作用ニューラルネットワークの全結合層と判定層に相当する部分の計算を実行するようにしてもよい。
続いて、機器設定更新部6419は、操作特定用NN記憶部6435が記憶する操作識別情報の中から、ニューロエンジン404が算出した判定値に対応する操作識別情報を特定する(ステップS6112)。その後、機器設定更新部6419は、特定した操作識別情報に対応する機器設定パラメータを算出し(ステップS6113)、算出した機器設定パラメータに基づいて機器設定記憶部431が記憶する機器設定情報を更新する(ステップS6114)。
次に、本実施の形態に係るクラウドサーバ6002が実行する係数情報生成処理について図75を参照しながら説明する。この係数情報生成処理は、例えばクラウドサーバ6002へ電源が投入されたことを契機として開始される。まず、NN出力情報取得部6220は、空気調和機6004からNN出力情報、NN出力属性情報および操作識別情報を取得したか否かを判定する(ステップS6201)。NN出力情報取得部6220は、NN出力情報、NN出力属性情報および操作識別情報を取得していないと判定すると(ステップS6201:No)、再びステップS6201の処理を実行する。一方、NN出力情報取得部6220が、NN出力情報、NN出力属性情報および操作識別情報を取得したと判定したとする(ステップS6201:Yes)。この場合、ニューラルネットワーク計算部6214は、NN出力情報取得部6220が、NN出力情報およびNN出力属性情報を用いて、操作特定用ニューラルネットワークの全結合層および判定層に相当する部分の計算を実行する(ステップS6202)。これにより、ニューラルネットワーク計算部6214は、NN出力情報およびNN出力属性情報に対応する判定値を算出する。
次に、係数決定部6215は、操作特定用NN記憶部6234が記憶する判定値の中から、NN出力情報取得部6220が取得した操作識別情報に対応する判定値を取得し、取得した判定値とニューラルネットワーク計算部6214が算出した判定値との誤差を算出する(ステップS6203)。続いて、係数決定部6215は、算出された誤差に基づいて、誤差逆伝播法(バックプロパゲーション)により操作特定用ニューラルネットワークの全結合層および判定層に相当する部分の各ノードの重み係数を決定する(ステップS6204)。ここで、係数決定部6215は、決定した重み係数示す重み係数情報を操作特定用NN記憶部6234に記憶させる。
その後、係数情報生成部6218は、決定された重み係数を示す重み係数情報を含む係数情報と、これに対応する係数属性情報と、を生成する(ステップS6205)。次に、係数送信部6219は、生成された係数情報と係数属性情報とを空気調和機6004へ送信する(ステップS6026)。続いて、再びステップS6201の処理が実行される。
結局、本実施の形態に係る制御システムでは、図76に示すように、空気調和機6004のニューロエンジン404が、画像記憶部6436から入力層L11へ入力される画像情報に対して畳み込み層L21での畳み込み演算処理とプーリング層L31でのプーリング処理とを繰り返し実行することにより画像情報に対応する特徴量を算出する。このとき、ニューロエンジン404は、演算アクセラレータ443により、畳み込み層L21での畳み込み演算処理とプーリング層L31でのプーリング処理とを繰り返し実行する。そして、算出された特徴量を示すNN出力情報が、クラウドサーバ6002のニューラルネットワーク計算部6214へ入力される。そして、ニューラルネットワーク計算部6214は、NN出力情報が示す特徴量について、全結合層L42および判定層L52における処理を実行することにより判定値を算出する。次に、係数決定部6214が、ニューラルネットワーク計算部6214が算出した判定値に基づいて全結合層L42、L41における重み係数を決定する。決定した重み係数を示す情報は、空気調和機6004へ送信されて操作特定用NN記憶部6435に記憶される。続いて、空気調和機6004の係数設定部6121は、操作特定用NN記憶部6435を参照して操作特定用ニューラルネットワークの全結合層における重み係数を、操作用ニューラルネットワークの全結合層に設定する。そして、ニューロエンジン404は、操作特定用ニューラルネットワークの全結合層に相当する部分を用いて、算出した画像情報に対応する特徴量から判定値を算出する。このとき、ニューロエンジン404は、プロセッサ441により、操作用ニューラルネットワークの全結合層と判定層に相当する部分の計算を実行するようにしてもよい。
以上説明したように、本実施の形態に係る制御システムでは、空気調和機6004が、過去に撮像装置481により撮像された利用者の複数種類のジェスチャそれぞれに対応する画像情報と当該画像情報に対応付けられた機器設定パラメータとに基づいて、操作特定用のニューラルネットワークの重み係数を決定する。また、空気調和機6004は、係数決定部6122、6215により決定された重み係数が設定された操作特定用ニューラルネットワークを用いて、直近に撮像装置481により撮像された画像情報に対応する機器設定パラメータを求め、求めた機器設定パラメータを示す機器設定情報を生成する。これにより、利用者は操作機器6006を操作することなく空気調和機6004を操作することができるので、利用者の利便性を高めることができる。
また、本実施の形態に係る制御システムでは、空気調和機6004が、操作特定用ニューラルネットワークの全結合層および判定層に相当する部分だけを用いて、操作識別情報を特定する。これにより、クラウドサーバ6002から空気調和機6004へ送信される情報量を低減することができるので、クラウドサーバ6002と空気調和機6004との間でのトラフィックを低減することができるとともに、空気調和機6004の処理負荷を軽減することができる。また、操作特定用ニューラルネットワークの全結合層以降の情報量は、操作特定用ニューラルネットワーク全体の情報量に比べ小さくなっているため、係数情報のダウンロード時における通信量を大幅に削減することができる。
更に、本実施の形態に係る制御システムでは、NN出力属性情報が、組み合わせ識別情報と作成者識別情報と画像関連情報と係数ファイル関連情報とを含む。また、NN出力属性情報は、前述の操作特定用ニューラルネットワークの入力層情報と畳み込み層情報とプーリング層情報と全結合層・判定層情報と分割情報と連結可能ファイル情報とを含む。これにより、NN出力情報の他の製造メーカへの提供時のような場合において、NN出力情報に対応するNN出力属性情報の内容を確認することにより、畳み込み層、プーリング層、全結合層および判定層のバージョンまたはバージョンアップ時期の確認ができる。
また、このような構造化されたニューラルネットワークの係数情報は、例えば図77に示すような流通形態で伝送される。係数情報は、機器毎や個人毎に生成されるため多くのデータを機器管理するメーカクラウドB、Cでストレージするのではなく、情報銀行Aでストレージする場合がある。ジェスチャ画像のような画像に関連する操作情報については、メーカそれぞれの独自性が少ないため、機器を販売するメーカ以外のメーカでも使用される場合がある。このような場合、係数属性情報または係数情報を、標準化されたファイル形式として互換性を担保する必要がある。また、構造化された係数情報を流通させる場合も、係数属性情報の中に構造化のための内容が記載されているため、メーカを跨いだ係数情報が流通が可能となる。また、操作特定用ニューラルネットワークの前段部分のみまたは後段部分のみの係数情報をダウンロードしたり、これら両方をまとめてダウンロードすることもできる。但し、操作特定用ニューラルネットワークの前段部分、後段部分或いはその他の部分は、バージョンアップにより前段部分と後段部分の互換性が無くなる場合もある。このため、係数属性情報には、ファイルの分割数に関する情報のみならず、連結可能ファイルの識別情報または連結可能なファイルのリストが掲載されたリンク先の識別情報を含むものとし、操作特定用ニューラルネットワークの各部分の組み合わせに対する互換性の有無に関する情報を係数情報とともに配信する必要がある。
操作特定用ニューラルネットワークの前段部分は、画像の特徴を抽出する部分であるため、この前段部分が、例えば犬、猫等の動物の画像の画像を利用して複数の畳み込みフィルタそれぞれの重み係数が決定されている場合と、後述するメンテナンス要員の帽子またはネームプレートの画像を利用して複数の畳み込みフィルタそれぞれの重み係数が決定されている場合と、子供、お年寄り或いは複数の人物の画像を利用して複数の畳み込みフィルタそれぞれの重み係数が決定されている場合と、で抽出される画像の特徴が異なることになる。このため、これらの操作特定用ニューラルネットワークの前段部分の互換性が無いことになる。
また、前述の係数属性情報は、例えば、組み合わせ情報として、組み合わせ可能識別番号、改定時期情報、著作権情報或いは作成者(著作権者)に関する情報、学習情報として、教師データのリンク先識別情報、教師内容ファイル識別情報を含んでいてもよい。また、係数属性情報は、係数ファイルに関する情報として係数ファイルリンク先識別情報をふくんでいてもよい。また、係数属性情報は、操作特定用ニューラルネットワークの構造に関する情報として、入力層情報(ノード数、層数、役割、バージョン番号、改定時期を示す情報)、畳み込み層情報(ノード数、層数、役割、バージョン番号、改定時期を示す情報)、プーリング層情報(ノード数、層数、役割、バージョン番号、改定時期を示す情報)、全入力・判定層情報(ノード数、層数、役割、バージョンr番号、改定時期を示す情報)を含んでいてもよい。更に、係数属性情報は、操作特定用ニューラルネットワークの各部分の組み合わせに関する情報として、ファイル分割数を示す情報(2分割(特徴・判定)、3分割(入力・特徴・判定)を示す情報)、連結可能ファイルに関する情報(連結可能ファイル識別情報、連結可能ファイルのリストが記載されたリンク先の識別情報)を含んでもよい。
(実施の形態10)
本実施の形態に係る制御システムでは、実施の形態6と同様に、機器が、過去に撮像装置により撮像された利用者の複数種類のジェスチャ画像それぞれに対応する画像情報と当該画像情報に対応付けられた機器設定パラメータとに基づいて、操作特定用ニューラルネットワークの重み係数を決定する。また、機器制御部は、操作特定用ニューラルネットワークを用いて、直近に撮像装置により撮像して得られた画像情報に対応する機器設定パラメータを求め、求めた機器設定パラメータに基づいて機器を制御する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機と、空気調和機と宅外ネットワークNT1を介して通信可能なクラウドサーバと、を備える。なお、本実施の形態において、実施の形態1と同様の構成については、実施の形態1と同一の符号を用いて説明する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。
本実施の形態に係る空気調和機7004は、実施の形態9で図68を用いて説明した空気調和機6004のハードウェア構成と同様である。図78に示すように、空気調和機7004の制御部7400は、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、画像取得部412、操作受付部413、機器制御部414、機器設定更新部6419、動作モード設定部420、利用者特定部421、係数設定部7121、係数決定部7122、NN出力情報取得部7126および画像送信部7127として機能する。また、補助記憶部は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、操作特定用NN記憶部6435と、画像記憶部6436と、を有する。操作特定用NN記憶部6435は、操作特定用ニューラルネットワークの構造を示す情報と、後述する畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数および全結合層における重み係数とを示す情報と、を記憶する。また、操作特定用NN記憶部6135は、利用者のジェスチャから利用者が行う操作を特定するための操作特定用ニューラルネットワークの構造を示す情報と、後述する畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数および全結合層における重み係数とを示す情報と、を記憶する。また、操作特定用NN記憶部6135は、利用者が行う操作の内容を数値化した判定値を示す判定値情報を、利用者が行う操作内容を識別する操作識別情報に対応づけて記憶する。なお、CPU、主記憶部および補助記憶部は、図68に示すCPU401、主記憶部402および補助記憶部403と同様である。
画像取得部412は、撮像装置481により撮像して得られた画像情報および操作識別情報を取得し、取得した画像情報を操作識別情報に対応づけて画像記憶部6436に記憶させる。画像送信部7127は、画像記憶部6436が記憶する画像情報をクラウドサーバ7002へ送信する。
ニューロエンジン404は、操作特定用ニューラルネットワークにおける畳み込み層とプーリング層とに相当する部分を用いた演算処理と、操作特定用ニューラルネットワークのうち前述の全結合層と判定層とに相当する部分の演算処理と、を実行することにより判定値を算出する。
係数決定部7122は、操作特定用ニューラルネットワークの畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を決定する。具体的には、係数決定部7122は、まず、ニューロエンジン404により画像取得部412が取得した各種画像情報に対して複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返して得られた複数の出力値それぞれに重み係数を掛けたものの総和から得られる判定値を取得する。この複数の畳み込みフィルタそれぞれの重み係数と全結合層における重み係数とは、操作特定用ニューラルネットワークに設定される第3ニューラルネットワーク係数を構成する。次に、係数決定部7122は、画像記憶部6436から、各種画像情報に対応づけられた操作識別情報を取得し、操作特定用NN記憶部6435が記憶する判定値情報を参照して各種画像情報に対応する判定値を特定する。そして、係数決定部7122は、各種画像情報に基づいて算出された判定値が、特定した判定値と一致するように、畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を決定する。係数決定部7122は、決定した重み係数を示す重み係数情報を、操作特定用NN記憶部6435に記憶させる。
NN出力情報取得部7126は、クラウドサーバ7002から送信されるNN出力情報を取得する場合、取得したNN出力情報と操作特定用NN記憶部6435に記憶させる。
係数設定部7121は、係数決定部7122が決定した複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を、操作特定用ニューラルネットワークに設定する。そして、ニューロエンジン404は、操作特定用ニューラルネットワークを用いて、画像取得部412が直近に撮像装置481により撮像された利用者のジェスチャを示す画像情報から当該画像情報に対応する判定値を算出する。ここで、ニューロエンジン404は、クラウドサーバ7002からNN出力情報を取得している場合、操作特定用ニューラルネットワークの全結合層に相当する部分を用いて、取得したNN出力情報が示す特徴量から判定値を算出する。
クラウドサーバ7002のハードウェア構成は、実施の形態1で説明したクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ7002では、図79に示すように、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、係数設定部6213、ニューラルネットワーク計算部6214、画像取得部7217、NN出力情報生成部7221およびNN出力情報送信部7222として機能する。なお、図79において、実施の形態9と同様の構成については、図69と同一の符号を付している。また、補助記憶部は、操作特定用NN記憶部6234と、画像記憶部7235と、を有する。なお、CPU、主記憶部および補助記憶部は、図10に示すCPU201、主記憶部202および補助記憶部203と同様である。画像取得部7217は、空気調和機7004から送信される画像情報と操作識別情報とを取得し、取得した画像情報を操作識別情報に対応づけて画像記憶部7235に記憶させる。
ニューラルネットワーク計算部6214は、パラメータ算出用ニューラルネットワークを用いた演算処理を行う部分と、操作特定用ニューラルネットワークを用いた演算処理を行う部分とを有する。ここで、ニューラルネットワーク計算部6214は、操作特定用ニューラルネットワークのうち前述の畳み込み層とプーリング層とに相当する部分を用いて、画像情報から当該画像情報に対応する特徴量を算出する。
NN出力情報生成部7221は、ニューラルネットワーク計算部6214により画像情報に対して複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返して得られた特徴量を示すNN出力情報を生成する。NN出力情報送信部7222は、NN出力情報生成部7221が生成したNN出力情報を、宅外ネットワークNT1を介して空気調和機7004へ送信する。
次に、本実施の形態に係る制御システムの動作について図80を参照しながら説明する。なお、図80において、実施の形態9と同様の処理については、図72と同一の符号を付している。まず、空気調和機7004が、利用者が自己のジェスチャを空気調和機7004に対する操作内容と対応づけるためのジェスチャ登録操作を受け付けたとする(ステップS1081)。この場合、空気調和機7004が、画像情報と画像情報が示すジェスチャ画像に対応する操作を示す操作識別情報とを互いに対応づけて画像記憶部6136に記憶させる。次に、画像情報と操作識別情報とが、空気調和機7004からクラウドサーバ7002へ送信される(ステップS1101)。
一方、クラウドサーバ7002は、画像情報と操作識別情報とを取得すると、取得した画像情報と操作識別情報とを互いに対応づけて画像記憶部7235に記憶させる。続いて、クラウドサーバ7002は、操作特定用ニューラルネットワークの畳み込み層およびプーリング層に相当する部分を用いて、取得した画像情報からその画像情報の特徴量を算出し、算出した特徴量を示すNN出力情報とNN出力属性情報とを生成する(ステップS1102)。このNN出力情報の構造は、実施の形態9で図73を用いて説明したNN出力情報と同様の構造を有する。その後、生成されたNN出力情報が、クラウドサーバ7002から空気調和機7004へ送信される(ステップS1103)。一方、空気調和機7004は、NN出力情報を取得すると、取得したNN出力情報を、対応する操作識別情報と対応づけて操作特定用NN記憶部6435に記憶させる。その後、空気調和機7004は、操作特定用ニューラルネットワークの畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を決定する(ステップS1104)。ここでは、ニューロエンジン404が、操作特定用ニューラルネットワークの全結合層と判定層とに相当する部分を用いて、取得したNN出力情報が示す特徴量から判定値を算出する。そして、係数決定部71222が、算出した判定値が、NN出力情報に対応付けられた操作識別情報に対応する判定値と一致するように、操作特定用ニューラルネットワークの全結合層の重み係数を決定する。また、空気調和機7004は、特定した操作特定用ニューラルネットワークの全結合層の重み係数を示す重み係数情報を、操作特定用NN記憶部6435に記憶させる。
次に、空気調和機7004が、利用者による手動モードへの切り替え操作を受け付けると(ステップS1088)、ステップS1089以降の処理が実行される。なお、空気調和機7004が、操作用ニューラルネットワークのうち畳み込み層とプーリング層とに相当する部分を用いて、画像情報から特徴量を算出する処理を実行する場合、空気調和機7004は、画像情報をクラウドサーバ7002に送信しない。
次に、本実施の形態に係る空気調和機7004が実行する機器制御処理について図81を参照しながら説明する。なお、図81において、実施の形態9と同様の処理については図74と同一の符号を付している。まず、操作受付部413は、空気調和機7004へのジェスチャ登録操作を受け付けたか否かを判定する(ステップS6101)。操作受付部413が、ジェスチャ登録操作を受け付けていないと判定すると(ステップS6101:No)、そのまま後述のステップS6107の処理が実行される。一方、操作受付部413が、ジェスチャ登録操作を受け付けたと判定すると(ステップS6101:Yes)、画像取得部412が、ジェスチャ登録操作の対象となるジェスチャ画像を示す画像情報と操作識別情報とを取得する(ステップS6102)。画像取得部412は、取得した画像情報と操作識別情報とを互いに対応づけて画像記憶部6436に記憶させる。次に、画像送信部7127は、画像記憶部6436が記憶する画像情報と操作識別情報とをクラウドサーバ7002へ送信する(ステップS7101)。このとき、クラウドサーバ7002は、後述するように、画像送信部7127が送信した画像情報に対して、複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行して画像情報に対応する特徴量を示すNN出力情報を生成する。
続いて、NN出力情報取得部7126は、クラウドサーバ7002からNN出力情報とNN出力属性情報とを取得する(ステップS7102)。その後、ニューロエンジン404は、NN出力情報およびNN出力属性情報を用いて、操作特定用ニューラルネットワークの全結合層および判定層に相当する部分の計算を実行する(ステップS7103)。これにより、ニューロエンジン404は、NN出力情報およびNN出力属性情報に対応する判定値を算出する。ここで、ニューロエンジン404は、前述のプロセッサ441により、前述の全結合層および判定層に相当する部分の計算を実行するようにしてもよい。
次に、係数決定部7122は、操作特定用NN記憶部6435が記憶する判定値の中から、前述の操作識別情報に対応する判定値を取得し、取得した判定値とニューロエンジン404が算出した判定値との誤差を算出する(ステップS7104)。続いて、係数決定部7122は、算出された誤差に基づいて、操作特定用ニューラルネットワークの畳み込み層における複数の畳み込みフィルタそれぞれの重み係数と全結合層の各ノードの重み係数とを決定する(ステップS7105)。ここで、係数決定部7122は、決定した重み係数示す重み係数情報を操作特定用NN記憶部6435に記憶させる。その後、ステップS6105以降の処理が実行される。
次に、本実施の形態に係るクラウドサーバ7002が実行するNN出力情報生成処理について図82を参照しながら説明する。まず、画像取得部7217は、空気調和機7004から画像情報および操作識別情報を取得したか否かを判定する(ステップS7201)。画像取得部7217は、画像情報および操作識別情報を取得していないと判定すると(ステップS7201:No)、再びステップS7201の処理を実行する。一方、画像取得部7217が、画像情報および操作識別情報を取得したと判定したとする(ステップS7201:Yes)。この場合、ニューラルネットワーク計算部6214は、画像情報に対して、係数設定部6213により重み係数が設定された複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行する(ステップS7202)。これにより、ニューラルネットワーク計算部6214は、画像情報に対応する特徴量を算出する。続いて、NN出力情報生成部7221は、算出された特徴量を用いてNN出力情報を生成するとともに、これに対応するNN出力属性情報を生成する(ステップS7203)。その後、NN出力情報送信部7222は、生成されたNN出力情報およびNN出力属性情報を空気調和機7004へ送信する(ステップS7204)。
結局、本実施の形態に係る制御システムでは、空気調和機7004において画像情報に対応する特徴量を算出しない場合、画像情報がクラウドサーバ7002に送信されて画像記憶部7235に記憶される。そして、図83に示すように、ニューラルネットワーク計算部6214が、画像記憶部7235から入力層L12へ入力される画像情報に対して畳み込み層L22での畳み込み演算処理とプーリング層L32でのプーリング処理とを繰り返し実行して画像情報に対応する特徴量を算出する。そして、算出した特徴量を示すNN出力情報が、空気調和機7004のニューロエンジン404へ入力される。そして、ニューロエンジン404が、NN出力情報が示す特徴量について、全結合層L42および判定層L52における処理を実行することにより判定値を算出する。このとき、ニューロエンジン404は、例えば、プロセッサ441により、全結合層L42および判定層L52における演算処理を実行する。
一方、空気調和機7004において画像情報に対応する特徴量を算出する場合、ニューロエンジン404が、画像記憶部6436から入力層L11へ入力される画像情報に対して畳み込み層L21での畳み込み演算処理とプーリング層L31でのプーリング処理とを繰り返し実行して画像情報に対応する特徴量を算出する。そして、ニューロエンジン404は、算出された特徴量について、全結合層L42および判定層L52における処理を実行することにより判定値を算出する。このとき、ニューロエンジン404は、例えば、プロセッサ441により、全結合層L42および判定層L52における演算処理を実行する。
なお、本実施の形態に係る制御システムでは、例えばクラウドサーバ7002が空気調和機7004以外の機器から予め画像情報を取得するものであってもよい。この場合、クラウドサーバ7002は、操作特定用ニューラルネットワークの畳み込み層とプーリング層とに相当する部分を用いて、取得した画像情報から当該画像情報に対応する特徴量を算出し、算出した特徴量を示すNN出力情報を生成して操作特定用NN記憶部6234に記憶させておいてもよい。
例えば利用者が、撮像装置(図示せず)を搭載した端末装置においてジェスチャ操作登録用のアプリケーションを起動し、端末装置に空気調和機6004に対する複数種類の種操作内容を示す情報が表示された状態で、利用者が複数種類の操作内容から1つの操作内容を選択するための操作を行ったとする。そして、利用者は、操作内容を選択した後に、ジェスチャを行った状態で撮像装置で利用者を撮像するための操作を行う。これにより、端末装置は、利用者により選択された操作内容を識別する操作識別情報と、ジェスチャ画像を示す画像情報とを取得する。そして、図84に示すように、クラウドサーバ7002が、利用者を撮像して得られる画像情報と操作識別情報とを端末装置7007から取得すると(ステップS1141)、操作特定用ニューラルネットワークの畳み込み層とプーリング層とに相当する部分を用いて、取得した画像情報から特徴量を算出し、算出した特徴量を示すNN出力情報とこれに対応するNN出力属性情報とを生成する(ステップS1142)。ここで、クラウドサーバ7002は、生成したNN出力情報を画像情報に対応づけて操作特定用NN記憶部6234に記憶させる。なお、図84において、図80を用いて説明した処理と同様の処理については、図80と同一の符号を付している。
次に、空気調和機7004が、利用者が自己のジェスチャを空気調和機7004に対する操作内容と対応づけるためのジェスチャ登録操作を受け付けたとする(ステップS1081)。この場合、クラウドサーバ7002に対してNN出力情報の送信を要求するNN出力情報要求情報が、空気調和機7004からクラウドサーバ7002へ送信される(ステップS1143)。ここで、NN出力情報要求情報には、空気調和機7004が取得した画像情報が含まれる。一方、クラウドサーバ7002は、NN出力情報要求情報を取得すると、取得したNN出力情報要求情報から画像情報を抽出し、操作特定用NN記憶部6234が記憶する複数のNN出力情報の中から、抽出した画像情報に基づいて1つのNN出力情報を特定する(ステップS1144)。続いて、特定されたNN出力情報が、クラウドサーバ7002から空気調和機7004へ送信される(ステップS1145)。一方、空気調和機7004は、NN出力情報を取得すると、取得したNN出力情報を、対応する操作識別情報と対応づけて操作特定用NN記憶部6435に記憶させる。その後、空気調和機7004は、操作特定用ニューラルネットワークの畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を決定する(ステップS1146)。その後、ステップS1088以降の処理が実行される。
以上説明したように、本実施の形態に係る制御システムでも、空気調和機7004が、係数決定部7122により決定された重み係数が設定された操作特定用ニューラルネットワークを用いて、直近に撮像装置481により撮像された画像情報に対応する機器設定パラメータを求め、求めた機器設定パラメータを示す機器設定情報を生成する。これにより、利用者は操作機器6006を操作することなく空気調和機7004を操作することができるので、利用者の利便性を高めることができる。
(実施の形態11)
本実施の形態に係る制御システムでは、クラウドサーバが、撮像装置により撮像された利用者の複数種類のジェスチャ画像それぞれに対応する画像情報と当該画像情報に対応付けられた機器設定パラメータとに基づいて、操作特定用ニューラルネットワークの重み係数を決定する。また、機器制御部は、操作特定用ニューラルネットワークを用いて、直近に撮像装置により撮像して得られた画像情報に対応する機器設定パラメータを求め、求めた機器設定パラメータに基づいて機器を制御する。
本実施の形態に係る制御システムは、実施の形態1で図1を用いて説明した制御システムと同様に、住戸Hに設置された空気調和機と、空気調和機と宅外ネットワークNT1を介して通信可能なクラウドサーバと、を備える。なお、本実施の形態において、実施の形態1と同様の構成については、実施の形態1と同一の符号を用いて説明する。また、住戸H内には、宅内ネットワークNT2が敷設されており、宅内ネットワークNT2に接続されたルータとデータ回線終端装置とが設置されているものとする。
本実施の形態に係る空気調和機8004は、実施の形態9で図68を用いて説明した空気調和機6004のハードウェア構成と同様である。図85に示すように、空気調和機8004の制御部8400は、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、画像取得部412、操作受付部413、機器制御部414、機器設定更新部6419、動作モード設定部420、利用者特定部421、係数設定部8121、係数決定部7122、NN出力情報取得部7126および画像送信部7127として機能する。なお、図85において、実施の形態9、10と同様の構成については図69、図78と同一の符号を付している。また、補助記憶部は、機器設定記憶部431と、利用者情報記憶部432と、動作モード記憶部433と、操作特定用NN記憶部6435と、画像記憶部6436と、を有する。なお、CPU、主記憶部および補助記憶部は、図68に示すCPU401、主記憶部402および補助記憶部403と同様である。
操作特定用NN記憶部6435は、操作特定用ニューラルネットワークの構造を示す情報と、操作特定用ニューラルネットワークの全結合層における重み係数を示す情報を記憶する。また、操作特定用NN記憶部6135は、利用者が行う操作の内容を数値化した判定値を示す判定値情報を、利用者が行う操作内容を識別する操作識別情報に対応づけて記憶する。係数取得部8120は、操作特定用ニューラルネットワークの全結合層における重み係数を示す情報を含む係数情報を、クラウドサーバ8002から取得する。ニューロエンジン404は、操作特定用ニューラルネットワークのうち全結合層と判定層とに相当する部分のみの演算を実行することにより判定値を算出する。NN出力情報取得部7128は、クラウドサーバ8002から送信されるNN出力情報を取得し、取得したNN出力情報と操作特定用NN記憶部6435に記憶させる。
係数設定部8121は、係数取得部8120が取得した係数情報が示す操作特定用ニューラルネットワークの全結合層における重み係数を、操作特定用ニューラルネットワークに設定する。そして、ニューロエンジン404は、操作特定用ニューラルネットワークのうちの全結合層と判定層とに相当する部分を用いて、NN出力情報取得部7128が取得したNN出力情報が示す特徴量から判定値を算出する。
クラウドサーバ8002のハードウェア構成は、実施の形態1で説明したクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ8002では、図86に示すように、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、係数設定部8213、ニューラルネットワーク計算部6214、係数決定部8215、係数情報生成部8218、係数送信部8219、画像取得部7217、NN出力情報生成部7221およびNN出力情報送信部7222として機能する。また、補助記憶部203は、操作特定用NN記憶部6234と、画像記憶部7235と、を有する。
係数決定部8215は、操作特定用ニューラルネットワークの畳み込み層で用いる複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を決定する。具体的には、係数決定部8215は、まず、ニューラルネットワーク計算部6214により画像取得部7217が取得した各種画像情報に対して複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返して得られた複数の出力値それぞれに重み係数を掛けたものの総和から得られる判定値を取得する。次に、係数決定部8215は、画像記憶部7235から、各種画像情報に対応づけられた操作識別情報を取得し、操作特定用NN記憶部6234が記憶する判定値情報を参照して各種画像情報に対応する判定値を特定する。そして、係数決定部8215は、各種画像情報に基づいて算出された判定値が、特定した判定値と一致するように、畳み込み層で用いられる複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を決定する。係数決定部8215は、決定した重み係数を示す情報を、操作特定用NN記憶部6135に記憶させる。
係数情報生成部8218は、係数決定部8215が決定した操作特定用ニューラルネットワークの全結合層における重み係数を示す情報を含む係数情報とこれに対応する係数属性情報とを生成する。係数送信部8219は、係数情報生成部8218が生成した係数情報と係数属性情報とを、空気調和機8004へ送信する。
係数設定部8213は、係数決定部8215が決定した操作特定用ニューラルネットワークの畳み込み層で用いる複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数を、操作特定用ニューラルネットワークに設定する。そして、ニューラルネットワーク計算部6214は、操作特定用ニューラルネットワークのうち畳み込み層とプーリング層とに相当する部分を用いて、画像情報から当該画像情報に対応する特徴量を算出する。
次に、本実施の形態に係る制御システムの動作について図87を参照しながら説明する。なお、図87において、実施の形態9、10と同様の処理については、図72、図80と同一の符号を付している。まず、空気調和機8004が、利用者が自己のジェスチャを空気調和機4、52に対する操作内容と対応づけるためのジェスチャ登録操作を受け付けたとする(ステップS1081)。この場合、クラウドサーバ8002に対して操作特定用ニューラルネットワークの全結合層における係数を示す情報を含む係数情報の送信を要求する係数要求情報と画像情報と操作識別情報とが、空気調和機8004からクラウドサーバ8002へ送信される(ステップS1121)。一方、クラウドサーバ8002は、係数要求情報と画像情報と操作識別情報とを取得すると、取得した画像情報と操作識別情報と互いに対応づけて画像記憶部7235に記憶させる。続いて、クラウドサーバ8002は、取得した画像情報と操作識別情報とを用いて、操作特定用ニューラルネットワークの畳み込み層における複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を決定する(ステップS1122)。続いて、決定された重み係数を示す重み係数情報が含まれる係数情報とこれに対応する係数属性情報とが、クラウドサーバ8002から空気調和機8004へ送信される(ステップS1123)。一方、空気調和機8004は、クラウドサーバ8002から係数情報と係数属性情報とを取得すると、取得した係数情報に含まれる操作特定用ニューラルネットワークの畳み込み層における複数の畳み込みフィルタそれぞれの重み係数と、全結合層における重み係数と、を示す重み係数情報を操作特定用NN記憶部6435に記憶させる(ステップS1125)。
次に、空気調和機8004が、利用者による手動モードへの切り替え操作を受け付けたとする(ステップS1088)、この場合、空気調和機8004は、動作モード記憶部433に手動モードであることを示す動作モード情報を記憶させることにより、動作モードを手動モードに設定する(ステップS1089)。続いて、空気調和機8004が、撮像装置481により撮像して得られる利用者の画像情報を取得すると(ステップS1090)、空気調和機8004が取得した画像情報が、空気調和機8004からクラウドサーバ8002へ送信される(ステップS1125)。一方、クラウドサーバ8002は、画像情報を取得すると、操作特定用ニューラルネットワークの畳み込み層およびプーリング層に相当する部分を用いて、取得した画像情報からその画像情報の特徴量を算出し、算出した特徴量を示すNN出力情報とこれに対応するNN出力属性情報とを生成する(ステップS1126)。その後、生成されたNN出力情報とNN出力属性情報とが、クラウドサーバ8002から空気調和機8004へ送信される(ステップS1127)。一方、空気調和機8004は、NN出力情報とNN出力属性情報とを取得すると、NN出力属性情報に基づいて、操作識別情報を特定する(ステップS1128)。ここでは、ニューロエンジン404が、操作特定用ニューラルネットワークの全結合層に相当する部分を用いて、取得したNN出力情報が示す特徴量から判定値を算出する。そして、機器設定更新部6419が、操作特定用NN記憶部6135が記憶する判定値情報を参照して、ニューロエンジン404により算出された判定値に対応する操作識別情報を特定する。
続いて、空気調和機8004が、機器設定パラメータを算出する(ステップS1129)。ここでは、機器設定更新部6419が、特定した操作識別情報が示す操作内容に基づいて、機器設定パラメータを算出する。次に、空気調和機8004は、算出した機器設定パラメータを示す機器設定情報で機器設定記憶部431が記憶する機器設定情報を更新する(ステップS1093)。
次に、本実施の形態に係る空気調和機8004が実行する機器制御処理について図88を参照しながら説明する。なお、図88において、実施の形態9に係る機器制御処理と同様の処理については、図74と同一の符号を付している。まず、操作受付部413は、空気調和機6004へのジェスチャ登録操作を受け付けたか否かを判定する(ステップS6101)。操作受付部413が、ジェスチャ登録操作を受け付けていないと判定すると(ステップS6101:No)、そのまま後述のステップS6107の処理が実行される。一方、操作受付部413が、ジェスチャ登録操作を受け付けたと判定すると(ステップS6101:Yes)、画像取得部412が、ジェスチャ登録操作の対象となるジェスチャ画像を示す画像情報を取得する(ステップS6102)。画像取得部412は、取得した画像情報とこれに対応する操作識別情報とを画像記憶部6436に記憶させる。
次に、係数取得部8120が、係数要求情報をクラウドサーバ8002へ送信するとともに、画像送信部7127が、画像記憶部6436が記憶する画像情報および操作識別情報をクラウドサーバ8002へ送信する(ステップS8101)。このとき、クラウドサーバ8002は、空気調和機8004から取得した画像情報および操作識別情報を用いて畳み込み層の複数の畳み込みフィルタそれぞれの重み係数と全結合層の各ノードの重み係数とを決定する。続いて、係数取得部8120は、係数情報とこれに対応する係数属性情報とを取得し、取得した係数情報に含まれる重み係数情報を操作特定用NN記憶部6435に記憶させる(ステップS8102)。続いて、ステップS6107からS6110までの一連の処理が実行され、ステップS6110において、画像取得部412は、ジェスチャ操作のための画像情報を取得したと判定したとする(ステップS6110:Yes)。この場合、画像取得部412は、取得した画像情報を画像記憶部6436に記憶させる。そして、画像送信部7127は、画像記憶部6436が記憶する画像情報を、クラウドサーバ8002へ送信する(ステップS8103)。このとき、クラウドサーバ8002は、空気調和機8004から取得した画像情報に対して、重み係数が設定された複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行することによりNN出力情報を生成する。
その後、NN出力情報取得部7126は、クラウドサーバ8002からNN出力情報とこれに対応するNN出力属性情報とを取得する(ステップS8104)。NN出力情報取得部7126は、取得したNN出力情報とNN出力属性情報とを操作特定用NN記憶部6435に記憶させる。次に、ニューロエンジン404は、操作特定用NN記憶部6435に記憶されたNN出力情報を用いて、操作特定用ニューラルネットワークの全結合層に相当する部分の計算を実行することにより、判定値を算出する(ステップS8105)。ここで、ニューロエンジン404は、プロセッサ441により、操作用ニューラルネットワークの全結合層と判定層に相当する部分の計算を実行するようにしてもよい。続いて、ステップS6112以降の処理が実行される。
次に、本実施の形態に係るクラウドサーバ8002が実行する係数情報・NN出力情報生成処理について図89を参照しながら説明する。まず、係数送信部8219が空気調和機8004から係数要求情報を取得し、画像取得部7217が、空気調和機8004から画像情報および操作識別情報を取得したか否かを判定する(ステップS8201)。係数送信部8219が係数要求情報を取得しておらず、画像取得部7217が画像情報および操作識別情報を取得していないと判定すると(ステップS8201:No)、後述するステップS8208の処理が実行される。一方、係数送信部8219が係数要求情報を取得し、画像取得部7217が画像情報および操作識別情報を取得したと判定したとする(ステップS8201:Yes)。この場合、画像取得部7217は、取得した画像情報を画像記憶部7235に記憶させる。そして、ニューラルネットワーク計算部6214は、画像記憶部7235が記憶する画像情報に対して、係数設定部8213により重み係数が設定された複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行する(ステップS8202)。これにより、ニューラルネットワーク計算部6214は、画像情報に対応する特徴量を算出する。続いて、ニューラルネットワーク計算部6214は、算出された特徴量について、操作特定用ニューラルネットワークの全結合層および判定層に相当する部分の計算を実行する(ステップS8203)。これにより、ニューラルネットワーク計算部6214は、画像情報に対応する判定値を算出する。
その後、係数決定部8215は、操作特定用NN記憶部6234が記憶する判定値の中から、取得した画像情報に対応する判定値を取得し、取得した判定値とニューラルネットワーク計算部6214が算出した判定値との誤差を算出する(ステップS8204)。次に、係数決定部8215は、算出された誤差に基づいて、操作特定用ニューラルネットワークの畳み込み層における複数の畳み込みフィルタそれぞれの重み係数と、全結合層における各ノードの重み係数とを決定する(ステップS6204)。ここで、係数決定部8215は、決定した重み係数示す重み係数情報を操作特定用NN記憶部6234に記憶させる。
続いて、係数情報生成部8218は、決定された重み係数を示す重み係数情報を含む係数情報と、これに対応する係数属性情報と、を生成する(ステップS8206)。その後、係数送信部8219は、生成された係数情報と係数属性情報とを空気調和機8004へ送信する(ステップS8207)。
次に、画像取得部7217は、空気調和機8004から画像情報を取得したか否かを判定する(ステップS8208)。画像取得部7217が、画像情報を取得していないと判定すると(ステップS8208:No)、再びステップS8201の処理が実行される。一方、画像取得部7217は、空気調和機8004から画像情報を取得したと判定すると(ステップS8208:Yes)、取得した画像情報を画像記憶部7235に記憶させる。そして、ニューラルネットワーク計算部6214は、画像記憶部7235が記憶する画像情報に対して、係数設定部8213により重み係数が設定された複数の畳み込みフィルタを用いた畳み込み演算とプーリング処理とを予め設定された回数だけ繰り返す計算を実行する(ステップS8209)。これにより、ニューラルネットワーク計算部6214は、画像情報に対応する特徴量を算出する。続いて、NN出力情報生成部7221は、算出された特徴量を用いてNN出力情報を生成するとともに、これに対応するNN出力属性情報を生成する(ステップS8210)。その後、NN出力情報送信部7222は、生成されたNN出力情報およびNN出力属性情報を空気調和機8004へ送信する(ステップS8211)。その後、再びステップS8201の処理が実行される。
結局、本実施の形態に係る制御システムでは、画像情報が空気調和機8004からクラウドサーバ8002に送信されて画像記憶部7235に記憶される。そして、図90に示すように、ニューラルネットワーク計算部6214が、画像記憶部7235から入力層L12へ入力される画像情報に対して畳み込み層L22での畳み込み演算処理とプーリング層L32でのプーリング処理とを繰り返し実行して画像情報に対応する特徴量を算出する。そして、算出された特徴量を示すNN出力情報が、空気調和機8004のニューロエンジン404へ入力される。そして、ニューラルネットワーク計算部6214は、NN出力情報が示す特徴量について、全結合層L41および判定層L51における処理を実行することにより判定値を算出する。また、ニューラルネットワーク計算部6214は、算出した特徴量について、全結合層L42および判定層L52における処理を実行することにより判定値を算出する。そして、係数決定部8215は、ニューラルネットワーク計算部6214が算出した判定値に基づいて全結合層L42、L41における重み係数を決定する。決定した重み係数を示す情報は、空気調和機8004へ送信されて操作特定用NN記憶部6435に記憶される。続いて、空気調和機8004の係数設定部8121は、操作特定用NN記憶部6435を参照して操作特定用ニューラルネットワークの全結合層における重み係数を、操作用ニューラルネットワークに設定する。そして、ニューロエンジン404は、操作特定用ニューラルネットワークの全結合層と判定層とに相当する部分を用いて、NN出力情報が示す特徴量から判定値を算出する。このとき、ニューロエンジン404は、プロセッサ441により、操作用ニューラルネットワークの全結合層と判定層とに相当する部分の計算を実行するようにしてもよい。
以上説明したように、本実施の形態に係る制御システムでは、クラウドサーバ8002において、操作特定用ニューラルネットワークの畳み込み層およびプーリング層に相当する部分の演算処理を実行し、空気調和機8004が、操作特定用ニューラルネットワークの全結合層に相当する部分の演算処理のみを実行する。これにより、空気調和機8004における処理負荷を軽減することができる。また、空気調和機8004において、畳み込み層およびプーリング層を実現するニューロエンジンを備えない構成とすることにより、空気調和機8004の制御部8400の小規模化を図ることができる。
以上、本発明の実施の形態について説明したが、本発明は前述の実施の形態の構成に限定されるものではない。例えば、図91に示すように、制御システムが、空気調和機3004で用いられるニューラルネットワークに関連する履歴情報、係数情報等を含むニューラルネットワーク関連情報(以下、「NN関連情報」と称する。)を管理するストレージサーバ9008を備えるものであってもよい。なお、図91において、空気調和機3004は、実施の形態5で説明した空気調和機3004と同様である。また、図91において、実施の形態1と同様の構成については図1と同一の符号を付している。本変形例では、住戸H1以外の他の住戸H2に空気調和機3004と同様の構成を有する空気調和機9004が設置されているものとする。ストレージサーバ9008は、宅外ネットワークNT1を介してクラウドサーバ9002と通信可能である。
クラウドサーバ9002のハードウェア構成は、実施の形態1の図10に示すクラウドサーバ2のハードウェア構成と同様である。クラウドサーバ9002では、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図92に示すように、履歴情報取得部3211、気象実績取得部3212、係数設定部213、ニューラルネットワーク計算部214、係数決定部215、係数情報生成部3218、係数送信部2219、ニューラルネットワーク関連情報生成部(以下、「NN関連情報生成部」と称する。)9218と、ニューラルネットワーク関連情報送信部(以下、「NN関連情報送信部」と称する。)9219と、ニューラルネットワーク関連情報取得部(以下、「NN関連情報取得部」と称する。)9220として機能する。なお、図92において、実施の形態5と同様の構成については、図42と同一の符号を付している。また、補助記憶部は、履歴情報記憶部231と、気象情報記憶部232と、初期係数記憶部3233と、を有する。なお、CPU、主記憶部および補助記憶部は、図10に示すCPU201、主記憶部202および補助記憶部203と同様である。
NN関連情報生成部9218は、空気調和機3004から履歴情報を取得し、取得した履歴情報に含まれる利用者情報に基づいて、空気調和機3004の使用状況を示す使用状況情報を生成する。そして、NN関連情報生成部9218は、履歴情報記憶部231から動作履歴情報と環境履歴情報とを取得し、取得した動作履歴情報および環境履歴情報と、生成した使用状況を示す情報と、を含むNN関連情報を生成する。NN関連情報送信部9219は、生成されたNN関連情報を、ストレージサーバ9008へ送信する。NN関連情報取得部9220は、ストレージサーバ9008に対してNN関連情報の送信を要求するNN関連情報要求情報をストレージサーバ9008へ送信することにより、ストレージサーバ9008からNN関連情報を取得する。ここで、NN関連情報要求情報には、住戸H1における空気調和機4、52および給湯機51の使用状況を示す使用状況情報が含まれる。
ストレージサーバ9008のハードウェア構成は、実施の形態1の図10に示すクラウドサーバ2のハードウェア構成と同様である。ストレージサーバ9008では、CPUが、補助記憶部が記憶するプログラムを主記憶部に読み出して実行することにより、図93に示すように、NN関連情報取得部9801、ニューラルネットワーク関連情報特定部(以下、「NN関連情報特定部」と称する。)9802およびNN関連情報送信部9803として機能する。また、補助記憶部は、クラウドサーバ9002から取得したNN関連情報を記憶するNN関連情報記憶部931を有する。なお、CPU、主記憶部および補助記憶部は、図10に示すCPU201、主記憶部202および補助記憶部203と同様である。NN関連情報記憶部931は、例えば図94に示すように、NN関連情報に含まれる使用状況情報、係数情報、動作履歴情報、環境履歴情報等を、NN関連情報を識別するニューラルネットワーク識別情報(以下、「NN識別情報」と称する。)に対応づけて記憶する。
NN関連情報取得部9801は、クラウドサーバ9002から送信されるNN関連情報を取得し、取得したNN関連情報に識別情報を付与してNN関連情報記憶部931に記憶させる。NN関連情報特定部9802は、クラウドサーバ9002から送信されるNN関連情報要求情報を取得すると、取得したNN関連情報要求情報から使用状況情報を抽出する。そして、NN関連情報特定部9802は、NN関連情報記憶部931が記憶するNN関連情報の中から、それらの使用状況情報の内容が抽出した使用状況情報の内容に類似するものを特定する。NN関連情報送信部9803は、NN関連情報特定部9802が特定したNN関連情報をクラウドサーバ9002へ送信する。
次に、本変形例に係る制御システムの動作について図95を参照しながら説明する。ここでは、空気調和機9004が、住戸H2に新たに設定される場合について説明する。まず、クラウドサーバ9002が、予め設定されたNN関連情報生成時期が到来したと判定したとする。この場合、空気調和機3004に対して係数情報と履歴情報とを送信するよう要求する係数履歴要求情報が、クラウドサーバ9002から空気調和機3004へ送信される(ステップS1151)。一方、空気調和機3004は、係数履歴要求情報を取得すると、係数情報と履歴情報とを生成する(ステップS1152)。次に、生成された係数情報と履歴情報とが、空気調和機3004からクラウドサーバ9002へ送信される(ステップS1153)。一方、クラウドサーバ9002は、係数情報と履歴情報とを取得すると、取得した履歴情報に含まれる利用者情報に基づいて、空気調和機3004の使用状況を示す使用状況情報を生成する。また、クラウドサーバ9002は、履歴情報に含まれる動作履歴情報と環境履歴情報とを履歴情報記憶部231に記憶させる。そして、クラウドサーバ9002は、履歴情報記憶部231から動作履歴情報と環境履歴情報とを取得し、取得した動作履歴情報および環境履歴情報と、生成した使用状況を示す情報と、を含むNN関連情報を生成する(ステップS1154)。続いて、生成されたNN関連情報が、クラウドサーバ9002からストレージサーバ9008へ送信される(ステップS1155)。一方、ストレージサーバ9008は、NN関連情報を取得すると、取得したNN関連情報に識別情報を付与してNN関連情報記憶部931に記憶させる。
その後、住戸H2に空気調和機9004が新たに設置され、クラウドサーバ9002に対してニューラルネットワークの初期係数を要求する係数要求情報が、空気調和機9004からクラウドサーバ9002へ送信されたとする(ステップS1157)。次に、クラウドサーバ9002が係数要求情報を取得すると、前述のNN関連情報要求情報が、クラウドサーバ9002からストレージサーバ9008へ送信される(ステップS1158)。一方、ストレージサーバ9008は、NN関連情報要求情報を取得すると、取得したNN関連情報要求情報から使用状況情報を抽出する。そして、ストレージサーバ9008は、NN関連情報記憶部931が記憶するNN関連情報の中から、それらの使用状況情報の内容が抽出した使用状況情報の内容に類似するNN関連情報を特定する(ステップS1159)。
続いて、ストレージサーバ9008が特定したNN関連情報が、ストレージサーバ9008からクラウドサーバ9002へ送信される(ステップS1160)。一方、クラウドサーバ9002は、NN関連情報を取得すると、取得したNN関連情報から係数情報を抽出する(ステップS1161)。その後、抽出された係数情報が、クラウドサーバ9002から空気調和機9004へ送信される(ステップS1162)。このようにして、空気調和機9004は、空気調和機3004のニューラルネットワーク記憶部2436が記憶していた重み係数を示す情報を取得して、取得した重み係数を示す情報を自装置のニューラルネットワーク記憶部に記憶させることができる。
また、例えば図96に示すように、端末装置11009が、空気調和機3004が設置されている住戸内の写真画像GA21と、空気調和機3004が用いるニューラルネットワークに付与されたNN識別情報ID11001と、を含む画像GA2を表示部11009aに表示するものであってもよい。
この場合、例えば図97に示すように、まず、ステップS1152からS1156の一連の処理が実行されることにより、ストレージサーバ9008が、空気調和機3004により用いられるニューラルネットワークに対応するNN関連情報をNN関連情報記憶部931に記憶させる。なお、図97において、図95を用いて説明した処理と同様の処理については同一の符号を付している。その後、端末装置11009が、例えば図97に示すように、写真画像GA21とNN識別情報ID11001と含む画像GA2を表示部11009aに表示させたとする(ステップS1176)。ここで、端末装置11009の利用者が、端末装置11009に対して空気調和機3004が用いるニューラルネットワークに設定された重み係数と同じ重み係数を空気調和機9004が用いるニューラルネットワークに設定するための係数設定操作を行ったとする。この係数設定操作では、例えば利用者が予め設定された操作画面からNN識別情報ID11001を入力する。そうすると、端末装置11009は、利用者により行われた係数設操作を受け付ける(ステップS1177)。次に、NN識別情報ID11001を含む係数要求情報が、端末装置11009からクラウドサーバ9002へ送信される(ステップS1178)。
続いて、クラウドサーバ9002が係数要求情報を取得すると、NN識別情報ID11001を含むNN関連情報要求情報が、クラウドサーバ9002からストレージサーバ9008へ送信される(ステップS1179)。一方、ストレージサーバ9008は、NN関連情報要求情報を取得すると、取得したNN関連情報要求情報からNN識別情報ID11001を抽出する。そして、ストレージサーバ9008は、NN関連情報記憶部931が記憶するNN関連情報の中から、NN識別情報ID11001が付与されたNN関連情報を特定する(ステップS1180)。
その後、ストレージサーバ9008が特定したNN関連情報が、ストレージサーバ9008からクラウドサーバ9002へ送信される(ステップS1181)。一方、クラウドサーバ9002は、NN関連情報を取得すると、取得したNN関連情報から係数情報を抽出する(ステップS1182)。その後、抽出された係数情報が、クラウドサーバ9002から空気調和機9004へ送信される(ステップS1183)。
更に、例えば図98Aまたは図98Bに示すように、端末装置11009が、空気調和機9004を操作するためのジェスチャを紹介する画像と、空気調和機3004が用いるニューラルネットワークに付与されたNN識別情報ID12001、ID12002と、含む画像GA3、GA4を表示部11009aに表示するものであってもよい。或いは、図98Cに示すように、端末装置11009が、空気調和機3004が用いる操作用ニューラルネットワークの重み係数を示す情報のダウンロードランキングのヒストグラムを示す画像と、空気調和機3004が用いるニューラルネットワークに付与されたNN識別情報ID12003と、含む画像GA5を表示部11009aに表示するものであってもよい。
この場合、例えば図99に示すように、まず、ステップS1152からS1156の一連の処理が実行されることにより、ストレージサーバ9008が、空気調和機3004により用いられる操作用ニューラルネットワークに設定された重み係数を示す情報を含むNN関連情報をNN関連情報記憶部931に記憶させる。なお、図99において、図95を用いて説明した処理と同様の処理については同一の符号を付している。その後、端末装置11009が、例えば図98Aから図98Cに示すように、ジェスチャ紹介画像とNN識別情報ID12001、ID12002、ID12003と含む画像GA3、GA4、GA5を表示部11009aに表示させたとする(ステップS1196)。ここで、端末装置11009の利用者が、端末装置1109に対して空気調和機3004が用いる操作特定用ニューラルネットワークに設定された重み係数と同じ重み係数を空気調和機9004が用いる操作特定用ニューラルネットワークに設定するための係数設定操作を行ったとする。そうすると、端末装置11009は、利用者により行われた係数設操作を受け付ける(ステップS1197)。次に、NN識別情報ID12001、ID12002、ID12003を含む係数要求情報が、端末装置11009からクラウドサーバ9002へ送信される(ステップS1198)。
続いて、クラウドサーバ9002が係数要求情報を取得すると、NN識別情報ID12001、ID12002、ID12003を含むNN関連情報要求情報が、クラウドサーバ9002からストレージサーバ9008へ送信される(ステップS1199)。一方、ストレージサーバ9008は、NN関連情報要求情報を取得すると、取得したNN関連情報要求情報からNN識別情報ID12001、ID12002、ID12003を抽出する。そして、ストレージサーバ9008は、NN関連情報記憶部931が記憶するNN関連情報の中から、NN識別情報ID12001、ID12002、ID12003が付与されたNN関連情報を特定する(ステップS1200)。
その後、ストレージサーバ9008が特定したNN関連情報が、ストレージサーバ9008からクラウドサーバ9002へ送信される(ステップS1201)。一方、クラウドサーバ9002は、NN関連情報を取得すると、取得したNN関連情報から操作特定用ニューラルネットワークに設定された重み係数を示す情報を含む係数情報を抽出する(ステップS1202)。その後、抽出された係数情報が、クラウドサーバ9002から空気調和機9004へ送信される(ステップS1203)。
本構成によれば、ニューラルネットワークの重み係数を示す情報を、異なる空気調和機3004、9004間で自由に授受することが可能となる。従って、利用者は、例えば空気調和機3004が設置された住戸内空間の環境を、新に空気調和機9004が設置された住戸内空間で簡単に実現することができるので、利用者の利便性を向上させることができる。
また、前述の図91において、ストレージサーバ9008が、情報銀行Aとして機能するようにしてもよい。ニューラルネットワークに関する情報(NN関連情報)は、空気調和機9004のような機器毎または個人毎に生成される。このため、NN関連情報は膨大な量となるため、それらを、図77に示すメーカクラウドB、Cで管理するのではなく、情報銀行Aとして機能するストレージサーバ9008で一括して管理するほうが好ましい。例えばストレージサーバ9008に、空気調和機、給湯機等の設計時または製造時におけるパラメータ算出用ニューラルネットワークの基本情報(構造、係数、初期値等)、教師情報(例えば操作特定用ニューラルネットワークに用いられる画像情報)、学習方式を示す情報等、或いは、利用者が使用しているパラメータ算出用ニューラルネットワーク、操作特定用ニューラルネットワークそれぞれの重み係数を示す情報、空気調和機、給湯機等で不具合が発生した時期の履歴情報を記憶させておくことができる。また、情報銀行として機能するストレージサーバ9008には、機器の設計時または工場出荷時におけるニューラルネットワークに関する情報を保存させることができる。これにより、パラメータ算出用ニューラルネットワーク、操作特定用ニューラルネットワークに関連する膨大な情報量を、個々のクラウドサーバ9002で保持させる必要がないため、クラウドサーバ9002の小規模化を図ることができる。
また、情報銀行Aとして機能するストレージサーバ9008が、NN関連情報として、機器の開発履歴、機械学習の方法等に関する情報を保存しておくことにより、機器で不具合を再現させたり、機器の回収または機器の改善をできるようにしておくことができる。更に、ストレージサーバ9008が、市場に投入された機器それぞれが保有するニューラルネットワークに関する情報を管理することで、機器の使用中に得られた利用者の特徴量を示す情報、機器での不具合発生時の履歴情報等を、その機器がリプレイスされた際にリプレイス後の機器へ再インストールさせることができる。また、市場品質が改善された機器で用いられているニューラルネットワークに関する情報を、新規の機器にプリインストールさせることもできる。
また、情報銀行Aに預け入れたニューラルネットワークに関する情報を、利用者毎にカテゴライズし、一人暮らし用、4人家族用、子供部屋用の平均的な学習済みニューラルネットワークの情報を用意し、ユーザが機器を新規に購入した際、これらを選択してダウンロードすることにより、家族構成に合わせたニューラルネットワークに関する情報をインストールすることができ、最適な機器の自動運転またはユーザインターフェースの実現が可能となる。また、情報銀行A内で、家族構成、性別年齢等のタイプ別に使用中の履歴情報を分類し、これらの履歴情報をベースに新たな学習済みのニューラルネットワークを生成することもできる。この場合、係数情報とともに係数情報に対応する付帯情報を配信し、付帯情報に係数情報に対応する使用環境を示す情報を含めることで、係数情報に対応するニューラルネットワークで実現できる住環境等の内容をスマートフォンに表示して、利用者が、住環境等を確認した上でダウンロードしたり、目的と異なる係数情報を拒否もしくは削除したりする事ができる。なお、上記の新たな学習済みニューラルネットワークの重み係数情報は、クラウドサーバ9002と例えば空気調和機9004とを接続してからダウンロードされてもよいし、或いは、スマートフォンのような端末装置を介して行ってもよい。特に新築戸建てのように住戸内に局所ネットワークの回線が機能していない場合に有効である。
更に、利用者が機器に搭載されているニューラルネットワークを使って学習しカスタマイズしていく場合も、情報銀行Aの活用が有効になる。機器に搭載されているニューラルネットワークは、利用者の操作など履歴を経てその利用者に適したものにカスタマイズされていく。そこで、このニューラルネットワークに関する情報が、メーカのクラウドサーバ9002へ定期的にアップロードされるようにすれば、クラウドサーバ9002にアップロードされた係数情報を用いて、利用者の引っ越し先で同じ使い勝手または機器設定で機器を利用者の嗜好に応じた形で自動運転させたりすることができる。また、利用者毎に異なる住空間を再現したり、ジェスチャ操作の態様の提供を行うサービスを行うことも可能となる。
但し、市場に投入されたニューラルネットワークを保有する機器それぞれの係数情報は膨大でありメーカのクラウドサーバ9002のみで管理する場合、メーカにとって負担が大きい。そこで、本変形例に係る制御システムでは、メーカが保有するクラウドサーバ9002から情報銀行Aとして機能するストレージサーバ9008へニューラルネットワークに関する情報(NN関連情報)の転送(いわゆる預け入れ)が行われる。この場合、NN関連情報とともに、ニューラルネット基本情報(構造・係数・初期値等)、教師情報(教師画像等)、学習方式情報、個人識別情報、機器識別情報等を含む係数属性情報を併せてストレージサーバ9008へ転送してもよい。例えば、利用者が引っ越し先また長期滞在先で同じような空調環境を再現したい場合は、端末装置のストレージサーバ9008を使ったサービスを受けるためのアプリケーションを起動して、個人識別情報と新たな機器識別情報を、ストレージサーバ9008にアップロードしておけばよい。これにより、利用者は、情報銀行Aとして機能するストレージサーバ9008からニューラルネットワークに関する情報を取得して、引っ越し先または長期滞在先にある別の機器へダウンロードすることで、利用者向けにカスタマイズされた環境を実現することが可能となる。
実施の形態9に係る制御システムにおいて、例えば空気調和機6004が撮像装置481により撮像して得られた利用者のジェスチャを示す画像が、空気調和機6004のメンテナンスを行うための操作に対応するものである場合、ニューラルネットワークのメンテナンス用の重み係数を示す情報が、クラウドサーバ6002から空気調和機6004へ送信されるものであってもよい。この場合、クラウドサーバ6002は、予めメンテナンス用の機器設定パラメータを示す機器情報を記憶する機器情報記憶部(図示せず)を備えるようにすればよい。
ここで、本変形例に係る制御システムの動作について図100および図101を参照しながら説明する。なお、図100において実施の形態9と同様の処理については、図72と同一の符号を付している。まず、空気調和機6004が、利用者による手動モードへの切り替え操作を受け付けると(ステップS1088)、この場合、空気調和機6004は、動作モードを手動モードに設定する(ステップS1089)。続いて、空気調和機8004が撮像装置481により利用者の画像情報を取得すると(ステップS1165)、空気調和機8004は、取得した画像情報に基づいて、操作識別情報を特定する(ステップS1166)。ここでは、ニューロエンジン404が、操作特定用ニューラルネットワークを用いて、取得した画像情報から当該画像情報に対応する判定値を算出する。そして、機器設定更新部6419が、操作特定用NN記憶部6435が記憶する判定値情報を参照して、ニューロエンジン404が算出した判定値に対応する操作識別情報を特定する。また、画像情報が、例えば図101に示すように、メンテナンス作業者であることを識別するマークMK1が付与された帽子を被った利用者MWの画像、或いは、メンテナンス作業者であることを識別するマークMK2が掲載されたバッジの画像を含むものであるとする。この場合、機器設定更新部6419は、メンテナンス作業に対応づけられた操作識別情報を特定する。
そして、メンテナンス作業に対応づけられた操作識別情報が特定されると、クラウドサーバ6002に対してメンテナンス作業用の機器設定パラメータを示す機器設定情報の送信を要求するメンテナンス用機器設定要求情報が、空気調和機6004からクラウドサーバ6002へ送信される(ステップS1167)。一方、クラウドサーバ6002は、メンテナンス用機器設定要求情報を取得すると、メンテナンス用機器設定要求情報に対応する機器設定パラメータを示す機器設定情報を特定する(ステップS1168)。次に、特定されたメンテナンス用の機器設定パラメータを示す機器設定情報が、クラウドサーバ6002から空気調和機6004へ送信される(ステップS1170)。一方、空気調和機6004は、機器設定情報を取得すると、取得した機器設定情報を機器設定記憶部431に記憶させる(ステップS1176)。これにより、空気調和機6004は、メンテナンス作業に適した動作を実行する。
本構成によれば、空気調和機6004のメンテナンス作業を行う作業者が、操作機器6、72等を操作することなくメンテナンス作業を開始することができるので、空気調和機4、52のメンテナンス作業の効率化を図ることができる。
実施の形態3では、履歴情報が、空気調和機2004から直接クラウドサーバ2002へ送信され、係数情報が、クラウドサーバ2002から直接空気調和機2004へ送信される例について説明したが、実施の形態2における履歴情報、係数情報の送信方法は、これに限定されない。例えば、履歴情報が、空気調和機2004からいわゆるテザリング機能を有する端末装置(図示せず)で中継されてクラウドサーバ2002へ送信され、係数情報が、クラウドサーバ2002から端末装置で中継されて空気調和機2004へ送信されるものであってもよい。また、実施の形態5では、係数情報および気象実績情報が、クラウドサーバ3002から直接空気調和機3004へ送信される例について説明したが、実施の形態3における係数情報、気象実績情報の送信方法は、これに限定されない。例えば、係数情報および気象実績情報が、クラウドサーバ3002から端末装置で中継されて空気調和機3004へ送信されるものであってもよい。ここで、端末装置としては、例えばスマートフォンのような携帯端末を採用することができる。
本構成によれば、空気調和機2004、3004が直接ネットワークに接続されていない場合でも、空気調和機2004からクラウドサーバ2002へ履歴情報を送信したり、クラウドサーバ2002、3002から空気調和機2004、3004へ係数情報または気象実績情報を送信したりすることができる。
実施の形態9から11において、利用者がジェスチャ操作を独自にカスタマイズする場合、操作機器6006に対して予め設定された操作が為されたことを契機としてジェスチャ画像を取り込むものであってもよい。或いは、操作機器6006が、マイクロフォンを備える場合、利用者が操作機器6006のマイクロフォンに対して予め決められた音声フレーズを伝達したことを契機としてジェスチャ画像を取り込むものであってもよい。
実施の形態9から11において、空気調和機6004、7004、8004が、ジェスチャ操作において空気調和機6004、7004、8004において誤動作が生じた場合、操作エラー情報をクラウドサーバ6002、7002、8002へ送信するものであってもよい。そして、クラウドサーバ6002、7002、8002が、操作エラー情報に基づいて、空気調和機6004、7004、8004から取得した画像情報の中から操作エラーが発生した時期に対応した画像情報を削除して、操作特定用ニューラルネットワークの重み係数を決定し、決定した重み係数を示す情報を空気調和機6004、7004、8004へ送信するものであってもよい。また、クラウドサーバ6002、7002、8002が受信した画像情報を、空気調和機6004、7004、8004における誤動作の発生が多い画像情報と、少ない画像情報と、を分類し、分類結果に基づいて、同一種類の空気調和機6004、7004、8004の工場出荷時における操作特定用ニューラルネットワークの初期重み係数を示す情報を決定してもよい。本構成によれば、空気調和機6004、7004、8004の市場不良率を下げることができる。
実施の形態2では、クラウドサーバ15002が、気象サーバ3から取得した気象情報を用いてスケジュール情報を生成する構成について説明したが、これに限らず、例えば、クラウドサーバ15002が、気象情報を用いずに機器設定パラメータを算出してスケジュール情報を生成するものであってもよい。この場合、例えば図102に示すように、クラウドサーバ15002は、気象情報取得部212、気象情報記憶部232を備えない構成とすればよい。
実施の形態3では、空気調和機2004が、気象サーバ3から取得した気象情報を用いて機器設定パラメータを算出する構成について説明したが、これに限らず、例えば、空気調和機2004が、気象情報を用いずに機器設定パラメータを算出するものであってもよい。この場合、例えば図103に示すように、空気調和機2004は、気象情報取得部2422と気象情報記憶部2437とを備えない構成とすればよい。また、クラウドサーバ2002は、図104に示すように、気象情報取得部212と気象情報記憶部232とを備えない構成としてもよい。
実施の形態5では、空気調和機3004が、気象サーバ3から取得した気象情報を用いて機器設定パラメータを算出する構成について説明したが、これに限らず、例えば、空気調和機3004が、気象情報を用いずに機器設定パラメータを算出するものであってもよい。この場合、例えば図105に示すように、空気調和機3004は、気象情報取得部2422と気象情報記憶部2437とを備えない構成とすればよい。また、クラウドサーバ2002は、図106に示すように、気象実績取得部3212と気象情報記憶部232とを備えない構成としてもよい。
各実施の形態において、利用者特定部421が、空気調和機4の利用者の体型が予め設定された複数種類の体型の分類のいずれに属するかを特定するものであってもよい。
また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線の掲示版(BBS(Bulletin Board System))にアップロードされ、通信回線を介してコンピュータに配信されてもよい。そして、コンピュータは、このプログラムを起動して、OS(Operating System)の制御の下、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行する空気調和機4、2004、3004、4004、5041、5042、5043、6004、7004、8004、9004,15004、16004、17004およびクラウドサーバ2、2002、3002、4002、5002、6002、7002、8002、9002、15002、16002、17002として機能する。
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。