(実施の形態1)
以下、本開示の実施の形態に係る制御装置について図面を参照しながら説明する。本実施の形態に係る制御システムは、少なくとも1つの機器を制御する制御装置と、端末装置と、を備える。端末装置は、撮像部と、撮像部により少なくとも1つの機器と制御装置とを一括して撮像して得られる撮像画像に含まれる、少なくとも1つの機器の機器画像と、制御装置の制御装置画像と、を認識する画像認識部と、管理テーブル情報を生成する管理テーブル生成部と、を備える。ここで、管理テーブル情報は、複数の領域それぞれを識別する領域識別情報を、少なくとも1つの機器を識別する機器識別情報に対応づける情報である。管理テーブル生成部は、前述の制御装置画像に基づいて、制御装置と少なくとも1つの機器それぞれにより環境パラメータを調節する対象となる複数の領域との相対的な位置関係を示すエリアマップを特定する。そして、管理テーブル生成部は、制御装置が少なくとも1つの機器それぞれを予め設定された外観となるように制御したときの機器画像および制御装置画像に基づいて、少なくとも1つの機器と制御装置との相対的な位置関係を特定することにより、管理テーブル情報を生成する。
本実施の形態に係る制御システムは、例えば図1に示すように、複数(図1では4つ)の空気調和機2(2A、2B、2C、2D)が天井に設置された建物H1で使用されるものであり、制御装置1と、端末装置3と、を備える。空気調和機2は、制御装置1から受信する制御情報に基づいて、起動または停止したり、風速または風向を変更したりする。ここで、空気調和機2は、4つの吹き出し口2a、2b、2c、2dと、吹き出し口2a、2b、2c、2dを開閉するルーバ22a、22b、22c、22dと、を有する。また、空気調和機2は、制御装置1から後述する動作開始指令情報を受信すると、起動し、自機が起動したことを制御装置1へ通知するための応答情報を生成する。そして、空気調和機2は、生成した応答情報を制御装置1へ送信する。
端末装置3は、例えばスマートフォンであり、図2に示すように、CPU(Central Processing Unit)301、主記憶部302と、補助記憶部303と、表示部304と、入力部305と、無線モジュール306と、撮像部307と、これらを互いに接続するバス309と、を備える。主記憶部302は、RAM(Random Access Memory)のような揮発性メモリを有し、CPU301の作業領域として使用される。また、主記憶部302は、撮像部307により撮像して得られた画像を一時的に記憶する画像メモリ(図示せず)を有する。補助記憶部303は、半導体フラッシュメモリのような不揮発性メモリであり、CPU301が各種処理を実行するためのプログラムを記憶する。表示部304は、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等の表示装置である。入力部305は、例えば表示部304に重ねて配置される透明なタッチパッドである。無線モジュール306は、制御装置1との間で例えばBluetooth(登録商標)のような近距離無線通信規格に適合した通信方式での無線通信が可能であり、CPU301から転送される情報を制御装置1へ送信したり、制御装置1から受信した情報をCPU301へ転送したりする。撮像部307は、カメラであり、撮像して得られた画像を主記憶部302へ転送する。
CPU301は、補助記憶部303が記憶するプログラムを主記憶部302に読み出して実行することにより、図3に示すように、受付部311、指令部312、表示制御部313、画像認識部314、管理テーブル生成部315、管理テーブル送信部316、機器識別情報取得部317および撮像制御部318として機能する。また、図2に示す補助記憶部303は、図3に示すように、操作画面画像を記憶する操作画面記憶部331と、管理テーブル情報を記憶する管理テーブル記憶部332と、を有する。ここで、管理テーブル情報は、図1に示す複数の領域A11、A12、・・・、A44それぞれを識別する領域識別情報を、4つの空気調和機2A、2B、2C、2Dそれぞれを識別する機器識別情報と、空気調和機2の吹き出し口2a、2b、2c、2dを識別する吹き出し口識別情報と、に対応づける情報である。ここで、領域A11、A12、・・・、A44は、それぞれ、図1に示すように建物H1内の空間を4×4の格子状に分割したときの各領域に相当する。
受付部311は、ユーザが入力部305に対して行った操作内容を受け付ける。ここで、操作内容としては、例えば制御装置1を起動させたり制御装置1を停止モードに移行させたりするためにユーザが入力部305に対して行った操作の内容が含まれる。
指令部312は、受付部311が受け付けた操作内容に応じた指令情報を生成し、生成した指令情報を制御装置1へ送信する。ここで、指令部312は、ユーザが画像認識部314による認識結果についてユーザが了承し入力部305に対して確認完了操作を行い、受付部311がその操作を受け付けると、制御装置1に対して後述する発光部16a、16b、16c、16dを点灯させるよう指令する点灯指令情報を制御装置へ送信する。また、指令部312は、管理テーブル生成部315から後述する機器選択通知情報が通知されると、これに対応する空気調和機2へ予め設定された外観となるように空気調和機2を動作させるための動作指令情報を、制御装置1へ送信する。また、指令部312は、ユーザが入力部305に対して制御装置1を起動させるための操作を行うと、制御装置1に起動するよう指令する起動指令情報を制御装置1へ送信する。
表示制御部313は、操作画面記憶部331から操作画面画像を示す画像情報を取得し、取得した画像情報に対応する操作画面画像を表示部304に表示させる。また、表示制御部313は、表示部304に表示させた操作画面画像に含まれる釦画像の位置情報を受付部311へ通知する。そして、受付部311は、表示制御部313から通知される位置情報に基づいて、入力部305における釦画像に対応する部分がタッチされたか否かを判別する。また、表示制御部313は、撮像制御部318から撮像画像情報が入力されると、入力された撮像画像情報が示す撮像画像を表示部304に表示させる。
撮像制御部318は、管理テーブル生成部315から撮像指令情報が通知されると、撮像部307を駆動する。そして、撮像制御部318は、撮像部307により撮像して得られた撮像画像を示す撮像画像情報を画像認識部314および表示制御部313へ出力する。ここで、撮像部307の画角の中に制御装置1と空気調和機2とが含まれる場合、撮像制御部318は、制御装置1と空気調和機2を一括して撮像して得られる撮像画像を示す撮像画像情報を画像認識部314および表示制御部313へ出力する。
画像認識部314は、撮像制御部318から撮像画像情報が入力されると、入力された撮像画像情報が示す撮像画像に含まれる制御装置1の画像である制御装置画像と、空気調和機2の画像である機器画像と、を認識するための画像認識処理を実行する。ここで、画像認識部314は、撮像部307により撮像して得られる撮像画像の中に制御装置1と空気調和機2とが含まれる場合、機器画像と制御装置画像とを認識する。
機器識別情報取得部317は、制御装置1へ機器識別情報要求情報を送信することにより、制御装置1から4つの空気調和機2それぞれを識別する機器識別情報を取得し、取得した機器識別情報を管理テーブル生成部315に通知する。ここで、機器識別情報は、4つの空気調和機2それぞれに付与されたMACアドレス、IPアドレス等である。
管理テーブル生成部315は、前述の管理テーブル情報を生成し、生成した管理テーブル情報を管理テーブル記憶部332に記憶させる。具体的には、管理テーブル生成部315は、画像認識部314により認識された制御装置画像に基づいて、制御装置1と領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する。そして、管理テーブル生成部315は、制御装置1が空気調和機2を予め設定された外観となるように制御したときに画像認識部314により認識される機器画像および制御装置画像に基づいて、空気調和機2と制御装置1との相対的な位置関係を特定することにより、管理テーブル情報を生成する。ここで、制御装置1は、例えば空気調和機2が4つのルーバ22a、22b、22c、22dのうちのいずれか1つを開状態にした外観となるように制御する。管理テーブル送信部316は、管理テーブル記憶部332が記憶する管理テーブル情報を制御装置1へ送信する。
また、管理テーブル生成部315は、4つの空気調和機2の中から1つの空気調和機2を選択し、機器識別情報取得部317から通知される機器識別情報の中から、選択した空気調和機2の機器識別情報を特定する。そして、管理テーブル生成部315は、特定した機器識別情報を指令部312に通知する。このとき、指令部312は、管理テーブル生成部315から選択された空気調和機2の機器識別情報が通知されると、その機器識別情報が付与された空気調和機2を予め設定された外観となるよう指令する動作指令情報を制御装置1へ送信する。そして、管理テーブル生成部315は、制御装置1が選択した1つの空気調和機を予め設定された外観となるように制御したときの機器画像および制御装置画像に基づいて、選択した1つの空気調和機2と制御装置1との相対的な位置関係を特定する。
制御装置1は、図2に示すように、制御ユニット11と、センサ12と、姿勢変更部17と、発光部16a、16b、16c、16dと、発光部16a、16b、16c、16dを点灯させる点灯駆動部15と、を備える。また、制御装置1は、図4Aおよび図4Bに示すような平面視円形の箱状であり透光性材料から形成されたドーム状のカバー18を有する筐体19を備える。発光部16a、16b、16c、16dは、筐体19のカバー18を囲繞するように筐体19の周方向に沿って等間隔に配設されている。発光部16a、16b、16c、16dは、それぞれ、筐体19の周方向に等間隔に配置された複数の発光装置(図示せず)を有する。ここで、発光装置は、LED(Light Emitting Diode)、有機EL素子等の発光素子を有する。
点灯駆動部15は、例えば電力変換回路(図示せず)と、電力変換回路を駆動する駆動ユニット(図示せず)と、を有し、発光部16a、16b、16c、16dへ電流を各別に供給することにより発光部16a、16b、16c、16dを各別に点灯させる。点灯駆動部15は、制御ユニット11から発光部16a、16b、16c、16dを予め設定された点灯態様で予め設定された時間だけ点灯させるよう指令する点灯指令情報が入力されると、発光部16a、16b、16c、16dが予め設定された点灯態様で点灯させる。
センサ12は、例えば非冷却型赤外線イメージセンサであり、検知領域における温度分布を示す熱画像を撮像する。センサ12は、撮像した熱画像を示す熱画像情報を制御ユニット11へ出力する。なお、非冷却型イメージセンサとしては、ボロメータ型、強誘電体型、SOI(Silicon on Insulator)ダイオード型、サーモパイル型、光読出バイメタル型のいずれであってもよい。また、制御装置1は、図5に示すように、センサ12を支持するセンサ支持部22を備える。そして、姿勢変更部17は、センサ支持部22の姿勢を変更することによりセンサ12の検知領域を空気調和機2が設置された建物H1内の空間における領域A11、A12、・・・、A44へ順次移動させる。センサ支持部22は、センサ12を支持するサブ支持部222と、サブ支持部222が固定されたシャフト223を回転軸J2周りに回転自在に支持するサブ支持部221と、サブ支持部221を回転軸J1周りに回転自在に支持する基台部212と、を有する。サブ支持部222は、センサ12を予め設定された傾きで支持する。また、サブ支持部221は、センサ12を、サブ支持部222を介して支持する。
また、姿勢変更部17は、図2に示すように、モータ14、226と、モータ14、226を各別に駆動するモータ駆動部13と、を有する。モータ14は、例えばステッピングモータであり、モータ駆動部13は、制御ユニット11から入力される制御情報に基づいて、モータ14へパルス電流を供給することによりモータ14を回転駆動する。また、図5に示すように、モータ14のシャフト14aには、ギヤ211が取り付けられている。基台部212は、円板状であり、周面にギヤ211に噛合する歯212aが形成されている。そして、モータ14のシャフト14aが回転すると、その回転駆動力がギヤ211を介して基台部212に伝達し、基台部212が矢印AR101に示すように回転軸J1周りに回動する。モータ226は、モータ14と同様に、ステッピングモータであり、モータ駆動部13は、制御ユニット11から入力される制御情報に基づいて、モータ226へパルス電流を供給することによりモータ226を回転駆動する。また、モータ226のシャフト226aには、円筒状のウォーム242が取り付けられている。そして、サブ支持部222が回転軸J2に対して回転自在に支持するシャフト223には、ウォーム242に噛合するウォームホイール241が固定されている。そして、モータ226のシャフト226aが回転すると、その回転駆動力がウォーム242を介してウォームホイール241に伝達し、ウォームホイール241が固定されたシャフト223が回転軸J2周りに回動する。これに伴い、シャフト223に固定されたサブ支持部222が、矢印AR201に示すように回転軸J2周りに回動する。
図2に戻って、制御ユニット11は、CPU101と、主記憶部102と、補助記憶部103と、センサインタフェース104と、無線モジュール106と、有線通信インタフェース107と、出力インタフェース105、108と、これらを互いに接続するバス109と、を備える。主記憶部102は、揮発性メモリであり、CPU101の作業領域として使用される。補助記憶部103は、不揮発性メモリであり、CPU101が各種処理を実行するためのプログラムを記憶する。無線モジュール106は、端末装置3との間で前述の近距離無線通信規格に適合した通信方式での無線通信が可能であり、CPU101から転送される情報を端末装置3へ送信したり、端末装置3から受信した情報をCPU101へ転送したりする。有線通信インタフェース107は、空気調和機2との間で有線LAN(Local Area Network)を介して通信可能であり、CPU101から転送される情報を空気調和機2へ送信したり、空気調和機2から受信した情報をCPU101へ転送したりする。出力インタフェース105は、CPU101から入力されるモータ制御情報をモータ駆動部13へ出力する。出力インタフェース108は、CPU101から入力される点灯制御情報を点灯駆動部15へ出力する。センサインタフェース104は、センサ12から入力される検出信号を検出情報に変換してCPU101へ転送する。
CPU101は、補助記憶部103が記憶するプログラムを主記憶部102に読み出して実行することにより、図3に示すように、姿勢変更制御部111、熱画像取得部113、解析部114、機器制御部115、指令取得部116、点灯制御部117、機器識別情報取得部118および管理テーブル取得部119として機能する。また、図2に示す補助記憶部103は、図3に示すように、熱画像記憶部131と、解析結果記憶部132と、制御情報記憶部133と、撮像角度記憶部134と、管理テーブル記憶部135と、を有する。熱画像記憶部131は、図6Aに示すように、建物H1内を複数の領域A11、A12、・・・、A44に区分したときの領域A11、A12、・・・、A44それぞれの温度の分布を表した熱画像を示す熱画像情報を、領域A11、A12、・・・、A44を識別する領域識別情報に対応づけて記憶する。
図3に戻って、解析結果記憶部132は、解析部114による熱画像の解析結果を示す解析結果情報を記憶する。解析結果情報としては、建物H1内における各領域A11、A12、・・・、A44それぞれにおける人の存否を示す人存否情報と、7つの領域A11、A12、・・・、A44それぞれの平均温度を示す平均温度情報と、が含まれる。制御情報記憶部133は、空気調和機2の動作を制御するための制御情報を記憶する。制御情報としては、空気調和機2の運転モードを示す運転モード情報、空気調和機2の設定温度を示す設定温度情報、風量を示す風量情報、風向を示す風向情報が含まれる。撮像角度記憶部134は、図6Bに示すように、領域A11、A12、・・・、A44それぞれに対応する撮像位置情報を、領域識別情報に対応づけて記憶する。ここで、撮像位置情報は、基台部212の予め設定された第1基準姿勢からの回転角度を示す水平角度情報と、サブ支持部222の予め設定された第2基準姿勢からの回転角度を示す垂直角度情報と、を含む。制御装置1が、例えば図1に示すように建物H1内を複数の領域A11、A12、・・・、A44に区分して建物H1内の温度を調節する場合、撮像位置情報は、制御装置1のセンサ12が各領域A11、A12、・・・、A44それぞれを臨む姿勢となったときの水平角度および垂直角度に設定される。
管理テーブル記憶部135は、端末装置3から受信した管理テーブル情報を記憶する。管理テーブル情報は、例えば図7に示すように、複数の領域A11、A12、・・・、A44それぞれを識別する領域識別情報を、4つの空気調和機2A、2B、2C、2Dそれぞれを識別する機器識別情報と、空気調和機2の吹き出し口2a、2b、2c、2dを識別する吹き出し口識別情報と、に対応づける情報である。
図3に戻って、姿勢変更制御部111は、センサ12の検知領域が建物H1内の空間における複数の領域A11、A12、・・・、A44へ順次移動するように姿勢変更部17を制御する。ここで、姿勢変更制御部111は、撮像角度記憶部134が記憶する各領域A11、A12、・・・、A44に対応する水平角度情報および垂直角度情報に基づいてモータ駆動部13を制御する。姿勢変更制御部111は、基台部212およびサブ支持部222を、各領域A11、A12、・・・、A44に対応する回転角度に到達させる毎に、その領域識別情報を含む撮像準備完了通知情報を熱画像取得部113に通知する。
熱画像取得部113は、センサ12により検知される検知領域における温度分布を示す熱画像情報を取得し、取得した熱画像情報を姿勢変更制御部111から通知される撮像準備完了通知情報に含まれる領域識別情報に対応づけて熱画像記憶部131に記憶させる。
解析部114は、熱画像情報が示す建物H1内の複数の領域A11、A12、・・・、A44それぞれの温度の分布に基づいて、領域A11、A12、・・・、A44それぞれの状況を解析する。解析部114は、熱画像情報に基づいて、建物H1内における領域A11、A12、・・・、A44それぞれにおける人の存否を判別し、その結果を人存否情報として解析結果記憶部132に記憶させる。また、解析部114は、熱画像情報に基づいて、領域A11、A12、・・・、A44それぞれの平均温度を算出し、算出した平均温度を示す平均温度情報を解析結果記憶部132に記憶させる。
指令取得部116は、端末装置3から送信される指令情報を取得し、取得した指令情報を、姿勢変更制御部111、機器制御部115または点灯制御部117に通知する。指令情報には、制御装置1を停止モードから通常モードへ移行させるための起動指令情報と、制御装置を通常モードから停止モードへ移行させるための停止モード移行指令情報と、が含まれる。ここで、停止モードとは、例えば無線モジュール106のみを動作させて端末装置3から指令情報を受信する機能のみを発揮し、CPU101を停止状態で維持するいわゆるスリープ状態となるモードである。
点灯制御部117は、指令取得部116が端末装置3から点灯指令情報を受信すると、受信した点灯指令情報に応じた点灯態様で発光部16a、16b、16c、16dを点灯させるよう点灯駆動部15を制御する。
機器制御部115は、解析部114による解析結果に基づいて、空気調和機2を制御する。機器制御部115は、管理テーブル記憶部135が記憶する管理テーブル情報と、解析結果記憶部132が記憶する人存否情報および平均温度情報と、に基づいて、空気調和機2A、2B、2C、2Dそれぞれへ送信する制御情報を特定する。例えば、領域A12に人が存在し、領域A12の平均温度が、予め設定された基準温度よりも高いとする。また、管理テーブル記憶部135が、図7に示すような管理テーブル情報を記憶しているとする。この場合、機器制御部115は、空気調和機2Dに対して、吹き出し口2b、2cの風量を増加させるとともにその空気の設定温度を低下させるような制御情報を生成して、空気調和機2Dへ送信する。このようにして、機器制御部115は、領域A11、A12、・・・、A44それぞれの温度分布に基づいて、領域A11、A12、・・・、A44それぞれの温度が予め設定された基準温度範囲内となるように空気調和機2を制御する。
また、機器制御部115は、指令取得部116が端末装置3から前述の動作指令情報を受信すると、空気調和機2が動作指令情報に応じた外観となるように空気調和機2を制御するための制御情報を特定する。そして、機器制御部115は、特定した制御情報を空気調和機2へ送信する。
機器識別情報取得部118は、端末装置3から機器識別情報要求情報を受信すると、機器識別情報の送信を要求する機器識別情報要求情報を4つの空気調和機2A、2B、2C、2Dそれぞれへ送信する。これにより、機器識別情報取得部118は、4つの空気調和機2A、2B、2C、2Dそれぞれから機器識別情報を取得する。そして、機器識別情報取得部118は、取得した機器識別情報を端末装置3へ送信する。
管理テーブル取得部119は、端末装置3から送信される管理テーブル情報を受信すると、受信した管理テーブル情報を管理テーブル記憶部135に記憶させる。
次に、本実施の形態に係る制御システムの動作について、図8から図12を参照しながら説明する。ここでは、空気調和機2および制御装置1が、建物H1の天井に設置された後、空気調和機2および制御装置1それぞれが起動しているものとして説明する。まず、ユーザが端末装置3において前述の管理テーブル情報を生成するためのアプリケーションを起動させるための起動操作を行うと、そのアプリケーションが起動する(ステップS1)。次に、ユーザが前述の管理テーブル情報の生成を開始させるための管理テーブル情報生成開始操作を行うと、端末装置3は、ユーザに対して撮像部307を空気調和機2および制御装置1が設置された天井に向けるように促すメッセージを表示部304に表示させる(ステップS2)。このとき、端末装置3は、例えば図9Aに示すようなメッセージ画像M1を含む操作画面画像を表示部304に表示させる。
図8に戻って、続いて、ユーザが、撮像部307を天井に向けて、撮像準備が完了したことを示す撮像準備完了操作を行うと、端末装置3が、空気調和機2および制御装置1を認識するための画像認識処理を実行する(ステップS3)。ここで、撮像準備完了操作は、例えば図9Aに示すような操作画面画像が表示部304に表示されている状態で、ユーザが入力部305における撮像準備完了釦画像BU1に対応する部分をタッチする操作である。その後、図8に示すように、端末装置3は、画像認識処理により空気調和機2の機器画像と、制御装置1の制御装置画像と、が認識されると、認識した機器画像および制御装置画像の位置を強調する強調画像を表示部304に表示させる(ステップS4)。ここで、端末装置3は、例えば図9Bに示すような機器画像GA2A、GA2B、GA2C、GA2Dおよび制御装置画像GA1を含む撮像画像と、機器画像GA2A、GA2B、GA2C、GA2Dを囲繞する矩形枠状の強調画像R2A、R2B、R2C、R2Dと、制御装置画像GA1を囲繞する矩形枠状の強調画像R1と、を含む操作画面画像を表示部304に表示させる。
図8に戻って、次に、ユーザが、機器画像GA2A、GA2B、GA2C、GA2Dおよび制御装置画像GA1がそれぞれ空気調和機2A、2B、2C、2Dおよび制御装置1それぞれを正常に認識していることの確認を完了したことを示す確認完了操作を行うと、制御装置1の発光部6a、6b、6c、6dを予め設定された点灯態様で点灯させるよう指令する点灯指令情報が、端末装置3から制御装置1へ送信される(ステップS5)。ここで、確認完了操作は、例えば図9Bに示すような操作画面画像が表示部304に表示されている状態で、ユーザが入力部305における確認完了釦画像BU2に対応する部分をタッチする操作である。
一方、制御装置1は、点灯指令情報を受信すると、受信した点灯指令情報に応じた点灯態様で発光部16a、16b、16c、16dを点灯させる(ステップS6)。続いて、端末装置3が、発光部16a、16b、16c、16dが点灯指令情報に応じて点灯態様で点灯した状態の制御装置画像を認識する(ステップS7)。ここで、制御装置1が例えば発光部16aのみを点灯させると、端末装置3は、例えば図10Aに示すように、点灯した状態の発光部16aに対応する発光部画像GA16aを含む制御装置画像GA1を認識する。これにより、制御装置1の空気調和機2A、2B、2C、2Dに対する相対的な姿勢が認識されることになる。図8に戻って、その後、端末装置3は、認識した制御装置画像に基づいて、制御装置1と複数の領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する(ステップS8)。ここで、エリアマップは、例えば図11Aに示すように、空気調和機2が対象とする領域を示すものである。図11Aに示す例では、空気調和機2Aが空気調和の対象とする領域TA(2A)が、領域A21、A22、A23、A31、A32、A33、A41、A42、A43であることを示している。なお、図11Aに示す例では、空気調和機2A、2B、2C、2Dが対象とする領域は互いに重なり合っている。また、空気調和機2Aの吹き出し口2aから出る風による空気調和の対象となる領域が、領域A32、A41、A42、A43であり、吹き出し口2bから出る風による空気調和の対象となる領域が、領域A23、A32、A33、A43である。更に、空気調和機2Aの吹き出し口2cから出る風による空気調和の対象となる領域が、領域A21、A22、A23、A32であり、吹き出し口2dから出る風による空気調和の対象となる領域が、領域A21、A31、A32、A41である。なお、エリアマップは、図11Bに示すように、領域TA(2A)が、領域A31、A32、A41、A42であってもよい。この場合、空気調和機2A、2B、2C、2Dが対象とする領域が重なっていない。また、空気調和機2Aの吹き出し口2aから出る風による空気調和の対象となる領域が、領域A41、A42であり、吹き出し口2bから出る風による空気調和の対象となる領域が、領域A32、A42である。更に、空気調和機2Aの吹き出し口2cから出る風による空気調和の対象となる領域が、領域A31、A32であり、吹き出し口2dから出る風による空気調和の対象となる領域が、領域A31、A41である。
図8に戻って、次に、機器識別情報の送信を要求する機器識別情報要求情報が、端末装置3から制御装置1へ送信される(ステップS9)。一方、制御装置1が機器識別情報要求情報を受信すると、機器識別情報の制御装置1への送信を要求する機器識別情報要求情報が、制御装置1から空気調和機2へ送信される(ステップS10)。一方、空気調和機2が機器識別情報要求情報を受信すると、その空気調和機2の機器識別情報が、空気調和機2から制御装置1へ送信される(ステップS11)。そして、制御装置1が機器識別情報を受信すると、受信した機器識別情報が、制御装置1から端末装置3へ送信される(ステップS12)。
一方、端末装置3は、機器識別情報を受信すると、受信した機器識別情報それぞれに対応する空気調和機2の中から1つの空気調和機2を選択する(ステップS13)。続いて、端末装置3が選択した空気調和機2に付与された機器識別情報を含む動作指令情報が、端末装置3から制御装置1へ送信される(ステップS14)。一方、制御装置1は、動作指令情報を受信すると、制御情報記憶部133が記憶する制御情報の中から、空気調和機2を動作指令情報に対応する外観となるよう制御するための制御情報を特定する(ステップS15)。その後、特定された制御情報が、制御装置1から動作指令情報に含まれる機器識別情報で識別される空気調和機2宛てへ送信される(ステップS16)。一方、動作指令情報に含まれる機器識別情報が付与された空気調和機2は、制御情報を受信すると、受信した制御情報に従って動作する(ステップS17)。ここで、動作指令情報が、例えば空気調和機2Aの機器識別情報を含み且つ吹き出し口2dに対応するルーバ22dを開状態にするよう指令する情報である場合、空気調和機2Aは、ルーバ22dを開状態で維持する。
そして、ユーザが端末装置3の表示部304に表示された操作画面画像に含まれる撮像画像を参照して、端末装置3の入力部305に対して外観が変化した空気調和機2に対応する機器画像を指定する指定操作を行うと、端末装置3が、当該指定操作を受け付ける(ステップS18)。ここで、ユーザが、例えば図10Bに示すような操作画面画像が表示されている状態で、入力部305における、吹き出し口画像GA2dが変化した機器画像GA2Aを囲繞する矩形枠状の強調画像R2Aの内側の部分をタッチすると、端末装置3は、機器画像GA2Aを指定する操作を受け付ける。次に、端末装置3は、指定された機器画像GA2Aと、制御装置画像GA1と、に基づいて、送信した動作指令情報に含まれる機器識別情報が付与された空気調和機2の制御装置1に対する相対的な位置を特定する(ステップS19)。続いて、端末装置3は、特定した空気調和機2について、4つの吹き出し口2a、2b、2c、2dのうちのいずれか1つに対応するルーバ22a、22b、22c、22dを開状態にするよう指令する動作指令情報を制御装置1へ送信する(ステップS20)。一方、制御装置1は、図12に示すように、動作指令情報を受信すると、制御情報記憶部133が記憶する制御情報の中から、動作指令情報に対応する制御情報を特定する(ステップS21)。その後、特定された制御情報が、制御装置1から動作指令情報に含まれる機器識別情報で識別される空気調和機2宛てへ送信される(ステップS22)。一方、動作指令情報に含まれる機器識別情報が付与された空気調和機2は、制御情報を受信すると、受信した制御情報に従って動作する(ステップS23)。ここで、動作指令情報が、例えば空気調和機2Aの機器識別情報を含み且つ吹き出し口2dに対応するルーバ22dを開状態にするよう指令する情報である場合、空気調和機2Aが、ルーバ22dを開状態で維持する。
そして、ユーザが端末装置3の表示部304に表示された操作画面画像に含まれる撮像画像を参照して、端末装置3の入力部305に対して空気調和機2のルーバ22a、22b、22c、22dのうち開状態で維持されている1つに対応する吹き出し口画像を指定する指定操作を行うと、端末装置3が、当該指定操作を受け付ける(ステップS24)。ここで、ユーザが、例えば図10Bに示すような操作画面画像が表示されている状態で、入力部305における、吹き出し口画像GA2dに対応する部分をタッチすると、端末装置3は、吹き出し口画像GA2dを指定する操作を受け付ける。次に、端末装置3は、機器画像GA2Aと、指定された吹き出し口画像GA2dと、に基づいて、空気調和機2Aの吹き出し口2dの空気調和機2Aにおける相対的な位置を特定する(ステップS25)。続いて、空気調和機2Aの他の吹き出し口2a、2b、2cについてステップS20からS25までの一連の処理が繰り返し実行される。
その後、端末装置3が、空気調和機2Aについて、全ての吹き出し口2a、2b、2c、2dの相対的な位置の特定が完了したとする(ステップS26)。この場合、端末装置3は、空気調和機2A以外の他の空気調和機2B、2C、2Dのうちの1つを選択する(ステップS27)。次に、端末装置3が選択した空気調和機2に付与された機器識別情報を含む動作指令情報が、端末装置3から制御装置1へ送信される(ステップS28)。続いて、前述のステップS15からS26までの一連の処理を実行する。そして、空気調和機2B、2C、2Dについて、前述のステップS15からS28までの一連の処理を繰り返し実行することにより、全ての空気調和機2A、2B、2C、2Dの制御装置1に対する相対的な位置の特定が完了したとする(ステップS29)。この場合、端末装置3は、前述のエリアマップを示すエリアマップ情報と、特定した空気調和機2A、2B、2C、2Dの位置および各空気調和機2A、2B、2C、2Dにおける吹き出し口2a、2b、2c、2dの位置と、に基づいて、管理テーブル情報を生成する(ステップS30)。その後、生成された管理テーブル情報が、端末装置3から制御装置1へ送信される(ステップS31)。一方、制御装置1は、管理テーブル情報を受信すると、受信した管理テーブル情報を管理テーブル記憶部135に記憶させる(ステップS32)。
次に、ユーザが端末装置3の入力部305に対して管理テーブル情報の生成を終了するための管理テーブル情報生成終了操作を行うと、端末装置3は、管理テーブル情報を生成するためのアプリケーションを終了する処理を実行する(ステップS33)。
また、ユーザが端末装置3の入力部305に対して建物H1内の空間の空気調和を開始するための操作を行うと、制御装置1に対して空気調和を開始するよう指令する空気調和開始指令情報が、端末装置3から制御装置1へ送信される(ステップS34)。一方、制御装置1は、空気調和開始指令情報を受信すると、センサ支持部22の基台部212およびサブ支持部222の角度を変化させて、センサ12の検知領域を複数の領域A11、A12、・・・、A44のうちのいずれかに到達させるためにモータ14、226を駆動する(ステップS35)。続いて、制御装置1は、図13に示すように、センサ支持部22の基台部212およびサブ支持部222の回転角度が領域A11、A12、・・・、A44のうちのいずれかに対応する撮像角度に到達すると(ステップS36)、センサ12により熱画像を撮像することにより熱画像情報を取得する(ステップS37)。このとき、制御装置1は、撮像した熱画像を示す熱画像情報を熱画像記憶部131に記憶させる。
その後、制御装置1は、熱画像情報が示す領域A11、A12、・・・、A44の温度の分布に基づいて、領域A11、A12、・・・、A44の状況を解析する(ステップS38)。これにより、制御装置1は、領域A11、A12、・・・、A44における人の存否を示す人存否情報と、平均温度を示す平均温度情報と、を生成して解析結果記憶部132に記憶させる。次に、制御装置1は、解析結果記憶部132が記憶する領域A11、A12、・・・、A44の人存否情報と平均温度情報とに基づいて、空気調和機2へ送信する制御情報を特定する(ステップS39)。次に、特定された制御情報が、制御装置1から空気調和機2へ送信される(ステップS40)。一方、空気調和機2は、制御情報を受信すると、受信した制御情報に従って動作する(ステップS41)。続いて、制御装置1は、センサ支持部22の基台部212およびサブ支持部222の角度を変化させて、センサ12の検知領域を他の領域A11、A12、・・・、A44に到達させるためにモータ14、226を駆動する(ステップS42)。その後、前述のステップS36からS42までの一連の処理が繰り返し実行される。
次に、本実施の形態に係る端末装置3が実行する管理テーブル情報生成処理について、図14および図15を参照しながら説明する。なお、この管理テーブル情報生成処理は、端末装置3へ電源が投入された後、管理テーブル情報を生成するためのアプリケーションが起動したことを契機として開始される。まず、表示制御部313は、図14に示すように、ユーザに対して撮像部307を空気調和機2および制御装置1が設置された天井に向けるように促すメッセージを表示部304に表示させる(ステップS101)。次に、受付部311は、予め設定された待機時間内にユーザによる撮像準備が完了したことを示す撮像準備完了操作を受け付けたか否かを判定する(ステップS102)。受付部311が予め設定された待機時間内に撮像準備完了操作を受け付けなかったと判定すると(ステップS102:No)、後述のステップS125の処理が実行される。
一方、受付部311が、撮像準備完了操作を受け付けたと判定すると(ステップS102:Yes)、画像認識部314が、空気調和機2および制御装置1を認識するための画像認識処理を実行する(ステップS103)。続いて、画像認識部314は、制御装置1の制御装置画像および空気調和機2の機器画像を認識できたか否かを判定する(ステップS104)。画像認識部314が、制御装置画像および機器画像を認識できないと判定すると(ステップS104:No)、表示制御部313が、エラー情報を表示部304に表示させ(ステップS105)、後述するステップS125の処理が実行される。一方、画像認識部314が、制御装置画像および機器画像を認識できたと判定すると(ステップS104:Yes)、表示制御部313は、画像認識部314により認識された機器画像および制御装置画像の位置を強調する強調画像を表示部304に表示させる(ステップS106)。
続いて、受付部311は、予め設定された待機時間内にユーザによる機器画像および制御装置画像がそれぞれ空気調和機2および制御装置1それぞれを正常に認識していることの確認を完了したことを示す確認完了操作を受け付けたか否かを判定する(ステップS107)。受付部311が、予め設定された待機時間内に確認完了操作を受け付けなかったと判定すると(ステップS107:No)、再びステップS101の処理が実行される。一方、受付部311が、確認完了操作を受け付けたと判定すると(ステップS107:Yes)、指令部312は、発光部6a、6b、6c、6dを予め設定された点灯態様で点灯させるよう指令する点灯指令情報を制御装置1へ送信する(ステップS108)。その後、画像認識部314は、画像認識処理を実行し(ステップS109)、発光部16a、16b、16c、16dが前述の点灯態様で点灯した状態の制御装置画像を認識できたか否かをする(ステップS110)。画像認識部314が、発光部16a、16b、16c、16dが前述の点灯態様で点灯した状態の制御装置画像を認識できないと判定すると(ステップS110:No)、前述のステップS105以降の処理が実行される。一方、画像認識部314が、発光部16a、16b、16c、16dが前述の点灯態様で点灯した状態の制御装置画像を認識できたと判定すると(ステップS110:Yes)、管理テーブル生成部315が、認識した制御装置画像に基づいて、制御装置1と複数の領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する(ステップS111)。
その後、機器識別情報取得部317は、機器識別情報要求情報を制御装置1へ送信することにより(ステップS112)、制御装置1から空気調和機2の機器識別情報を取得する(ステップS113)。ここで、機器識別情報取得部317は、4つの空気調和機2A、2B、2C、2Dそれぞれの機器識別情報を取得する。次に、管理テーブル生成部315は、取得した機器識別情報それぞれに対応する空気調和機2の中から1つの空気調和機2を選択する(ステップS114)。続いて、指令部312は、管理テーブル生成部315が選択した空気調和機2に付与された機器識別情報を含む動作指令情報を生成して制御装置1へ送信する(ステップS115)。
その後、受付部311は、図15に示すように、予め設定された待機時間内にユーザによる外観が変化した空気調和機2に対応する機器画像を指定する指定操作を受け付けたか否かを判定する(ステップS116)。受付部311が、予め設定された待機時間内に指定操作を受け付けなかったと判定すると(ステップS116:No)、ステップS105以降の処理が実行される。一方、受付部311が、指定操作を受け付けたと判定すると(ステップS116:Yes)、管理テーブル生成部315は、指定された機器画像GA2Aと、制御装置画像GA1と、に基づいて、送信した動作指令情報に含まれる機器識別情報が付与された空気調和機2の制御装置1に対する相対的な位置を特定する(ステップS117)。
次に、管理テーブル生成部315は、特定した空気調和機2について、4つの吹き出し口2a、2b、2c、2dのうちのいずれか1つに対応するルーバ22a、22b、22c、22dを開状態にするよう指令する動作指令情報を制御装置1へ送信する(ステップS118)。続いて、受付部311は、予め設定された待機時間内に、ユーザによる開状態のルーバ22a、22b、22c、22dに対応する吹き出し口2a、2b、2c、2dの吹き出し口画像を指定する指定操作を受け付けたか否かを判定する(ステップS119)。受付部311が、予め設定された待機時間内に指定操作を受け付けなかったと判定すると(ステップS119:No)、ステップS105以降の処理が実行される。一方、受付部311が、指定操作を受け付けたと判定すると(ステップS119:Yes)、管理テーブル生成部315は、機器画像GA2Aと、指定された吹き出し口画像と、に基づいて、空気調和機2における指定された吹き出し口2a、2b、2c、2dの相対的な位置を特定する(ステップS120)。その後、管理テーブル生成部315は、全ての吹き出し口2a、2b、2c、2dについて位置を特定したか否かを判定する(ステップS121)。管理テーブル生成部315が、未だ位置を特定していない吹き出し口2a、2b、2c、2dが存在すると判定すると(ステップS121:No)、再びステップS118の処理が実行される。
一方、管理テーブル生成部315は、全ての吹き出し口2a、2b、2c、2dについて位置の特定が完了したと判定すると(ステップS121:Yes)、全ての空気調和機2A、2B、2C、2Dについて制御装置1に対する相対的な位置の特定が完了したか否かを判定する(ステップS122)。管理テーブル生成部315が、未だ制御装置1に対する相対的な位置を特定していない空気調和機2が存在すると判定すると(ステップS122:No)、再びステップS114の処理が実行される。一方、管理テーブル生成部315が、全ての空気調和機2A、2B、2C、2Dについて制御装置1に対する相対的な位置の特定が完了したと判定したとする(ステップS122:Yes)。この場合、管理テーブル生成部315は、前述のエリアマップを示すエリアマップ情報と、特定した空気調和機2A、2B、2C、2Dの位置および各空気調和機2A、2B、2C、2Dにおける吹き出し口2a、2b、2c、2dの位置と、に基づいて、管理テーブル情報を生成する(ステップS123)。ここで、管理テーブル生成部315は、生成した管理テーブル情報を管理テーブル記憶部332に記憶させる。次に、管理テーブル送信部316は、管理テーブル記憶部332が記憶する管理テーブル情報を制御装置1へ送信する(ステップS124)。
続いて、受付部311は、ユーザによる管理テーブル生成処理を終了させるための終了操作を受け付けたか否かを判定する(ステップS125)。受付部311が、終了操作を受け付けていないと判定すると(ステップS125:No)、再びステップS101の処理が実行される。一方、受付部311が、終了操作を受け付けたと判定すると(ステップS125:Yes)、管理テーブル生成処理が終了する。
次に、本実施の形態に係る制御装置1が実行する機器制御処理について、図16および図17を参照しながら説明する。なお、この機器制御処理は、制御装置1へ電源が投入されたことを契機として開始される。まず、指令取得部116は、図16に示すように、端末装置3から前述の点灯指令情報を受信したか否かを判定する(ステップS201)。指令取得部116が、点灯指令情報を受信していないと判定すると(ステップS201:No)、後述するステップS203の処理が実行される。一方、指令取得部116が、点灯指令情報を受信したと判定すると(ステップS201:Yes)、点灯制御部117は、受信した点灯指令情報に応じた点灯態様で発光部16a、16b、16c、16dを点灯させる(ステップS202)。
次に、機器識別情報取得部118は、端末装置3から前述の機器識別情報要求情報を受信したか否かを判定する(ステップS203)。機器識別情報取得部118が、機器識別情報要求情報を受信していないと判定すると(ステップS203:No)、後述するステップS207の処理が実行される。一方、機器識別情報取得部118は、機器識別情報要求情報を受信したと判定したとする(ステップS203:Yes)。この場合、機器識別情報取得部118は、機器識別情報の制御装置1への送信を要求する機器識別情報要求情報を空気調和機2へ送信することにより(ステップS204)、空気調和機2から機器識別情報を取得する(ステップS205)。続いて、機器識別情報取得部118は、取得した機器識別情報を端末装置3へ送信する(ステップS206)。
その後、指令取得部116は、端末装置3から空気調和機2の機器識別情報を含む動作指令情報を受信したか否かを判定する(ステップS207)。指令取得部116が、端末装置3から動作指令情報を受信していないと判定すると(ステップS207:No)、後述するステップS210以降の処理が実行される。一方、指令取得部116が、端末装置3から動作指令情報を受信したと判定すると(ステップS207:No)、機器制御部115は、制御情報記憶部133が記憶する制御情報の中から、受信した動作指令情報に対応する制御情報を特定する(ステップS208)。次に、機器制御部115は、特定した制御情報を、動作指令情報に含まれる機器識別情報で識別される空気調和機2宛てへ送信する(ステップS209)。続いて、管理テーブル取得部119は、端末装置3から管理テーブル情報を受信したか否かを判定する(ステップS210)。管理テーブル取得部119が、端末装置3から管理テーブル情報を受信していないと判定すると(ステップS210:No)、後述するステップS212の処理が実行される。一方、管理テーブル取得部119は、端末装置3から管理テーブル情報を受信すると(ステップS210:Yes)、受信した管理テーブル情報を管理テーブル記憶部135に記憶させる(ステップS211)。
その後、指令取得部116は、端末装置3から制御装置1に対して空気調和を開始するよう指令する空気調和開始指令情報を受信したか否かを判定する(ステップS212)。指令取得部116が、端末装置3から空気調和開始指令情報を受信していないと判定すると(ステップS212:No)、再びステップS201の処理が実行される。一方、指令取得部116が、端末装置3から空気調和開始指令情報を受信したと判定したとする(ステップS212:Yes)。この場合、姿勢変更制御部111は、センサ支持部22の基台部212およびサブ支持部222の角度を変化させて、センサ12の検知領域を複数の領域A11、A12、・・・、A44のうちのいずれかに到達させるためにモータ14、226を駆動する(ステップS213)。次に、姿勢変更制御部111は、図17に示すように、センサ支持部22の基台部212およびサブ支持部222の回転角度が領域A11、A12、・・・、A44のうちのいずれかに対応する撮像角度に到達したか否かを判定する(ステップS214)。ここで、姿勢変更制御部111は、センサ支持部22の基台部212およびサブ支持部222の回転角度が撮像角度に到達していないと判定すると(ステップS214:No)、再びステップS213の処理を実行する。一方、姿勢変更制御部111は、センサ支持部22の基台部212およびサブ支持部222の回転角度が撮像角度に到達したと判定したとする(ステップS214:Yes)。この場合、熱画像取得部113は、センサ12により熱画像を撮像することにより熱画像情報を取得する(ステップS215)。このとき、制御装置1は、撮像した熱画像を示す熱画像情報を熱画像記憶部131に記憶させる。
続いて、解析部114は、熱画像記憶部131が記憶する熱画像情報が示す領域A11、A12、・・・、A44の温度の分布に基づいて、領域A11、A12、・・・、A44の状況を解析する(ステップS216)。このとき、解析部114は、領域A11、A12、・・・、A44における人の存否を示す人存否情報と、平均温度を示す平均温度情報と、を生成して解析結果記憶部132に記憶させる。その後、機器制御部115は、解析結果記憶部132が記憶する領域A11、A12、・・・、A44の人存否情報と平均温度情報とに基づいて、空気調和機2へ送信する制御情報を特定する(ステップS217)。次に、機器制御部115は、特定した制御情報を空気調和機2へ送信する(ステップS218)。次に、指令取得部116は、端末装置3から空気調和を終了するよう指令する空気調和終了指令情報を受信したか否かを判定する(ステップS219)。指令取得部116が、端末装置3から空気調和終了指令情報を受信していないと判定すると(ステップS219:No)、再びステップS213の処理が実行される。一方、指令取得部116が、端末装置3から空気調和終了指令情報を受信したと判定すると(ステップS219:Yes)、再びステップS201の処理が実行される。
以上説明したように、本実施の形態に係る制御システムよれば、管理テーブル生成部315が、撮像画像に含まれる制御装置画像に基づいて、制御装置1と建物H1内の空間の複数の領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する。そして、管理テーブル生成部315は、制御装置1が空気調和機2を予め設定された外観となるように制御したときの撮像画像に含まれる機器画像および制御装置画像に基づいて、空気調和機2と制御装置1との相対的な位置関係を特定することにより管理テーブル情報を生成する。これにより、撮像部307により空気調和機2と制御装置1とを一括して撮像するだけで、複数の領域A11、A12、・・・、A44それぞれと空気調和機2とを対応づける管理テーブル情報を生成することができるので、空気調和機2を制御する制御装置1の設定作業の手間を低減できる。
また、本実施の形態に係る空気調和機2は、4つの吹き出し口2a、2b、2c、2dと、吹き出し口2a、2b、2c、2dを開閉するルーバ22a、22b、22c、22dと、を有する。ここで、管理テーブル記憶部135は、領域A11、A12、・・・、A44の領域識別情報を、空気調和機2とともに、それらの吹き出し口2a、2b、2c、2dそれぞれを識別する吹き出し口識別情報に対応づける管理テーブル情報を記憶する。そして、管理テーブル生成部315は、制御装置1が空気調和機2のルーバ22a、22b、22c、22dを開状態に維持するよう空気調和機2を制御したときの機器画像および制御装置画像に基づいて、空気調和機2の姿勢を特定する。これにより、各吹き出し口2a、2b、2c、2dについて、それらから送出される風による空気調和の対象をよりきめ細かく設定することができるので、建物H1内をより快適な環境にすることができる。
更に、本実施の形態に係る制御装置1は、4つの発光部16a、16b、16c、16dと、発光部16a、16b、16c、16dを予め設定された点灯態様で点灯させる点灯制御部117と、を有する。そして、管理テーブル生成部315は、点灯制御部117が発光部16a、16b、16c、16dを予め設定された点灯態様で点灯させた状態で撮像された撮像画像に含まれる制御装置画像GA1に基づいてエリアマップを特定する。これにより、制御装置1の姿勢を精度良く認識することができるので、適切なエリアマップを特定することができる。
(実施の形態2)
本実施の形態に係る制御システムは、制御装置において管理テーブル情報を生成する点で実施の形態1と相違する。
本実施の形態に係る制御システムは、実施の形態1と同様に、例えば図1に示すように、複数(図1では4つ)の空気調和機2(2A、2B、2C、2D)が天井に設置された建物H1で使用されるものであり、図18に示すように、制御装置2001と、端末装置2003と、を備える。なお、図18において、実施の形態1と同様の構成については図3と同一の符号を付している。制御装置2001および端末装置2003のハードウェア構成は、実施の形態1で説明した制御装置1および端末装置3のハードウェア構成と同様である。以下の説明において、実施の形態1と同様のハードウェア構成については、図2に示す符号と同一の符号を用いて説明する。
端末装置3では、CPU301が、補助記憶部303が記憶するプログラムを主記憶部302に読み出して実行することにより、受付部311、指令部312、表示制御部313、画像認識部314、画像認識結果通知部2316、通知取得部2317および撮像制御部318として機能する。また、補助記憶部303は、操作画面画像を記憶する操作画面記憶部331を有する。画像認識結果通知部2316は、画像認識部314が撮像画像に含まれる空気調和機2の機器画像および制御装置2001の制御装置画像を認識できたときの撮像画像内における機器画像および制御装置画像の相対的な位置を示す画像認識結果情報を制御装置2001へ送信する。
通知取得部2317は、制御装置2001から後述する作動通知情報を取得すると、取得した作動通知情報を受付部311に通知する。また、通知取得部2317は、制御装置2001から後述する点灯通知情報を取得すると、取得した点灯通知情報を画像認識部314に通知する。
制御装置2001は、制御ユニット2011と、センサ12と、姿勢変更部17と、発光部16a、16b、16c、16dと、発光部16a、16b、16c、16dを点灯させる点灯駆動部15と、を備える。そして、制御ユニット2011では、CPU101が、補助記憶部103が記憶するプログラムを主記憶部102に読み出して実行することにより、姿勢変更制御部111、熱画像取得部113、解析部114、機器制御部115、指令取得部2116、点灯制御部117、機器識別情報取得部118および管理テーブル生成部2119として機能する。また、補助記憶部103は、熱画像記憶部131と、解析結果記憶部132と、制御情報記憶部133と、撮像角度記憶部134と、管理テーブル記憶部135と、を有する。
管理テーブル生成部2119は、前述の管理テーブル情報を生成し、生成した管理テーブル情報を管理テーブル記憶部135に記憶させる。具体的には、管理テーブル生成部2119は、端末装置3から受信した画像認識結果情報に基づいて、制御装置1と領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する。そして、管理テーブル生成部2119は、機器制御部115が空気調和機2を予め設定された外観となるように制御したときに端末装置3から受信する認識結果情報に基づいて、空気調和機2と制御装置2001との相対的な位置関係を特定することにより、管理テーブル情報を生成する。また、管理テーブル生成部2119は、4つの空気調和機2の中から1つの空気調和機2を選択し、機器識別情報取得部118が取得した機器識別情報の中から、選択した空気調和機2の機器識別情報を特定する。そして、管理テーブル生成部2119は、特定した機器識別情報を機器制御部115に通知する。このとき、機器制御部115は、管理テーブル生成部315から選択された空気調和機2の機器識別情報が通知されると、その機器識別情報が付与された空気調和機2を予め設定された外観となるように制御するための制御情報を特定し、特定した制御情報を空気調和機2へ送信する。そして、管理テーブル生成部2119は、選択した1つの空気調和機を予め設定された外観となるように制御したときに端末装置2003から受信した認識結果情報に基づいて、選択した1つの空気調和機2と制御装置2001との相対的な位置関係を特定する。
指令取得部2116は、端末装置3から送信される指令情報を取得し、取得した指令情報を、姿勢変更制御部111、機器制御部115または管理テーブル生成部2119に通知する。
次に、本実施の形態に係る制御システムの動作について、図19および図20を参照しながら説明する。なお、図19および図20において、実施の形態1と同様の処理については、図8、図12および図13と同一の符号を付している。まず、ステップS1からS4までの一連の処理が実行された後、ユーザが、機器画像および制御装置画像がそれぞれ空気調和機2A、2B、2C、2Dおよび制御装置2001それぞれを正常に認識していることの確認を完了したことを示す確認完了操作を行ったとする。この場合、ユーザが認識結果の確認を完了したことを通知する確認完了通知情報と認識結果情報とが、端末装置2003から制御装置2001へ送信される(ステップS51)、一方、制御装置2001は、確認完了通知情報および認識結果情報を受信すると、発光部6a、6b、6c、6dを予め設定された点灯態様で点灯させる(ステップS52)。次に、発光部6a、6b、6c、6dが前述の点灯態様で点灯していることを通知する点灯通知情報が、制御装置2001から端末装置2003へ送信される(ステップS53)。
一方、端末装置2003は、点灯通知情報を受信すると、発光部16a、16b、16c、16dが点灯指令情報に応じて点灯態様で点灯した状態の制御装置画像を認識する(ステップS54)。続いて、認識結果情報が、端末装置2003から制御装置2001へ送信される(ステップS55)。この認識結果情報は、制御装置画像を含む撮像画像について設定された2次元座標系における制御装置画像の向きを示す情報を含む。一方、制御装置2001は、認識結果情報を受信すると、受信した認識結果情報に基づいて、制御装置2001と複数の領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する(ステップS56)。
その後、機器識別情報の制御装置2001への送信を要求する機器識別情報要求情報が、制御装置2001から空気調和機2へ送信される(ステップS57)。一方、空気調和機2が機器識別情報要求情報を受信すると、その空気調和機2の機器識別情報が、空気調和機2から制御装置2001へ送信される(ステップS58)。
一方、制御装置2001は、機器識別情報を受信すると、受信した機器識別情報それぞれに対応する空気調和機2の中から1つの空気調和機2を選択する(ステップS59)。次に、制御装置2001は、制御情報記憶部133が記憶する制御情報の中から、選択した空気調和機2を動作指令情報に対応する外観となるよう制御するための制御情報を特定する(ステップS60)。次に、特定された制御情報が、制御装置2001から選択した空気調和機2宛てへ送信される(ステップS61)。一方、空気調和機2は、制御情報を受信すると、受信した制御情報に従って動作する(ステップS62)。続いて、制御装置2001は、選択した空気調和機2を作動させたことを通知する作動通知情報が、制御装置2001から端末装置2003へ送信される(ステップS63)。
そして、端末装置2003が作動通知情報を受信した後において、ユーザが端末装置2003の表示部304に表示された操作画面画像に含まれる撮像画像を参照して、端末装置2003の入力部305に対して外観が変化した空気調和機2に対応する機器画像を指定する指定操作を行ったとする。この場合、端末装置2003は、当該指定操作を受け付ける(ステップS64)。その後、撮像画像内におけるユーザが指定した機器画像の制御装置画像に対する相対的な位置を示す指定位置情報が、端末装置2003から制御装置2001へ送信される(ステップS65)。この指定位置情報は、例えば制御装置画像および機器画像を含む撮像画像について設定された2次元座標系におけるユーザが指定した機器画像の座標情報を含む。一方、制御装置2001は、端末装置2003から指定位置情報を受信すると、指定位置情報に基づいて、選択した空気調和機2の制御装置2001に対する相対的な位置を特定する(ステップS66)。
次に、図20に示すように、制御装置2001は、特定した空気調和機2について、4つの吹き出し口2a、2b、2c、2dのうちのいずれか1つに対応するルーバ22a、22b、22c、22dを開状態にするための制御情報を特定する(ステップS67)。続いて、特定された制御情報が、制御装置2001から空気調和機2へ送信される(ステップS68)。一方、空気調和機2は、制御情報を受信すると、受信した制御情報に従って動作する(ステップS69)。その後、制御装置2001が空気調和機2の4つの吹き出し口2a、2b、2c、2dのうちのいずれか1つに対応するルーバ22a、22b、22c、22dを開状態にしたことを通知する作動通知情報が、制御装置2001から端末装置2003へ送信される(ステップS70)。
そして、ユーザが端末装置3の表示部304に表示された操作画面画像に含まれる撮像画像を参照して、端末装置3の入力部305に対して空気調和機2のルーバ22a、22b、22c、22dのうち開状態で維持されている1つに対応する吹き出し口画像を指定する指定操作を行うと、端末装置3が、当該指定操作を受け付ける(ステップS71)。次に、撮像画像内におけるユーザが指定した機器画像内における吹き出し口画像の相対的な位置を示す指定位置情報が、端末装置2003から制御装置2001へ送信される(ステップS72)。一方、制御装置2001は、端末装置2003から指定位置情報を受信すると、指定位置情報に基づいて、吹き出し口2a、2b、2c、2dの空気調和機2における相対的な位置を特定する(ステップS73)。続いて、空気調和機2の他の吹き出し口2a、2b、2c、2dについてステップS67からS73までの一連の処理が繰り返し実行される。
その後、制御装置2001が、空気調和機2について、全ての吹き出し口2a、2b、2c、2dの相対的な位置の特定が完了したとする(ステップS74)。この場合、制御装置2001は、他の空気調和機2のうちの1つを選択する(ステップS75)。次に、制御装置2001は、制御情報記憶部133が記憶する制御情報の中から、選択した空気調和機2を動作指令情報に対応する外観となるよう制御するための制御情報を特定する(ステップS76)。続いて、特定された制御情報が、制御装置2001から選択した空気調和機2宛てへ送信される(ステップS77)。その後、前述のステップS62からS74までの一連の処理を実行する。そして、前述のステップS62からS76までの一連の処理を繰り返し実行することにより、全ての空気調和機2の制御装置2001に対する相対的な位置の特定が完了したとする(ステップS78)。この場合、制御装置2001は、前述のエリアマップを示すエリアマップ情報と、特定した空気調和機2の位置および各空気調和機2における吹き出し口2a、2b、2c、2dの位置と、に基づいて、管理テーブル情報を生成して管理テーブル記憶部135に記憶させる(ステップS79)。次に、端末装置2003において、ステップS33の処理が実行される。そして、ユーザが端末装置3の入力部305に対して建物H1内の空間の空気調和を開始するための操作を行うと、ステップS34以降の処理が実行される。
次に、本実施の形態に係る端末装置2003が実行する管理テーブル情報生成処理について、図21を参照しながら説明する。なお、図21において、実施の形態1に係る管理テーブル情報生成処理と同様の処理については図14および図15と同一の符号を付している。まず、ステップS101からS107までの一連の処理が実行され、ステップS107において、受付部311が、確認完了操作を受け付けたと判定したとする(ステップS107:Yes)。この場合、画像認識結果通知部2316は、確認完了通知情報と認識結果情報とを生成して制御装置2001へ送信する(ステップS2101)。次に、通知取得部2317は、制御装置2001から点灯通知情報を取得したか否かを判定する(ステップS2102)。通知取得部2317が、点灯通知情報を取得していないと判定すると(ステップS2102:No)、後述するステップS2106の処理が実行される。一方、通知取得部2317が、点灯通知情報を取得したと判定すると(ステップS2102:Yes)、画像認識部314は、画像認識処理を実行する(ステップS2103)。続いて、画像認識部314は、発光部16a、16b、16c、16dが前述の点灯態様で点灯した状態の制御装置画像を認識できたか否かをする(ステップS2104)。画像認識部314が、発光部16a、16b、16c、16dが前述の点灯態様で点灯した状態の制御装置画像を認識できないと判定すると(ステップS2104:No)、前述のステップS104以降の処理が実行される。一方、画像認識部314が、発光部16a、16b、16c、16dが前述の点灯態様で点灯した状態の制御装置画像を認識できたと判定すると(ステップS2104:Yes)、画像認識結果通知部2316が、認識結果情報を制御装置2001へ送信する(ステップS2105)。
その後、通知取得部2317は、制御装置2001から作動通知情報を取得したか否かを判定する(ステップS2106)。通知取得部2317が、作動通知情報を取得していないと判定すると(ステップS2106:No)、ステップS125の処理が実行される。一方通知取得部2317が、作動通知情報を取得したと判定すると(ステップS2106:Yes)、受付部311は、予め設定された待機時間内に空気調和機2の機器画像または吹き出し口2a、2b、2c、2dの吹き出し口画像を指定する指定操作を受け付けたか否かを判定する(ステップS2107)。受付部311が、予め設定された待機時間内に指定操作を受け付けなかったと判定すると(ステップS2107:No)、ステップS105以降の処理が実行される。一方、受付部311が、指定操作を受け付けたと判定すると(ステップS2107:Yes)、指定位置情報を生成して制御装置2001へ送信する(ステップS2108)。その後、ステップS125の処理が実行される。
次に、本実施の形態に係る制御装置2001が実行する機器制御処理について、図22および図23を参照しながら説明する。なお、図22および図23において、実施の形態1で説明した機器制御処理と同様の処理については図16および図17と同一の符号を付している。まず、管理テーブル生成部2119は、図22に示すように、端末装置2003から確認完了通知情報および認識結果情報を受信したか否かを判定する(ステップS2201)。管理テーブル生成部2119が、端末装置2003から確認完了通知情報および認識結果情報を受信しなかったと判定すると(ステップS2201:No)、ステップS212の処理が実行される。一方、管理テーブル生成部2119が、端末装置2003から確認完了通知情報および認識結果情報を受信したと判定すると(ステップS2201:Yes)、点灯制御部117は、発光部6a、6b、6c、6dを予め設定された点灯態様で点灯させる(ステップS2202)。次に、管理テーブル生成部2119は、発光部6a、6b、6c、6dが前述の点灯態様で点灯していることを通知する点灯通知情報を端末装置2003へ送信する(ステップS2203)。
続いて、管理テーブル生成部2119は、予め設定された待機時間内に端末装置2003から認識結果情報を受信したか否かを判定する(ステップS2204)。管理テーブル生成部2119が、予め設定された待機時間内に認識結果情報を受信しなかったと判定すると(ステップS2204:No)、再びステップS2201の処理が実行される。一方、管理テーブル生成部2119が、端末装置2003から認識結果情報を受信したと判定したとする(ステップS2204:Yes)。この場合、管理テーブル生成部2119は、受信した認識結果情報に基づいて、制御装置2001と複数の領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する(ステップS2205)。
その後、機器識別情報取得部118は、機器識別情報の制御装置2001への送信を要求する機器識別情報要求情報を空気調和機2へ送信することにより(ステップS2206)、空気調和機2から機器識別情報要求情報を取得する(ステップS2207)。
次に、管理テーブル生成部2119は、受信した機器識別情報それぞれに対応する空気調和機2の中から1つの空気調和機2を選択する(ステップS2208)。続いて、機器制御部115は、制御情報記憶部133が記憶する制御情報の中から、選択した空気調和機2を動作指令情報に対応する外観となるよう制御するための制御情報を特定する(ステップS2209)。その後、機器制御部115は、特定した制御情報を、選択した空気調和機2宛てへ送信する(ステップS2210)。次に、機器制御部115は、選択した空気調和機2を作動させたことを通知する作動通知情報を端末装置2003へ送信する(ステップS2211)。
次に、管理テーブル生成部2119は、予め設定された待機時間内に、撮像画像内におけるユーザが指定した機器画像の制御装置画像に対する相対的な位置を示す指定位置情報を端末装置2003から受信したか否かを判定する(ステップS2212)。管理テーブル生成部2119が、前述の待機時間内に、指定位置情報を端末装置2003から受信していないと判定すると(ステップS2212:No)、再びステップS2201の処理が実行される。一方、管理テーブル生成部2119は、指定位置情報を端末装置2003から受信したと判定すると(ステップS2212:Yes)、指定位置情報に基づいて、選択した空気調和機2の制御装置2001に対する相対的な位置を特定する(ステップS2213)。
続いて、機器制御部115は、特定した空気調和機2について、4つの吹き出し口2a、2b、2c、2dのうちのいずれか1つに対応するルーバ22a、22b、22c、22dを開状態にするための制御情報を特定する(ステップS2214)。その後、機器制御部115は、特定した制御情報を空気調和機2へ送信する(ステップS2215)。次に、機器制御部115は、空気調和機2の4つの吹き出し口2a、2b、2c、2dのうちのいずれか1つに対応するルーバ22a、22b、22c、22dを開状態にしたことを通知する作動通知情報を端末装置2003へ送信する(ステップS2216)。
続いて、管理テーブル生成部2119は、図23に示すように、予め設定された待機時間内に、撮像画像内におけるユーザが指定した機器画像内における吹き出し口画像の相対的な位置を示す指定位置情報を受信したか否かを判定する(ステップS2217)。管理テーブル生成部2119が、前述の待機時間内に、指定位置情報を端末装置2003から受信していないと判定すると(ステップS2217:No)、再びステップS2201の処理が実行される。一方、管理テーブル生成部2119は、端末装置2003から指定位置情報を受信したと判定すると(ステップS2217:Yes)、受信した指定位置情報に基づいて、吹き出し口2a、2b、2c、2dの空気調和機2における相対的な位置を特定する(ステップS2218)。その後、管理テーブル生成部2119は、空気調和機2について、全ての吹き出し口2a、2b、2c、2dの相対的な位置の特定が完了したか否かを判定する(ステップS2219)。管理テーブル生成部2119が、未だ位置を特定していない吹き出し口2a、2b、2c、2dが存在すると判定すると(ステップS2219:No)、再びステップS2214の処理が実行される。
一方、管理テーブル生成部2119は、全ての吹き出し口2a、2b、2c、2dについて位置の特定が完了したと判定すると(ステップS2219:Yes)、全ての空気調和機2A、2B、2C、2Dについて制御装置2001に対する相対的な位置の特定が完了したか否かを判定する(ステップS2220)。管理テーブル生成部2119が、未だ制御装置2001に対する相対的な位置を特定していない空気調和機2が存在すると判定すると(ステップS2220:No)、再びステップS2208の処理が実行される。一方、管理テーブル生成部2119が、全ての空気調和機2A、2B、2C、2Dについて制御装置2001に対する相対的な位置の特定が完了したと判定したとする(ステップS2220:Yes)。この場合、管理テーブル生成部2119は、前述のエリアマップを示すエリアマップ情報と、特定した空気調和機2A、2B、2C、2Dの位置および各空気調和機2A、2B、2C、2Dにおける吹き出し口2a、2b、2c、2dの位置と、に基づいて、管理テーブル情報を生成し、生成した管理テーブル情報を管理テーブル記憶部332に記憶させる(ステップS2221)。その後、ステップS212以降の処理が実行される。
以上説明したように、本実施の形態に係る制御システムよれば、管理テーブル生成部2119が、撮像画像に含まれる制御装置画像に基づいて、制御装置2001と複数の領域A11、A12、・・・、A44との相対的な位置関係を示すエリアマップを特定する。そして、管理テーブル生成部2119は、空気調和機2を予め設定された外観となるように制御したときの撮像画像に含まれる機器画像および制御装置画像に基づいて、空気調和機2と制御装置2001との相対的な位置関係を特定することにより管理テーブル情報を生成する。これにより、撮像部307により空気調和機2と制御装置2001とを一括して撮像するだけで、複数の領域A11、A12、・・・、A44それぞれと空気調和機2とを対応づける管理テーブル情報を生成することができるので、空気調和機2を制御する制御装置2001の設定作業の手間を低減できる。
以上、本開示の実施の形態について説明したが、本開示は前述の実施の形態によって限定されるものではない。例えば、制御装置が、建物H1内の熱画像情報と、建物H1内における人存否情報および平均温度情報と、を含む監視情報を生成し、生成した監視情報を、広域ネットワークを介して外部機器へ送信するものであってもよい。
各実施の形態において、制御装置1、2001の制御ユニット11、2011の一部の機能が、制御装置1、2001にネットワークを介して通信可能なクラウドサーバで実現されるものであってもよい。例えば制御ユニット11、2011の解析部114の機能をクラウドサーバにおいて実現してもよい。
各実施の形態では、ユーザが端末装置3、2003において制御装置1、2001を起動させるための操作を行うと、起動指令情報が、端末装置3、2003から制御装置1、2001へ送信され、制御装置1、2001が起動する例について説明した。但し、これに限らず、例えば制御装置1、2001が、自装置が操作スイッチ(図示せず)を備えており、ユーザが操作スイッチを操作することにより、制御装置1、2001が起動したり停止したりするものであってもよい。
各実施の形態では、建物H1の天井に4つの空気調和機2が設置されている例について説明したが、空気調和機2の数は4つに限定されるものではない。例えば図24に示すように空気調和機2(2A、2B)が2台設置されているとする。この場合、端末装置3の表示部304には、図25Aに示すような2つの機器画像GA2A、GA2Bが強調画像R2A、R2Bとともに表示される。そして、エリアマップは、図25Bに示すように、空気調和機2Aが空気調和の対象とする領域TA(2A)が、領域A11、A12、A21、A22、A31、A32、A41、A42、A43に設定されてもよい。また、空気調和機2Aの吹き出し口2aから出る風による空気調和の対象となる領域が、領域A31、A32、A41、A42であり、吹き出し口2bから出る風による空気調和の対象となる領域が、領域A12、A22、A32、A42である。更に、空気調和機2Aの吹き出し口2cから出る風による空気調和の対象となる領域が、領域A11、A12、A21、A22であり、吹き出し口2dから出る風による空気調和の対象となる領域が、領域A11、A21、A31、A41である。
また、例えば図26に示すような配置で空気調和機2(2A、2B)が設置されているとする。この場合、端末装置3の表示部304には、図27Aに示すような2つの機器画像GA2A、GA2Bが強調画像R2A、R2Bとともに表示される。そして、エリアマップは、図27Bに示すように、空気調和機2Aが空気調和の対象とする領域TA(2A)が、領域A11、A21、A22、A31、A32、A33、A41、A42、A43、A44に設定されてもよい。なお、図27Bに示す例では、空気調和機2A、2Bが対象とする領域は互いに重なり合っている。また、空気調和機2Aの吹き出し口2aから出る風による空気調和の対象となる領域が、領域A41、A42、A43、A44であり、吹き出し口2bから出る風による空気調和の対象となる領域が、領域A32、A33、A44である。更に、空気調和機2Aの吹き出し口2cから出る風による空気調和の対象となる領域が、領域A11、A22、A32であり、吹き出し口2dから出る風による空気調和の対象となる領域が、領域A11、A21、A31、A41である。
更に、例えば図28に示すように、空気調和機2(2A)が1台だけ設置されているとする。この場合、端末装置3の表示部304には、図29Aに示すような1つの機器画像GA2Aが強調画像R2Aとともに表示される。そして、エリアマップは、図29Bに示すように、空気調和機2Aが空気調和の対象とする領域TA(2A)が、建物H1内の全領域A11、A21、・・・A44に設定されてもよい。また、空気調和機2Aの吹き出し口2aから出る風による空気調和の対象となる領域が、領域A31、A32、A33、A34、A41、A42、A43、A44であり、吹き出し口2bから出る風による空気調和の対象となる領域が、領域A12、A13、A14、A22、A23、A24、A32、A33、A34、A42、A43、A44である。更に、空気調和機2Aの吹き出し口2cから出る風による空気調和の対象となる領域が、領域A11、A12、A13A、A14、A21、A22、A23、A24であり、吹き出し口2dから出る風による空気調和の対象となる領域が、領域A11、A12、A21、A22、A31、A32、A41、A42である。
各実施の形態において、端末装置3が、例えば図30に示すように、2つの機器画像GA2A、GA2Bとともに、各機器画像GA2A、GA2Bに対応する空気調和機2A、2Bそれぞれの候補となる型式(モデル)名を含むメッセージ情報M61、M62を表示部304に表示させるものであってもよい。そして、ユーザが、候補となる形式名の中から選択すると、端末装置3が、各機器画像GA2A、GA2Bを選択された形式の空気調和機2A、2Bに対応するものと認識するものであってもよい。
各実施の形態では、ユーザが、端末装置3の撮像部307を天井に向けて、撮像準備が完了したことを示す撮像準備完了操作を行うと、端末装置3が、空気調和機2および制御装置1を認識するための画像認識処理を実行する例について説明した。但し、これに限らず、例えばユーザが、端末装置3の撮像部307を天井に向けると、端末装置3が、前述の撮像準備完了を待たずに自動的に画像認識処理を実行するものであってもよい。
各実施の形態では、制御装置1、2001が、4つの発光部16a、16b、16c、16dを有する例について説明したが、これに限らず、制御装置1、2001が発光部を備えてないものであってもよい。この場合、端末装置3または制御装置2001は、制御装置1、2001の制御装置画像の形状における特徴に基づいて、エリアマップを特定するようにすればよい。
各実施の形態では、制御装置1、2001が空気調和機2を制御する例について説明したが、制御装置1、2001の制御対象となる機器は、空気調和機2に限定されるものではない。例えば、制御装置1、2001が、照明装置、換気扇等の機器を制御するものであってもよい。また、センサ12は、熱画像を撮像するものに限定されるものではなく、例えば建物H1内の明るさを検知する明るさセンサ、建物H1内の湿度を検知する湿度センサ等であってもよい。
各実施の形態では、エリアマップが、制御装置1、2001と建物H1内の空間を4×4の格子状に分割したときの各領域A11、A12、・・・、A44との相対的な位置関係を示す例について説明した。但し、エリアマップに係る複数の領域は、建物H1内の空間を格子状に分割したときの複数の領域に限定されるものではない。例えば図31に示すように、エリアマップに係る複数の領域A401、A402、・・・、A416が、建物H1内の空間をその空間の中心から放射状延びる複数の仮想平面で分割して得られるものであってもよい。なお、図31では、各領域A401、A402、・・・、A416と空気調和機2の吹き出し口との対応関係については図示を省略している。
また、本開示に係る制御装置1、2001および端末装置3の各種機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体(CD-ROM(Compact Disc Read Only Memory)等)に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する制御装置1、2001および端末装置3、2003を構成してもよい。
また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線の掲示版(BBS(Bulletin Board System))にアップロードされ、通信回線を介してコンピュータに配信されてもよい。そして、コンピュータは、このプログラムを起動して、OS(Operating System)の制御の下、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行する制御装置1、2001および端末装置3、2003として機能する。
以上、本開示の各実施の形態および変形例について説明したが、本開示はこれらに限定されるものではない。本開示は、実施の形態および変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。