JP6104143B2 - 機器制御システム、および、機器制御方法 - Google Patents

Description

本発明は、機器を制御する機器制御システム、および、機器制御方法に関する。

従来より、撮影された映像（画像）に付加的な情報（キャラクタ画像やメッセージ等）を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が提案されている。この拡張現実は、様々な分野に応用され、研究がなされている。例えば、特許文献１には、拡張現実を利用した情報家電操作システムが開示されている。
特許文献１の情報家電操作システムでは、機器（情報家電）がマーカ（点滅発光機構）を備えており、操作側（リモコン等）が、機器のマーカを含む画像データを取得して、この画像データのマーカ（点滅状態）を解析することにより機器を識別する。そして、操作側は、識別した機器を操作するための操作インタフェースを画像データに合成して表示する。

特開２０１３−７７１７７号公報

上述した特許文献１の情報家電操作システムでは、制御対象となる機器がマーカを備えている必要があり、マーカを備えていない既存の機器を制御することができなかった。また、機器にマーカを付加することで、構成がより複雑になってしまうという問題があった。
そのため、マーカ等を用いることなく、より簡易な構成で、機器を制御できる技術が求められていた。

本発明は、上記のような問題点を解決するためになされたもので、より簡易な構成で機器を制御できる機器制御システム、および、機器制御方法を提供することを目的とする。

上記目的を達成するために、本発明に係る機器制御システムは、
制御対象となる機器と、当該機器と通信可能に接続された機器管理装置と、当該機器管理装置と通信可能に接続された操作端末とを有する機器制御システムであって、
前記操作端末の位置を検出する位置検出部と、
前記操作端末から前記機器を含む実空間を撮影する撮影部と、
前記撮影部が撮影した撮影画像から前記機器を示す機器画像を認識し、当該撮影画像中における当該機器画像の位置を解析する画像解析部と、
前記操作端末の撮影方向を求めるセンサと、
前記機器の位置を含む機器情報を予め記憶する機器情報記憶部と、
前記位置検出部が検出した前記操作端末の位置、前記センサが求めた前記操作端末の撮影方向、及び、前記画像解析部が解析した撮影画像中における機器画像の位置に基づいて、前記機器を前記機器情報記憶部に記憶される機器情報に対応付ける機器識別部と、
前記機器識別部が対応付けた機器情報に基づいて生成したユーザインタフェース画像を、前記撮影部が撮影した撮影画像に合成して表示する表示部と、を備え、
前記機器識別部は、前記撮影部が撮影した撮影画像中で相対的に大きく撮像された機器画像についてだけ、前記位置検出部が検出した前記操作端末の位置と、前記撮影部が撮影した撮影画像中の機器画像の画像の位置とを結ぶ直線の方程式を求め、当該直線の方程式に基づいて、前記機器を前記機器情報記憶部に記憶される機器情報に対応付けると共に、撮影画像中の残りの機器画像について、撮影画像中における機器画像同士の相対配置と、前記機器情報記憶部に記憶される機器情報における前記機器同士の相対配置とに基づいて、残りの機器を前記機器情報記憶部に記憶される機器情報に対応付ける。

本発明によれば、より簡易な構成で機器を制御することができる。

本発明の実施形態に係る機器制御システムの全体構成の一例を示すブロック図である。 機器管理装置の構成の一例を示すブロック図である。 機器情報記憶部に記憶される情報の一例を示す模式図である。 操作端末の構成の一例を示すブロック図である。 照明機器が含まれる撮影画像の一例を示す模式図である。 照明機器を認識する様子を説明するための模式図である。 対応付ける機器を求める様子を説明するための模式図である。 ユーザインタフェース画像が合成された撮影画像の一例を示す模式図である。 （ａ），（ｂ）共に、ユーザインタフェース画像の一例を示す模式図である。 本発明の実施形態に係る機器制御処理の一例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。

図１は、本発明の実施形態に係る機器制御システム１の構成の一例を示すブロック図である。この機器制御システム１は、制御対象となる各機器４を、ユーザによる操作端末３からの操作で機器管理装置２を介して制御するシステムである。以下では、機器制御システム１が、オフィスビル等に配置される場合を一例として説明するが、後述するように、家庭の住居等に配置される場合も適宜適用可能である。

機器制御システム１は、例えば、同種の機器４が複数配置されるオフィスビル等に適用される。この機器制御システム１は、機器管理装置２と、操作端末３と、複数の機器４とから構成される。なお、操作端末３と機器管理装置２とは、例えば、無線通信ネットワーク８を介して通信可能に接続されており、また、機器管理装置２と各機器４とは、例えば、有線通信ネットワーク９を介して通信可能に接続されている。

機器管理装置２は、各機器４を管理すると共に、操作端末３との間で必要な情報のやり取りを行う。
例えば、機器管理装置２は、図２に示すように、機器情報記憶部２１と、端末位置検出部２２と、通信部２３と、制御部２４とから構成される。

機器情報記憶部２１は、各機器４に関する種々の情報を記憶している。
例えば、機器情報記憶部２１は、図３に示すような機器情報２１１を記憶している。この機器情報２１１には、機器ＩＤ２１１ａ、機器名称２１１ｂ、位置情報２１１ｃ、アドレス２１１ｄ、及び、状態２１１ｅ等が含まれている。
機器ＩＤ２１１ａは、機器４を識別するための情報である。また、機器名称２１１ｂは、機器４の名称であり、ユーザ等によって適宜設定可能となっている。
位置情報２１１ｃは、機器４が配置された実空間の三次元位置（例えば、ビル内における三次元位置）を示しており、予め計測された値が設定されている。なお、三次元位置における高さ情報については、各機器４が典型的に設置される高さ（例えば、照明機器やビルトインエアコンであれば天井の高さ、また、リモコン等であれば操作器が設置される典型的高さ）を、高さ情報として自動的に設定するようにしてもよい。
アドレス２１１ｄは、機器４との通信時に使用する情報である。また、状態２１１ｅは、機器４から取得された現在の状態を示す情報である。

また、機器情報記憶部２１は、各機器４のテンプレート画像も記憶する。このテンプレート画像は、例えば、機器４の外観の特徴箇所（特定パターン）を表す画像であり、操作端末３（後述する画像解析部３６）に用いられる。なお、テンプレート画像の詳細は、後述する画像解析部３６と共に説明する。

図２に戻って、端末位置検出部２２は、操作端末３の実空間における三次元位置（例えば、ビル内における三次元位置）を検出する。
例えば、端末位置検出部２２は、屋内ＧＰＳや、無線ＬＡＮによる屋内位置検出など公知の屋内端末位置検出技術を利用して、操作端末３の位置を検出する。なお、検出した操作端末３の位置を示す位置データは、順次、操作端末３に送信される。

通信部２３は、無線及び有線の通信ユニットからなり、操作端末３及び各機器４と通信する。
例えば、通信部２３は、無線通信ネットワーク８を介して操作端末３と通信し、また、有線通信ネットワーク９を介して各機器４と通信する。

制御部２４は、機器管理装置２全体を制御する。例えば、制御部２４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から構成される。制御部２４は、ＲＯＭ等に格納されたプログラムをＲＡＭに読み出して、ＣＰＵが実行することにより、上述した機器情報記憶部２１、端末位置検出部２２、及び、通信部２３を制御する。

図１に戻って、操作端末３は、例えば、タブレット端末やスマートフォンなどの携帯端末からなり、ビル内でユーザに使用される。
以下、操作端末３の詳細を、図４のブロック図を参照して説明する。図示するように、操作端末３は、入力部３０と、撮影部３１と、画像合成部３２と、表示部３３と、方位センサ３４と、姿勢センサ３５と、画像解析部３６と、機器識別部３７と、通信部３８と、制御部３９と、を備える。

入力部３０は、例えば、タッチパネルやタッチパッド等から構成され、ユーザからの操作入力を受け付ける。例えば、入力部３０としてタッチパネルを採用する場合、静電容量の変化を検出する透明な平板状の静電容量センサが、液晶表示器に重ねて実装される。この静電容量センサにより、ユーザの指先や専用のペンなどによるタッチ面（ユーザにとっては液晶表示器の表示画面）の接触（押圧）が検出されると、その位置の情報（座標データ）が制御部３９に出力される。制御部３９は、その位置情報に基づいて、ユーザの操作内容を判別する。ユーザが入力部３０を介して入力操作を行うと、その操作内容に応じた信号が制御部３９に供給される。

撮影部３１は、例えば、レンズや撮像素子（一例として、ＣＣＤ；Charge Coupled Device）等から構成され、操作端末３が撮影モードになると、実空間の画像（例えば、ビル内の画像）を撮影する。撮影部３１は、撮影によって生成した画像（撮影画像）を、制御部３９に供給する。
一例として、ユーザがビル内の天井に撮影部３１の光軸を向けた状態で、操作端末３を撮影モードにすると、撮影部３１は、図５に示すような複数の照明機器ＦＬを含んだ撮影画像を生成し制御部３９に供給する。なお、撮影モード中において、撮影部３１は、このような撮影画像を順次生成して制御部３９に供給する。

図４に戻って、画像合成部３２は、撮影部３１が撮影した撮影画像に、ユーザインタフェース画像を合成する。なお、ユーザインタフェース画像やその合成についての詳細は、後述する制御部３９と共に説明する。

表示部３３は、例えば、液晶表示器等からなり、撮影部３１が撮影した撮影画像等を表示する。
一例として、表示部３３は、上述した図５の撮影画像を表示する。なお、後述するように、表示部３３は、ユーザインタフェース画像が合成された撮影画像も表示する。

方位センサ３４は、例えば、磁気センサ等からなり、ユーザに保持される操作端末３の方位を検出する。
一例として、方位センサ３４は、操作端末３の裏面（例えば、撮影部３１が配置されている面）を基準とした現在の方位を検出する。方位センサ３４は、検出した方位を示す方位データを制御部３９に供給する。

姿勢センサ３５は、例えば、３軸の加速度センサ等からなり、ユーザに保持される操作端末３の姿勢を検出する。
一例として、姿勢センサ３５は、操作端末３の正面（例えば、表示部３３が配置されている面）を表にして水平に静置された状態を基準姿勢とし、各軸の重力加速度から、操作端末３の現在の姿勢を検出する。姿勢センサ３５は、検出した姿勢を示す姿勢データを制御部３９に供給する。
なお、制御部３９は、方位センサ３４が検出した方位と、姿勢センサ３５が検出した姿勢とを元に、撮影部３１の撮影方向を検出する。つまり、制御部３９は、撮影部３１の光軸の方向を求める。なお、方位センサ３４と姿勢センサ３５とを組み合わせたセンサによって、撮影部３１の撮影方向を直接検出するようにしてもよい。

画像解析部３６は、撮影部３１が撮影した撮影画像から機器４を示す機器画像を認識し、撮影画像中における機器画像の位置を解析する。
例えば、画像解析部３６は、上述した機器管理装置２の機器情報記憶部２１に記憶されるテンプレート画像を用いて、機器画像を認識する。つまり、機器情報記憶部２１には、各機器４の外観の特徴箇所を表すテンプレート画像がそれぞれ記憶されており、画像解析部３６は、このテンプレート画像を機器管理装置２から取得し、テンプレートマッチング手法により、撮影画像から機器４を認識する。すなわち、画像解析部３６は、撮影画像上で、テンプレート画像を移動させながら比較していくプレートマッチング手法により特定パターンを探し出し、撮影画像中における機器画像を認識する。
一例として、上述した図５の撮影画像が得られている場合、画像解析部３６は、照明機器ＦＬのテンプレート画像から機器画像を認識し、図６に示すように、認識シンボルＲＳにて把握する。
そして、画像解析部３６は、認識した機器画像の撮影画像中における位置を解析する。例えば、図６に示す認識シンボルＲＳの中心をそれぞれ求め、それらの位置を、撮影画像中における各機器画像の位置とする。画像解析部３６は、認識した機器画像に対応する機器４と、撮影画像中における機器画像の位置を示す解析データを制御部３９に供給する。なお、機器４が認識できなかった場合も、その旨を示す解析データを制御部３９に供給する。
なお、画像解析部３６は、機器制御システム１で管理される可能性のあるすべての機器４を対象として、機器画像を認識（抽出）するようにしてもよい。また、画像解析部３６は、このようなテンプレートマッチング手法の他に、一般の画像処理技術を適用してもよい。

図４に戻って、機器識別部３７は、機器管理装置２（端末位置検出部２２）が検出した操作端末３の位置、方位センサ３４が検出した方位と姿勢センサ３５が検出した姿勢とを元に検出した撮影部３１の撮影方向、及び、画像解析部３６が解析した撮影画像中における機器画像の位置に基づいて、機器４を上述した図３の機器情報２１１に対応付ける。つまり、撮影され、識別された機器４を、機器情報２１１における何れかの機器ＩＤ２１１ａの機器に同定する。
より具体的に機器識別部３７は、操作端末３と、撮影画像中の機器４（機器画像）とを結ぶ直線の方程式を求める。例えば、機器識別部３７は、図７に示すように、操作端末３の位置Ｔ（Ｘｔ，Ｙｔ，Ｚｔ）から、撮影部３１の撮影方向に向けて、直線Ｌを伸ばす。機器識別部３７は、機器情報２１１（位置情報２１１ｃ）を参照し、直線Ｌが最も近くを通る機器４を求める。図７の場合、位置Ｅ（Ｘｅ，Ｙｅ，Ｚｅ）に配置された機器４が求められる。そして、機器識別部３７は、撮影画像中の機器画像にその機器４を対応付ける。
なお、機器識別部３７は、画像解析部３６が認識した全ての機器４（撮影画像中における各機器画像）に対して、同様の手法にて機器情報２１１と対応付ける。

なお仮に、端末位置検出部２２により検出される操作端末３の位置が二次元の値である場合でも、操作端末３の操作される典型的な高さをあらかじめ設定しておき、この高さを含めた三次元の値を用いて、上記の演算を行うことができる。また、撮影画像中において複数の機器４が認識されている場合に、操作端末３の高さを未知変数として、複数の機器４について、対応付け可能な機器４の位置情報２１１ｃと直線方程式との距離が最も短くなるように、操作端末３の高さを含めてマッチングさせる演算を行ってもよい。
また、撮影画像中の機器４（機器画像）の相対的な大きさに基づいて、操作端末３と機器４との距離を推定し、推定した距離と上述した直接の方程式とから機器４の位置を推定し、位置情報２１１ｃと比較して機器情報２１１と対応付けてもよい。
更に、予め各種の機器４に応じて典型的な高さ情報を設定し、この高さを示す水平面と、上記直線との交点から、撮影画像中で認識された機器４（機器画像）の位置を推定し、この推定位置と位置情報２１１ｃと比較して機器情報２１１と対応付けるようにしてもよい。

図４に戻って、通信部３８は、無線の通信ユニットからなり、機器管理装置２と通信する。
例えば、通信部３８は、機器管理装置２から操作端末３の位置情報を受信したり、機器４に対する制御指示等を機器管理装置２に送信する。

制御部３９は、操作端末３全体を制御する。例えば、制御部３９は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。制御部２４は、ＲＯＭ等に格納されたプログラムをＲＡＭに読み出して、ＣＰＵが実行することにより、上述した入力部３０〜通信部３８を適宜制御する。
例えば、制御部３９は、画像合成部３２を制御して、撮影部３１が撮影した撮影画像に、ユーザインタフェース画像を合成する。一例として、画像合成部３２は、図８に示すように、上述した画像解析部３６が認識した機器画像を標す識シンボルＲＳの近傍に、ユーザインタフェース画像ＵＩを合成する。この図８では、ユーザインタフェース画像ＵＩに、認識した機器４（機器画像）の機器ＩＤを表示する表示例を示しているが、このような機器ＩＤ以外にも、種々の情報を表示してもよい。
一例として、画像合成部３２は、図９（ａ）に示すようなユーザインタフェース画像ＵＩを、撮影画像に合成してもよい。図９（ａ）のユーザインタフェース画像ＵＩには、機器４の機器名称や状態が表示され、更に、その機器４を制御するためのボタンＢｔも含まれている。つまり、ユーザは、図９（ａ）のユーザインタフェース画像ＵＩから、ボタンＢｔを押下することで、その機器４の動作状態を切り替えることができる。
この他にも、画像合成部３２は、図９（ｂ）に示すようなユーザインタフェース画像ＵＩを、撮影画像に合成してもよい。図９（ｂ）のユーザインタフェース画像ＵＩには、機器４の属するグループやグループの状態が表示され、更に、そのグループを一括制御するためのボタンＢｔも含まれている。つまり、照明機器ＦＬなどの機器４は、ある程度のまとまり（グループ）で同じ動作をするように求められるため、ユーザは、図９（ｂ）のユーザインタフェース画像ＵＩから、ボタンＢｔを押下することで、その機器４を含めたグループ内の機器４の動作状態を一括して切り替えることができる。

図１に戻って、機器４は、ビル内に配置される家電機器や住設機器であり、例えば、照明機器、ビルトインエアコン，温湿度センサ端末等である。
機器４は、有線通信ネットワーク９を介して、機器管理装置２と通信可能に接続され、機器管理装置２から送られる制御信号に従って、動作状態を遷移させる。

続いて、上記構成の機器制御システム１の動作について、以下、図１０を参照して説明する。図１０は、操作端末３等で実行される機器制御処理の一例を示すフローチャートである。

まず、機器管理装置２は、操作端末３の位置を検出する（ステップＳ１０１）。すなわち、端末位置検出部２２は、屋内ＧＰＳや、無線ＬＡＮによる屋内位置検出など公知の屋内端末位置検出技術を利用して、操作端末３の位置を検出する。なお、検出した操作端末３の位置を示す位置データは、操作端末３に送信される。

操作端末３から実空間を撮影する（ステップＳ１０２）。すなわち、撮影部３１は、実空間の画像（例えば、ビル内の画像）を撮影し、撮影によって生成した撮影画像を、制御部３９に供給する。
一例として、ユーザがビル内の天井に撮影部３１の光軸を向けた状態で撮影が行われると、撮影部３１は、上述した図５に示すような複数の照明機器ＦＬを含んだ撮影画像を生成し制御部３９に供給する。

操作端末３の撮影方向を検出する（ステップＳ１０３）。すなわち、制御部３９は、方位センサ３４が検出した方位と、姿勢センサ３５が検出した姿勢とを元に、撮影部３１の撮影方向を検出する。つまり、制御部３９は、撮影部３１の光軸の方向を求める。なお、方位センサ３４と姿勢センサ３５とを組み合わせたセンサによって、撮影部３１の撮影方向を直接検出するようにしてもよい。

撮影画像から機器４を示す機器画像を識別し、撮影画像中における機器画像の位置を解析する（ステップＳ１０４）。すなわち、画像解析部３６は、機器管理装置２の機器情報記憶部２１に記憶されるテンプレート画像を用いて、機器画像を認識する。一例として、上述した図５の撮影画像が得られている場合、画像解析部３６は、照明機器ＦＬのテンプレート画像から機器画像を認識し、上述した図６に示すように、認識シンボルＲＳにて把握する。
そして、画像解析部３６は、認識した機器画像の撮影画像中における位置を解析する。例えば、図６に示す認識シンボルＲＳの中心をそれぞれ求め、それらの位置を、撮影画像中における各機器画像の位置とする。画像解析部３６は、認識した機器画像に対応する機器４と、撮影画像中における機器画像の位置を示す解析データを制御部３９に供給する。

識別した機器４を、記憶している機器情報２１１に対応付ける（ステップＳ１０５）。すなわち、機器識別部３７は、上記のステップＳ１０１にて検出された操作端末３の位置、上記のステップＳ１０３にて検出された撮影部３１の撮影方向、及び、上記のステップＳ１０４にて解析された撮影画像中における機器画像の位置に基づいて、機器４を図３の機器情報２１１に対応付ける。つまり、撮影され、識別された機器４を、機器情報２１１における何れかの機器ＩＤ２１１ａの機器に対応付ける。
より具体的に機器識別部３７は、操作端末３と、撮影画像中の機器４（機器画像）とを結ぶ直線の方程式を求める。例えば、上述した図７に示すように、機器識別部３７は、操作端末３の位置Ｔ（Ｘｔ，Ｙｔ，Ｚｔ）から、撮影部３１の撮影方向に向けて、直線Ｌを伸ばす。そして、機器情報２１１（位置情報２１１ｃ）を参照し、直線Ｌが最も近くを通る機器４を求める。図７の場合、位置Ｅ（Ｘｅ，Ｙｅ，Ｚｅ）に配置された機器４が求められる。そして、機器識別部３７は、撮影画像中の機器画像にその機器４を対応付ける。
なお、機器識別部３７は、画像解析部３６が認識した全ての機器４（撮影画像中における各機器画像）に対して、同様の手法にて機器情報２１１と対応付ける。

機器情報に基づくユーザインタフェース画像を生成し、撮影画像に合成して表示する（ステップＳ１０６）。すなわち、画像合成部３２は、上述した図８に示すように、画像解析部３６が認識した機器画像を標す識シンボルＲＳの近傍に、ユーザインタフェース画像ＵＩを合成する。この図８の例では、ユーザインタフェース画像ＵＩに、認識した機器４（機器画像）の機器ＩＤを表示しているが、上述した図９（ａ），（ｂ）に示すように、ボタンＢｔ等を含んだユーザインタフェース画像ＵＩを、機器画像に合成して表示してもよい。

ユーザインタフェース画像の操作に基づいて、機器４の制御や設定を実施する（ステップＳ１０７）。
例えば、上述した図９（ａ）に示すユーザインタフェース画像ＵＩにて、ボタンＢｔがユーザによって押下されると、制御部３９は、通信部３８を介して、機器４（この例では、機器ＩＤが１２の照明機器）に対する動作指示（この例では、オフ指示）を、機器管理装置２に送信する。機器管理装置２は、機器情報２１１を参照して、制御が要求された機器４に、制御信号を送信する。

これらステップＳ１０１〜Ｓ１０７の動作を、例えば、撮影モード中であれば、繰り返し実行するようにしてもよい。すなわち、操作端末３にて繰り返し画像を撮影しながら、撮影画像に含まれる機器４（機器画像）を認識し、ユーザインタフェース画像を撮影画像に合成して表示することで、操作端末３の表示を随時更新する。
また、操作端末３の表示を随時更新している場合に、ユーザが入力部３０から確定入力を行うと、その時点での撮影画像と機器対応付け情報を保持し、以降は保持したデータに基づくユーザインタフェース画像を表示してもよい。すなわち、一旦、機器４の対応付けを確定すれば、対象の機器４が操作端末３の撮影範囲から外れても、ユーザは、そのまま対象の機器４の操作を行うことができる（スナップショットの保存機能）。

このように、本発明によれば、「撮影画像中の機器４の位置」と、「操作端末３の位置及び撮影方向」と、「予め保持された機器情報２１１（位置情報２１１ｃ）」とに基づいて、撮影画像中の機器４（機器画像）と、機器情報２１１とを対応付けるため、上述した特許文献１のシステムのようにマーカを用いることなく、より簡易な構成で機器４を制御できる。
例えば、複数の機器４をグルーピングして、一つの操作で複数の機器４を一括操作するためのグループ設定を行う場合にも、ユーザは、操作端末に表示される撮影画像（ユーザインタフェース画像が合成された撮影画像）を見ながら、任意の機器４を選択して、グループ設定を行うこができる。

また、従来技術では、通常、機器４の識別子（識別情報等）は実際に設置された位置などとは無関係に設定され、また識別子が機器４にも表示されていないことから、特に同一機種の機器４が複数配置された機器制御システム１では、実際に設置されているどの機器４にどの識別子が割り当てられているのかを判断することが難しいという課題があった。
また、従来技術において、識別子をスイッチやＧＵＩのアイコンに対応づけられる場合には、ユーザが、機器４の識別子に割り当てられたスイッチやアイコンと、実際の機器４との対応付けを認識することで、目的の機器４に対する操作を行うことも可能となる。しかしながら、機器制御システム１の導入時には、これらの対応付けをシステムに設定する必要があり、この設定作業において、上記同様にどの機器４にどの識別子が割り当てられているか判断することが難しいという課題があった。
特に、ビルにおける空調や照明といった機器４を制御する機器制御システム１では、同一機種の機器４が多数設置されるため、このような課題はより顕著であり、より簡便に機器を指定して当該機器の操作や設定を行えることが必要であった。
仮に、同一機種の機器４がシステム内で１台しか存在しない場合では、画像解析のみで対象の機器４を識別することも可能となり得る。しかしながら、同一機種の機器４がシステム内で複数存在する場合では、本願発明のように、各機器４の位置情報２１１ｃを記憶する機器情報２１１を備え、該各機器４の位置と、画像解析によって得られる位置とに基づいて各機器４をそれぞれ識別することが不可欠となる。
従って、本願発明では、機器制御システム１内に、同一機種の機器４が多数配置される状況で、各機器４を正しく識別することができる。

上記の実施形態では、操作端末３が画像解析部３６、機器識別部３７、及び、画像合成部３２を備える場合について説明したが、これらの構成を機器管理装置２側に備えるようにしてもよい。その場合、操作端末３は、通信部３８から、撮影画像、方位・姿勢データを機器管理装置２に送信し、機器管理装置２側で画像解析、機器識別、及び、画像合成等を実施する。

（変形例）
上記の実施形態では、画像解析部３６が認識した全ての機器について、機器識別部３７は、上述した図７の直線Ｌを用いて、機器４を機器情報２１１に対応付ける場合について説明したが、対応付けの精度をより高めるために、テンプレート画像に対して相対的に大きく撮像された機器４（機器画像）についてのみ、上述した図７の直線Ｌを用いて対応付けを行い、その他の機器４については、撮影画像中の相対配置と、機器情報２１１における位置情報２１１ｃの相対配置とに基づいて、応付けを行うようにしてもよい。
以下、この対応付けの精度をより高める手法について、具体的に説明する。

まず、機器識別部３７は、テンプレート画像に対して相対的に大きく撮像された機器４について、上述した図７の直線Ｌを用いて、機器情報２１１に対応付ける。
次に、機器識別部３７は、撮影画像中に認識（抽出）された複数の機器４の相対配置（隣接関係）を求める。例えば、撮影画像中で抽出された各機器４同士を直線で結んだ場合に、機器識別部３７は、間に他のものが存在しなければ隣接と判定する。
次に、機器識別部３７は、機器情報２１１の位置情報２１１ｃから、同様に、機器４の相対配置（隣接関係）を求める。
そして、機器識別部３７は、操作端末３の撮影方向に基づいて、座標変換を行い、撮影画像と機器情報２１１の位置情報２１１ｃのそれぞれから得られた相対配置を比較し、最初に図７の直線Ｌを用いて対応付けた機器４を基準として、残りの機器４を順次機器情報２１１と対応付けを行う。
つまり、最初に対応付けた機器４を基準として、ある方向に隣接関係にある機器４と、位置情報２１１ｃにおいて同じ方向に隣接関係にある機器４の機器情報２１１とを対応づける。この動作を繰り返し行うことで、撮影画像中で認識（抽出）された機器４と機器情報２１１とをすべて対応付ける。

操作端末３と撮影画像中の機器４（機器画像）とを結ぶ直線の方程式によって機器４を同定すると、操作端末３に近い（すなわち相対的に大きく撮像される）機器４は誤差が小さいものの、操作端末３から離れた位置にある機器４は誤差が大きくなってしまう。そのため、本変形例のように、相対的に大きく撮像された機器４についてのみ、図７の直線Ｌを用いて同定し、他の機器４は隣接関係に基づいて同定することにより、誤った対応付けを減らすことが可能となる。

また、本変形例において、操作端末３の移動により撮像範囲が動いて行った場合に、最初に同定した機器４については、機器情報２１１との対応付けを保持し、さらに撮影画像上で画像処理によりトラッキング（追尾）し、他の機器４については、随時、隣接関係に基づいて機器情報２１１と対応付けるようにしてもよい。
例えば、まず、特定の機器４をできるだけ大きく撮影して（近くで撮影して）、機器情報２１１と対応付けた後、少しずつ撮像範囲を動かして（少しずつ離れて撮影して、撮像範囲に入った機器４を隣接関係に基づいて順次機器情報２１１と対応付けていく。このようにまず近くの機器４を大きく撮像し精度よく機器情報２１１と対応付け後に、その周囲の機器４を順次機器情報２１１と対応付けることにより、すべての機器４について精度よく機器情報２１１と対応づけることができる。

このように、本発明の実施形態に係る機器制御システム１はマーカ等を用いることなく、より簡易な構成で、機器を制御することができる。

上記の実施形態では、操作端末３にタブレット端末やスマートフォン等を利用する場合について説明したが、その他にもヘッドマウントディスプレイ（ＨＭＤ）等を利用してもよい。

本発明は、機器制御システム１に限られず、他に、照明制御システムにおける照明器具やスイッチの操作・設定に利用してもよい。また、本発明は、機器制御システム１に限られず、他に、空調制御システムにおける空気調和装置やリモコン装置の操作・設定に利用してもよい。また、本発明は、機器制御システム１に限られず、他に、温度や湿度などを計測するセンサシステムにおけるセンサ端末の操作・設定に利用してもよい。

上記の実施形態では、機器管理装置２や操作端末３を用いる場合について説明したが、これら機器管理装置２や操作端末３の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器等に適用することで、当該パーソナルコンピュータ等を本発明に係る機器管理装置２や操作端末３として機能させることも可能である。

また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

１ 機器制御システム、２ 機器管理装置、２１ 機器情報記憶部、２２ 端末位置検出部、２３ 通信部、２４ 制御部、３ 操作端末、３０ 入力部、３１ 撮影部、３２ 画像合成部、３３ 表示部、３４ 方位センサ、３５ 姿勢センサ、３６ 画像解析部、３７ 機器識別部、３８ 通信部、３９ 制御部、４ 機器、８ 無線通信ネットワーク、９ 有線通信ネットワーク

Claims (3)

1. 制御対象となる機器と、当該機器と通信可能に接続された機器管理装置と、当該機器管理装置と通信可能に接続された操作端末とを有する機器制御システムであって、
   前記操作端末の位置を検出する位置検出部と、
   前記操作端末から前記機器を含む実空間を撮影する撮影部と、
   前記撮影部が撮影した撮影画像から前記機器を示す機器画像を認識し、当該撮影画像中における当該機器画像の位置を解析する画像解析部と、
   前記操作端末の撮影方向を求めるセンサと、
   前記機器の位置を含む機器情報を予め記憶する機器情報記憶部と、
   前記位置検出部が検出した前記操作端末の位置、前記センサが求めた前記操作端末の撮影方向、及び、前記画像解析部が解析した撮影画像中における機器画像の位置に基づいて、前記機器を前記機器情報記憶部に記憶される機器情報に対応付ける機器識別部と、
   前記機器識別部が対応付けた機器情報に基づいて生成したユーザインタフェース画像を、前記撮影部が撮影した撮影画像に合成して表示する表示部と、を備え、
   前記機器識別部は、前記撮影部が撮影した撮影画像中で相対的に大きく撮像された機器画像についてだけ、前記位置検出部が検出した前記操作端末の位置と、前記撮影部が撮影した撮影画像中の機器画像の画像の位置とを結ぶ直線の方程式を求め、当該直線の方程式に基づいて、前記機器を前記機器情報記憶部に記憶される機器情報に対応付けると共に、撮影画像中の残りの機器画像について、撮影画像中における機器画像同士の相対配置と、前記機器情報記憶部に記憶される機器情報における前記機器同士の相対配置とに基づいて、残りの機器を前記機器情報記憶部に記憶される機器情報に対応付ける、
   機器制御システム。
2. 前記画像解析部は、テンプレートマッチングにより、前記撮影部が撮影した撮影画像から前記機器を示す機器画像を認識し、当該撮影画像中における当該機器画像の位置を解析する、
   請求項１に記載の機器制御システム。
3. 制御対象となる機器と、当該機器と通信可能に接続された機器管理装置と、当該機器管理装置と通信可能に接続された操作端末とを有するシステムにおける機器制御方法であって、
   前記操作端末の位置を検出する位置検出ステップと、
   前記操作端末から前記機器を含む実空間を撮影する撮影ステップと、
   前記撮影ステップにて撮影した撮影画像から前記機器を示す機器画像を認識し、当該撮影画像中における当該機器画像の位置を解析する画像解析ステップと、
   前記操作端末の撮影方向を求める検出ステップと、
   前記位置検出ステップにて検出した前記操作端末の位置、前記検出ステップにて求めた前記操作端末の撮影方向、及び、前記画像解析ステップにて解析した撮影画像中における機器画像の位置に基づいて、前記機器を、前記機器の位置を含む機器情報に対応付ける機器識別ステップと、
   前記機器識別ステップにて対応付けた機器情報に基づいて生成したユーザインタフェース画像を、前記撮影ステップにて撮影した撮影画像に合成して表示部に表示する表示制御ステップと、を備え、
   前記機器識別ステップでは、前記撮影ステップにて撮影した撮影画像中で相対的に大きく撮像された機器画像についてだけ、前記位置検出ステップにて検出した前記操作端末の位置と、前記撮影ステップにて撮影した撮影画像中の機器画像の画像の位置とを結ぶ直線の方程式を求め、当該直線の方程式に基づいて、前記機器を前記機器情報に対応付けると共に、撮影画像中の残りの機器画像について、撮影画像中における機器画像同士の相対配置と、前記機器情報における前記機器同士の相対配置とに基づいて、残りの機器を前記機器情報に対応付ける、
   機器制御方法。

Images