JP6711800B2 - 機器制御装置、機器制御方法及び機器制御システム - Google Patents

Description

本発明は、ユーザの動作に基づいて機器を制御する機器制御装置、機器制御方法及び機器制御システムに関する。

ユーザの動作（ジェスチャ）を検知することによって、住宅内に設置された様々な機器への指示を行う機器制御装置が開発されている。ここでユーザの動作とは、機器の操作部に対して直接操作を行うことではなく、機器の操作部から同一又は離れた空間でユーザが行う様々な動作をいう。機器制御装置はユーザが所定の動作を行ったことを検知すると、該動作に基づいて照明、空調機器、ＡＶ（Audio Visual）機器等の機器をオン又はオフにし、あるいは調節することができる。

特許文献１には、ユーザ端末において、ユーザが行った動作を検知し、該動作に関連付けられた相手との通信を開始する技術が記載されている。

特許第５８２００５８号公報

住宅には、ユーザの動作によって制御可能な複数の機器が設置され得る。しかしながら、特許文献１に記載の技術では、ユーザとユーザ端末とが一対一の関係にあることが前提となっているため、複数の機器をまとめて制御することはできない。ユーザにとって、複数の機器のそれぞれに対してオン、オフ等を指示する動作を行うのは煩雑である。

本発明は上述の点に鑑みてなされたものであり、ユーザの動作に基づいて複数の機器をまとめて制御可能な機器制御装置、機器制御方法及び機器制御システムを提供することを目的とする。

本発明の第１の態様の機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、前記検出部が検出した前記動作に基づいて、複数の機器を選択する選択部と、前記選択部が選択した前記複数の機器の制御を行う機器制御部と、を有する。

前記選択部は、前記動作の軌跡が示す形状に対応する前記複数の機器を選択してもよい。

前記選択部は、前記ユーザの位置を起点として前記形状を延長した範囲内に位置する前記複数の機器を選択してもよい。

前記選択部は、前記動作が行われた位置に基づいて、前記複数の機器を選択してもよい。

前記選択部は、前記動作と、前記動作が行われた環境を示す環境情報とに基づいて、前記複数の機器を選択してもよい。

前記選択部は、前記動作と、前記動作が行われた時間、前記動作が行われた位置の気温及び前記動作が行われた位置の明るさの少なくとも１つを示す前記環境情報とに基づいて、前記複数の機器を選択してもよい。

前記選択部は、前記動作と、前記動作を行ったユーザを示すユーザ情報とに基づいて、前記複数の機器を選択してもよい。

それぞれの前記複数の機器が選択可能か否かの設定を示す設定情報を取得する取得部をさらに備え、前記選択部は、前記動作に基づいて、前記設定情報が選択可能であることを示す前記複数の機器を選択してもよい。

前記機器制御部が前記複数の機器の前記制御を行った後、所定時間内に前記複数の機器に対して前記制御とは逆の操作が行われた場合に、前記機器制御部は前記機器が選択不可能であることを前記設定情報に設定してもよい。

それぞれの前記複数の機器の種類ごとに選択可能か否かの設定を示す設定情報を取得する取得部をさらに備え、前記選択部は、前記動作に基づいて、前記設定情報が選択可能であることを示す前記複数の機器を選択してもよい。

前記複数の機器のグループを示す設定情報を取得する取得部をさらに備え、前記機器制御部は、前記選択部が選択した前記複数の機器が、前記設定情報が示す前記グループの一部の機器を含まない場合に、前記複数の機器に加えて前記一部の機器に対して前記制御を行ってもよい。

前記機器制御部は、前記一部の機器の前記制御を行う前に、前記一部の機器を間欠的に作動させてもよい。

前記検出部は、前記ユーザの第１の動作と、前記第１の動作の後に行われる前記ユーザの第２の動作とを前記動作として検出し、前記選択部は、前記第１の動作に基づいて、前記複数の機器を選択し、前記機器制御部は、前記選択部が選択した前記複数の機器に対して、前記第２の動作に対応する前記制御を行ってもよい。

本発明の第２の態様の機器制御方法は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出するステップと、前記検出するステップで検出された前記動作に基づいて、複数の機器を選択するステップと、前記選択するステップで選択された前記複数の機器の制御を行う機器制御部と、を有する。

本発明の第３の態様の機器制御システムは、複数の機器と、前記複数の機器を制御する機器制御装置とを備え、前記機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、前記検出部が検出した前記動作に基づいて、前記複数の機器を選択する選択部と、前記選択部が選択した前記複数の機器の制御を行う機器制御部と、を有し、前記複数の機器は、前記機器制御部による前記制御に従って作動する。

本発明によれば、ユーザの動作に基づいて複数の機器をまとめて制御できる。

第１の実施形態に係る機器制御システムの模式図である。 第１の実施形態に係る制御サーバが検出するユーザの動作を示す模式図である。 第１の実施形態において特定動作が指定する範囲を示す模式図である。 第１の実施形態に係る制御サーバで用いられる制御データベースを示す模式図である。 第１の実施形態に係る機器制御システムのブロック図である。 第１の実施形態に係る機器制御方法のフローチャートを示す図である。 第２の実施形態に係る機器制御システムの模式図である。 第３の実施形態において特定動作が指定する範囲を示す模式図である。 第３の実施形態に係る制御サーバが検出するユーザの動作を示す模式図である。 第４の実施形態に係る機器制御方法のフローチャートを示す図である。 第５の実施形態に係る制御サーバで用いられる制御データベースを示す模式図である。 第６の実施形態に係る制御サーバで用いられるグループデータベースを示す模式図である。

（第１の実施形態）
図１は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、機器制御装置としての制御サーバ１と、様々な情報を取得する１つ又は複数のセンサ装置２と、制御サーバ１によって制御される１つ又は複数の機器３と、通信を仲介するゲートウェイ４と、を含む。機器制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。

機器３は、制御サーバ１からの制御信号を受けることによって、オン、オフ、調節等の制御がなされる被制御機器である。機器３として、照明、空調機器、ＡＶ機器等、任意の機器を用いることができる。機器３は、制御サーバ１による制御だけでなく、ユーザによる操作によって作動してもよい。機器３は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。

センサ装置２は、画像、音声、温度等の情報を測定して取得する。センサ装置２は、情報の取得に必要な各種のセンサを有する。センサ装置２は機器３に内蔵されてもよく、あるいは独立して設置されてもよい。センサ装置２は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。

ゲートウェイ４は、センサ装置２、機器３及び制御サーバ１の間で授受される信号に対してプロトコル変換等の処理を行って通信可能にする中継装置である。ゲートウェイ４は、有線接続又は無線接続によってセンサ装置２及び機器３のそれぞれに接続され、またローカルエリアネットワーク、インターネット等の任意のネットワークＮを介して制御サーバ１に接続される。

制御サーバ１は、センサ装置２、機器３及びゲートウェイ４が設置されている建物の外部において、有線通信又は無線通信によってネットワークＮに接続される。制御サーバ１は、単一のコンピュータ、又はコンピュータ資源の集合であるクラウドによって構成される。制御サーバ１は、センサ装置２が測定した情報を示す信号を、ゲートウェイ４を介して受信する。次に制御サーバ１は、センサ装置２からの情報に基づいて、制御対象の機器３及び制御内容を判定する。そして制御サーバ１は、制御内容を示す信号を、ゲートウェイ４を介して機器３へ送信する。

［ユーザの動作の説明］
図２は、本実施形態に係る制御サーバ１が検出するユーザの動作を示す模式図である。ユーザの動作は、特定動作及び調整動作を含む。特定動作（第１の動作）は制御対象の機器３を指定する動作であり、調整動作（第２の動作）は制御内容を指定する動作である。

特定動作は、１つ又は複数の制御対象の機器３を含む範囲を指定する所定の図形Ｆを描くように空中で指を動かす行為である。すなわち、図形Ｆはユーザの動作の軌跡が示す形状である。図形Ｆは、図２の例のような円形に限られず、楕円形、矩形、三角形、その他多角形等、制御サーバ１に予め設定された所定の形状である。

調整動作は、特定動作の後に手の形状を変化させたり、手を動かしたりする行為である。調整動作は、例えば、特定動作の後に手を握る行為（すなわち手をグーの形にすること）である。これにより、制御サーバ１は、特定動作によって描かれた図形Ｆの延長線内の範囲に位置する１つ又は複数の機器３を制御対象として選択し、手を握る行為に対応する制御内容（例えば機器３をオフにすること）を決定する。

図２に示したユーザの動作は一例であり、制御サーバ１はユーザを撮像して得られた画像から判定可能な所定の動作を検出するように構成される。ユーザの動作として、特定動作及び調整動作の２つの動作に限らず、１つ又は複数の制御対象及び制御内容を同時に指定する１つの動作と用いてもよく、あるいは３つ以上の動作を組み合わせて用いてもよい。

図３は、本実施形態において特定動作が指定する範囲Ｒを示す模式図である。図３は、建物の内部を上方から見た状態を示す。図３には、ユーザの特定動作によって指定された範囲Ｒが破線で表されている。制御サーバ１は、ユーザの特定動作によって描かれた図形Ｆを検出すると、建物内において、ユーザ（例えばユーザの指）の位置を起点として図形Ｆを３次元的に延長した範囲Ｒを特定する。そして制御サーバ１は、範囲Ｒ内に位置する１つ又は複数の機器３を制御対象として選択する。各機器３の位置は、制御サーバ１に予め記憶される。なお、図３は視認性のために２次元で表現されているが、実際には範囲Ｒは３次元であり、制御サーバ１は３次元空間内で範囲Ｒに含まれる機器３を選択する。

建物内の所定の場所（例えば玄関）に位置するユーザが特定動作を行った場合に、制御サーバ１は機器３の全選択を実行する。機器３の全選択は、特定動作によって指定された範囲Ｒ及び機器３の位置にかかわらず、制御サーバ１に登録された全ての機器３を選択することである。全選択を行うための場所（例えば建物の所定の点を基準とした所定の座標範囲）は、制御サーバ１に予め記憶される。例えば制御サーバ１はユーザが玄関で特定動作を行った場合に全選択を行うことによって、ユーザが外出する際に建物内の全ての機器３をオフにしたり、ユーザが帰宅する際に建物内の全ての機器３をオンにしたりすることができる。図４を用いて後述するように、ユーザは全選択によって制御したくない機器３については、全選択の対象から除外するように制御サーバ１に設定できる。

［制御データベースＤの説明］
図４は、本実施形態に係る制御サーバ１で用いられる制御データベースＤを示す模式図である。制御データベースＤは、ユーザの動作から制御対象の機器３及び制御内容を決定するための設定情報を記憶する。具体的には、制御データベースＤは、機器番号Ｄ１、位置情報Ｄ２、調整動作Ｄ３及び全選択Ｄ４を関連付けて記憶する。

機器番号Ｄ１は、機器３を識別するための番号である。機器番号Ｄ１は、例えば登録された機器３の通し番号でもよく、機器３に予め付与されたＭＡＣ（Media Access Control）アドレス等でもよい。

位置情報Ｄ２は、機器３の位置を示す情報であり、例えば建物の所定の点を基準とした３次元座標Ｘ、Ｙ、Ｚで表される。機器３の位置は、ユーザの特定動作によって範囲Ｒが指定された際に、範囲Ｒ内に位置する機器３を特定するために使用される。機器３の位置は、例えばセンサ装置２によって機器３を撮像して得られた画像から制御サーバ１が推定する。あるいは、ユーザが携帯端末のアプリケーション等を用いて各機器３の位置を制御サーバ１に設定してもよい。この場合には、例えばユーザはアプリケーション上で座標情報を入力する、あるいはアプリケーションに表示された建物内のマップにマークをつけることによって、機器３の位置を制御サーバ１に設定する。本実施形態では３次元座標を用いているが、高さ方向の座標を除いて２次元座標を用いてもよい。この場合には、高さを区別せずに水平方向の位置によって機器３が特定される。

調整動作Ｄ３は、制御内容を指定する動作を示す情報である。調整動作Ｄ３として、例えば図２に示した手を握ることのほか、手を開くこと、手を特定の形状にして特定の方向に動かすこと等を用いることができる。調整動作Ｄ３が指定する制御内容として、オン、オフ、調節等、機器３が実行可能ないずれかの作動を用いることができる。１つの機器３（機器番号Ｄ１）に対して、複数の調整動作Ｄ３が設定されてもよい。

全選択Ｄ４は、機器３を、建物内の所定の場所で特定動作が行われた場合に実行される全選択の対象とするか否かを設定する。具体的には、制御サーバ１は、全選択を実行する場合に、位置情報Ｄ２にかかわらず、全選択Ｄ４が「可」に設定されている機器３を選択し、全選択Ｄ４が「不可」に設定されている機器３を選択しない。これにより、ユーザは全選択によって制御したくない機器３（例えば電気コンロ、電気ストーブ等の加熱機器）を、全選択の対象から除外できる。

全選択Ｄ４は、機器３の作動（オン、オフ等）ごとに設定可能にしてもよい。この場合には、ある機器３の全選択Ｄ４において、オンの作動については「不可」にし、オフの作動については「可」に設定することができる。

各機器３に対する調整動作Ｄ３及び全選択Ｄ４は、予め制御サーバ１に設定されてもよい。あるいはユーザが携帯端末のアプリケーション等を用いて各機器３に対する調整動作Ｄ３及び全選択Ｄ４を制御サーバ１に設定してもよい。この場合には、制御サーバ１は画像から取得した機器３の外観に基づいて加熱機器のような安全性に関わる機器３を判定し、該機器３の全選択Ｄ４の初期値を予め「不可」に設定することが望ましい。安全性に関わる機器３の判定には、例えば公知のパターンマッチング技術を用いることができる。

図４に示した制御データベースＤは一例であり、制御データベースＤの内容及び形式は、本実施形態に係る機器制御方法で利用可能である限り任意に設定される。図４において、制御データベースＤは視認性のために文字列の表で表されているが、制御サーバ１が解釈可能な任意のデータ形式（ファイル形式）で表されてもよく、例えばバイナリデータ又はテキストデータでよい。制御データベースＤは制御サーバ１の内部に記憶されてもよく、制御サーバ１の外部の記憶装置に記憶されてもよい。

［機器制御システムＳの構成］
図５は、本実施形態に係る機器制御システムＳのブロック図である。図５において、矢印は主なデータの流れを示しており、図５に示したもの以外のデータの流れがあってよい。図５において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図５に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

センサ装置２は、画像センサ２１を有する。画像センサ２１は、撮像した画像を示す情報を出力する撮像素子を有するカメラである。画像センサ２１によって撮像された画像は、制御サーバ１が上述の特定動作及び調整動作を検出するために用いられる。また制御サーバ１は、複数の画像センサ２１によって複数の方向から撮像された画像から、ユーザの位置を推定する。あるいは、ユーザの位置を検出するために、赤外線や超音波を被写体（ユーザ）に照射することによって距離を測定する距離センサを設けてもよい。

制御サーバ１は、制御部１１と、通信部１２と、記憶部１３と、を有する。制御部１１は、動作検出部１１１と、設定取得部１１２と、機器選択部１１３と、機器制御部１１４とを有する。

通信部１２は、ゲートウェイ４を介してセンサ装置２及び機器３との間で通信をするための通信インターフェースである。通信部１２は、センサ装置２及び機器３から受信した通信信号に所定の処理を行ってデータを取得し、取得したデータを制御部１１に入力する。また、通信部１２は、制御部１１から入力されたデータに所定の処理を行って通信信号を生成し、生成した通信信号をセンサ装置２及び機器３に送信する。

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを予め記憶している。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、動作検出部１１１、設定取得部１１２、機器選択部１１３及び機器制御部１１４として機能する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。

本実施形態に係る機器制御システムＳは、図５に示す具体的な構成に限定されない。例えば制御サーバ１は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。

動作検出部１１１は、センサ装置２によって撮像された画像が示すユーザの動作を検出する。具体的には、まず動作検出部１１１は、通信部１２を介してセンサ装置２からの情報を受信する。動作検出部１１１は、受信した情報からセンサ装置２の画像センサ２１によって撮像された画像を取得する。動作検出部１１１は、取得した画像に対して３次元認識の画像解析技術を適用し、ユーザの動作及び位置を検出する。図形Ｆを描く特定動作が検出されるまで、動作検出部１１１は動作の検出を繰り返す。３次元認識の画像解析技術として、公知の技術を用いることができる。

図形Ｆを描く特定動作が検出された場合に、設定取得部１１２は、制御データベースＤから各機器３の設定情報を取得する。機器選択部１１３は、動作検出部１１１によって検出されたユーザの位置が全選択を行うための所定の座標範囲内にあるか否かを判定する。ユーザの位置が所定の座標範囲内にない場合に、機器選択部１１３は、特定動作の図形Ｆに対応する機器３を制御対象として選択する。具体的には、機器選択部１１３は、設定取得部１１２によって取得された制御データベースＤの設定情報における各機器３の位置情報Ｄ２から、動作検出部１１１によって検出されたユーザの位置を起点として図形Ｆを３次元的に延長した範囲Ｒ内に位置する機器３（すなわち機器番号Ｄ１）を制御対象として選択する。

ユーザの位置が所定の座標範囲内にある場合に、機器選択部１１３は、設定取得部１１２によって取得された制御データベースＤの設定から、全選択Ｄ４が「可」に設定されている全ての機器３（すなわち機器番号Ｄ１）を制御対象として選択する。

制御対象が決定された後、動作検出部１１１は、次のフレーム（あるいは所定時間後）の画像を取得して、同様に３次元認識の画像解析技術を適用し、ユーザの動作を検出する。設定取得部１１２によって取得された制御データベースＤの設定情報に含まれるいずれかの調整動作（すなわち調整動作Ｄ３）に合致する動作が検出されるまで、動作検出部１１１は動作の検出を繰り返す。

特定動作が検出された後、所定時間経過しても調整動作が検出されない場合には、動作検出部１１１は特定動作の検出に戻る。調整動作が検出された場合に、動作検出部１１１は、設定取得部１１２によって取得された制御データベースＤの設定情報において該調整動作が指定する内容（オン、オフ、調節等）を制御内容として決定する。

動作の誤検出を抑制するために、動作検出部１１１は、同一の動作が所定時間継続された場合に、該動作に合致する特定動作又は調整動作を検出してもよい。

動作検出部１１１、設定取得部１１２及び機器選択部１１３がユーザの動作に関連付けられた制御対象及び制御内容を決定した場合に、機器制御部１１４は、決定された制御内容に従って制御を行うための制御信号を生成し、決定された制御対象の機器３に通信部１２を介して送信する。

機器３は、ゲートウェイ４を介して制御サーバ１から受信した制御信号に従って、オン、オフ、調節等の所定の作動を行う。

このように、本実施形態に係る制御サーバ１は、ユーザの動作によって描かれた図形Ｆを延長した範囲内にある機器３又はユーザの動作が行われた建物内の全ての機器３をまとめて選択し、選択した１つ又は複数の機器３に対して同時に指示を与えることができる。そのため、ユーザはそれぞれの機器３に対して動作による指示を行う必要がない。

センサ装置２から制御サーバ１へ画像を常時送信すると通信負荷が大きいため、センサ装置２は、画像から所定の動作（特定動作及び調整動作）に近い動作を検出した場合にのみ、制御サーバ１への画像の送信を開始してもよい。この場合には、センサ装置２は動作検知ソフトウェアを実行するコンピュータとして構成され、特定動作及び調整動作に近い動作を予め登録する。センサ装置２は、該動作検知ソフトウェアを用いて、画像センサ２１が撮像した画像から予め登録された動作を検知した場合に、制御サーバ１への画像の送信を開始する。これにより、センサ装置２から制御サーバ１へ送信されるデータの通信量を低減することができる。

［機器制御方法のフローチャート］
図６は、本実施形態に係る機器制御方法のフローチャートを示す図である。図６のフローチャートは、例えばユーザが制御サーバ１に対して所定の開始操作を行うことによって開始される。

まず動作検出部１１１は、センサ装置２によって撮像された画像から、ユーザが図形Ｆを描く動作（すなわち上述の特定動作）及びユーザの位置を検出する（Ｓ１１）。

ステップＳ１１で動作検出部１１１が動作を検出しない場合に（Ｓ１２のＮＯ）、制御サーバ１はステップＳ１１に戻って処理を繰り返す。ステップＳ１１で動作検出部１１１が動作を検出した場合に（Ｓ１２のＹＥＳ）、設定取得部１１２は、制御データベースＤから各機器３の設定情報を取得する（Ｓ１３）。

機器選択部１１３は、動作検出部１１１によって検出されたユーザの位置が全選択を行うための所定の座標範囲内にあるか否かを判定する。ユーザの位置が所定の座標範囲内にある場合に（Ｓ１４のＹＥＳ）、機器選択部１１３は、ステップＳ１３で設定取得部１１２が取得した制御データベースＤの設定から、全選択Ｄ４が「可」に設定されている全ての機器３を制御対象として選択する（Ｓ１５）。

ユーザの位置が所定の座標範囲内にない場合に（Ｓ１４のＮＯ）、機器選択部１１３は、ステップＳ１３で設定取得部１１２が取得した制御データベースＤの設定から、ステップＳ１１で動作検出部１１１が検出したユーザの位置を起点として、図形Ｆを３次元的に延長した範囲Ｒ内に位置する機器３を制御対象として選択する（Ｓ１６）。

制御対象が決定された後、動作検出部１１１は、センサ装置２によって撮像された次のフレーム（あるいは所定時間後）の画像から、ユーザの動作（すなわち上述の調整動作）を検出する。動作検出部１１１はいずれかの調整動作に合致する動作が検出されるまで動作の検出を繰り返してもよく、所定時間経過しても調整動作が検出できない場合には制御サーバ１はステップＳ１１に戻って処理を繰り返してもよい。調整動作が検出できた場合に、動作検出部１１１は、ステップＳ１３で設定取得部１１２が取得した制御データベースＤの設定情報において該調整動作が指定する内容を制御内容として決定する（Ｓ１７）。

機器制御部１１４は、ステップＳ１７で動作検出部１１１が決定した制御内容に従って制御を行うための制御信号を生成し、ステップＳ１５又はＳ１６で機器選択部１１３が決定した１つ又は複数の制御対象の機器３に通信部１２を介して送信する（Ｓ１８）。

所定の終了条件（例えばユーザが制御サーバ１に対して所定の終了操作を行うこと）が満たされない場合に（Ｓ１９のＮＯ）、制御サーバ１はステップＳ１１に戻って処理を繰り返す。所定の終了条件が満たされる場合に（Ｓ１９のＹＥＳ）、制御サーバ１は処理を終了する。

［第１の実施形態の効果］
本実施形態に係る制御サーバ１は、ユーザの動作によって空中に描かれた図形Ｆを三次元的に延長した範囲内の機器３を選択して制御する。このような構成により、制御サーバ１はユーザの動作に基づいて複数の機器をまとめて制御可能であるため、ユーザの利便性を向上させることができる。さらに制御サーバ１は、ユーザが所定の場所で動作を行った場合には、建物内の選択可能な全ての機器３を選択する。これにより、例えば玄関においてユーザが外出する際又は帰宅する際に、建物内の機器３を全てオン又はオフにする等、容易に複数の機器３を制御することができる。

［第１の実施形態の変形例］
上述の機器制御方法では、制御サーバ１は常に動作の検出を行っているが、特定の開始音声を検出したことをトリガとして動作の検出を開始してもよい。この場合には、センサ装置２は、マイクロフォン等の音声センサを備える。まず制御サーバ１は、開始音声が検出される前には動作の検出を行わず、開始音声の検出を開始する。制御サーバ１は、センサ装置２の音声センサから取得した音声から、所定の開始音声を検出する。開始音声は、例えば「ＯＫ」、「Ｈｉ」等の制御サーバ１に記憶された音声である。また、開始音声は、ユーザが制御サーバ１に予め録音した音声でもよい。

例えば制御サーバ１は、センサ装置２の音声センサから取得した音声に対して音声認識技術を適用し、該音声に開始音声に対応する言語が含まれている場合に、開始音声を検出してもよい。音声認識技術として、公知の技術を用いることができる。また、制御サーバ１は、センサ装置２の音声センサから取得した音声の周波数スペクトルに、予め録音された開始音声の周波数スペクトルの所定の割合以上が含まれている場合に、開始音声を検出してもよい。所定の割合は、開始音声と一致していると考えられる程度の割合であり、例えば９０％である。また、制御サーバ１は、センサ装置２の音声センサから取得した音声の周波数スペクトルのパターンと、予め録音された開始音声の周波数スペクトルのパターンとの相関度が所定値以上である場合に、開始音声を検出してもよい。

そして制御サーバ１は、開始音声を検出した場合に、動作の検出を開始して上述の機器制御方法を行う。制御サーバ１は、開始音声が検出された時点から所定の時間が経過した場合に、動作の検出を停止し、再び開始音声の検出を行う。

このような構成により、制御サーバ１は、開始音声を検出した後の所定期間のみ、画像からの動作の検出を行う。そのため、制御サーバ１の処理負荷及び通信負荷を軽減することができる。

（第２の実施形態）
第１の実施形態において制御サーバ１は建物の外部に配置され、ネットワークＮを介してセンサ装置２及び機器３と通信する。そのため、ネットワークＮの通信状況によっては動作の検出及び機器の制御の実行に時間が掛かるおそれがある。また、センサ装置２から制御サーバ１へ画像を常時送信すると通信負荷が大きい。それに対して、本実施形態では、建物の外部に配置された制御サーバ１−１に加えて、建物内に制御サーバ１−２を設ける。

図７は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、第１の実施形態と同様のセンサ装置２、機器３及びゲートウェイ４に加えて、建物外においてネットワークＮに接続されている制御サーバ１−１、及び建物内においてゲートウェイ４とネットワークＮとの間に接続されている制御サーバ１−２を含む。制御サーバ１−１及び制御サーバ１−２は、それぞれ図５の制御サーバ１と同様の構成を有する。

本実施形態では、建物内の制御サーバ１−２及び建物外の制御サーバ１−１の間で処理やデータを調整することによって、動作検出の速度及び精度のバランスをとる。例えば建物内の制御サーバ１−２において計算量の小さい動作検出処理を行い、建物外の制御サーバ１−１において計算量の大きい動作検出処理を行う。あるいは例えば建物内の制御サーバ１−２の記憶部１３に少ない量の制御データベースＤを記憶し、建物外の制御サーバ１−１の記憶部１３に多い量の制御データベースＤを記憶する。

まず建物内の制御サーバ１−２は、センサ装置２からの情報に基づいて動作の検出を行う。そして制御サーバ１−２が動作を検出できなかった場合に、制御サーバ１−２は建物外の制御サーバ１−１にセンサ装置２からの情報を転送し、制御サーバ１−１は、センサ装置２からの情報に基づいて動作の検出を行う。制御サーバ１−２及び制御サーバ１−１のどちらか一方は、検出した動作に基づいて機器３の制御を行う。

［第２の実施形態の効果］
一般的に、建物内の制御サーバ１−２はネットワークＮを介さないため通信負荷が掛からないが、設置スペースや設置コストによって機器構成に制約がある。一方、建物外の制御サーバ１−１は高度な機器構成を備えることができるため高速に処理を行えるが、通信負荷が掛かる。そこで本実施形態に係る機器制御システムＳは、建物内の制御サーバ１−２で簡易的な動作検出を行い、建物外の制御サーバ１−１で複雑な動作検出を行う。このような構成によって、動作検出の精度を維持しつつも動作検出の速度を向上できる。

（第３の実施形態）
本実施形態は、ユーザがいる場所やユーザが描いた図形Ｆの形状によって、制御対象として選択可能な機器３を変更する。これにより、細かい機器制御を実現できる。

［ユーザの場所による設定］
図８は、本実施形態において特定動作が指定する範囲Ｒを示す模式図である。図８は、建物の内部を上方から見た状態を示す。図８には、ユーザの特定動作によって指定された範囲Ｒが破線で表されている。本実施形態では、特定動作が行われる場所（例えば建物の所定の点を基準とした所定の座標範囲）ごとに選択可能な機器３の範囲が設定され、制御サーバ１の記憶部１３に予め記憶される。例えば、玄関では建物内の全ての機器３が選択可能であり、台所では同じ部屋内の機器３のみが選択可能に設定される。

動作検出部１１１がユーザの特定動作によって描かれた図形Ｆを検出すると、設定取得部１１２は制御サーバ１の記憶部１３から設定情報を取得し、機器選択部１１３は建物内においてユーザの位置を起点として図形Ｆを３次元的に延長した範囲Ｒを特定する。また、機器選択部１１３は、設定取得部１１２が取得した設定情報から、特定動作を行ったユーザの位置が属する場所において選択可能な機器３を抽出する。

そして機器選択部１１３は、範囲Ｒ内に位置する機器３のうち、特定動作を行ったユーザの位置が属する場所において選択可能な１つ又は複数の機器３を、制御対象として選択する。なお、図８は視認性のために２次元で表現されているが、実際には範囲Ｒは３次元であり、機器選択部１１３は３次元空間内で範囲Ｒに含まれており、かつ特定動作が行われた場所で選択可能な機器３を選択する。

［図形Ｆの形状による設定］
図９（ａ）、図９（ｂ）は、本実施形態に係る制御サーバ１が検出するユーザの動作を示す模式図である。図９（ａ）、図９（ｂ）は、制御対象の機器３を指定する図形Ｆを描く特定動作を示している。図９（ａ）の図形Ｆは円形であり、図９（ｂ）の図形Ｆは矩形である。本実施形態では、図形Ｆの形状ごとに選択可能な機器３の範囲が設定され、制御サーバ１の記憶部１３に予め記憶される。例えば、円形の図形Ｆは建物内の全ての機器３が選択可能であり、矩形の図形Ｆは同じ部屋内の機器３のみが選択可能に設定される。

動作検出部１１１がユーザの特定動作によって描かれた図形Ｆを検出すると、設定取得部１１２は制御サーバ１の記憶部１３から設定情報を取得し、機器選択部１１３は建物内においてユーザの位置を起点として図形Ｆを３次元的に延長した範囲Ｒを特定する。また、機器選択部１１３は、設定取得部１１２が取得した設定情報から、図形Ｆの形状によって選択可能な機器３を抽出する。そして機器選択部１１３は、範囲Ｒ内に位置する機器３のうち、図形Ｆの形状によって選択可能な１つ又は複数の機器３を、制御対象として選択する。

図９（ａ）、図９（ｂ）に示したユーザの動作は一例であり、制御サーバ１はユーザを撮像して得られた画像から判定可能な所定の形状の図形Ｆを検出するように構成される。図形Ｆは、図９（ａ）、図９（ｂ）の例のような円形、矩形に限られず、楕円形、三角形、その他多角形等、制御サーバ１に予め設定された所定の形状である。

［第３の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、ユーザが動作を行った場所又は描いた図形Ｆの形状によって選択される機器３を変更する。例えば玄関では建物内の全ての機器３を選択可能にし、台所では同じ部屋内の機器３のみを選択可能にすることによって、意図しない機器３を制御することを抑制できる。また、ユーザは特定動作で描く図形Ｆの形状を使い分けることによって、ユーザの意思によって制御対象の選択を細かく変更することができる。

（第４の実施形態）
本実施形態は、ユーザの動作に加えて、時間、気温、明るさ等の環境情報及びユーザ情報を含む追加情報に基づいて、制御対象として選択可能な機器３を変更する。これにより、細かい機器制御を実現できる。

本実施形態では、時間帯、気温、明るさ等のような動作が行われる環境を示す環境情報ごとに選択可能な機器３が設定され、制御サーバ１の記憶部１３に予め記憶される。センサ装置２は、時間を測定する時計、温度を測定する温度センサ及び明るさを測定する照度センサを備える。

また、本実施形態では、動作を行うユーザを示すユーザ情報ごとに選択可能な機器３が設定され、制御サーバ１の記憶部１３に予め記憶される。ユーザ情報は、ユーザ（個人）を識別する情報でもよく、あるいはユーザの属性（すなわちユーザの身長、手の平の大きさ、声、体温、あるいはユーザが所持するデバイス等）を示す情報でもよい。

動作検出部１１１がユーザの特定動作によって描かれた図形Ｆを検出すると、設定取得部１１２は制御サーバ１の記憶部１３から設定情報を取得する。また、設定取得部１１２は、センサ装置２から、ユーザの動作が行われた時間、ユーザの動作が行われた位置の温度及びユーザの動作が行われた位置の明るさを示す環境情報を取得する。また、設定取得部１１２は、人物認識技術を用いて、センサ装置２が撮像した画像から、ユーザを識別する情報又はユーザの属性を示すユーザ情報を取得する。人物認識技術として、公知の技術を用いることができる。

機器選択部１１３は、建物内においてユーザの位置を起点として図形Ｆを３次元的に延長した範囲Ｒ内に位置する機器３、又は所定の場所で特定動作が行われた場合には全選択可能な全ての機器３を、制御対象として選択する。

さらに、機器選択部１１３は、設定取得部１１２が取得した環境情報及びユーザ情報に基づいて、設定取得部１１２が取得した設定情報から、選択可能な機器３を抽出する。そして機器選択部１１３は、範囲Ｒ内に位置する機器３又は全選択された機器３のうち、設定取得部１１２が取得した環境情報及びユーザ情報によって選択可能な１つ又は複数の機器３を、制御対象として絞り込む。

［機器制御方法のフローチャート］
図１０は、本実施形態に係る機器制御方法のフローチャートを示す図である。図１０のフローチャートでは、図６のフローチャートにおいてステップＳ１５、Ｓ１６の後であってステップＳ１７の前に、ステップＳ２０が行われる。それ以外のステップは図６のフローチャートと同様であるため、以下では説明を省略する。

ステップＳ１５又はステップＳ１６で制御対象が選択された後、設定取得部１１２は、センサ装置２から、時間、温度及び明るさを示す環境情報を取得する。また、設定取得部１１２は、人物認識技術を用いて、センサ装置２が撮像した画像から、ユーザを識別する情報又はユーザの属性を示すユーザ情報を取得する。人物認識技術として、公知の技術を用いることができる。そして機器選択部１１３は、範囲Ｒ内に位置する機器３又は全選択された機器３のうち、設定取得部１１２が取得した環境情報及びユーザ情報を含む追加情報によって選択可能な１つ又は複数の機器３を、制御対象として絞り込む（Ｓ２０）。

［第４の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、時間、気温、明るさ等の環境情報及びユーザ情報に基づいて、制御対象として選択可能な機器３を変更する。例えば昼間には照明を制御対象から外す、気温が高い又は低い場合には空調機器を制御対象から外す等の制御を行うことができる。また、例えばユーザが子供である場合に制御対象を限定する等の制御を行うことができる。このように、本実施形態に係る制御サーバ１はより細かく機器制御を行うことができる。

（第５の実施形態）
本実施形態は、特定動作によってまとめて選択可能か否かを機器３ごとに設定する。これにより、細かい機器制御を実現できる。

［制御データベースＤの説明］
図１１は、本実施形態に係る制御サーバ１で用いられる制御データベースＤを示す模式図である。図１１の制御データベースＤは、図４の制御データベースＤにおいて複数選択Ｄ５をさらに含む。それ以外の要素は図４の制御データベースＤと同様であるため、以下では説明を省略する。

複数選択Ｄ５は、機器３を、特定動作による複数選択の対象とするか否かを設定する。具体的には、機器選択部１１３は、特定動作が指定する範囲Ｒにおいて、複数選択Ｄ５が「可」に設定されている機器３を選択し、複数選択Ｄ５が「不可」に設定されている機器３を選択しない。これにより、ユーザは複数選択によって制御したくない機器３（例えば電気コンロ、電気ストーブ等の加熱機器）を、複数選択の対象から除外できる。特定動作が指定する範囲Ｒに含まれる機器３が１つの場合には、機器選択部１１３は、複数選択Ｄ５が「可」であることを条件として該機器３を選択してもよく、あるいは複数選択Ｄ５にかかわらず該機器３を選択してもよい。

複数選択Ｄ５は、機器３の作動（オン、オフ等）ごとに設定可能にしてもよい。この場合には、ある機器３の複数選択Ｄ５において、オンの動作については「不可」にし、オフの動作については「可」に設定することができる。

各機器３に対する複数選択Ｄ５は、予め制御サーバ１に設定されてもよい。あるいはユーザが携帯端末のアプリケーション等を用いて各機器３に対する複数選択Ｄ５を制御サーバ１に設定してもよい。この場合には、制御サーバ１は画像から取得した機器３の外観に基づいて加熱機器のような安全性に関わる機器３を判定し、該機器３の複数選択Ｄ５の初期値を予め「不可」に設定することが望ましい。安全性に関わる機器３の判定には、例えば公知のパターンマッチング技術を用いることができる。

あるいは機器制御部１１４は、機器３に対してユーザの動作による制御が行われた後に、該機器３に対するユーザの操作に応じて、該機器３に対する複数選択Ｄ５を自動的に設定してもよい。具体的には、機器制御部１１４は、機器３に対してユーザの動作による制御を行った後に、該機器３に対するユーザによる手動の操作を監視する。所定時間内に、ユーザが該機器３において制御サーバ１による制御とは逆の操作（すなわち、オンの作動が行われた後に手動でオフの操作を行うこと、又はその逆）を行った場合に、機器制御部１１４は複数選択Ｄ５を「不可」に設定する。これにより、ユーザは複数選択による制御を行いたくない機器３を容易に指定して制御の対象外として設定することができる。

図形Ｆを描く特定動作が検出された場合に、設定取得部１１２は、制御データベースＤから各機器３の設定情報を取得する。機器選択部１１３は、設定取得部１１２によって取得された制御データベースＤの設定情報における各機器３の位置情報Ｄ２から、動作検出部１１１によって検出されたユーザの位置を起点として図形Ｆを３次元的に延長した範囲Ｒ内に位置する機器３を抽出する。さらに機器選択部１１３は、抽出した機器３のうち、複数選択Ｄ５が「可」に設定されている機器３を制御対象として選択する。

図１１では機器３の個体ごとに複数選択Ｄ５を設定可能であるが、機器３の種類ごとに複数選択Ｄ５を設定可能にしてもよい。機器３の種類は、例えば照明機器、空調機器、加熱機器等である。特に加熱機器等のユーザの安全に関わる種類の機器３については、オンの作動については複数選択による制御が不可能であり、オフの作動については複数選択による制御が可能であるように、予め制御サーバ１に設定することが望ましい。加熱機器は遠隔でオンにすることは危険な可能性があるが、オフにすることの危険性は小さいため、オフの作動のみを可能にすることによって複数選択による制御の利便性を確保しつつも安全性を向上させることができる。

［第５の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、特定動作によってまとめて制御可能か否かを機器３ごと又は機器３の種類ごとに設定する。これにより、より細かく機器制御を行うことができる。さらに、制御サーバ１による制御後にユーザが機器３に対して逆の操作を行った場合に該機器３を複数選択不可に自動的に設定することによって、ユーザが複数選択から除外したい機器３を容易に設定することができる。さらに、機器３の種類ごとに複数選択の可否を設定可能にすることによって、例えば加熱機器のように安全に係る種類の機器３については複数選択不可に設定し、安全性を向上させることができる。

（第６の実施形態）
本実施形態は、まとめて制御する機器３のグループを設定し、動作によって指定された機器３が該グループに対して欠けている場合に、欠けている機器３を補完して制御する。これにより、動作によって機器３を正しく指定できなかった場合であっても、通常グループとして扱われる機器３をまとめて制御できる。

［グループデータベースＤＤの説明］
図１２は、本実施形態に係る制御サーバ１で用いられるグループデータベースＤＤを示す模式図である。グループデータベースＤＤは、複数選択によってまとめて制御されるべき機器３をグループ化するグループ情報を記憶する。具体的には、グループデータベースＤＤは、グループ番号ＤＤ１及び機器番号ＤＤ２を関連付けて記憶する。

グループ番号ＤＤ１は、２つ以上の機器３のグループを識別するための番号である。グループ番号ＤＤ１は、例えば登録されたグループの通し番号である。機器番号ＤＤ２は、機器３を識別するための番号である。機器番号ＤＤ２は、制御データベースＤの機器番号Ｄ１に対応する。

機器制御部１１４は、ユーザの動作によって指定された複数の機器３の制御を行う際に、該複数の機器３（機器番号ＤＤ２）を１つのグループ（グループ番号ＤＤ１）としてグループデータベースＤＤに登録する。すなわち、機器制御部１１４は、まとめて制御される機器３のグループを学習する。グループデータベースＤＤへのグループの登録は、初めてその複数の機器３が制御された時に行われてもよく、あるいは所定の回数以上その複数の機器３が制御された時に行われてもよい。

機器制御部１１４は、同時でなく、所定時間内に制御された複数の機器３をグループとして登録してもよい。また、機器制御部１１４は、機器３に対してユーザによって手動で行われた操作を検出し、所定時間内に操作された複数の機器３をグループとして登録してもよい。

グループデータベースＤＤは、予め制御サーバ１に設定されてもよい。あるいはユーザが携帯端末のアプリケーション等を用いてグループデータベースＤＤを制御サーバ１に設定してもよい。

図１２に示したグループデータベースＤＤは一例であり、グループデータベースＤＤの内容及び形式は、本実施形態に係る機器制御方法で利用可能である限り任意に設定される。図１２において、グループデータベースＤＤは視認性のために文字列の表で表されているが、制御サーバ１が解釈可能な任意のデータ形式（ファイル形式）で表されてもよく、例えばバイナリデータ又はテキストデータでよい。グループデータベースＤＤは制御サーバ１の内部に記憶されてもよく、制御サーバ１の外部の記憶装置に記憶されてもよい。

図形Ｆを描く特定動作が検出された場合に、設定取得部１１２は、制御データベースＤから各機器３の設定情報を取得するとともに、グループデータベースＤＤからグループ情報を取得する。機器選択部１１３は、制御データベースＤの設定情報における各機器３の位置情報Ｄ２から、動作検出部１１１によって検出されたユーザの位置を起点として図形Ｆを３次元的に延長した範囲Ｒ内に位置する機器３を抽出する。さらに機器選択部１１３は、抽出した機器３が、グループデータベースＤＤに登録されたいずれかのグループに属するか否かを判定する。

具体的には機器選択部１１３は、例えばあるグループ（グループ番号ＤＤ１）に関連付けられた複数の機器３（機器番号ＤＤ２）に対して、抽出した機器３が所定の割合以上（例えば５０％以上）と一致する場合に、抽出した機器３が該グループに属すると判定する。例えば図１２のグループデータベースＤＤを用いる場合に、抽出した機器３の機器番号が「１」及び「２」であるとき、グループ番号「１」に関連付けられた機器番号「１」、「２」及び「３」の約６７％と一致するため、抽出した機器３はグループ番号「１」のグループに属すると判定される。抽出した機器３が複数のグループに属すると判定される場合には、機器番号の一致する割合が最も多いグループが選択される。

抽出した機器３において、抽出した機器３が属するグループに関連付けられている機器番号の一部が欠けている（すなわち機器番号の一致する割合が１００％未満である）場合には、機器選択部１１３は、抽出した機器３に加えて、抽出した機器３が属するグループ中の欠けている機器番号の機器３を制御対象として決定する。換言すると、グループに属する機器３の一部が特定動作によって選択された場合に、機器選択部１１３は該グループに属する全ての機器３を制御対象として選択する。このような構成により、動作検出部１１１が特定動作を正しく検出できなかった場合であっても、グループ情報に基づいて制御対象の機器３を補完することができる。

機器制御部１１４は、動作検出部１１１が決定した制御内容に従って制御を行うための制御信号を生成し、機器選択部１１３が決定した制御対象の機器３に通信部１２を介して送信する。

機器制御部１１４は、抽出した機器３が属するグループ中の欠けている機器番号の機器３に所定時間ランプの点滅（すなわち間欠的な作動）等の予備作動を行わせた後に、制御内容に従って制御を行うための制御信号を送信してもよい。予備作動中にユーザが機器３に対して操作を行った場合には、機器制御部１１４は、該機器３への制御信号の送信を中止する。さらに機器制御部１１４は、制御信号の送信を中止した機器３を、抽出した機器３が属するグループから除外するように設定してもよい。このような構成により、グループ情報によって補完される機器３をユーザに知らせることができるとともに、その補完がユーザの意図しないものであった場合にユーザは拒否することが可能になる。

［第６の実施形態の効果］
本実施形態に係る制御サーバ１は、第１の実施形態と同様の効果を奏するとともに、グループに属する機器３の一部が特定動作によって選択された場合であっても、該グループに属する全ての機器３を制御対象として選択する。これにより、例えば画像から動作の認識が正常に行われなかった場合や、制御したい機器３から動作がずれた場合であっても、制御対象の機器３のグループを補完して制御することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

制御サーバ１の制御部１１（プロセッサ）は、図６、１０に示す機器制御方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１１は、図６、１０に示す機器制御方法を実行するための機器制御プログラムを記憶部１３から読み出し、該機器制御プログラムを実行して制御サーバ１の各部を制御することによって、図６、１０に示す機器制御方法を実行する。図６、１０に示す機器制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

Ｓ 機器制御システム
１ 制御サーバ
１１１ 動作検出部
１１２ 設定取得部
１１３ 機器選択部
１１４ 機器制御部
３ 機器

Claims (14)

1. ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、
   前記検出部が検出した前記動作に基づいて、複数の機器を選択する選択部と、
   前記選択部が選択した前記複数の機器の制御を行う機器制御部と、
   複数のグループ所属機器が属するグループを示す設定情報を取得する取得部と、
   を有し、
   前記選択部は、前記選択部が選択した前記複数の機器と、前記設定情報が示すグループに属する複数のグループ所属機器との間で一致する機器の割合が閾値以上である場合に、当該グループを前記選択部が選択した複数の機器が属するグループとして選択し、
   前記機器制御部は、前記選択部が選択した前記複数の機器が、前記選択部が選択した前記グループに属する一部のグループ所属機器を含まない場合に、当該複数の機器に加えて当該一部のグループ所属機器に対して前記制御を行う、機器制御装置。
2. 前記選択部は、前記動作の軌跡が示す形状に対応する前記複数の機器を選択する、
   請求項１に記載の機器制御装置。
3. 前記選択部は、前記ユーザの位置を起点として前記形状を延長した範囲内に位置する前記複数の機器を選択する、
   請求項２に記載の機器制御装置。
4. 前記選択部は、前記動作が行われた位置に基づいて、前記複数の機器を選択する、
   請求項１から３のいずれか一項に記載の機器制御装置。
5. 前記選択部は、前記動作と、前記動作が行われた環境を示す環境情報とに基づいて、前記複数の機器を選択する、
   請求項１から４のいずれか一項に記載の機器制御装置。
6. 前記選択部は、前記動作と、前記動作が行われた時間、前記動作が行われた位置の気温及び前記動作が行われた位置の明るさの少なくとも１つを示す前記環境情報とに基づいて、前記複数の機器を選択する、
   請求項５に記載の機器制御装置。
7. 前記選択部は、前記動作と、前記動作を行ったユーザを示すユーザ情報とに基づいて、前記複数の機器を選択する、
   請求項１から６のいずれか一項に記載の機器制御装置。
8. それぞれの前記複数の機器が選択可能か否かの設定を示す設定情報を取得する取得部をさらに備え、
   前記選択部は、前記動作に基づいて、前記設定情報が選択可能であることを示す前記複数の機器を選択する、
   請求項１から７のいずれか一項に記載の機器制御装置。
9. 前記機器制御部が前記複数の機器の前記制御を行った後、所定時間内に前記複数の機器に対して前記制御とは逆の操作が行われた場合に、前記機器制御部は前記機器が選択不可能であることを前記設定情報に設定する、
   請求項８に記載の機器制御装置。
10. それぞれの前記複数の機器の種類ごとに選択可能か否かの設定を示す設定情報を取得する取得部をさらに備え、
    前記選択部は、前記動作に基づいて、前記設定情報が選択可能であることを示す前記複数の機器を選択する、
    請求項１から７のいずれか一項に記載の機器制御装置。
11. 前記機器制御部は、前記一部のグループ所属機器の前記制御を行う前に、前記一部のグループ所属機器を間欠的に作動させる、
    請求項１に記載の機器制御装置。
12. 前記検出部は、前記ユーザの第１の動作と、前記第１の動作の後に行われる前記ユーザの第２の動作とを前記動作として検出し、
    前記選択部は、前記第１の動作に基づいて、前記複数の機器を選択し、
    前記機器制御部は、前記選択部が選択した前記複数の機器に対して、前記第２の動作に対応する前記制御を行う、
    請求項１から１１のいずれか一項に記載の機器制御装置。
13. ユーザを撮像することによって得られた画像から前記ユーザの動作を検出するステップと、
    前記検出するステップで検出された前記動作に基づいて、複数の機器を選択するステップと、
    複数のグループ所属機器が属するグループを示す設定情報を取得するステップと、
    前記複数の機器を選択するステップで選択された前記複数の機器と、前記設定情報が示すグループに属する複数のグループ所属機器との間で一致する機器の割合が閾値以上である場合に、当該グループを前記複数の機器を選択するステップで選択された複数の機器が属するグループとして選択するステップと、
    前記選択するステップで選択された前記複数の機器の制御を行うステップと、
    を有し、
    前記制御を行うステップでは、前記複数の機器を選択するステップで選択された前記複数の機器が、前記グループを選択するステップで選択された前記グループに属する一部のグループ所属機器を含まない場合に、当該複数の機器に加えて当該一部のグループ所属機器に対して前記制御を行う、機器制御方法。
14. 複数の機器と、前記複数の機器を制御する機器制御装置とを備え、
    前記機器制御装置は、
    ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、
    前記検出部が検出した前記動作に基づいて、前記複数の機器を選択する選択部と、
    前記選択部が選択した前記複数の機器の制御を行う機器制御部と、
    複数のグループ所属機器が属するグループを示す設定情報を取得する取得部と、
    を有し、
    前記選択部は、前記選択部が選択した前記複数の機器と、前記設定情報が示すグループに属する複数のグループ所属機器との間で一致する機器の割合が閾値以上である場合に、当該グループを前記選択部が選択した複数の機器が属するグループとして選択し、
    前記機器制御部は、前記選択部が選択した前記複数の機器が、前記選択部が選択した前記グループに属する一部のグループ所属機器を含まない場合に、当該複数の機器に加えて当該一部のグループ所属機器に対して前記制御を行い、
    前記複数の機器は、前記機器制御部による前記制御に従って作動する、機器制御システム。
    

Images