JP7312162B2 - 小画面の仮想部屋ベースのユーザインタフェイス - Google Patents

Description

本発明は、一般に装置制御に関し、より具体的には、ホームオートメーションシステムにおける複数の装置を制御するためのユーザインタフェイスに関する。
・関連出願
本出願は、「小画面の仮想部屋ベースのユーザインタフェイス」と題するRovertP. Madonna等による2017年9月6日出願の米国仮特許出願第62/ 555,038号の利益を主張するものであり、本引用をもってその内容を本書に包含させたものとする。

本出願はまた、「ユーザにより生成される仮想部屋ベースのユーザインタフェイス」と題するRovert P. Madonna等による2014年2月26日出願の米国特許出願第14/190,984号(現在、米国特許第9,055,627号として発行済み)にも関連するものであり、該米国特許出願第14/190,984号は、「仮想部屋ベースの照明器具及び装置の制御」と題するRovert P. Madonna等による2012年7月17日出願の米国特許出願第13/551,289号(現在、米国特許第9,055,627号として発行済み)の一部継続出願であり、該米国特許出願第13/551,289号自体は、「仮想部屋ベースの照明器具及び装置の制御」と題するRovert P. Madonna等による2010年6月2日出願の米国特許出願第12/792,236号の継続出願(現在、米国特許第8,296,669号として発行済み)であり、該出願は、「仮想部屋ベースの照明器具及び装置の制御」と題するRovert P. Madonna等による2009年6月3日出願の米国仮特許出願第61/183,825号の利益を主張するものである。

本出願はまた、「仮想部屋ベースのユーザインタフェイスの仮想部屋の生成」と題するRovert P. Madonna等による2015年6月8日出願の米国特許出願第14/733,428号にも関連するものであり、該米国特許出願第14/733,428号は、「仮想部屋ベースの照明器具及び装置の制御」と題するRovert P. Madonna等による2012年7月17日出願の米国特許出願第13/551,289号(現在、米国特許第9,055,627号として発行済み)の継続出願であり、該米国特許出願第13/551,289号は、「仮想部屋ベースの照明器具及び装置の制御」と題するRovert P. Madonna等による2010年6月2日出願の米国特許出願第12/792,236号の継続出願(現在、米国特許第8,296,669号として発行済み)であり、「仮想部屋ベースの照明器具及び装置の制御」と題するRovert P. Madonna等による2009年6月3日出願の米国仮特許出願第61/183,825号の利益を主張するものである。

上記特許出願及び特許は、本引用をもってその全てを本書に包含させたものとする。

住宅やその他の建造物が、大きくなり、及びより多くの装置で満たされるにつれて、装置制御はますます困難になる。従来、多数の装置は、機械式スイッチで制御されてきた。機械式スイッチは、信頼性が高く、費用対効果に優れているが、特に建造物の同じ部屋に多数の装置が配置されている場合に多くの制限を有するものとなる。例えば、大きな部屋には、多数の照明装置、セキュリティ装置、冷暖房空調（HVAC）装置、オーディオ／ビデオ（A/V）装置などが含まれる場合がある。これら全ての装置を制御するには、多数の機械式スイッチが必要となり得る。１つの部屋内で機械式スイッチの数が増えると、使い易さが低下する。多くの場合、機械式スイッチにはラベルが付されず、又はラベルが付されていたとしても、不可解な説明（例えば、「ランプ1」、「ランプ2」等）だけが付されたものとなる。ユーザは、部屋で使用可能な多数の機械式スイッチのどれがどの装置を制御するのかを覚えることを余儀なくされる。この関係を覚えていない部屋の新しい客は、典型的には、試行錯誤に頼って、どの機械式スイッチがどの装置を制御するかを決定しなければならず、自分が希望する結果に偶然出くわすまでスイッチを切り替え続けることになる。

機械式スイッチの欠点を改善しようとして様々なタイプのホームオートメーション及び電子装置制御システムが開発されてきた。かかるシステムは典型的には、複数の装置の操作を管理する１つ以上のコントローラを含む。該コントローラは、装置を制御するためのユーザインタフェイスを提供する専用タッチスクリーンユニット等のユーザインタフェイス装置を介して対話することが可能である。該ユーザインタフェイスは、各ボタンが１つの装置又は１グループの装置を制御する一連のタッチセンサ式ボタンを含む場合がある。

しかし、かかるボタン中心の画面上のユーザインタフェイスには機械式スイッチと同じ多数の欠点がある。かかるボタンは、機械式スイッチのように物理的な物体として存在するのではなく、画面上に表示されたものであるが、機械式スイッチととてもよく似た動作をするものである。画面上のボタンを見ても、該ボタンが何をするのか明らかでない場合がある。ラベルが提供される場合もあるが、画面スペースの制約に鑑みると、多くの場合、かかるラベルは短くて不可解なものとなる。機械式スイッチの場合と同様に、部屋に新しい客が来た場合、該客は、画面上の各ボタンをタッチして、どのボタンがどの結果を達成するかを試行錯誤により発見しなければならない。

最近、機械式スイッチ及びボタン中心のオンスクリーンユーザインタフェイスの多くの欠点に対処した装置制御ソリューションが開発された。このソリューションは、タッチスクリーン上に表示される１つ以上の仮想部屋を含むユーザインタフェイスを提供する。画面上に表示された仮想部屋内の装置の表現をタッチすることにより、ユーザは装置の状態変更を示すことが可能である。

このタイプのソリューションは、機械式スイッチ及びボタン中心のオンスクリーンユーザインタフェイスの欠点の多くを解決するが、新しい課題を提示するものでもある。１つの課題は、例えば、ハンドヘルドリモコン、モバイルデバイス、又は「小さな」専用タッチスクリーンユニット（例えば、壁埋込型１ギャングタッチスクリーンユニット、壁掛け式ユニット等）の画面といった「小さな画面」上にかかるインタフェイスを如何に提示するかである。かかるインタフェイスが「小さな画面」上に表示される場合、複数の装置の個々の表現は小さ過ぎるものとなる。これは、ユーザが装置の表現を見つけて認識することを妨げるものとなる。更に、ユーザは、複数の装置の複数の小さな表現を見つけて認識することができたとしても、他の複数の装置の１つ以上の表現に不注意に指をオーバーラップさせて望ましくない状態の変更を潜在的に引き起こすことなく、特定の１つの装置の表現にタッチすることができない場合がある。したがって、「小さな画面」上でのかかるインタフェイスの有用性は限られたものとなる。

したがって、「小さな画面」、例えば、ハンドヘルドリモコン、モバイルデバイス、又は専用タッチスクリーンユニットの画面での使用により適した改善されたユーザインタフェイスが必要とされている。

一実施形態では、「小画面」での使用に適した仮想部屋ベースのユーザインタフェイスが提供され、該仮想部屋ベースのユーザインタフェイスは、仮想部屋内の複数の装置の複数の表現を１つのシーケンスに編成して、ユーザが該シーケンス内の複数の装置の複数の表現を循環することを可能とする。これにより、所与の時点で常に１つの装置の１つの表現が選択されるようになり、該選択された装置とは別個の特定の指定された制御領域を使用して、該選択された表現に対応する装置を個々に制御することが可能となる。

具体的には、一実施形態では、リモコン、モバイルデバイス、又は専用タッチスクリーンユニット（例えば、壁埋込型１ギャングタッチスクリーンユニット、壁掛け式ユニット等）は、物理的な部屋に対応する仮想部屋をタッチスクリーンディスプレイ上に表示する。該仮想部屋は、物理的な部屋内の複数の装置に対応する複数の装置の複数の表現、物理的な部屋の境界の表現、及び物理的な部屋内に存在する家具の表現を含む。複数の装置の複数の表現は、１つのシーケンスに編成され、該シーケンスから第１の装置の表現が最初に（例えば、デフォルトで）選択される。リモコン、モバイルデバイス、又は専用タッチスクリーンユニットは、該選択された該第１装置の表現の表示と、該選択された該第１の装置の表現とは別個の指定された制御領域とをタッチスクリーンディスプレイ上に表示する。該指定された制御領域内で状態の変更を指示するユーザ入力を受信したことに応じて、リモコン、モバイルデバイス、又は専用タッチスクリーンユニットは、該第１の装置と通信して、該第１の装置により提供されるサービスの状態を変更させ、及び該第１の装置により提供される該サービスの該変更した状態を反映させるように該選択された第１の装置の表現の外観、前記境界の表現の外観、及び前記家具の表現の外観を変更するように、仮想部屋の外観を更新させる。

続いて、ユーザ入力（例えば、スワイプジェスチャ）に応じて、物理的な部屋内の第２の装置に対応する前記シーケンス内の連続する表現を選択することが可能である。リモコン、モバイルデバイス、又は専用タッチスクリーンユニットは、該選択された表現の表示を更新させる。前記指定された制御領域での更なるユーザ入力に応じて、リモコン、モバイルデバイス、又は専用タッチスクリーンユニットは、前記第２の装置により提供されるサービスの状態を変更させ、及び前記仮想部屋の外観を動的に更新させて、該第２の装置により提供されるサービスの変更した状態を反映するように該第２の装置の表現の外観、前記境界の表現の外観、及び前記家具の表現の外観を変更する。

様々な更なる特徴及び代替的な実施形態を実施することが可能であることを理解されたい。この課題を解決するための手段の欄は、単に読者への紹介を意図したものであり、ここで言及した例が本発明の全ての側面を網羅すること又は本発明の必要な又は本質的な側面であることを示し又は示唆するものではない。

建造物の部屋（例えば、住居又は商業ビル）内の複数の装置を制御するよう動作可能なホームオートメーションシステムの例示的なアーキテクチャを示すブロック図である。 例示的な「大画面」の仮想部屋ベースのユーザインタフェイスの例示的な仮想部屋をタッチスクリーンディスプレイ上に表示している例示的なタブレットコンピュータを示す図である。 例示的な仮想部屋ベースのユーザインタフェイスの例示的な仮想部屋をタッチスクリーンディスプレイ上に表示している例示的なリモコンを示す図である。 ユーザが、吊りランプにより提供される照明サービスの状態を変更するために指定された制御領域内でタッチ入力（例えば、スライダのドラッグ）を提供した後の図３の例示的なリモコン及び仮想部屋の更新された外観を示している。 ユーザがシーケンス内の連続する表現（この場合には卓上ランプの表現）を選択した後の図３の例示的なリモコン及び仮想部屋の更新された外観を示している。 図３に示した仮想部屋ユーザインタフェイスの例示的な仮想部屋と同じ仮想部屋をタッチスクリーンディスプレイ上に表示している例示的な専用タッチスクリーンユニット（この場合には壁掛け式ユニット）を示す図である。

以下の説明では図面を参照する。
●定義
本書で用いる場合、用語「ホームオートメーションシステム」は、様々な種類のホームコントロール、「スマートホーム」、及び／又は住居又は商業ビル等の建造物内の装置（例えば、照明装置、セキュリティ装置、A/V装置、HVAC装置、電子ドアロック、及び／又は他のタイプの装置）を制御することが可能な装置制御システムを包含するものとして広く解釈されるべきものである。ホームオートメーションシステムは、様々な異なるタイプの複数の装置、又は特定のタイプのみの複数の装置（例えば、照明装置のみ、A/V装置のみ等）を制御することが可能である。

本書で用いる場合、用語「モバイルデバイス」は、汎用オペレーティングシステムを実行し、及び身に着けて運ばれるよう構成された、電子装置を指す。スマートフォン等の装置はモバイルデバイスと見なされるべきものである。デスクトップコンピュータ、サーバ、又はその他の主に固定されたコンピューティング装置は、一般にモバイルデバイスと見なされるべきものではない。

本書で用いる場合、用語「リモコン」は、ホームオートメーションシステム、又はホームオートメーションの１つ以上の装置の制御に使用するための特別に構成されたハードウェア（例えば、特別にラベル付けされたボタン）を含む携帯型電子装置を指す。スマートフォン等の汎用モバイルデバイスは、リモコンと見なすべきではない。

本書で用いる場合、用語「専用タッチスクリーンユニット」は、ホームオートメーションシステム、又はホームオートメーションシステムの１つ以上の装置の制御に使用するための特別に構成されたハードウェアを含む壁埋込型、壁掛け式、又は卓上型の電子装置を指す。専用タッチスクリーンユニットは、例えば、標準的な１ギャングスイッチボックスや標準的な２ギャングスイッチボックス等に収まるサイズといった限られたサイズのフォームファクタを有するものである。

本書で用いる場合、用語「サービス」は、ホームオートメーションシステムの１つ以上の装置を含むホームオートメーションシステムにより提供される効果又は活動を指す。サービスの一例として、照明効果を提供する照明サービス、又はケーブルテレビ視聴活動を提供するケーブルＴＶサービスが挙げられる。

本書で用いる場合、用語「物理的な部屋」は、１つ以上のサービスを提供することができる物理的な建造物の内部又は物理的な建造物に関連する外部空間を指す。

本書で用いる場合、用語「仮想部屋」は、物理的な建造物の内部又は物理的な建造物に関連する外部空間の描写によって表される物理的な部屋のデジタルツインを指す。該描写は、物理的な部屋の境界の表現、物理的な部屋内に存在する家具の表現、及び物理的な部屋内に存在する装置の表現を含むことが可能である。装置の表現は、物理的な部屋内の装置の実際の場所に対応する仮想部屋内の場所に表示されることが好ましい。
●例示的なホームオートメーションシステム
図１は、建造物の部屋（例えば、住居又は商業ビル）内の装置を制御するように動作可能なホームオートメーションシステムの例示的なアーキテクチャ100のブロック図である。システムの中核には、宅内ローカルエリアネットワーク（LAN）（例えば、Wi-Fiネットワーク）150に接続されたホストコントローラ110がある。該ホストコントローラは、プロセッサ、メモリ、及び記憶装置等のハードウェアコンポーネントを含むことが可能であり、装置112-124の動作を監視し又は制御し、並びにUI解釈、システム管理及び監視、クラウドサービス180及びモバイルデバイス160との同期、アクティビティの記録、アクティビティの予測、及びその他のタイプの機能を提供するよう構成されたホストソフトウェア111を包括的に格納し実行することが可能である。

ホストコントローラ110は、ホームオートメーションシステムにより制御される複数の装置に関する情報を含むコンフィギュレーション情報と、ホームオートメーションシステムがかかる装置を使用して提供するよう構成されたサービスとを格納するホームデータベース130を、そのストレージ装置で維持することが可能である。

ホームオートメーションシステムの装置112-124は、照明器具、ランプモジュール、及び調光器モジュール等の照明装置112、ホームモニター／カメラ、モーションセンサ、ホームヘルスケアセンサ、及びそれらに関連するコントローラ等のセキュリティ装置114、A/V装置コントローラ、メディアサーバ、オーディオアンプ、及びケーブルボックス等のオーディオ装置116及びビデオ装置118（包括的にA/V装置）、電子ドアロック120及びその他のタイプのモーター又はリレー駆動式装置、サーモスタット等のHVAC装置122、IRブラスタ、マトリクススイッチャ、信号エクステンダ等の相互接続装置124、並びにその他のタイプのホームオートメーションシステム装置を含むことが可能である。装置112-124の各々は、各部屋に関連付ける（すなわち、各部屋に関連して使用されるよう構成する）ことが可能である。装置112-124は、それらが関連付けられている部屋に物理的に存在することが可能であり、又は他の場所（例えば、リモート機器ラック）に存在することが可能である。

実施態様に応じて、ホームオートメーションシステムの装置112-124の通信能力は異なる場合がある。例えば、少なくとも幾つかの装置は、該装置が宅内LAN150（例えば、Wi-Fi）を介してホストコントローラ110及びその他の装置と通信することを可能にするLANインタフェイス（例えば、Wi-Fiアダプタ）と、該装置がWLAN（図示せず）を介してホストコントローラ110及びその他の装置と通信することを可能にするワイヤレスパーソナルエリアネットワーク（WPAN）インタフェイス（例えば、BLEアダプタ）との両方を含むことが可能である。同様に、幾つかの装置は、有線通信又はポイントツーポイントワイヤレス通信のためのポート又はトランシーバ（例えば、RS-232、リレー又は汎用入出力（GPIO）ポート、赤外線（IR）トランシーバ等）のみを有し、及びかかるポートを使用してホストコントローラ110及びその他の装置と通信することが可能である。幾つかの装置（例えば、IRブラスタ等の相互接続装置）は、該装置がホストコントローラ110と通信することを可能にするWPANインタフェイス（例えば、BLEアダプタ）と、該装置が該ホームオートメーションシステムの他の装置（例えば、A/V装置116,118）と通信することを可能にするポイントツーポイントワイヤレストランシーバ（例えば、IRトランシーバ）との両方を含むことが可能である。更に、幾つかの装置は、LANインタフェイス（例えば、Wi-Fiインタフェイス）を含むが、宅内LAN150を介してホストコントローラ110と直接通信するようには構成されず、代わりにインターネット170、クラウドサービス180、及びサードパーティインフラストラクチャ190を介して通信するよう構成することが可能である。HVAC装置122は、かかる態様で通信することが可能なタイプの装置の一例として図１に示されているが、他のタイプの装置112-124が代替的にこの態様を用いることが可能であり、その逆もまた可能であることを理解されたい。

ユーザは、宅内LAN150を介して（例えば、Wi-Fiを介して）ホストコントローラ110と通信し又はポイントツーポイントワイヤレス信号を介して（例えば、IR又は無線周波数RF信号を介して）ホストコントローラ110と直接通信するリモコン140を使用してホームオートメーションシステムを制御することが可能である。リモコン140は、小さな（例えば、対角線で7インチ未満、例えば、対角線で2.95インチの）タッチスクリーンディスプレイ、物理的なボタン、並びにホストコントローラ110及びクラウドサービス180とインタフェイスするよう構成された制御ソフトウェアを格納し及び実行するプロセッサ、メモリ及び記憶装置を含むことが可能であり、その機能の中でもとりわけ、ホームオートメーションシステムを制御するための仮想部屋ベースのユーザインタフェイスを提示することが可能である。

ユーザはまた、宅内LAN150を介してホストコントローラ110と通信するモバイルデバイス160を使用して、又はインターネット170へのモバイルデータ接続を使用して、ホームオートメーションシステムを制御することが可能である。モバイルデバイス160は、小さな（例えば、対角線で7インチ未満、例えば、対角線で5.5インチの）タッチスクリーンディスプレイ、並びにホストコントローラ110及び／又はクラウドサービス180とインタフェイスするよう構成されたアプリケーション（アプリ）162（例えば、モバイルアプリ）を格納し及び実行するプロセッサ、メモリ、及び記憶装置を含むことが可能であり、その機能の中でもとりわけ、ホームオートメーションシステムを制御するための仮想部屋ベースのユーザインタフェイスを提示することが可能である。

更に、ユーザは、宅内LAN150を介してホストコントローラ110と通信する専用タッチスクリーンユニット165（例えば、壁埋込型１ギャングタッチスクリーンユニット、壁掛け式ユニット等）を使用してホームオートメーションシステムを制御することが可能である。専用タッチスクリーンユニット165は、小さなタッチスクリーンディスプレイ、並びにホストコントローラ110及び／又はクラウドサービス180とインタフェイスするよう構成されたソフトウェアを格納し及び実行するプロセッサ、メモリ、及び記憶装置を含むことが可能であり、その機能の中でもとりわけ、ホームオートメーションシステムを制御するための仮想部屋ベースのユーザインタフェイスを提示することが可能である。

複数の装置は、インターネット170を介してクラウドサービス180及びそのホストアプリケーションプログラムインタフェイス（API）182及びモバイルAPI184と通信することが可能である。クラウドサービス180は、その機能の中でもとりわけ、ホームオートメーション制御へのリモートアクセス、ホームデータベース130の持続的なバックアップ（コンフィギュレーションデータベース186へのデータの格納）、（サードパーティアダプタ188を介した）サードパーティインフラストラクチャへのインタフェイス、ユーザプロファイル及び使用状況の追跡（ユーザデータベース189へのデータの格納）、無線アップデートのための機構、ホストクラッシュレポート、及びライセンス管理を提供することが可能である。
●仮想部屋ベースのユーザインタフェイス全般
リモコン140上のソフトウェア、モバイルデバイス160上のアプリ162、又は専用タッチスクリーンユニット165上のソフトウェアは、ホームオートメーションシステム100を制御するための仮想部屋ベースのユーザインタフェイスを提示することが可能であり、該仮想部屋ベースのユーザインタフェイスは、１つ以上の仮想部屋を含み、その各仮想部屋は、建造物の対応する物理的な部屋の写実的な（photo-realistic）描写を示すものである。この写実的な描写は、物理的な部屋の境界（例えば、壁、天井、床等）の写実的な表現、物理的な部屋内に存在する家具（例えば、ソファ、椅子、ベッド、壁掛け等）の写実的な表現、及び物理的な部屋内に存在する装置（例えば、照明装置、セキュリティ装置、A/V装置、HVAC装置、及び／又はその他のタイプの装置）の写実的な表現を示すことが可能である。装置の表現は、物理的な部屋内の装置の実際の場所に対応する仮想部屋内の場所に表示されることが好ましい。仮想部屋は、インタフェイス環境として動作する。仮想部屋と対話することにより、ユーザは、物理的な部屋内の対応する装置により提供されるサービスの状態の変更を指示することが可能である。物理的な部屋内で異なるサービスを提供するように装置の状態が変更されると、該変更を反映するように仮想部屋の外観が動的に更新される。かかる更新は、装置の表現の外観、並びに境界の表現の外観及び家具の表現の外観を（例えば、影、反射等の写実的な変更により）変更することが可能である。このようにして、仮想部屋が更新されて、対応する物理的な部屋の現在の状態の写実的な描写がユーザに対して反映され、ユーザが仮想部屋内で見ているものは、対応する物理的な部屋内での体験を鏡映しにし又は少なくとも類似するものとなる。かかるインタフェイスは、非常に直観的で、ユーザが複雑な制御スキームを理解することを必要とすることなく制御の選択を容易に示すことを可能にする。
●従来の「大画面」の仮想部屋ベースのユーザインタフェイスの操作
「大画面」（例えば、対角線で7インチを超える）での使用に適した従来の仮想部屋ベースのユーザインタフェイスでは、ユーザは、物理的な部屋内の装置の表現をタッチすることにより、該物理的な部屋内の装置により提供されるサービスの状態の変更を示すことが可能である。例えば、ユーザは、照明装置の表現をタッチして照明装置をアクティブにして、照明サービスの状態を変更することが可能である。図２は、例示的な「大画面」の仮想部屋ベースのユーザインタフェイスの例示的な仮想部屋210をタッチスクリーンディスプレイ上に表示している例示的なタブレットコンピュータの外観200である。この例示的な仮想部屋210は、例示的な家の中のリビングルームに対応する。ただし、この例でのかかる部屋の選択は任意であることを理解されたい。例示的な仮想部屋210は、天井215や壁220といった物理的な部屋の境界の写実的な表現、ソファ230、コーヒーテーブル240、及びエンドテーブル250といった物理的な部屋内に存在する家具の写実的な表現、並びにシャンデリア260、卓上ランプ270,275、埋込型キャニスターライト（recessed cans）280、及びテレビ290といった物理的な部屋内の制御可能な装置の写実的な表現を含む。これら装置の各々は、複数の状態（例えば、アクティブ状態、非アクティブ状態、及び場合によっては複数のサブアクティブ状態）を有するサービスを提供する。例えば、シャンデリア、卓上ランプ、及び埋込型キャニスターライトは、「オン」のアクティブ状態（及び潜在的には異なる照度及び／又は照明色を表す複数のサブアクティブ状態）、及び「オフ」の非アクティブ状態を含む照明サービスを提供する。同様に、テレビは、「オン」のアクティブ状態（及び潜在的には表示され／使用されている異なるビデオソース、チャンネル、音量等を表す複数のサブアクティブ状態）、及び「オフ」の非アクティブ状態を含む視聴サービスを提供する。

仮想部屋210内の装置260-290の写実的な表現にタッチすることにより、ユーザは、ホームオートメーションシステムにより実施される対応する物理的な部屋内の対応する装置により提供されるサービスの状態の変更を指示する。例えば、シャンデリア260の写実的な描写にタッチすることにより、ユーザは、物理的な部屋内のシャンデリアを点灯させる（又は他の態様で制御する）ことが可能である。同様に、テレビ290の写実的な描写にタッチすることにより、ユーザは、物理的な部屋内のテレビの電源を入れる（又は他の態様で制御する）ことが可能である。

装置が異なるサービスを提供すると、仮想部屋210の外観が動的に更新されて、変更が反映される。例えば、シャンデリアがオンにされると、仮想部屋210内のシャンデリア260の写実的な表現が、点灯した状態のシャンデリアを表すように変更される。かかる変更は、シャンデリアからの照明による影、反射、及びその他の効果を示すように境界及び家具の表現を変更することを伴うことが可能である。同様に、テレビの電源がオンにされると、仮想部屋210内のテレビ290の写実的な描写が変更されて、該テレビが電源オンの状態で表示される。かかる変更は、光を放つテレビ画面の反射やその他の効果を示すように境界線及び家具の表現を変更することを伴うことが可能である。このようにして、仮想部屋210は、物理的な部屋の現在の外観を鏡映しにし、又は少なくともそれに類似したものとなる。

上記のように、かかる構成は「大画面」ではうまく機能するが、画面サイズが小さくなると、ユーザがタッチ可能な装置の表現を認識するのが困難になる場合がある。例えば、図２を参照すると、ランプ275の表現は非常に小さくなり、インタフェイス内で気付かないことさえある。更に、ユーザがインタフェイス内で装置の小さな表現を見つけることができたとしても、指で他の装置を不注意にタッチすることなく特定の１つの装置にタッチすることができない場合がある。例えば、ランプ270の表現とランプ275の表現は、ユーザの指がその両方の少なくとも一部を覆うほど互いに接近しているため、所望の１つの装置を確実に選択することができない。
●「小画面」の仮想部屋ベースのユーザインタフェイスの操作
「小さな画面」（例えば、7インチ未満）での使用に適した仮想部屋ベースのユーザインタフェイスでは、複数の装置の写実的な表現を１つのシーケンス（例えば、シーケンシャルループ）に編成することが可能である。仮想部屋が最初に表示される際に、該シーケンスから１つの装置の特定の写実的な表現がデフォルトで選択されることが可能である。該インタフェイスは、該選択された写実的な表現に対応する装置の指示（例えば、テキストラベル）を表示し、及び該装置により提供されるサービスの状態を変更するための制御領域を提供することが可能である。該制御領域は、選択された写実的な表現とは別個の（例えば、該ユーザインタフェイスの下部の）スライダ、ボタン、又はその他の要素といった形をとることが可能である。指定された制御領域でのユーザ入力（例えば、タッチ）に応じて、ホームオートメーションシステム100（又はより具体的にはそのホストコントローラ110）は、物理的な部屋の装置により提供されるサービスの状態を変更する。仮想部屋の外観は、その変更を反映するよう動的に更新される。かかる更新は、サービスの変更された状態を示すように選択された装置の写実的な表現の外観を変更すること、並びに境界の表現の外観及び家具の表現の外観を（例えば、影、反射等の写実的な変更により）変更することが可能である。

インタフェイスでの更なるユーザ入力（例えば、前方へのスワイプジェスチャ（forward swipe gesture）等のタッチジェスチャ）に応じて、前記シーケンス内の連続する写実的な表現が選択されることが可能である。装置の指示は、新たに選択された写実的な表現を反映するよう更新される（例えば、テキストラベルが更新される）。次いで、物理的な部屋内の新しい装置が、仮想部屋ベースのユーザインタフェイスにおける制御の対象となる。指定された制御領域におけるユーザ入力（例えば、タッチ）に応じて、ホームオートメーションシステム100（又はより具体的にはそのホストコントローラ110）は、物理的な部屋内の該新しい装置により提供されるサービスの状態を変更する。この場合も、仮想部屋の外観は、該変更を反映するよう動的に更新される。かかる更新は、サービスの変更された状態を示し、並びに境界の表現の外観及び家具の表現の外観を（例えば、影、反射等の写実的な変更により）変更するように、新たに選択された写実的な表現の外観を変更することが可能である。ユーザは、インタフェイスでの更なる入力（例えば、更なる前方へのスワイプジェスチャ）により、複数の装置の複数の写実的な表現の前記シーケンスを介して更に先に進む（場合によっては最終的に最初へとループバックする）ことが可能であり、又はインタフェイスでの入力（例えば、後方へのスワイプジェスチャ（backward swipe gesture））により、複数の装置の複数の写実的な表現の前記シーケンスで後退することが可能である。この装置選択は、仮想部屋内の複数の装置の個々の表現にタッチすることに依存しないため、該インタフェイスは「小さな画面」での表示に一層良く適したものとなる。

図３は、例示的な仮想部屋ベースのユーザインタフェイスの例示的な仮想部屋310をタッチスクリーンディスプレイ上に表示している例示的なリモコン140の外観300である。例示的な仮想部屋310は、例示的な家の中の大きな部屋に対応する。しかし、この例の場合のかかる部屋の選択は任意であることを理解されたい。例示的な仮想部屋310は、物理的な部屋の境界の写実的な表現、物理的な部屋内に存在する家具の写実的な表現、並びに物理的な部屋内の制御可能な装置（例えば、吊りランプ320及び卓上ランプ330,340）の写実的な表現を含む。これらの装置の各々は、上記と同様の複数の状態（例えば、アクティブ状態、非アクティブ状態、及び場合によっては複数のサブアクティブ状態）を有するサービスを提供する。

最初に仮想部屋がロードされた際に（例えば、デフォルトで）、複数の装置の表現のシーケンスから吊りランプ320の表現が選択される。吊りランプ320が選択されていることの指示（例えば、テキストラベル）350が表示される。また、吊りランプ320の表現とは別個の指定された制御領域（例えば、スライダ）360が表示される。ユーザは、吊りランプにより提供される照明サービスの状態を変更するために、該指定された制御領域360でタッチ入力を提供する（例えば、スライダをドラッグする）ことが可能である。

図４は、ユーザが（この場合には、照明ランプにより提供される照明サービスの状態を変更するために）指定された制御領域にタッチ入力を提供した（例えば、スライダをドラッグした）後の図３の例示的なリモコン140及び仮想部屋310の更新された外観400である。同図から分かるように、仮想部屋の外観が動的に更新されて、より少ない照明を提供する吊りランプ320の表現が表示され、及びかかる低下した照明による効果が、境界の表現及び家具の表現に表示される。吊りランプにより提供される照明サービスが調整された後、ユーザは、タッチ入力（例えば、前方へのスワイプ）を進めて、シーケンス内の連続する表現（この場合には卓上ランプ330,340の表現）を選択することが可能である。

図５は、ユーザがシーケンス内の連続する表現（この場合には卓上ランプ330,340の表現）を選択した後の図３の例示的なリモコン140及び仮想部屋310の更新された外観500である。この場合も、卓上ランプ330,340の表現とは別個の指定された制御領域（例えば、スライダ）360を使用してユーザは照明サービスの状態を変更することが可能であり、仮想部屋の外観が動的に更新される。

図６は、図３に示した仮想部屋ユーザインタフェイスと同じ例示的な仮想部屋310をタッチスクリーンディスプレイ上に表示している例示的な専用タッチスクリーンユニット（この場合には、壁掛け式ユニット）の外観600である。上述のように、専用タッチスクリーンユニット上の例示的な仮想部屋310を使用して物理的な部屋内の装置を制御することが可能である。

要約すると、仮想部屋内の複数の装置の表現を１つのシーケンスに編成する「小さな画面」での使用に適した仮想部屋ベースのユーザインタフェイスが提供され、該ユーザインタフェイスは、ユーザが、該シーケンス内の複数の装置の表現を循環して、いつでも１つだけを選択し、及び該装置の選択された表現とは別個の指定された制御領域を使用して該選択された表現に対応する装置を個別に制御することを可能にする。上記の説明は特定の例を提供するものであるが、かかる例に対して多数の修正及び／又は追加を行うことが可能であることは自明である。更に、上述のステップは、ハードウェア、（ソフトウェアを含む電子装置により読み取り可能な非一時的な記憶媒体として実施される）ソフトウェア、ファームウェア、又はそれらの組み合わせで実施できることを理解されたい。電子装置により読み取り可能な非一時的な記憶媒体は、ランダムアクセスメモリ（RAM）等のメモリ、ハードディスクドライブやフラッシュデバイス等のディスク、又はその他の有形の記憶媒体という形をとることが可能である。一般に、上記説明は例示のみを目的としたものであることを理解されたい。

Claims (12)

1. ホームオートメーションシステムにおける複数の装置を制御するための仮想部屋ベースのユーザインタフェイスを提供する方法であって、
   複数の装置の複数の表現のシーケンスから第１の装置の表現を選択し、該第１の装置の表現を選択することが、デフォルトの選択であり、該複数の装置の該複数の表現の各々が、物理的な部屋内に存在するサービスを提供する複数の装置の各々に対応するものであり、
   リモコン、モバイルデバイス、又は専用タッチスクリーンユニットのタッチスクリーンディスプレイ上に、
   前記選択された前記第１の装置の表現、前記物理的な部屋の複数の境界の複数の表現、及び該物理的な部屋内に存在する複数の家具の複数の表現を含む、前記物理的な部屋に対応する仮想部屋と、
   前記選択された前記第１の装置の表現の指示と、
   前記選択された前記第１の装置の表現とは別個の指定された制御領域と
   を表示し、
   状態の変更を示すユーザ入力を前記指定された制御領域内で受け取り、
   該指定された制御領域内での該ユーザ入力に応じて、
   前記第１の装置により提供されるサービスの状態を変更させ、及び、
   前記第１の装置により提供されるサービスの変更された状態を反映するように、前記選択された前記第１の装置の表現の外観、前記境界の表現の外観、及び前記家具の表現の外観を変更するよう前記仮想部屋の外観を動的に更新させ、
   前記シーケンス内の連続する表現を選択し、該連続する表現が、前記物理的な部屋内の第２の装置に対応し、該連続する表現を選択することが、第１のスワイプジェスチャに応じたものであり、
   前記第２の装置の表現を示すよう前記選択された表現の指示を更新させ、
   状態の更なる変更を示す更なるユーザ入力を前記指定された制御領域内で受け取り、
   前記指定された制御領域内での前記更なるユーザ入力に応じて、
   前記第２の装置により提供されるサービスの状態を変更させ、及び、
   前記第２の装置により提供されるサービスの変更された状態を反映するように、前記第２の装置の表現の外観、前記境界の表現の外観、及び前記家具の表現の外観を変更するよう前記仮想部屋の外観を動的に更新させることを含む、方法。
2. 前記第１のスワイプジェスチャが、前方へのスワイプジェスチャである、請求項１に記載の方法。
3. 前記シーケンス内の前の表現を選択し、該前の表現が、前記物理的な部屋内の前記第１の装置に対応し、前記前の表現を選択することが、第２のスワイプジェスチャに応じたものであり、
   前記第１の装置を再び示すように前記選択された表現の指示を更新させ、
   状態の更なる変更を示す更なるユーザ入力を前記指定された制御領域で受け取り、及び、
   前記指定された制御領域での前記更なるユーザ入力に応じて、
   前記第１の装置により提供されるサービスの状態を更に変更させ、及び、
   前記第１の装置により提供されるサービスの変更された状態を反映するように、前記第１の装置の表現の外観、前記境界の表現の外観、及び前記家具の表現の外観を変更するよう前記仮想部屋の外観を動的に更新させることを更に含む、請求項１に記載の方法。
4. 前記第２のスワイプジェスチャが、後方へのスワイプジェスチャである、請求項３に記載の方法。
5. 前記第１の装置が照明装置であり、前記第１の装置により提供されるサービスが照明サービスであり、前記サービスの前記変更された状態が照度に対する変更である、請求項１に記載の方法。
6. 前記第１の装置がオーディオ／ビデオ（A／V）装置であり、前記第１の装置により提供されるサービスが視聴サービスであり、前記サービスの前記変更された状態が、ビデオソース、チャンネル、又は音量の少なくとも１つに対する変更である、請求項１に記載の方法。
7. 前記第１の装置の表現、前記物理的な部屋の前記境界の表現、及び前記物理的な部屋内に存在する前記家具の表現が、それぞれ、写実的な表現である、請求項１に記載の方法。
8. 前記タッチスクリーンディスプレイが、対角線で7インチ未満である、請求項１に記載の方法。
9. 装置を制御するための仮想部屋ベースのユーザインタフェイスを有するホームオートメーションシステムであって、
   タッチスクリーンディスプレイを含み、及び複数の装置の複数の表現のシーケンスから第１の装置の表現を選択するよう構成された、電子装置であって、前記第１の装置の表現の前記選択が、デフォルト選択であり、前記複数の装置の前記複数の表現が、それぞれ、物理的な部屋内に存在するサービスを提供する個々の装置に対応するものであり、該電子装置が、前記物理的な部屋に対応する仮想部屋を前記タッチスクリーンディスプレイ上に表示し、該仮想部屋が、前記第１の装置の表現、前記物理的な部屋の複数の境界の複数の表現、及び前記物理的な部屋内に存在する複数の家具の複数の表現を含み、該電子装置が、前記選択された前記第１の装置の表現の指示を前記タッチスクリーンディスプレイ上に表示し、及び前記選択された前記第１の装置の表現とは別個の前記タッチスクリーンディスプレイ上の指定された制御領域でユーザ入力を受け取り、該電子装置が、前記シーケンス内の連続する表現を選択し、該連続する表現が、前記物理的な部屋内の第２の装置に対応し、該第２の装置の表現を選択することが、第１のスワイプジェスチャに応じたものであり、該電子装置が、前記第２の装置の表現を示すよう該選択された表現の指示を更新させ、状態の更なる変更を示す更なるユーザ入力を前記指定された制御領域で受け取るよう更に構成されている、電子装置と、
   該電子装置と通信し、及び前記ホームオートメーションシステムの前記複数の装置を制御するよう動作することが可能である、コントローラであって、前記指定された制御領域でのユーザ入力に応じて、前記第１の装置により提供されるサービスの状態を変更するよう構成され、前記指定された制御領域での前記更なるユーザ入力に応じて、前記第２の装置により提供されるサービスの状態を変更するよう更に構成ている、コントローラとを備えており、
   前記電子装置が、前記第１の装置により提供されるサービスの前記変更された状態を反映するように、前記選択された前記第１の装置の表現の外観、前記境界の表現の外観、及び前記家具の表現の外観を変更するよう前記仮想部屋の外観を動的に更新させるよう更に構成され、
   前記電子装置が、前記第２の装置により提供されるサービスの前記変更された状態を反映するように、前記第２の装置の表現の外観、前記境界の表現の外観、及び前記家具の表現の外観を変更するよう前記仮想部屋の外観を動的に更新させるよう更に構成されている、ホームオートメーションシステム。
10. 前記第１の装置が照明装置であり、前記第１の装置により提供されるサービスが照明サービスであり、前記サービスの変更された状態が、照度に対する変更である、請求項９に記載のホームオートメーションシステム。
11. 前記第１の装置がオーディオ／ビデオ（A／V）装置であり、前記第１の装置により提供されるサービスが視聴サービスであり、前記サービスの変更された状態が、ビデオソース、チャンネル、又は音量の少なくとも１つに対する変更である、請求項９に記載のホームオートメーションシステム。
12. 前記第１の装置の表現、前記物理的な部屋の前記境界の表現、及び前記物理的な部屋内に存在する前記家具の表現が、それぞれ写実的な表現である、請求項９に記載のホームオートメーションシステム。

Images