JP6808490B2 - ユーザにより生成される仮想部屋ベースのユーザインタフェイス - Google Patents

Description

本開示は、一般に装置制御に関し、特に、ホームオートメーション又は電子装置制御システムに結合された制御装置を制御するためのユーザインタフェイスの生成に関するものである。

自宅その他の建造物が大きくなり、照明器具、モータ駆動式装置、及び電子装置等の一層多くの装置で一杯になるにつれて、かかる装置を制御する負担が増大する。従来、多数の装置が複数の機械式スイッチにより制御されてきた。機械式スイッチは、信頼性があり超すと効率の良いものであるが、特に、所定の建造物の同じ部屋内に多数の装置が配置されている場合に、多くの制約を有するものである。例えば、大きな部屋は、ランプ、天井用照明設備、及びタスクライト等の多数の照明器具、自動ブラインド及び自動ドア等の多数のモータ駆動式装置、並びに表示画面（例えば、テレビ及びモニタ）、オーディオ／ビデオ（A/V）装置、及びコンピュータ装置等の多数の電子装置を含む可能性がある。これら全ての装置を制御するために、多数の機械式スイッチが必要となる。部屋の中の機械式スイッチの数が増えると、有用性が低下する。機械式スイッチは、ラベルが付されていないことが多く、又はラベルが付されている場合であっても端的な記述（例えば、「ランプ1」、「ランプ2」、「ブラインド1」等）しか記されていないことが多い。ユーザは、部屋内で使用できる多数の機械式スイッチのどれがどの装置を制御するかを記憶せざるを得なくなる。かかる関係を覚えていない、部屋に初めて来た客は、典型的には、どの機械式スイッチがどの装置を制御するのか判定するために試行錯誤に頼らなければならず、自分が所望する結果に偶然出くわすまで多数のスイッチを反転させ続けることになる。

機械式スイッチの欠点を改良しようとして様々なタイプのホームオートメーション及び電子装置制御システムが開発されてきた。かかるシステムは一般に、複数の装置の動作を管理する１つ以上のコントローラを含む。該コントローラは、該複数の装置を制御するためのユーザインタフェイスを提供する専用のタッチスクリーン制御ユニット等のユーザインタフェイス装置を介して対話することが可能である。該ユーザインタフェイスは、一連のタッチセンサ式ボタンを含むことが可能であり、その各ボタンが１つの装置又は１グループをなす複数の装置を制御する。

しかし、かかるボタンを中心としたオンスクリーンユーザインタフェイスは、機械式スイッチと同様の多数の欠点を有するものとなる。かかるボタンは、画面上に表示され、機械式スイッチのような物理的なオブジェクトとして存在する訳ではないが、機械式スイッチにとても似た動作をする。オンスクリーンボタンを見ることにより、そのボタンが何をするものであるかが明らかとなることはない。ラベルを提供することは可能であるが、画面空間が制限されている場合、かかるラベルは短くて曖昧なものであることが多い。部屋に初めて来た客は、機械式スイッチの場合と同様に、各オンスクリーンボタンにタッチして、どのボタンが如何なる結果をもたらすものであるかを試行錯誤で見いださなければならない。

最近では、機械式スイッチ及びボタンを中心としたオンスクリーンユーザインタフェイスの欠点の多くに対処した仮想部屋ベースの装置制御ソリューションが開発されている。この仮想部屋ベースの装置制御ソリューションは、１つ以上の仮想部屋を含む仮想部屋ベースのユーザインタフェイスを提供する。該仮想部屋と対話することにより、ユーザは、物理的な部屋内の装置について所望の状態変化を指示することが可能である。

しかし、この種のソリューションは、機械式スイッチ及びボタンを中心としたオンスクリーンユーザインタフェイスの欠点の多くを解決するものであるが、新たな課題を呈するものである。その１つの課題は、経済的な態様で仮想部屋を生成するための方法である。多くの他の種類のユーザインタフェイス画面とは異なり、仮想部屋は一意のものである。単一画面を中心に設計して単純に配布することはできず、各仮想部屋は一般に、該仮想部屋に対応する物理的な部屋の各々毎に個別に作成する必要がある。

更に、仮想部屋は、継続的に再作成する必要があり得る。仮想部屋は、物理的な部屋と一致することが意図されたものであるため、該物理的な部屋の外観が変わった場合には、それに対応する仮想部屋を再作成して、満足のいくユーザエクスペリエンスを提供する必要がある。例えば、ユーザが、家具の配置を変えた場合、壁を修理した場合、又はその他の太陽で物理的な部屋の外観を変更した場合に、該物理的な部屋に対応する仮想部屋を該変更を反映するよう再作成する必要がある。この仮想部屋の作成及び再作成に伴う費用は、装置制御ユーザインタフェイスでの仮想部屋の一層広範な利用の障壁となる。

したがって、上記課題の一部又は全部に対処することができる改善された仮想部屋生成技術が必要とされている。

一実施形態では、ホームオートメーション又は電子装置制御システムに接続された複数の装置を制御する仮想部屋ベースのユーザインタフェイスの仮想部屋を迅速に且つ経済的に生成するための技術が提供される。この技術は、専門的な研修が欠如しているユーザ（例えば、住宅の所有者その他のエンドユーザ）がモバイル装置（例えば、タブレットコンピュータ）上で実施することが可能なものである。

所与の仮想部屋ベースのユーザインタフェイスの仮想部屋に関し、モバイル装置上で実行しているアプリケーションが、仮想部屋を介して制御可能とすべき、物理的な部屋内の複数の装置（例えば、照明器具、モータ駆動式装置、又は電子装置）により提供される１つ以上のサービスを選択するように、ユーザに指示する。該選択されたサービスは、物理的な部屋内の複数の装置により実行し得る全てのサービスのサブセットとすることが可能である。各サービスは、少なくとも１つのアクティブ状態及び１つの非アクティブ状態を有することが可能であり、それらの性質は、一般に特定のサービスによって決まる。モバイル装置上で実行しているコンフィギュレーションアプリケーションは次いで、異なる状態の物理的な部屋の複数のイメージ（例えば、写真）を取得し、その各イメージは、実質的に同じ視点（perspective）を共有する（例えば、同じ方向で同じ場所からキャプチャされる）。該複数のイメージは、全てオフ（all-off）のイメージ（この場合、１つ以上のサービスの全てが非アクティブ状態にある）、及び１つ以上のサービス固有イメージ（この場合、単一のサービスがアクティブ状態にあり、その他のサービスが非アクティブ状態にある）を含むことが可能である。代替的な一実施形態では、コンフィギュレーションアプリケーションは、部屋内のサービスを非アクティブにし、次いで該サービスを順次アクティブにする間に、モバイル装置のカメラを使用して各イメージをキャプチャすることにより、前記複数のイメージを取得する。別の代替的な実施形態では、コンフィギュレーションアプリケーションは、イメージライブラリ内の以前にキャプチャしたイメージを割り当てるようユーザに指示することにより、前記複数のイメージを取得する。

物理的な部屋の複数のイメージを取得した後、モバイル装置上で実行しているコンフィギュレーションアプリケーションは、該複数のイメージを位置合わせして、位置合わせされたイメージスタック（イメージを積み重ねたもの）を生成する。かかる位置合わせは、複数のイメージ間における視点の僅かな違いを補正するものである。該位置合わせは、モバイル装置上で受容したユーザからの入力に基づく手動プロセスとすることが可能である。代替的に、該位置合わせは、位置合わせされたイメージスタックを生成するためのイメージ特徴位置合わせアルゴリズムを用いた自動プロセスとすることが可能である。次いで、モバイル装置上で実行しているコンフィギュレーションアプリケーションは、該位置合わせされたイメージスタックの複数のイメージ内に示される複数の装置に関する１つ以上のヒットボックスを指定する。各ヒットボックスは、それぞれの装置により提供される１つのサービスに対応するものである。ヒットボックスの指定は、モバイル装置上のユーザ入力に基づくものとすることが可能である。

位置合わせされたイメージスタック及び指定された１つ以上のヒットボックスに基づき、コンフィギュレーションアプリケーションは、物理的な部屋内の１つ以上の装置（ひいては該装置が提供する１つ以上のサービス）を制御するために使用することが出来る仮想部屋ベースのユーザインタフェイスの仮想部屋を生成する。生成された仮想部屋をモバイル装置上でユーザに対して表示して、該ユーザにその機能をテストするよう指示することが可能である。その機能がユーザが期待するものと異なる場合には、該ユーザは、該仮想部屋を変更するための一連のステップのうちの１つ以上をコンフィギュレーションアプリケーションに繰り返させることが可能である。その機能がユーザの期待通りのものである場合には、該仮想部屋を仕上げて、仮想部屋ベースのユーザインタフェイス内の他の仮想部屋（同様にして作成されたもの）と共に使用することが可能である。

様々な更なる特徴及び代替的な実施形態を実施することが可能であることが理解されよう。上記説明は、単なる読者への導入を意図したものであり、本書で言及する実施形態が本発明の全ての特徴を網羅すること又は本発明の必要な又は不可欠な側面であることを示し又は示唆するものではない。

建造物の物理的な部屋内にある複数の装置を制御するよう構成されたホームオートメーション又は電子装置制御システムの全般的なアーキテクチャを示すブロック図である。 モバイル装置の一実施形態のブロック図である。 タッチセンサ式スクリーン上に表示された例示的な仮想部屋ベースのユーザインタフェイスの例示的な仮想部屋を示す例示的なモバイル装置の正面図である。 仮想部屋ベースのユーザインタフェイスの所与の仮想部屋を生成するための例示的な一連のステップを示すフローチャートである。 例示的なサービス選択画面を示す例示的なモバイル装置の正面図である。 一実施形態による例示的なイメージキャプチャ画面を示す例示的なモバイル装置の正面図である。 別の一実施形態による例示的なイメージ割り当て画面を示す例示的なモバイル装置の正面図である。 例示的なイメージ修正（qualification）画面（ここでイメージが手動で位置合わせされる）を示す例示的なモバイル装置の正面図である。 例示的なマーキング画面（ここでヒットボックスが定義される）を示す例示的なモバイル装置の正面図である。 例示的なマーキング画面（ここで仮想部屋がテストされる）を示す例示的なモバイル装置の正面図である。

図１は、建造物の物理的な部屋内にある複数の装置を制御するよう構成されたホームオートメーション又は電子装置制御システム100の全般的なアーキテクチャを示すブロック図である。該装置は、照明器具、モータ駆動式装置、電子装置、及び／又はその他の種類の装置を含むことが可能である。照明器具は、ランプ、天井用照明器具、タスクライト、又はその他の種類の照明装置とすることが可能である。モーター駆動式装置は、自動ブラインド、自動ドア、モータ駆動式テレビ昇降装置、又はモータにより駆動されるその他の種類の装置とすることが可能である。電子装置は、表示画面（例えば、テレビ及びモニタ）、オーディオ／ビデオ（A/V）装置、及びコンピュータ装置、又は電子回路を使用したその他の種類の装置とすることが可能である。

例示的なシステム100は、コントローラ、ユーザインタフェイス装置、及び制御モジュールを含む多数の構成要素から構成することが可能である。該コントローラは、装置コントローラ110及びホストコントローラ120を含むことが可能である。該ユーザインタフェイス装置は、専用タッチパネルユニット180及びモバイル装置200を含むことが可能である。該制御モジュールは、複数のロードモジュール140を含むことが可能である。これらの各構成要素が協働して建造物内の複数の装置を制御することが可能である。

より詳細には、装置コントローラ110は、制御及び通信機能を提供することが可能であり、モジュールバス130を介して複数のロードモジュール140をサポートする。装置コントローラ110は、個々のロードモジュール140へ制御コマンドを発行して該ロードモジュールに結合された特定の装置の状態を該ロードモジュールに変化させる責務を負うことが可能なものである。ホストコントローラ120は、例えば、有線ローカルエリアネットワーク（LAN）150により装置コントローラ110に接続することが可能である。ホストコントローラ120は、装置コントローラ110の動作を制御し監視するように、並びに高レベル制御及びユーザインタフェイスサポート機能を提供するように、構成することが可能である。かかるユーザインタフェイスサポート機能は、とりわけ、複数の装置を制御するための仮想部屋ベースのユーザインタフェイスをサポートすることが可能なものである。

１つ以上の無線アクセスポイント160をLAN150に接続して、例えば、専用タッチパネル180及びモバイル装置200との通信に使用する無線ローカルエリアネットワーク（WLAN）170をサポートすることが可能である。代替的に、又は追加的に、専用タッチパネル180及びモバイル装置200は、有線LAN150に対する有線接続を介してホストコントローラ120と通信することが可能である。以下で詳述するように、専用タッチパネル180及びモバイル装置200は、仮想部屋ベースのユーザインタフェイスを提供することが可能であり、該仮想部屋ベースのユーザインタフェイスを介してユーザが建造物内の複数の装置の状態に対する所望の変化を指示することが可能となる。

本書で用いる場合、用語「モバイル装置」とは、身に着けて搬送されるよう構成され、並びに無線通信インタフェイス及びタッチセンサ式表示画面を含む、多用途電子装置を意味する。但し、モバイル装置は、一体型カメラを含む必要はない。タブレットコンピュータ（例えば、Apple社から入手可能なiPad（登録商標）タブレット）及びスマートフォン（例えば、Apple社から入手可能なiPhone（登録商標）スマートフォン及び様々なサプライヤから入手可能なAndroid（登録商標）スマートフォン）等の装置は、モバイル装置とみなされる。デスクトップコンピュータ等の装置は、一般にモバイル装置とはみなさない。システム100のモバイル装置200は、仮想部屋ベースのユーザインタフェイスをユーザに提供するために制御の役割で使用することが可能であり、又は仮想部屋ベースのユーザインタフェイスの生成をサポートするためにコンフィギュレーションの役割で使用することが可能である。それぞれのモバイル装置は、かかる２つの役割のうちの一方のみで又は両方で使用することが可能である。

図２は、例示的なモバイル装置200を示すブロック図である。モバイル装置200は、プロセッサ210、メモリ220、無線ネットワークインタフェイス230、タッチセンサ式表示画面240、カメラ250、並びにその他のハードウェアを含むことが可能である。プロセッサ210は、ソフトウェアを実行しデータ構造を操作するよう構成されたロジックを含むことが可能である。メモリ220は、ソフトウェア及びデータ構造を格納するための複数の記憶場所を含むことが可能である。無線ネットワークインタフェイス230は、WLAN及び／又はセルラーブロードバンドデータネットワークを介した通信を容易化することが可能である。タッチセンサ式表示画面240は、ユーザからジェスチャ（例えば、タッチやスワイプなど）という形でユーザ入力を受容することが可能である。

メモリ220内にあるオペレーティングシステム260は、モバイル装置200を機能的に編成することが可能である。オペレーティングシステム260は、Apple社から入手可能なIOS（登録商標）オペレーティングシステム、Google社から入手可能なAndroid（登録商標）オペレーティングシステム、又はその他の種類のオペレーティングシステムとすることが可能である。コンフィギュレーションアプリケーション270をオペレーティングシステム260と連携して実行し、モバイル装置200をコンフィギュレーションの役割で動作させて、仮想部屋ベースのユーザインタフェイスの仮想部屋を生成することが可能である。コンフィギュレーションアプリケーション270は、タッチセンサ式表示画面240上にコンフィギュレーションユーザインタフェイスを表示すること、及び該タッチセンサ式表示画面240上でユーザ入力を受容することが可能である。更に、制御アプリケーション（図示せず）もまたメモリ220内に格納し、及び実行して、モバイル装置200が制御の役割で動作できるようにすることが可能である。該制御アプリケーションは、タッチセンサ式表示画面240上に仮想部屋ベースのユーザインタフェイスを表示し、及び該タッチセンサ式表示画面240上のユーザ入力を受容して、ユーザが建造物内の複数の装置の状態に対する所望の変化を指示することを可能とする。

仮想部屋ベースのユーザインタフェイスは、１つ以上の仮想部屋を含むことが可能であり、その各仮想部屋は、建造物の対応する物理的な部屋のフォト・リアリスティックな描写を示すものである。該フォト・リアリスティックな描写は、物理的な部屋の境界（例えば、壁、天井、床など）、物理的な部屋内にある家具（例えば、ソファ、椅子、ベッド、壁掛けなど）、及び物理的な部屋内にある制御可能な装置（例えば、照明器具、モータ駆動式装置、電子装置、及び／又はその他の種類の装置）を示すことが可能である。該装置のフォト・リアリスティックな描写は、好適には、物理的な部屋内の該装置の実際の位置に対応する仮想部屋内の位置に示される。仮想部屋はインタフェイス環境として機能することが可能である。仮想部屋内の装置のフォト・リアリスティックな描写と対話（例えば、タッチ）することにより、ユーザは、物理的な部屋内の対応する装置により提供されるサービスの状態に対する変更を指示することが可能である。仮想部屋内で異なるサービスが提供されるよう装置の状態が変更されると、該変化を反映するように仮想部屋の外観が動的に更新される。このように、仮想部屋は、ユーザに対し、対応する物理的な部屋の現在の状態のフォト・リアリスティックな描写を反映するよう更新することが可能であり、これにより、ユーザが仮想部屋内で見るものは、対応する物理的な部屋内でのエクスペリエンスを正確に映し出したものとなり、又は少なくともそれに類似したものとなる。かかるインタフェイスは、高度に直観的なものとなり、ユーザが複雑な制御スキームを理解することを必要とすることなく制御の選択を容易に指示することを可能にする。

図３は、モバイル装置のタッチセンサ式表示画面上に例示的な仮想部屋ベースのユーザインタフェイスの例示的な仮想部屋310を示す例示的なモバイル装置の正面図である。該例示的な仮想部屋310は、例示的な住居内のリビングルームに対応するものである。しかし、この例の場合のかかる部屋の選択は随意選択的なものであることが理解されよう。該例示的な仮想部屋310は、物理的な部屋の境界のフォト・リアリスティックな描写（天井315及び壁320など）、物理的な部屋内にある家具のフォト・リアリスティックな描写（ソファ330、コーヒーテーブル340、及びエンドテーブル340など）、及び物理的な部屋内の制御可能な装置のフォト・リアリスティックな描写（シャンデリア360、ランプ370,375、壁埋込型ライト（recessed cans）380、及びテレビ390など）を含む。複数の装置360-390の各々は、複数の状態を有するサービスを提供し、該状態には、少なくとも１つのアクティブ状態及び１つの非アクティブ状態を含む。例えば、シャンデリア360、ランプ370,375、及び壁埋込型ライト380が提供する照明サービスは、アクティブ状態「ON」（及び潜在的には複数の異なる照明レベルを表す複数のアクティブサブ状態）及び非アクティブ状態「off」を含む。同様に、テレビ390が提供する視聴サービスは、アクティブ状態「on」（及び潜在的には表示され／使用される複数の異なるビデオソース、チャネル、ボリュームレベル等を表す複数のアクティブサブ状態）及びテレビが「off」である非アクティブ状態を含む。

仮想部屋310内の装置360-390のフォト・リアリスティックな描写と対話（例えばタッチ）することにより、ユーザは、対応する物理的な部屋内の対応する装置により提供されるサービスの状態に対する変更を指示することが可能である。かかる変更は、ホームオートメーション又は電子装置制御システム100により実施することが可能である。例えば、シャンデリア360のフォト・リアリスティックな描写にタッチすることにより、ユーザは、物理的な部屋内のシャンデリアを点灯させる（又はその他の態様で制御する）ことが可能である。同様に、テレビ390のフォト・リアリスティックな描写にタッチすることにより、ユーザは、物理的な部屋内のテレビの電源を投入する（又はその他の態様で制御する）ことが可能である。より高度な制御のために、仮想部屋ベースのユーザインタフェイス内に１つ以上のメニュー（図示せず）を提示して（例えば、仮想部屋310の一部に重ねて）、更なる制御の選択を可能とすることが可能である。

装置360-390が様々なサービスを提供する際に、その変化を反映するように仮想部屋310の外観を動的に更新させることが可能である。例えば、シャンデリアの電源が投入された際に、点灯状態のシャンデリアを描写するように仮想部屋310内のシャンデリア360のフォト・リアリスティックな描写を変更することが可能である。同様に、テレビの電源が投入された場合に、電源投入状態のテレビを描写するように仮想部屋310内のテレビ390のフォト・リアリスティックな描写を変更することが可能である。このようにして、仮想部屋310は、物理的な部屋の現在の外観を正確に映し出すこと又は少なくとも類似したものとすることが可能である。

上述のように、仮想部屋を経済的な態様で生成することは課題であった。この課題を解決するために、コンフィギュレーションアプリケーション270は、専門的な研修が欠如しているユーザ（例えば、住宅の所有者その他のエンドユーザ）が仮想部屋の生成ひいては仮想部屋ベースのユーザインタフェイスの構築を行うことを可能にする一連のステップを実施する。これにより、特別なプログラミングやインストーラによるコンフィギュレーションを不要とすることが可能となる。該一連のステップは、所望の各仮想部屋毎に繰り返すことが可能である。

図４は、仮想部屋ベースのユーザインタフェイスの仮想部屋を生成するための例示的な一連のステップ400を示すフローチャートである。ステップ410で、コンフィギュレーションアプリケーション270は、生成すべき仮想部屋を選択するようユーザに指示することが可能である。ステップ420で、コンフィギュレーションアプリケーション270は、物理的な部屋を準備する方法、特定の問題に遭遇した場合にすべきこと、及びその他のトピックに関する案内を提供する説明アニメーション又はビデオを表示することが可能である。例えば、該説明ビデオは、間接照明（ambient lighting）の使用、複数のイメージ間で一貫性を維持する方法、必要なイメージの数の見積もり方法、全てのサービスを１つのイメージ内にフィットさせることができない場合にすべきこと等について説明することが可能である。

ステップ430で、コンフィギュレーションアプリケーション270は、複数の装置（例えば、照明器具、モータ駆動式装置、又は電子装置）により提供されるサービスであって仮想部屋を介して制御されるべき１つ以上のサービスを選択するようユーザに指示する。選択されたサービスは、仮想部屋内の装置により実行可能な全てのサービスのサブセットとすることが可能である。更に、テキスト表現、アニメーション、及び／又はビデオにより、選択プロセスをユーザに案内することが可能である。

図５は、コンフィギュレーションアプリケーション270により提供される例示的なサービス選択画面500を示す例示的なモバイル装置の正面図である。該画面の案内部分510は、仮想部屋の生成に使用されるステップを示すことが可能であり、現在のステップはサービス選択512になっている。説明部分520及びアニメーション／ビデオ部分530は、テキスト及び絵による案内をユーザに提供することが可能である。最後に、選択部分540は、サービスのリストを提供することが可能であり、該リストから、ユーザは、制御可能とすべき所望のサービスを（例えばタッチすることにより）選択することが可能である。各サービスは、個々の装置に対応し、及び該装置と名前を共有することが可能である。

ステップ440で、コンフィギュレーションアプリケーション270は、様々な状態の物理的な部屋の複数のイメージ（例えば、写真）を取得し、その各イメージは、実質的に同じ視点を共有する（例えば、同じ方向で同じ場所からキャプチャされた）ものである。該複数のイメージは、全てオフ（all-off）のイメージ（この場合、サービスの全てが非アクティブ状態にある）、及び１つ以上のサービス固有イメージ（この場合、単一のサービスがアクティブ状態にあり、その他のサービスが非アクティブ状態にある）を含むことが可能である。

代替的な一実施形態では、コンフィギュレーションアプリケーション270は、部屋内のサービスを非アクティブにし、次いで該サービスを順次アクティブにする間に、モバイル装置200のカメラ250を使用して各イメージをキャプチャすることにより、前記複数のイメージを取得することが可能である。別の代替的な実施形態では、コンフィギュレーションアプリケーション270は、イメージライブラリ内の以前にキャプチャしたイメージを割り当てるようユーザに指示することにより、前記複数のイメージを取得することが可能である。

図６は、代替的に一実施形態による、コンフィギュレーションアプリケーション270により提供される例示的なイメージキャプチャ画面600を示す例示的なモバイル装置の正面図である。該画面の案内部分610は、複数のイメージキャプチャステップを示すよう拡張させることが可能である。ユーザは、オプション612を使用して案内部分610から選択を行うことが可能である。該オプションは、自動モード（この場合にはコンフィギュレーションアプリケーション270がカメラ動作を制御する）及び手動モード（この場合にはユーザがカメラ動作を制御する）を含むことが可能である。説明部分620は、特定の場所に立ってカメラ250を特定の方向に向けるようユーザに指示することが可能である。ユーザは、画面600のイメージキャプチャ部分640を見ることによりカメラ250を位置決めすることが可能である。自動モードが選択された場合には、コンフィギュレーションアプリケーション270は、サービスのアクティブ化を迅速に繰り返す（cycle through）一方、適切なときにカメラ250をアクティブにする。例えば、コンフィギュレーションアプリケーション270は、ホストコントローラ120及び装置コントローラ110と通信して全てのサービスを非アクティブ状態にし、次いでカメラ250をトリガして全てオフのイメージをキャプチャすることが可能である。コンフィギュレーションアプリケーション270は、単一のサービスを順次アクティブにし、その度にカメラ250をトリガして、サービス固有イメージをキャプチャすることが可能である。

手動モードが選択された場合には、サービスのアクティブ化はコンフィギュレーションアプリケーション270が制御するが、カメラ機能はユーザが制御する。例えば、コンフィギュレーションアプリケーション270は、ホストコントローラ120及び装置コントローラ110と通信して全てのサービスを非アクティブ状態にし、次いで、カメラ250を使用して全てオフのイメージを撮影するようユーザに指示することが可能である。ユーザは、カメラボタン650を用いてイメージをキャプチャすることが可能である。コンフィギュレーションアプリケーション270は、単一のサービスを順次アクティブにし、その各アクティブ化の度に、カメラボタン650を使用してサービス固有イメージを撮影するようユーザに指示することが可能である。各イメージのキャプチャ後、ユーザは、次に進む前にイメージを再撮影する選択肢を有することが可能である。ユーザは、イメージを再撮影するか否かの判定を多数の因子に基づいて行うことが可能である。その１つの因子は、以前にキャプチャしたイメージ（全てオフのイメージなど）に対する視点の類似性とすることが可能である。かかる類似性をユーザに示すために精度メータ630を配設することが可能である。このようにして、複数のイメージをイメージキャプチャにより取得することが可能である。

上述のように、イメージはまた、事前にキャプチャしたイメージから取得することが可能である。図７は、例示的なイメージ割り当て画面700を示す例示的なモバイル装置の正面図である。該画面の案内部分710は、現在のステップがイメージの割り当て712であることを示すことが可能である。説明部分720及びビデオ／アニメーション部分730は、イメージの割り当てに関する説明を提供することが可能である。割り当て部分740は、以前にキャプチャされたイメージを表示することが可能である。各イメージを選択して該各イメージをそれぞれの役割に（例えば、全てオフのイメージとして、又は複数のサービス固有イメージのうちの特定の１つとして）割り当てるようユーザに指示することが可能である。かかる割り当てが行われる際に、各イメージの下方に役割の名称を表示することが可能である。場合によっては、該名称は、装置の名称と一致させることが可能である。

ステップ450で、コンフィギュレーションアプリケーション270は、位置合わせされたイメージスタックを生成するよう複数のイメージを位置合わせする。かかる位置合わせは、複数のイメージ間の視点の僅かな違いを補正するものである。該位置合わせは、モバイル装置200上で受容したユーザからの入力に基づく手動プロセスとすることが可能である。代替的には、該位置合わせは、位置合わせされたイメージスタックを生成するためにモバイル装置200上で実行されているイメージ特徴位置合わせアルゴリズムを用いる自動プロセスとすることが可能である。

図８は、例示的なイメージ修正画面800を示す例示的なモバイル装置の正面図であり、該イメージ修正画面800において複数のイメージが手動で位置合わせされる。該イメージ修正画面800の案内部分810は、現在のステップがイメージの修正／位置合わせであることを示すことが可能である。説明部分820及びビデオ／アニメーション部分830は、イメージの位置合わせに関する説明を提供することが可能である。イメージ修正画面800の位置合わせ部分840は、ユーザが手動で複数のイメージを移動させてその位置合わせを行うことを可能にする。例えば、全てオフのイメージを表示させ、続いて各サービス固有イメージをその上に重ねることが可能である。全てオフのイメージと特徴を一致させて位置合わせされたイメージスタックを生成するようにサービス固有イメージの位置合わせを（例えばドラッグ842を行うこと又は方向ボタン844を使用することにより）調整するようユーザに指示することが可能である。

ステップ460で、コンフィギュレーションアプリケーション270は、位置合わせされたイメージスタックの複数のイメージで示されている複数の装置に関して１つ以上のヒットボックスを指定する。ヒットボックスは、選択（例えばタッチ）された際にサービスの状態を変更させる領域とすることが可能である。ヒットボックスは、指定される可視境界によって描画することが可能であるが、一般にユーザには不可視のものとなる。

図９は、例示的なマーキング画面900を示す例示的なモバイル装置の正面図であり、該マーキング画面900においてヒットボックスが定義される。該マーキング画面900の案内部分910は、現在のステップがヒットボックスのマーク912であることを示すことが可能である。説明部分920及びビデオ／アニメーション部分930は、ヒットボックスの生成に関する説明を提供することが可能である。ヒットボックス生成部分940は、ユーザが個々の装置上にヒットボックス942-948を表す形を描き、サイズを決定し、及び位置決めすることを可能にする。例えば、ユーザは画面にタッチし及び斜めにドラッグして１つのヒットボックスを生成することが可能である。ユーザは次いで、そのヒットボックスを特定の装置により提供される特定のサービスに割り当てる。ユーザはまた、ヒットボックスのリサイズ又は調節を行うことが可能である。一実施形態では、複数のヒットボックスは互いに重複することは許されない。

ステップ470で、位置合わせされたイメージスタック及び指定された１つ以上のヒットボックスに基づき、コンフィギュレーションアプリケーション270が仮想部屋ベースのユーザインタフェイスの仮想部屋を生成する。コンフィギュレーションアプリケーション270は、多数のフィルタリングルーチン、イメージ調節ルーチン、及びその他のソフトウェアプロセスをステップ470の一部として用いることが可能である。利用することができる例示的な操作の更なる詳細が、米国特許第12/792,236号に提示されている。

ステップ480で、コンフィギュレーションアプリケーション270は、生成された仮想部屋をテストのために表示する。その機能がユーザが期待するものと異なる場合には、ユーザは、コンフィギュレーションアプリケーション270に前記一連のステップのうちの１つ以上を繰り返させて該仮想部屋を変更することが可能である。該仮想部屋の機能がユーザが期待するものである場合には、該仮想部屋を完成させることが可能である。

図１０は、例示的なテスト画面1000を示す例示的なモバイル装置の正面図であり、該テスト画面1000において仮想部屋がテストされる。テスト画面1000の案内部分1010は、現在のステップ1012が仮想部屋のテストであることを示すことが可能である。説明部分1020及びビデオ／アニメーション部分1030は、テストに関する説明を提供することが可能である。例えば、仮想部屋1050と対話し、及び複数の装置の各々のフォト・リアリスティックな描写（そこには今は見えないヒットボックスが配置されいている）にタッチするようユーザに指示することが可能である。次いでユーザは、物理的な部屋内で提供されるサービスが該ユーザの期待通りであるか観察することが可能である。物理的な部屋内で提供されるサービスが該ユーザの期待通りでない場合には、ユーザは戻り制御1042を選択することによりコンフィギュレーションアプリケーション270に以前のステップを繰り返させることが可能である。物理的な部屋内で提供されるサービスが該ユーザの期待通りである場合には、ユーザは確認制御1044を選択することにより仮想部屋を完成させることが可能である。

要するに、本書で説明する技術は、ホームオートメーション又は電子装置制御システムに接続された複数の装置を制御する仮想部屋ベースのユーザインタフェイスのための仮想部屋の迅速で経済的な生成を可能とする。上記説明は、特定の実施形態を提供するものであるが、該実施形態に対して多数の修正及び／又は追加を実施することが可能であることは自明である。

例えば、上記では、複数のステップをモバイル装置200上で実行することについて説明したが、その少なくとも幾つかのステップを、モバイル装置の特徴が欠如した他の種類の電子装置上で実行することが可能である、ということが理解されよう。例えば、該少なくとも幾つかのステップをデスクトップコンピュータ上で実行することが可能である。更に、互いに連係して動作する幾つかの装置上で前記複数のステップを実行することが可能である。例えば、幾つかのステップをデスクトップコンピュータ上で実行し、他のステップ（例えば、イメージキャプチャに関連するステップ）をスタンドアロンディジタルカメラにより実行することが可能である。広範な代替的な構成が考え得る。

更に、上記では、実質的にフォト・リアリスティックな描写をカメラによりキャプチャすることについて説明したが、実質的にフォト・リアリスティックな描写は、他の態様で生成することが可能である。例えば、フォト・リアリスティックな描写は、CAD（Computer-Aided-Design）アプリケーションによるモデルからレンダリングすることが可能である。

更に、上記では、「物理的な部屋」について言及したが、物理的な部屋は、建造物の間取り図又は設計図上で示される「部屋」と一致する必要はないことが理解されよう。物理的な部屋は、間取り図又は設計図上で示される部屋の一部、複数のかかる部屋の組み合わせ、又はその他の１つ以上の境界により確定された建造物の論理的な区画とすることが可能である。

更に、上記で説明した複数のステップは、ハードウェア、ソフトウェア（プログラム命令を記憶した持続性コンピュータ読み取り可能媒体として実施されたもの）、ファームウェア、又はそれらの組み合わせで実施することが可能である、ということが理解されよう。持続性コンピュータ読み取り可能媒体は、RAM（Random Access Memory）等のメモリ、CD-ROM等のディスク、又はその他の有形の記憶媒体という形をとることが可能である。

一般に、上記説明は単なる例示として解釈されることを意図したものであることが理解されよう。

Claims (17)

1. 建造物の物理的な部屋内の１つ以上の装置を制御する仮想部屋ベースのユーザインタフェイスの仮想部屋を生成する方法であって、
   該物理的な部屋内の該１つ以上の装置により提供される１つ以上のサービスを選択するようモバイル装置のユーザに指示し、該１つ以上の装置の各々が該装置に対応するサービスを提供するものであり、
   前記物理的な部屋の複数のイメージを前記モバイル装置上で取得し、該複数のイメージの各々が実質的に同じ視点を共有するものであり、
   前記モバイル装置上で該複数のイメージを位置合わせして、位置合わせされたイメージスタックを生成し、
   前記モバイル装置上で１つ以上のヒットボックスを指定し、該１つ以上のヒットボックスの各々が、前記１つ以上の装置のうちの１つと一致するものであり、
   前記モバイル装置上で前記位置合わせされたイメージスタック及び前記指定された１つ以上のヒットボックスに基づいて仮想部屋を生成し、該仮想部屋が、前記物理的な部屋内の前記１つ以上の装置を制御するためにユーザが使用することが可能なものであり、及び前記物理的な部屋内の前記１つ以上の装置により生じる変化を反映するように動的に更新される視覚的外観を有するものである、
   仮想部屋ベースのユーザインタフェイスの仮想部屋を生成する方法。
2. 前記仮想部屋が、前記物理的な部屋のフォト・リアリスティックな描写を提供し、該物理的な部屋の該フォト・リアリスティックな描写が、前記１つ以上の装置のフォト・リアリスティックな描写を含む、請求項１に記載の方法。
3. 前記１つ以上の装置の前記フォト・リアリスティックな描写の各々が、それぞれの装置の現在の状態を描写する、請求項２に記載の方法。
4. 前記複数のイメージが、前記１つ以上のサービスの全てが非アクティブ状態にある全てオフのイメージと、単一のサービスがアクティブ状態にあり他のあらゆるサービスが非アクティブ状態にある１つ以上のサービス固有イメージとを含む、請求項１に記載の方法。
5. 前記物理的な部屋の前記複数のイメージを前記モバイル装置上で取得することが、前記複数のイメージの各々を前記モバイル装置のカメラを使用してキャプチャすることを更に含む、請求項１に記載の方法。
6. 前記複数のイメージの各々を前記モバイル装置のカメラを使用してキャプチャすることが、前記物理的な部屋内のサービスを非アクティブ化し、次いで一度に１つのサービスを順次アクティブ化する間に行われる、請求項５に記載の方法。
7. 前記物理的な部屋の前記複数のイメージを前記モバイル装置上で取得することが、イメージライブラリ内の以前にキャプチャしたイメージを割り当てることを更に含む、請求項１に記載の方法。
8. 前記複数のイメージを位置合わせすることが、
   該複数のイメージのうちの第１のイメージを該複数のイメージのうちの少なくとも１つの第２のイメージ上に重ねて表示し、及び、
   該第１のイメージ及び該第２のイメージの特徴を一致させるようユーザ入力に応じて該第１のイメージ及び該第２のイメージを調節する
   ことを更に含む、請求項１に記載の方法。
9. 前記モバイル装置上で前記１つ以上のヒットボックスを指定することが、前記位置合わせされたイメージスタックに関する入力に基づくものである、請求項１に記載の方法。
10. 前記生成された仮想部屋をテストし、及び、
    該テストに応じて、該生成された仮想部屋を完成させ、又は、前記サービスの前記選択、前記イメージの取得、前記イメージの前記位置合わせ、前記ヒットボックスの前記指定、もしくは前記仮想部屋の前記生成のうちの１つ以上を繰り返して該仮想部屋を改良する
    ことを更に含む、請求項１に記載の方法。
11. 建造物の物理的な部屋内の１つ以上の装置を制御する仮想部屋ベースのユーザインタフェイスの仮想部屋を生成するモバイル装置であって、
    タッチセンサ式表示画面と、
    カメラと、
    コンフィギュレーションアプリケーションを格納するよう構成されたメモリと、
    該コンフィギュレーションアプリケーションを実行するよう構成されたプロセッサと
    を備えており、該コンフィギュレーションアプリケーションが、その実行時に、
    前記物理的な部屋内の前記１つ以上の装置により提供される１つ以上のサービスを選択するよう前記モバイル装置のユーザに指示し、
    該コンフィギュレーションアプリケーションがホームオートメーション又は装置制御システムに前記サービスを非アクティブ化させ、次いで一度に１つのサービスを順次アクティブ化させる間に、該モバイル装置の前記カメラを用いて前記物理的な部屋の複数のイメージをキャプチャし、該複数のイメージの各々が実質的に同じ視点を共有するものであり、
    該複数のイメージを位置合わせして、位置合わせされたイメージスタックを生成し、
    前記モバイル装置の前記タッチセンサ式表示画面上の入力に応じて１つ以上のヒットボックスを指定し、該１つ以上のヒットボックスの各々が、前記１つ以上の装置のうちの１つと一致するものであり、及び、
    前記位置合わせされたイメージスタック及び前記指定された１つ以上のヒットボックスに基づいて、前記物理的な部屋内の前記１つ以上の装置を制御するためにユーザが使用することが可能な仮想部屋を生成する
    よう動作するものである、モバイル装置。
12. 前記仮想部屋が、前記物理的な部屋のフォト・リアリスティックな描写を提供し、該物理的な部屋の該フォト・リアリスティックな描写が、前記１つ以上の装置のフォト・リアリスティックな描写を含む、請求項１１に記載のモバイル装置。
13. 前記１つ以上の装置の前記フォト・リアリスティックな描写の各々が、それぞれの装置の現在の状態を描写するものである、請求項１２に記載のモバイル装置。
14. 前記複数のイメージが、前記物理的な部屋内で提供される前記１つ以上のサービスの全てが非アクティブ状態にある全てオフのイメージと、前記１つ以上のサービスのうちの単一のサービスがアクティブ状態にあり他のあらゆるサービスが非アクティブ状態にある１つ以上のサービス固有イメージとを含む、請求項１１に記載のモバイル装置。
15. 前記コンフィギュレーションアプリケーションが、その実行時に、前記複数のイメージのうちの第１のイメージを該複数のイメージのうちの少なくとも１つの第２のイメージ上に重ねて前記タッチセンサ式表示画面上に表示し、及び、該タッチセンサ式表示画面上のユーザからのタッチ入力に応じて、該第１のイメージ及び該第２のイメージの特徴を一致させるよう該第１のイメージ及び該第２のイメージを調節するよう更に動作する、請求項１１に記載のモバイル装置。
16. 前記コンフィギュレーションアプリケーションが、その実行時に、前記タッチセンサ式表示画面上のユーザからのタッチ入力に基づいて複数の前記ヒットボックスを指定するよう更に動作する、請求項１１に記載のモバイル装置。
17. 前記コンフィギュレーションアプリケーションが、その実行時に、前記生成された仮想部屋をテストし、及び該生成された仮想部屋を完成させ、又は該生成された仮想部屋を改良するための動作を繰り返すよう更に動作する、請求項１１に記載のモバイル装置。

Images