JP6481209B2 - 端末装置、システム、情報提示方法およびプログラム - Google Patents

Description

本開示は、端末装置、システム、情報提示方法およびプログラムに関する。

家庭などにある複数の機器を連携して機能させることは、既に一般的である。例えば、特許文献１には、機器連携によって実現される機能の利用を効果的に支援するための技術が記載されている。

特開２０１４−３２５０１号公報

上記の特許文献１に記載された技術では、スマートフォンの画面に表示されるコンソールを用いて、システムへの機器の登録などの操作が実行される。ただし、特許文献１に記載された技術では、連携して機能する対象が、例えばテレビ、レコーダ、ゲーム機、またはパーソナルコンピュータなどであるために、システムに登録されている機器の情報と、実際の機器とを対応付けて認識することは容易である。

一方、例えば、連携して機能する複数の機器が、互いに類似した外見を有していたり、設置場所を自由に移動させることが可能であったり、同じ種類の複数の機器を含んでいたりする場合、システムに登録されている機器の情報と、実際の機器とを対応付けて認識することは必ずしも容易ではない。このような場合、例えば上記の特許文献１に記載されたような技術は、ユーザに十分な利便性を提供することが難しい場合がある。

そこで、本開示では、システムに登録されている機器の情報と実際の機器とを対応付けて認識することを容易にする、新規かつ改良された端末装置、システム、情報提示方法およびプログラムを提案する。

本開示によれば、端末装置であって、システム内の１または複数の装置から出力される第１の信号を受信する信号受信部と、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定する位置関係特定部と、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出する識別情報抽出部と、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示するための手段とを備える端末装置が提供される。

また、本開示によれば、１または複数の装置と、端末装置とを含むシステムであって、上記１または複数の装置は、第１の信号を出力し、上記端末装置は、上記第１の信号を受信する信号受信部と、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定する位置関係特定部と、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出する識別情報抽出部と、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示するための手段とを備えるシステムが提供される。

また、本開示によれば、システム内の１または複数の装置が第１の信号を出力することと、端末装置が上記第１の信号を受信することと、処理回路を用いて、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定するとともに、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出することと、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示することとを含む情報提示方法が提供される。

また、本開示によれば、端末装置の処理回路において実行されるプログラムであって、システム内の１または複数の装置から出力される第１の信号を受信する機能と、上記第１の信号に基づいて上記端末装置と上記１または複数の装置との位置関係を特定する機能と、上記第１の信号から上記１または複数の装置の上記システム内での識別情報を抽出する機能と、上記識別情報および上記位置関係に基づいて、上記１または複数の装置の上記システム内での設定情報を上記１または複数の装置に関連付けて提示するための手段とを実現するプログラムが提供される。

以上説明したように本開示によれば、システムに登録されている機器の情報と実際の機器とを対応付けて認識することを容易にすることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。 図１に示されたシステムの第１の具体的な構成例を示す図である。 図１に示されたシステムの第２の具体的な構成例を示す図である。 図１に示されたシステムの第３の具体的な構成例を示す図である。 図１に示されたシステムの第４の具体的な構成例を示す図である。 図１に示されたシステムの第５の具体的な構成例を示す図である。 図１に示されたシステムの第６の具体的な構成例を示す図である。 図１に示されたシステムの第７の具体的な構成例を示す図である。 図１に示されたシステムの第８の具体的な構成例を示す図である。 図１に示されたシステムにおいて提供されるＵＩの第１の例を示す図である。 図１に示されたシステムにおいて提供されるＵＩの第２の例を示す図である。 図１に示されたシステムにおけるエレメントの連係動作の第１の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第２の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第３の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第４の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第５の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第６の具体的な例について説明するための図である。 本開示の第１の実施形態の概略的な構成例を示す図である。 図１８に示す例における設定情報の表示の例を示す図である。 図１８に示す例において、ユーザが設定変更操作を実行している状態を示す図である。 図２０に示す例における設定情報の変更表示の例を示す図である。 本開示の第１の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。 本開示の第１の実施形態に係るエレメントの機能構成例を示すブロック図である。 本開示の第１の実施形態における処理の第１の部分を示すシーケンス図である。 本開示の第１の実施形態における処理の第２の部分を示すシーケンス図である。 本開示の第１の実施形態における処理の第３の部分を示すシーケンス図である。 本開示の第１の実施形態の変形例について説明するための図である。 本開示の第２の実施形態の概略的な構成例を示す図である。 本開示の第２の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。 本開示の第２の実施形態に係る提示装置の機能構成例を示すブロック図である。 本開示の第２の実施形態における処理の第１の部分を示すシーケンス図である。 本開示の第２の実施形態における処理の第２の部分を示すシーケンス図である。 本開示の第２の実施形態の変形例について説明するための図である。 本開示の第３の実施形態の概略的な構成例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．適用可能なシステムの例
１−１．概略的な構成
１−２．具体的な構成例
１−３．ユーザインターフェースの例
１−４．連係動作の例
２．本開示の実施形態
２−１．第１の実施形態
２−２．第２の実施形態
２−３．第３の実施形態
３．ハードウェア構成
４．補足

（１．適用可能なシステムの例）
（１−１．概略的な構成）
図１は、本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、エレメント１００と、マネージャ２００と、サーバ３００と、ＵＩ（User Interface）装置４００とを含む。これらの装置は、ネットワークＮＷで互いに接続されている。ネットワークＮＷは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、インターネットなどを含みうる。なお、以下では一例としてシステム１０について説明するが、本開示の実施形態に係る技術は他の様々なシステムにおいても適用可能である。

エレメント１００は、通信部１１０と、制御部１２０と、機能部１３０と、電源部１４０とを含む装置である。通信部１１０は、マネージャ２００および／または他のエレメント１００と、ネットワークＮＷを介して通信する通信装置を含む。制御部１２０は、例えばマイクロコントローラやＣＰＵ（Central Processing Unit）などによって実現され、機能部１３０を制御する。機能部１３０は、例えばセンサやアクチュエータなどを含み、それぞれのエレメント１００に固有の機能を実現する。電源部１４０は、バッテリーや電源プラグなどを含み、通信部１１０、制御部１２０、および機能部１３０を動作させるための電源を供給する。なお、エレメント１００以外の装置も電源部を有するが、図示は省略されている。

マネージャ２００は、通信部２１０と、制御部２２０と、記憶部２３０とを含む装置である。通信部２１０は、エレメント１００、サーバ３００およびＵＩ装置４００と、ネットワークＮＷを介して通信する通信装置を含みうる。制御部２２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、通信部２１０を介して、エレメント１００同士の間、およびエレメント１００とサーバ３００との間の通信を制御する。制御部２２０には、演算部２２１が含まれうる。演算部２２１は、エレメント１００から受信された情報や、エレメント１００に送信する情報、サーバ３００に送信する情報、サーバ３００から受信された情報などについての演算を実施する。記憶部２３０は、メモリまたはストレージを含み、制御部２２０が制御する通信によってやりとりされる情報や、演算部２２１によって算出された情報などを格納する。

サーバ３００は、通信部３１０と、制御部３２０と、記憶部３３０とを含む。通信部３１０は、マネージャ２００とネットワークＮＷを介して通信する通信装置を含む。制御部３２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、演算部３２１、およびＵＩ提供部３２３を含みうる。演算部３２１は、エレメント１００またはマネージャ２００から受信された情報や、エレメント１００またはマネージャ２００に送信する情報、他のサーバから受信された情報、他のサーバに送信する情報などについての演算を実施する。ＵＩ提供部３２３は、ユーザがエレメント１００および／またはマネージャ２００の組み合わせを指定したり、各種の情報を確認したりするためのＵＩを提供する。ＵＩは、例えば、ＵＩ装置４００の入出力部４３０に含まれるディスプレイおよびタッチパネルなどを介して提供される。記憶部３３０は、メモリまたはストレージを含み、エレメント１００に関する各種の情報や、複数のエレメント１００を組み合わせて動作させるためのプログラム、エレメント１００と組み合わせられるソフトウェア、演算部３２１によって算出された情報などを格納する。

ここで、サーバ３００の記憶部３３０には、例えばシステム１０内のエレメント１００の識別情報（ＩＤ）が格納される。エレメント１００は、システム１０に随時追加されうる。また、記憶部３３０には、複数のエレメント１００を組み合わせて動作させるためのプログラムも格納される。プログラムは、例えばユーザや、開発者、システム管理者によって随時追加されうる。さらに、記憶部３３０には、ソフトウェアが格納される。ソフトウェアは、例えば、エレメント１００と組み合わせて実行されることによって機能を実現する。あるいは、ソフトウェア同士が組み合わせて実行されることによって機能を実現してもよい。ソフトウェアが実現する機能は、例えば、音声や画像などの素材提供、タイマー、カレンダー、画像認識や音声認識などの解析機能、天気予報やニュースなどのような外部サービスからの情報取得機能などを含みうる。ソフトウェアは、例えばユーザや、開発者、システム管理者によって随時追加されうる。

一方、サーバ３００のＵＩ提供部３２３は、例えば、ＵＩ装置４００の入出力部４３０に含まれるディスプレイおよびタッチパネルなどを介してＵＩを提供する。ユーザは、このＵＩを介して、例えば、複数のエレメント１００を組み合わせて動作させるためのプログラムを、エレメント１００またはマネージャ２００にプリインストールされたプログラムや、サーバ３００によって提供されるプログラムなどの中から選択することができる。また、上記のＵＩを介して、ユーザは、複数のエレメント１００の組み合わせや、エレメント１００とソフトウェアとの組み合わせ、複数のソフトウェアの組み合わせを指定することもできる。指定された組み合わせがプログラムとしてサーバ３００の記憶部３３０に保存され、このプログラムがエレメント１００とソフトウェアとによって実行されることによって、ユーザは所望のアプリケーションを得ることができる。

ＵＩ装置４００は、通信部４１０と、制御部４２０と、入出力部４３０とを含む装置である。通信部４１０は、マネージャ２００およびサーバ３００とネットワークＮＷを介して通信する通信装置を含みうる。制御部４２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、入出力部４３０を制御するとともに、通信部４１０を介した情報のやりとりを制御する。入出力部４３０は、例えばディスプレイ、スピーカ、およびタッチパネルなどを含み、ＵＩを介してユーザに各種の情報を提示するとともに、ユーザからの操作入力を受け付ける。

（１−２．具体的な構成例）
（第１の例）
図２は、図１に示されたシステムの第１の具体的な構成例を示す図である。図２を参照すると、システム１０ａは、エレメント１００として機能する第１のタブレットと、エレメント１００、マネージャ２００、およびＵＩ装置４００として機能する第２のタブレットと、サーバ３００とを含む。

第１および第２のタブレットは、いずれも同じように、ディスプレイ、タッチパネル、ＣＰＵ、センサなどを含む。システム１０ａでは、２つのタブレットのうちの一方が、エレメント１００、マネージャ２００、およびＵＩ装置４００としても機能し、他方がエレメント１００として機能する。これらのタブレットの役割は互換的であってもよく、状況に応じてマネージャ２００やＵＩ装置４００として機能するタブレットが変更されてもよい。システム１０ａでは、例えば、タブレットが有する各種のセンサを利用して、２つのタブレットを組み合わせて動作させ、ユーザが所望する機能を実現することができる。

なお、図２に示した例における第１および第２のタブレットは、エレメント１００として機能するための機能部１３０（センサなど）と、マネージャ２００として機能するための制御部２２０（ＣＰＵなど）とを有する端末装置の例である。こうした端末装置はタブレットには限られず、スマートフォンなどの他の装置であってもよい。また、システム１０ａに含まれる端末装置の数は図示された例には限られず、例えば３つ以上であってもよい。

（第２の例）
図３は、図１に示されたシステムの第２の具体的な構成例を示す図である。図３を参照すると、システム１０ｂは、エレメント１００ａ〜１００ｇと、マネージャ２００およびＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。

システム１０ｂでは、タブレットがマネージャ２００およびＵＩ装置４００として機能する。上記の第１の例と同様に、タブレットは、スマートフォンなどの他の装置によって代替されてもよい。図示された例では、エレメント１００が、加速度センサ１００ａ、カメラ１００ｂ、人感センサ１００ｃ、ボタン１００ｄ、スピーカ１００ｅ、ＬＥＤ（Light Emitting Diode）ランプ１００ｆ、マイクロフォン１００ｇを含む。それぞれのエレメント１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によってタブレットと通信し、タブレットが実現するマネージャ２００の制御に従って連係動作する。

なお、以下の例では、エレメント１００の例として、加速度センサ１００ａ〜マイクロフォン１００ｇの一部または全部が図示されるが、これはそれぞれの例において用いられるエレメント１００の種類を限定することを意図したものではない。それぞれの例において、システム１０は、加速度センサ１００ａ〜マイクロフォン１００ｇのうちのいずれか、またはそれ以外の任意の種類のエレメント１００を含みうる。

（第３の例）
図４は、図１に示されたシステムの第３の具体的な構成例を示す図である。図４を参照すると、システム１０ｃは、エレメント１００と、マネージャ２００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。

システム１０ｃでは、マネージャ２００が、ＵＩ装置４００として機能するタブレットとは別に存在する。マネージャ２００は、例えば専用の装置によって実現されてもよいし、Ｗｉ−Ｆｉなどの基地局の機能の１つとして実現されてもよい。上記の第１および第２の例と同様に、ＵＩ装置４００として機能するタブレットは、スマートフォンなどの他の装置によって代替されてもよい。マネージャ２００とタブレットとは、それぞれ独立してサーバ３００と通信可能でありうる。また、タブレットが提供するＵＩを介してシステム１０ｃの設定が変更された場合、タブレットはＷｉ−Ｆｉなどを介して直接的にマネージャ２００に設定情報を送信してもよい。

また、図４の例では、マネージャ２００とエレメント１００との間の通信に、Ｂｌｕｅｔｏｏｔｈ（登録商標）だけではなくＷｉ−Ｆｉも利用されることが示されている。また、離れた場所にあるエレメント１００との接続のために、Ｗｉ−Ｆｉなどによるメッシュネットワーク中継器ＮＷ＿ｍが利用されている。図示された第３の例に限らず、他の例でも、エレメント１００とマネージャ２００、および／またはエレメント１００同士の間の通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉなど、各種の無線通信が用いられうる。

（第４の例）
図５は、図１に示されたシステムの第４の具体的な構成例を示す図である。図５を参照すると、システム１０ｄは、一部がマネージャ２００としても機能するエレメント１００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。

システム１０ｄでは、上記の第１〜第３の例とは異なり、エレメント１００のうちの少なくとも１つがマネージャ２００としても機能する。また、システム１０ｄでは、エレメント１００同士がＢｌｕｅｔｏｏｔｈ（登録商標）などによってメッシュネットワークを形成している。このような構成によって、システム１０ｄでは、サーバ３００およびＵＩ装置４００（タブレット）との通信が一時的に切断されたような場合でも、エレメント１００が自律的に連係動作することが可能である。

（第５の例）
図６は、図１に示されたシステムの第５の具体的な構成例を示す図である。図６を参照すると、システム１０ｅは、一部がマネージャ２００としても機能するエレメント１００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｅは、上記の第３の例に係るシステム１０ｃにおいて、マネージャ２００をいずれかのエレメント１００に取り込んだ例である。

（第６の例）
図７は、図１に示されたシステムの第６の具体的な構成例を示す図である。図７を参照すると、システム１０ｆは、エレメント１００と、マネージャ２００ａ，２００ｂと、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｆは、上記の第３の例に係るシステム１０ｃにおいて、マネージャ２００を複数配置した例である。それぞれのエレメント１００は、例えば、マネージャ２００ａ，２００ｂのうち位置的に近い方に接続されうる。また、複数のマネージャ２００ａ，２００ｂの間では、エレメント１００の接続状態や、エレメント１００を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。

（第７の例）
図８は、図１に示されたシステムの第７の具体的な構成例を示す図である。図８を参照すると、システム１０ｇは、エレメント１００と、マネージャ２００ａと、マネージャ２００ｂおよびＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｇは、上記の第６の例に係るシステム１０ｆにおいて、マネージャ２００ｂの機能をタブレットに統合した例である。それぞれのエレメント１００は、例えば、マネージャ２００ａ、またはタブレットのうち位置的に近い方に接続されうる。また、マネージャ２００ａとタブレットとの間では、エレメント１００の接続状態や、エレメント１００を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。

（第８の例）
図９は、図１に示されたシステムの第８の具体的な構成例を示す図である。図９を参照すると、システム１０ｈは、エレメント１００と、ＵＩ装置４００として機能するタブレットと、マネージャ２００としても機能するサーバ３００とを含む。システム１０ｈは、上記の第２の例に係るシステム１０ｂにおいて、マネージャ２００の機能をサーバ３００に取り込んだ例である。それぞれのエレメント１００は、例えば、移動体通信網などを介して、直接的にサーバ３００と通信する。

以上、図１に示されたシステム１０のいくつかの具体的な構成例について説明した。なお、システム１０の具体的な構成例は、以上で説明した例には限られず、これらの例に基づいて当業者には明らかに理解される各種の変形例を含みうる。

（１−３．ユーザインターフェースの例）
図１０は、図１に示されたシステムにおいて提供されるＵＩの第１の例を示す図である。図１０を参照すると、ＵＩ装置４００として機能する端末装置のディスプレイに表示される画面４１００は、ユーザプロファイル４１０１と、プログラム一覧タブ４１０３と、エレメント一覧タブ４１０５とを含む。図示された例では、プログラム一覧タブ４１０３が選択されているため、プログラムリスト４１０７が表示されている。プログラムリスト４１０７は、プログラムアイコン４１０９と、使用エレメントアイコン４１１１と、説明４１１３とを含む。画面４１００は、例えば、ユーザがシステム１０によって提供されるサービスを利用するときのポータル画面として表示されうる。

図１１は、図１に示されたシステムにおいて提供されるＵＩの第２の例を示す図である。図１１を参照すると、ＵＩ装置４００として機能する端末装置のディスプレイに表示される画面４２００は、ツールバー４２０１と、キャンバス４２０３と、トレー４２０５とを含む。画面４２００は、例えば、システム１０においてエレメント１００を連係動作させるためのプログラムの編集に利用される。ツールバー４２０１には、「保存」や「やり直し」などの機能ボタンが配置される。キャンバス４２０３には、エレメントアイコン４２０７や、詳細情報アイコン４２０９、リンク４２１１を配置または描画することが可能である。これらのアイコンやリンクによって、連係動作に使用されるエレメント１００と、それぞれのエレメント１００が実行する処理、エレメント１００同士の関係を設定および確認することができる。さらに、キャンバス４２０３には、エレメントプロパティボックス４２１３が配置され、例えばエレメントアイコン４２０７として配置されているエレメント１００の属性や状態を表示する。トレー４２０５には、キャンバス４２０３に配置することによってプログラムに組み込むことが可能なエレメント１００やソフトウェアなどがアイコンとして表示される。

なお、図１０および図１１を参照して説明したＵＩは一例にすぎず、本実施形態ではさまざまな形態のＵＩが提供されうる。例えば、図１１を参照して説明したプログラムの編集のための画面では、ビジュアルプログラミングのための画面において用いられる各種のＵＩを応用することができる。

（１−４．連係動作の例）
以下、図１に示されたシステムにおけるエレメントの連係動作の具体的な例について、さらに説明する。なお、以下の説明では、理解を容易にするために、エレメント１００を連係動作させるためのプログラムを視覚的に表現した図が参照される。なお、これらの図は、ＵＩ装置４００によって提供されるＵＩ（例えば、図１１で画面４２００として例示されたＵＩ）とは必ずしも関係がない。以下で説明されるソフトウェアは、エレメント１００（ハードウェアエレメント）と同様のエレメント（ソフトウェアエレメント）として提供されてもよいし、エレメント１００の機能または動作の一部として提供されてもよい。

（第１の具体的な例）
図１２は、図１に示されたシステムにおけるエレメントの連係動作の第１の具体的な例について説明するための図である。図１２を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、カメラ１００ｂとが使用される。例えば、加速度センサ１００ａは冷蔵庫のドアに取り付けられ、カメラ１００ｂは、冷蔵庫の庫内を映すことのできる位置に取り付けられる。図示された例において、加速度センサ１００ａからカメラ１００ｂに向かうリンク６０１は、「加速度センサ１００ａの検出値に基づいてカメラ１００ｂが撮影を実行する」ことを意味する。さらに、図示された例では、カメラ１００ｂの動作として「撮影した画像をサーバにアップロードする」ことが指定されている。

さらに、図示された例では、加速度に基づいてドアが開いたことを検出するためのソフトウェア６０３ａが使用されている。ソフトウェア６０３ａは、例えばマネージャ２００の演算部２２１で実行され、加速度センサ１００ａの検出値の解析結果に基づいて、冷蔵庫のドアが開いたことを判定する。ソフトウェア６０３ａが導入されることによって、リンク６０１は「加速度センサ１００ａの検出値に基づいて、冷蔵庫のドアが開いたことが判定された場合に、カメラ１００ｂが撮影を実行する」という処理になる。

以上のようなプログラムの設定によって、本例では、冷蔵庫のドアが開いたときにカメラ１００ｂが撮影した画像が、サーバにアップロードされる。ユーザは、アップロードされた画像を閲覧することによって、冷蔵庫の内容物の変化や、最新の在庫状況を把握することができる。

ここで、冷蔵庫のドアが開いたことを検出したいのであれば、磁気などを用いた開閉検出専用のセンサを使用することもできる。しかし、本例では、ソフトウェア６０３ａを導入することによって、加速度センサ１００ａを利用してドアが開いたことを検出することを可能にしている。従って、冷蔵庫のドアが開いたことを検出するために、専用のセンサではなく、例えばそれまで別の用途で使用していた加速度センサ１００ａを流用することができる。また、冷蔵庫のドアが開いたことを検出することがもはや必要ではなくなった場合には、他の用途に加速度センサ１００ａを転用することができる。このように、本実施形態では、ソフトウェアや他のエレメント１００との組み合わせを変更することによって、同じエレメント１００を多様な用途で活用することができる。

（第２の具体的な例）
図１３は、図１に示されたシステムにおけるエレメントの連係動作の第２の具体的な例について説明するための図である。図１３を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、ボタン１００ｄとが使用される。例えば、加速度センサ１００ａはトイレのドアに取り付けられ、ボタン１００ｄは洗面所に取り付けられる。図示された例では、さらに、加速度に基づいてドアが開いたことを検出するためのソフトウェア６０３ａと、提供されたデータを記録するソフトウェア６０３ｂとが使用されている。加速度センサ１００ａからソフトウェア６０３ａを経てソフトウェア６０３ｂに向かうリンク６０１は、「加速度センサ１００ａの検出値に基づいてドアが開いたことが判定されたことを、ソフトウェア６０３ｂが記録する」ことを意味する。また、ボタン１００ｄからソフトウェア６０３ｂに向かうリンク６０１は、「ボタン１００ｄから信号が出力されたことをソフトウェア６０３ｂが記録する」ことを意味する。

以上のようなプログラムの設定によって、本例では、ユーザが洗面所でボタン１００ｄを押下した時刻と、トイレのドアを開いた時刻とが、ログとして記録される。例えば、ユーザが起床後に洗面所で顔を洗うときにボタン１００ｄを押すことに決めれば、ボタン１００ｄが押下された時刻を起床時刻として記録することができる。このようなログから、例えば、毎日の起床時刻とトイレに行った時刻との変化を時系列で参照することができ、ユーザの生活リズムの改善などに役立てることができる。

（第３の具体的な例）
図１４は、図１に示されたシステムにおけるエレメントの連係動作の第３の具体的な例について説明するための図である。図１４を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、人感センサ１００ｃとが使用される。例えば、加速度センサ１００ａは椅子に取り付けられ、人感センサ１００ｃは椅子の前の机に取り付けられる。図示された例では、さらに、加速度センサ１００ａと人感センサ１００ｃとの検出結果に基づいて、ユーザが椅子に座っていた時間を記録するためのソフトウェア６０３ｃが使用されている。加速度センサ１００ａからソフトウェア６０３ｃに向かうリンク６０１は、「加速度センサ１００ａの検出値をソフトウェア６０３ｃに提供する」ことを意味する。また、人感センサ１００ｃからソフトウェア６０３ｃに向かうリンク６０１は、「人感センサ１００ｃの検出値をソフトウェア６０３ｃに提供する」ことを意味する。

以上のようなプログラムの設定によって、本例では、ユーザが椅子に座っていた時間が記録される。この記録に基づいて、ユーザは、職場などで座っている時間を把握し、連続して座っている時間が長すぎるようであれば休憩をとったりすることができる。あるいは、ソフトウェア６０３ｃの検出結果に基づいてスマートフォンなどからアラートを出力するソフトウェアがさらに組み合わされ、ユーザが所定の時間を超えて連続して座っている場合にはスマートフォンなどからアラートを出力して休憩をとることを促してもよい。

（第４の具体的な例）
図１５は、図１に示されたシステムにおけるエレメントの連係動作の第４の具体的な例について説明するための図である。図１５を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、スピーカ１００ｅと、ＬＥＤランプ１００ｆとが使用される。例えば、加速度センサ１００ａ、スピーカ１００ｅ、ＬＥＤランプ１００ｆは、それぞれ、ユーザ（例えば子供）の身体の適切な部位に取り付けられる。なお、加速度センサ１００ａは、複数用いられてもよい。図示された例では、さらに、加速度のパターンに応じて効果音を再生するソフトウェア６０３ｄと、同じく加速度のパターンに応じて所定のパターンでランプを点滅させるソフトウェア６０３ｅとが示されている。なお、これらのソフトウェア６０３が扱う加速度のパターンは、単一の加速度波形のパターンであってもよいし、複数の加速度波形の組み合わせのパターンであってもよい。加速度センサ１００ａからは、ソフトウェア６０３ｄ，６０３ｅのそれぞれに向かってリンク６０１が設定されている。これらのリンク６０１は、「ソフトウェア６０３ｄ，６０３ｅのそれぞれに加速度センサ１００ａの検出値を提供する」ことを意味する。さらに、ソフトウェア６０３ｄからはスピーカ１００ｅに、ソフトウェア６０３ｅからはＬＥＤランプ１００ｆに、それぞれリンク６０１が設定されている。これらのリンク６０１は、「ソフトウェア６０３ｄによって提供される音声信号に従ってスピーカ１００ｅが音声を出力すること」および「ソフトウェア６０３ｅによって提供される信号に従ってＬＥＤランプ１００ｆが発光すること」を意味する。

以上のようなプログラムの設定によって、本例では、ユーザ（例えば子供）が手足を特定のパターンで動かすと、スピーカ１００ｅから効果音が出力されたり、ＬＥＤランプ１００ｆが発光したりする。これによって、例えば子供がスーパーヒーローになりきって遊ぶときに、効果音や光を加えてエキサイティングな体験をすることができる。

（第５の具体的な例）
図１６は、図１に示されたシステムにおけるエレメントの連係動作の第５の具体的な例について説明するための図である。図１６を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、人感センサ１００ｃと、カメラ１００ｂと、ＬＥＤランプ１００ｆとが使用される。例えば、加速度センサ１００ａ、人感センサ１００ｃ、およびカメラ１００ｂは庭のえさ台（bird table）に取り付けられ、ＬＥＤランプ１００ｆは家の中に取り付けられる。図示された例では、さらに、加速度センサ１００ａと人感センサ１００ｃとの検出結果に基づいて、えさ台に鳥がとまったことを判定するためのソフトウェア６０３ｆが示されている。加速度センサ１００ａおよび人感センサ１００ｃからは、それぞれソフトウェア６０３ｆに向かってリンク６０１が設定されている。加速度センサ１００ａからのリンク６０１は、「加速度センサ１００ａの検出値をソフトウェア６０３ｆに提供する」ことを意味する。また、人感センサ１００ｃからのリンク６０１は、「人感センサ１００ｃの検出値をソフトウェア６０３ｆに提供する」ことを意味する。さらに、ソフトウェア６０３ｆからカメラ１００ｂおよびＬＥＤランプ１００ｆに向かうリンク６０１が設定されている。カメラ１００ｂへのリンク６０１は「ソフトウェア６０３ｆの出力に基づいてカメラ１００ｂが撮影を実行する」ことを意味する。ＬＥＤランプ１００ｆへのリンクは「ソフトウェア６０３ｆの出力に基づいてＬＥＤランプ１００ｆを発光させる」ことを意味する。

以上のようなプログラムの設定によって、本例では、えさ台に鳥がとまったときに自動的にカメラ１００ｂによって静止画または動画が撮影され、どのような鳥が来たかを知ることができる。また、えさ台に鳥がとまったときに家の中のＬＥＤランプ１００ｆが発光することによって、庭に出て実際に来ている鳥を観察することができる。

（第６の具体的な例）
図１７は、図１に示されたシステムにおけるエレメントの連係動作の第６の具体的な例について説明するための図である。図１７を参照すると、本例では、エレメント１００のうち、ボタン１００ｄと、スピーカ１００ｅとが使用される。例えば、スピーカ１００ｅが寝室に配置され、ボタン１００ｄが洗面所に配置される。図示された例では、さらに、目覚ましアラームのソフトウェア６０３ｇが示されている。ソフトウェア６０３ｇからは、スピーカ１００ｅにリンク６０１が設定されている。このリンク６０１は、「ソフトウェア６０３が設定時刻になったら出力する音声信号に従って、スピーカ１００ｅが音声を出力する」ことを意味する。また、ボタン１００ｄからは、ソフトウェア６０３ｇにリンク６０１が設定されている。このリンク６０１は、「ボタン１００ｄが押下されたら、ソフトウェア６０３ｇによる音声信号の出力を停止する」ことを意味する。

以上のようなプログラムの設定によって、本例では、寝室に配置されたスピーカ１００ｅから出力される目覚ましアラームの音が、洗面所のボタン１００ｄを押下するまで止まらなくなる。これによって、寝たままアラームを止めてしまうといったような事態が生じにくくなり、予定した時刻に確実に目覚めることができる。

（２．本開示の実施形態）
（２−１．第１の実施形態）
（概要）
図１８は、本開示の第１の実施形態の概略的な構成例を示す図である。図１８では、システム１０内の１または複数の装置の例としてボタン１００ｄおよびＬＥＤランプ１００ｆが、ＵＩ装置４００の例としてカメラ付きプロジェクタ４００ａ、カメラ付きタブレット４００ｂ、およびカメラ付きスマートグラス４００ｃが、それぞれ示されている。

図示された例では、プロジェクタ４００ａ、タブレット４００ｂ、またはスマートグラス４００ｃ（以下、一般化してＵＩ装置４００ともいう）が備えるカメラ（必ずしも図示されていない）によって、ボタン１００ｄおよびＬＥＤランプ１００ｆを含む画像が取得されている。しかしながら、画像を取得するだけでは、ボタン１００ｄおよびＬＥＤランプ１００ｆが、システム１０内でどのような装置であるか、より具体的には、ボタン１００ｄおよびＬＥＤランプ１００ｆが、マネージャ２００、サーバ３００、および他のエレメント１００によってどのように識別され、どのような連係動作に組み込まれているのか、といったような情報は特定することが困難である。

そこで、本実施形態において、ボタン１００ｄおよびＬＥＤランプ１００ｆは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などによる無線信号Ｓ１を出力している。無線信号Ｓ１は、例えば、ＵＩ装置４００が近傍にあるエレメント１００に対して送信するリクエストに呼応して出力されてもよいし、リクエストの有無に関わらず定期的に出力されてもよい。無線信号Ｓ１は、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内でのＩＤ（識別情報）をコード化した部分を含む。ＵＩ装置４００は、受信した無線信号Ｓ１をデコードすることによって、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内でのＩＤを特定することができる。

一方、図示された例のように、ＵＩ装置４００から同じぐらいの距離に複数のエレメント１００が配置されているような場合、無線信号Ｓ１を受信しただけでは、画像に含まれる装置の中でどちらがボタン１００ｄで、どちらがＬＥＤランプ１００ｆかを識別することが難しい。この識別のために、ボタン１００ｄおよびＬＥＤランプ１００ｆがそれぞれ発光素子を有し、発光信号を出力することによって装置の識別を可能にしてもよい。例えば、ボタン１００ｄおよびＬＥＤランプ１００ｆは、無線信号Ｓ１と同期して発光信号を出力してもよい。この場合、ボタン１００ｄおよびＬＥＤランプ１００ｆは、無線信号Ｓ１を出力している間、並行して発光信号を出力する。これによって、ＵＩ装置４００は、画像の中で発光信号を出力している装置を、無線信号Ｓ１を出力している装置として特定することができる。

あるいは、ボタン１００ｄおよびＬＥＤランプ１００ｆは、無線信号Ｓ１の代わりに発光信号を出力してもよい。この場合、発光信号は、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム内でのＩＤをコード化した発光パターンを含む。ＵＩ装置４００は、画像の中で発光信号を出力している装置と、当該発光信号をデコードすることによって特定されるシステム内でのＩＤとを、容易に関連付けることができる。

他の例として、例えば無線信号Ｓ１の強度を測定することによっても装置の識別が可能である。例えば、ボタン１００ｄおよびＬＥＤランプ１００ｆのそれぞれのＵＩ装置４００からの距離に差があれば、ＵＩ装置４００において受信されるそれぞれの装置からの無線信号Ｓ１の強度の差によって、ボタン１００ｄとＬＥＤランプ１００ｆとのうち、どちらがＵＩ装置４００により近いかを識別することができる。あるいは、ＵＩ装置４００は、画像認識によってボタン１００ｄおよびＬＥＤランプ１００ｆの装置の種類を識別することが可能であってもよい。この場合、無線信号Ｓ１が、それぞれの装置の種類をコード化した部分をさらに含んでいれば、ＵＩ装置４００は、無線信号Ｓ１によって示される装置の種類と、画像認識によって識別された装置の種類とを対応付けることによって、画像に含まれるボタン１００ｄとＬＥＤランプ１００ｆとを識別することができる。

その後、ＵＩ装置４００は、無線信号Ｓ１または発光信号をデコードすることによって特定された、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内でのＩＤを、マネージャ２００またはサーバ３００（図示せず）に送信する。マネージャ２００またはサーバ３００は、受信したＩＤに基づいて、ボタン１００ｄおよびＬＥＤランプ１００ｆのシステム１０内での設定情報を提供する。より具体的には、例えば、マネージャ２００またはサーバ３００は、ボタン１００ｄおよびＬＥＤランプ１００ｆを連係動作させるためのプログラムの情報を提供する。

本実施形態では、上記の設定情報がＵＩ装置４００に送信され、ＵＩ装置４００が、設定情報をボタン１００ｄおよびＬＥＤランプ１００ｆに関連付けてユーザに提示する。ここで、例えば、図１８に示されるプロジェクタ４００ａ、タブレット４００ｂ、およびスマートグラス４００ｃは、それぞれ異なる方法で、設定情報が提示する。

例えば、プロジェクタ４００ａは、ボタン１００ｄおよびＬＥＤランプ１００ｆの近傍の実空間に、設定情報を示す画像を投影する。また、例えば、タブレット４００ｂは、ボタン１００ｄおよびＬＥＤランプ１００ｆを含むライブビュー画像をディスプレイに反射表示させ、ライブビュー画像におけるボタン１００ｄおよびＬＥＤランプ１００ｆの近傍に、設定情報を示す画像を合成する。また、例えば、スマートグラス４００ｃは、実空間に配置されたボタン１００ｄおよびＬＥＤランプ１００ｆをグラス部分のディスプレイに透過表示させ、その近傍に重畳されるように、設定情報を示す画像をディスプレイに反射表示させる。

図１９は、図１８に示す例における設定情報の表示の例を示す図である。図１９に示される画像４３００は、例えば、プロジェクタ４００ａが画像を投射する実空間の像、タブレット４００ｂのディスプレイに反射表示されるライブビュー画像、またはスマートグラス４００ｃのグラス部分のディスプレイにおいて視認される、透過表示された実空間の像と重畳的に反射表示された画像とに対応する。

画像４３００には、設定情報４３０１が含まれる。例えば、設定情報４３０１は、システム１０内でボタン１００ｄおよびＬＥＤランプ１００ｆを連係動作させるためのプログラムの情報を含む。図示された例では、連係動作におけるそれぞれの装置の役割を示すテキスト４３０１ａ（BUTTON１），４３０１ｂ（LED１）と、装置間の関連性を示すリンク４３０１ｃとが表示されている。上述のように、このような設定情報４３０１は、例えばライブビュー画像に合成されたり、透過表示された実空間の像に重畳されたり、実空間に投影される。

さらに、図示された例では、それぞれの装置の電池残量を示すテキスト４３０３が表示されている。テキスト４３０３は、それぞれの装置の状態情報の例である。本実施形態では、ＩＤ（識別情報）と同様に、例えば電池残量のようなそれぞれの装置の状態情報が、ボタン１００ｄおよびＬＥＤランプ１００ｆから出力される信号をデコードすることによって取得されうる。この場合、ボタン１００ｄおよびＬＥＤランプ１００ｆから出力される信号には、それぞれの装置のＩＤがコード化された第１の信号と、それぞれの装置の状態情報がコード化された第２の信号とが含まれる。第１の信号と第２の信号とは、同じ種類の信号（例えば無線信号Ｓ１、または発光信号）に含まれてもよいし、それぞれが異なる種類の信号（例えば一方が無線信号Ｓ１、他方が発光信号）に含まれてもよい。ＵＩ装置４００（プロジェクタ４００ａ、タブレット４００ｂ、またはスマートグラス４００ｃ）は、このような状態情報をそれぞれの装置に関連付けて提示するだけではなく、マネージャ２００またはサーバ３００に送信してもよい。

図２０は、図１８に示す例において、ユーザが設定変更操作を実行している状態を示す図である。図示された例では、プロジェクタ４００ａ、タブレット４００ｂ、またはスマートグラス４００ｃ（以下、一般化してＵＩ装置４００ともいう）のユーザが、これらの装置によって提供されるＧＵＩ（Graphical User Interface）を介して、ボタン１００ｄおよびＬＥＤランプ１００ｆに対する設定変更操作を実行している。

このような操作は、例えば、プロジェクタ４００ａやスマートグラス４００ｃの場合であれば、実空間に存在するボタン１００ｄやＬＥＤランプ１００ｆをユーザが指し示す動作や、投射または重畳されている設定情報４３０１に対する同様の動作を、カメラが取得した画像に基づいてジェスチャとして取得することによって認識される。また、上記の操作は、タブレット４００ｂの場合であれば、画面に表示されたライブビュー画像に含まれるボタン１００ｄおよびＬＥＤランプ１００ｆ、ならびに設定情報４３０１に対する、タッチパネルを介したユーザの操作として認識される。あるいは、ユーザの発話音声や視線検出の結果や、別途の操作装置（例えばレーザーポインタなど）による操作が、ユーザの操作として認識されてもよい。

上記の例において、ＵＩ装置４００は、ユーザの設定変更操作に対応する操作情報をマネージャ２００またはサーバ３００（図示せず）に送信し、マネージャ２００またはサーバ３００は、受信された操作情報に従って設定情報を変更する。さらに、マネージャ２００またはサーバ３００は、設定情報が変更されたこと、および／または変更後の設定情報を、ＵＩ装置４００に通知してもよい。

図２１は、図２０に示す例における設定情報の変更表示の例を示す図である。図２１に示される画像４４００は、上記で図１９を参照して説明した画像４３００と同様の画像であり、設定情報４３０１を含む。図示された例では、設定情報４３０１によって、ボタン１００ｄの押下によってＬＥＤランプ１００ｆが発光するという連係動作が示されていたところ、ユーザの設定変更操作によってＬＥＤランプ１００ｆの発光色が変更されている。発光色は、例えばＬＥＤランプ１００ｆに重畳して表示される発光色表示４４０１によって表示され、この発光色表示４４０１に対する操作によって発光色が変更可能であってもよい。さらに、発光色の変更が正しく実施された場合、マネージャ２００またはサーバ３００からの通知に応じて、変更完了を示すテキスト４４０３が表示されてもよい。

なお、設定情報の変更のためのＧＵＩには、他にも様々な例が可能である。例えば、設定情報の変更のためのツールボックスやパレットなどがディスプレイ内の固定された位置に表示されていてもよい。この場合、例えばタブレット４００ｂやスマートグラス４００ｃのような装置自体を動かすことによって画像の視点を移動させ、画像内のエレメント１００をツールボックスやパレットの位置まで動かすことによって、設定情報の変更を実施することが可能でありうる。また、例えば、ある時点での画像内のエレメント１００をスナップショットとして固定し、さらに別のエレメント１００を画像内に配置することによって、実際のエレメント１００の画像をビジュアルプログラミングのアイコンとして利用してもよい。

上述したようなシステム１０では、エレメント１００が互いに類似した外見を有していたり、エレメント１００の設置場所を自由に移動させることが可能であったり、同じ種類の複数のエレメント１００がシステム１０に含まれたりするために、マネージャ２００やサーバ３００に登録されているエレメント１００の情報と、実際にユーザの目の前にあるエレメント１００とを対応付けて認識することが容易ではない。そこで、本実施形態では、例えば上記で図１８〜図２１を参照して説明したような機器認識および設定情報提示の仕組みを提供することによって、ユーザがそれぞれのエレメント１００をシステム１０内での設定情報と容易に対応付けることを容易にする。さらに、本実施形態では、端末装置において提供されるＵＩを介してユーザがエレメント１００の設定情報を変更する操作を可能にすることによって、システム１０におけるエレメントの連係動作などの設定操作をより直感的に実行することが可能になる。

（ＵＩ装置の機能構成）
図２２は、本開示の第１の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。図２２を参照すると、本実施形態に係るＵＩ装置４００は、通信部４１０、制御部４２０、および入出力部４３０に加えて、撮像部４１５を有する。さらに、制御部４２０は、信号受信部４２１、識別情報抽出部４２２、識別情報送信部４２３、位置関係特定部４２４、状態情報抽出部４２５、状態情報送信部４２６、設定情報受信部４２７、提示制御部４２８、操作受付部４２９、および操作情報送信部４３１を含む。

上記で図１を参照して説明したように、通信部４１０は、マネージャ２００およびサーバ３００とネットワークを介して通信する通信装置を含みうる。制御部４２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、入出力部４３０を制御するとともに、通信部４１０を介した情報のやりとりを制御する。入出力部４３０は、例えばディスプレイ、プロジェクタ、スピーカ、またはタッチパネルなどを含み、ＵＩを介してユーザに各種の情報を提示するとともに、ユーザからの操作入力を受け付ける。

撮像部４１５は、例えば撮像素子および光学系、並びにこれらの駆動回路を含むカメラモジュールでありうる。上記で図１８を参照して説明した例のように、撮像部４１５は、システム１０内の１または複数の装置（エレメント１００）を含む画像を取得する。

信号受信部４２１は、システム１０内の１または複数のエレメント１００から出力される信号を受信する。上記で図１８を参照して説明した例のように、信号受信部４２１は、例えば無線信号および／または発光信号を受信する。このうち、無線信号は、通信部４１０に含まれるＢｌｕｅｔｏｏｔｈ（登録商標）などの通信装置から取得される。また、発光信号は、撮像部４１５が取得する、エレメント１００を含む画像から抽出される。この他にも、信号受信部４２１は、赤外線信号（通信部４１０から取得される）や、２次元コードによる信号（画像から抽出される）など、各種の信号を受信しうる。なお、本明細書では、信号が無線や光など各種の媒体によって伝送されることを表現するために出力という表現を用いているが、この表現は、実際に利用される媒体に応じて、送信、射出、表示などの表現に適宜読み替えられる。また、本明細書における信号の受信は、必ずしも電気通信上の受信動作だけを意味するのではなく、上記のように画像から発光信号などを抽出する動作をも含みうる。

上述のように、信号受信部４２１によって受信される信号には、エレメント１００のシステム１０内でのＩＤ（識別情報）がコード化された第１の信号と、エレメント１００の状態情報がコード化された第２の信号とが含まれうる。第１の信号と第２の信号とは、いずれも同じ媒体を介して伝送されてもよいし、互いに異なる媒体を介して伝送されてもよい。従って、信号受信部４２１は、例えば通信部４１０または撮像部４１５のいずれか一方から信号を受信するとは限らず、両方から信号を受信してもよい。また、信号受信部４２１は、通信部４１０に含まれる、異なる通信方式に対応する複数の通信装置から信号を受信してもよい。

識別情報抽出部４２２は、信号受信部４２１が受信した信号から、信号を出力した１または複数のエレメント１００の、システム１０内での識別情報を抽出する。より具体的には、識別情報抽出部４２２は、１または複数のエレメント１００から受信された第１の信号をデコードすることによって、識別情報を取得する。識別情報は、例えばマネージャ２００によって割り当てられるシステム１０内で一意なＩＤであり、例えばそれぞれのエレメント１００が通信したり、エレメント１００の連係動作を定義したりするために用いられる。

識別情報送信部４２３は、識別情報抽出部４２２によって抽出された識別情報を、通信部４１０を介してサーバに送信する。なお、ここでいうサーバは、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での設定情報を提供する装置を意味し、必ずしもサーバ３００には限定されない。つまり、本実施形態に係る機能に関しては、マネージャ２００もサーバとして扱われうる。

位置関係特定部４２４は、信号受信部４２１が受信した信号に基づいて、ＵＩ装置４００とエレメント１００との位置関係を特定する。例えば、信号受信部４２１がＢｌｕｅｔｏｏｔｈ（登録商標）などによる無線信号を受信した場合、位置関係特定部４２４は、エレメント１００との間での直接的な無線通信が可能であったことに基づいて、当該エレメント１００がＵＩ装置４００にある程度の範囲で近接しているか否かを特定することができる。さらに、位置関係特定部４２４は、無線信号の強度に基づいて、エレメント１００とＵＩ装置４００との距離を特定してもよい。

あるいは、撮像部４１５が取得した画像から信号受信部４２１が発光信号を抽出した場合、位置関係特定部４２４は、発光信号の画像内での位置やサイズに基づいて、ＵＩ装置４００とエレメント１００との間の距離や姿勢関係を特定してもよい。なお、これとは別に、例えばエレメント１００の本来の外見やサイズの情報が利用可能であれば、位置関係特定部４２４は、画像内でのエレメント１００の像の変形に基づいて、ＵＩ装置４００とエレメント１００との間の距離や姿勢関係を特定することもできる。

状態情報抽出部４２５は、信号受信部４２１が受信した信号から、信号を出力したエレメント１００の状態情報を抽出する。より具体的には、状態情報抽出部４２５は、１または複数のエレメント１００から受信された第２の信号をデコードすることによって、状態情報を取得する。状態情報は、例えばエレメント１００において刻々変化する状態、例えば電源状態や通信状態などでありうる。

状態情報送信部４２６は、状態情報抽出部４２５によって抽出された状態情報を、通信部４１０を介してサーバに送信する。ここでいうサーバも、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での状態情報を管理する装置を意味し、必ずしもサーバ３００には限定されない。状態情報を受信したサーバは、必要に応じて、サーバにおいて保持されているエレメント１００の状態情報を更新する。

なお、それぞれのエレメント１００は、状態情報を自らマネージャ２００に報告することが可能であってもよいが、本実施形態では、例えばＵＩ装置４００からのリクエストがあった場合にエレメント１００が信号を用いて状態情報をＵＩ装置４００に提供し、ＵＩ装置４００が状態情報をマネージャ２００などのサーバに送信することによって、エレメント１００の消費電力を低減させることができる。

設定情報受信部４２７は、識別情報送信部４２３によってエレメント１００の識別情報（ＩＤ）が送信されたサーバ（例えばマネージャ２００）から、通信部４１０を介して、当該識別情報に基づいて特定されるエレメント１００の設定情報を受信する。上述の通り、設定情報は、例えば、システム１０においてエレメント１００を他のエレメント１００および／または各種のソフトウェアと連係動作させるためのプログラムを示す情報を含みうる。

提示制御部４２８は、設定情報受信部４２７によって受信されたエレメント１００の設定情報を、エレメント１００に関連付けて提示する。より具体的には、例えば、提示制御部４２８は、入出力部４３０に含まれるディスプレイの画面内で、設定情報をエレメント１００に関連付けて表示させる。ここで、エレメント１００は、ディスプレイに画像として反射表示されていてもよいし（上記の図１８の例におけるタブレット４００ｂのような場合）、ディスプレイに透過表示されていてもよい（図１８の例におけるスマートグラス４００ｃのような場合）。この場合、提示制御部４２８は、例えばエレメント１００の近傍に、設定情報を示す画像を合成または重畳させる。あるいは、提示制御部４２８は、入出力部４３０に含まれるプロジェクタを制御して、エレメント１００が存在する空間内で、設定情報を示す画像をエレメント１００に関連付けて投影してもよい（図１８の例におけるプロジェクタ４００ａのような場合）。提示制御部４２８は、設定情報をエレメント１００に関連付けて提示するために、位置関係特定部４２４によって特定された、ＵＩ装置４００とエレメント１００との位置関係と利用する。

本実施形態において、識別情報送信部４２３、設定情報受信部４２７、および提示制御部４２８は、エレメント１００の識別情報、およびＵＩ装置４００とエレメント１００との位置関係に基づいて、エレメント１００のシステム１０内での設定情報をエレメント１００に関連付けて提示するための手段を構成している。

操作受付部４２９は、入出力部４３０に含まれる入力装置を介して、エレメント１００に対してユーザが実行した設定変更操作を受け付ける。例えば、上記のタブレット４００ｂの例のように、エレメント１００に対するユーザの設定変更操作は、入出力部４３０に含まれるディスプレイにおいて提供されるＧＵＩ（Graphical User Interface）を介して、タッチパネルなどを利用して受け付けられてもよい。

また、設定変更操作は、入出力部４３０に含まれるカメラ（撮像部４１５と同じであってもよい）が取得した画像から抽出される、エレメント１００に対するユーザのジェスチャから認識されてもよい。ユーザの手などによるジェスチャだけではなく、ユーザが他の装置を介して実行するジェスチャ、例えばレーザーポインタを使用してエレメント１００またはその近傍をポインティングするジェスチャなどが認識されてもよい。あるいは、設定変更操作は、入出力部４３０に含まれるマイクロフォンが取得した音声から抽出されるユーザの発話音声や、ユーザの視線検出の結果から認識されてもよい。このようなＮＵＩ（Natural User Interface）の利用は、例えば上記のプロジェクタ４００ａやスマートグラス４００ｃの例においてユーザの設定変更操作を容易にする。

操作情報送信部４３１は、操作受付部４２９によって受け付けられた設定変更操作に対応する操作情報を、通信部４１０を介してサーバに送信する。ここでいうサーバも、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での状態情報を管理する装置を意味し、必ずしもサーバ３００には限定されない。操作情報を受信したサーバは、必要に応じて、サーバにおいて保持されているエレメント１００についての情報を更新する。

（エレメントの機能構成）
図２３は、本開示の第１の実施形態に係るエレメントの機能構成例を示すブロック図である。図２３を参照すると、本実施形態に係るエレメント１００は、通信部１１０、制御部１２０、機能部１３０、および電源部１４０に加えて、発光素子１３５を有しうる。さらに、制御部１２０は、機能管理部１２１、電源管理部１２２、リクエスト受信部１２３、および信号制御部１２４を含み、装置ＩＤ１２５、および状態情報１２６がメモリに格納されうる。

上記で図１を参照して説明したように、通信部１１０は、マネージャ２００および／または他のエレメント１００と、ネットワークを介して通信する通信装置を含みうる。制御部１２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、機能部１３０を制御する。機能部１３０は、例えばセンサやアクチュエータなどを含み、それぞれのエレメント１００に固有の機能を実現する。電源部１４０は、バッテリーや電源プラグなどを含み、通信部１１０、制御部１２０、および機能部１３０を動作させるための電源を供給する。

発光素子１３５は、ＵＩ装置４００に向けて装置ＩＤ１２５などを伝達するための発光信号を射出する。発光素子１３５は、例えばＬＥＤや、その他各種の素子でありうる。なお、エレメント１００が出力する信号が発光信号を含まない場合、発光素子１３５は設けられなくてもよい。また、例えば上記の例におけるＬＥＤランプ１００ｆのように、発光素子１３５がエレメント１００の機能に関連していてもよい。

機能管理部１２１は、機能部１３０を制御する。例えば、機能管理部１２１は、通信部１１０を介してマネージャ２００や他のエレメント１００から受信された情報に従って動作するように、機能部１３０を制御する。また、例えば、機能管理部１２１は、機能部１３０の動作によって得られた情報を、通信部１１０を介してマネージャ２００や他のエレメント１００に送信する。さらに、機能管理部１２１は、例えば、通信部１１０による通信の状態の変化や、機能部１３０による機能の状態の変化があった場合に、状態情報１２６を更新する。

電源管理部１２２は、電源部１４０を制御する。例えば、電源管理部１２２は、電源部１４０からバッテリー残量の情報を取得し、これを状態情報１２６として記録する。

リクエスト受信部１２３は、ＵＩ装置４００から、通信部１１０を介して、識別情報（ＩＤ）を含む信号のリクエストを受信する。リクエスト受信部１２３は、リクエストが受信された場合、無線信号や発光信号などの信号を出力するように信号制御部１２４に依頼する。なお、エレメント１００がリクエストの有無に関わらず定期的に信号を出力するように設定されている場合、リクエスト受信部１２３は設けられなくてもよい。

信号制御部１２４は、通信部１１０および／または発光素子１３５による信号の出力を制御する。より具体的には、信号制御部１２４は、リクエスト受信部１２３がリクエストを受信した場合に、またはリクエストの有無に関わらず定期的に、通信部１１０および／または発光素子１３５を制御して無線信号や発光信号などの信号を出力させる。このとき、信号制御部１２４は、装置ＩＤ１２５や状態情報１２６を参照し、これらの情報をエンコードすることによって信号を生成する。

装置ＩＤ１２５は、システム１０内で割り当てられたエレメント１００のＩＤである。ＩＤは、少なくともシステム１０内で一意でありえ、例えばそれぞれのエレメント１００が通信したり、エレメント１００の連係動作を定義したりするために用いられる。状態情報１２６は、上記のように機能管理部１２１および電源管理部１２２の機能によって生成および更新される、エレメント１００の状態を示す情報である。

（処理シーケンス）
図２４は、本開示の第１の実施形態における処理の第１の部分を示すシーケンス図である。図２４では、ＵＩ装置４００からエレメント１００に信号のリクエストが送信されてから、エレメント１００の設定情報がＵＩ装置４００によって提示されるまでの処理が示されている。

図示された例では、まず、ＵＩ装置４００が、エレメント１００に対してリクエストを送信する（Ｓ１０１）。リクエストは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信によって送信され、ＵＩ装置４００の近傍に位置するエレメント１００の全体に対してブロードキャストされてもよい。リクエストを受信したエレメント１００は、識別情報（ＩＤ）を含む信号を出力する（Ｓ１０３）。より具体的には、エレメント１００は、通信部１１０を用いて無線信号を送信したり、発光素子１３５を用いて発光信号を構成する光を射出したりする。なお、上述のように、エレメント１００は、リクエストの有無にかかわらず定期的に信号を出力してもよい。この場合、上記のＳ１０１の処理は実行されなくてもよい。

これに対して、ＵＩ装置４００は、エレメント１００によって出力された信号を受信または検出する（Ｓ１０５）。より具体的には、例えば、ＵＩ装置４００は、通信部４１０を介して無線信号を受信する。また、ＵＩ装置４００は、撮像部４１５によって取得された画像を解析することによって、発光信号を検出してもよい。さらに、ＵＩ装置４００は、受信または検出された信号からエレメント１００の識別情報を抽出する（Ｓ１０７）。

続いて、ＵＩ装置４００は、抽出されたエレメント１００の識別情報を、サーバ２００／３００に送信する（Ｓ１０９）。上記の通り、識別情報の送信先は、エレメント１００の設定情報を保持するサーバであればよく、より具体的にはマネージャ２００であってもよいし、サーバ３００であってもよい。

上記のＳ１０７，Ｓ１０９に続いて、またはこれらに並行して、ＵＩ装置４００は、受信または検出された信号に基づいて、ＵＩ装置４００とエレメント１００との位置関係を特定する（Ｓ１１１）。このとき、ＵＩ装置４００は、例えば画像の解析や、無線信号の強度の測定などに基づいて、エレメントとの位置関係を特定してもよい。位置関係は、例えば、エレメント１００がＵＩ装置４００に近接しているか否か、エレメント１００とＵＩ装置４００との距離、および／またはエレメント１００とＵＩ装置４００との姿勢関係などを含みうる。

一方、Ｓ１０９で送信されたエレメント１００の識別情報を受信したサーバ２００／３００は、識別情報に基づいて記憶部２３０／３３０に格納されている各エレメント１００の設定情報を検索し、対象のエレメント１００の設定情報を抽出する。さらに、サーバ２００／３００は、通信部２１０／３１０を介して、設定情報をＵＩ装置４００に送信する（Ｓ１１３）。ＵＩ装置４００は、Ｓ１１１で特定されたＵＩ装置４００とエレメント１００との位置関係に基づいて、サーバ２００／３００から送信されたエレメント１００の設定情報を提示する（Ｓ１１５）。

以上のような処理によって、例えば、上記で図１９および図２１を参照して説明したようなエレメント１００の設定情報の提示が実現される。

図２５は、本開示の第１の実施形態における処理の第２の部分を示すシーケンス図である。図２５では、図２４に示された第１の部分に続いて、エレメント１００が状態情報を含む信号を出力し、サーバ２００／３００が状態情報に基づいてデータベースを更新するまでの処理が示されている。

図示された例では、まず、エレメント１００が、状態情報を含む信号を出力する（Ｓ１２１）。ここで、信号には、状態情報に加えて、エレメント１００の識別情報が含まれてもよい。一方、ＵＩ装置４００は、エレメント１００によって出力された信号を受信または検出する（Ｓ１２３）。より具体的には、例えば、ＵＩ装置４００は、通信部４１０を介して無線信号を受信する。また、ＵＩ装置４００は、撮像部４１５によって取得された画像を解析することによって、発光信号を検出してもよい。さらに、ＵＩ装置４００は、受信または検出された信号からエレメント１００の状態情報を抽出する（Ｓ１２５）。

続いて、ＵＩ装置４００は、抽出されたエレメント１００の状態情報を、サーバ２００／３００に送信する（Ｓ１２７）。これを受信したサーバ２００／３００は、前もって（例えば図２４に示したような処理によって）受信された、またはＳ１２７で状態情報とともに受信されたエレメント１００の識別情報に基づいて、記憶部２３０／３３０に格納されているエレメント１００のデータベースを更新する（Ｓ１２９）。

以上のような処理によって、エレメント１００が無線信号や発光信号によってＵＩ装置４００に通知した状態情報が、サーバ２００／３００のデータベースに反映される。

図２６は、本開示の第１の実施形態における処理の第３の部分を示すシーケンス図である。図２６では、図２４に示された第１の部分、または図２５に示された第２の部分に続いて、ＵＩ装置４００においてエレメント１００の設定変更操作が取得され、この操作に応じてエレメント１００の設定情報が更新されるまでの処理が示されている。

図示された例では、まず、ＵＩ装置４００において、ユーザによる設定変更の操作入力が受け付けられる（Ｓ１４１）。上述の通り、操作入力は、ＵＩ装置４００の入出力部４３０に含まれるタッチパネルなどの入力装置や、ユーザのジェスチャや発話音声、視線検出の結果などに基づいて取得される。ＵＩ装置４００は、設定変更に対応する操作情報を、サーバ２００／３００に送信する（Ｓ１４３）。操作情報を受信したサーバ２００／３００では、制御部２２０／３２０が、操作情報に基づいて、記憶部２３０／３３０に格納されているエレメント１００の設定情報を更新する（Ｓ１４５）。

さらに、サーバ２００／３００は、更新された設定情報をエレメント１００に送信する（Ｓ１４７）。例えば図１〜図９を参照して説明したように、各エレメント１００は、サーバ２００／３００と通信可能である。なお、図示された例ではサーバ２００／３００とエレメント１００がＵＩ装置４００を介さずに通信しているが、サーバ２００／３００とエレメント１００とは、ＵＩ装置４００を介して通信してもよい。

続いて、更新された設定情報を受信したエレメント１００では、制御部１２０が、内部で保持されている設定情報を更新する（Ｓ１４９）。更新が終了すると、エレメント１００は、サーバ２００／３００に完了通知を送信してもよい（Ｓ１５１）。さらに、サーバ２００／３００は、ＵＩ装置４００に、更新の完了通知を送信してもよい（Ｓ１５３）。これによって、ＵＩ装置４００において、例えば図２１に示されたテキスト４４０３のような、変更完了の表示が提供されうる。

（変形例）
図２７は、本開示の第１の実施形態の変形例について説明するための図である。図２７では、システム１０内の１または複数の装置の例としてボタン１００ｄが、ＵＩ装置４００の例としてカメラ付きタブレット４００ｂが、それぞれ示されている。

上記の図１８の例との違いとして、図２７の例では、ＵＩ装置４００の近傍に、エレメント１００としてボタン１００ｄだけが存在している。このような場合、ＵＩ装置４００は、ＵＩ装置４００とボタン１００ｄとの位置関係として、ボタン１００ｄがＵＩ装置４００に近接していることを特定するだけでもよい。タブレット４００ｂのカメラによって取得される画像４５００に含まれるエレメント１００は、画像上エレメント１００を識別する情報が得られなくても、ボタン１００ｄであることが識別できる。

このような場合、ボタン１００ｄは、識別情報（ＩＤ）を含む無線信号Ｓ１だけを送信すればよく、必ずしも発光信号を射出しなくてもよい。また、ＵＩ装置４００は、発光信号の受信や画像解析によってボタン１００ｄを特定する必要がない。なお、上記の例ではタブレット４００ｂを例示しているが、上記のプロジェクタ４００ａ，およびスマートグラス４００ｃなどの場合についても同様である。

以上、本開示の第１の実施形態について説明した。本実施形態では、エレメント１００が出力する信号を受信するＵＩ装置４００自身が、エレメント１００に関連付けて設定情報を提示させる。これによって、例えば、いろいろな場所に配置されているエレメント１００の近くにＵＩ装置４００を移動させ、簡単に各エレメント１００の設定情報を参照することができる。なお、ＵＩ装置４００の例として、プロジェクタ４００ａ，タブレット４００ｂ，およびスマートグラス４００ｃを例示したが、本実施形態におけるＵＩ装置４００の例はこれらの装置には限られず、エレメント１００を含む画像を取得する撮像部と、エレメント１００およびサーバ２００／３００と通信する通信部と、エレメント１００の設定情報を提示する提示部とを有する装置であれば、どのようなものであってもよい。

なお、上記で説明された例では、ＵＩ装置４００がサーバ２００／３００から設定情報を取得したが、他の例では、サーバ２００／３００を介さず、ＵＩ装置４００によって局所的に情報の提示が実現されてもよい。例えば、エレメント１００の設定情報がＵＩ装置４００において少なくとも一時的に保持されているような場合、ＵＩ装置４００は、内部的に設定情報を取得して提示してもよい。

（２−２．第２の実施形態）
次に、本開示の第２の実施形態について説明する。なお、本実施形態は、別途の説明がない部分については、上記の第１の実施形態と同様の構成をとりうる。

（概要）
図２８は、本開示の第２の実施形態の概略的な構成例を示す図である。図２８では、システム１０内の１または複数の装置（エレメント１００）の例としてボタン１００ｄおよびＬＥＤランプ１００ｆが、ＵＩ装置４００の例としてカメラ付きタブレット４００ｂが、提示装置５００の例としてカメラ付きスマートグラス５００ａおよびカメラ付きプロジェクタ５００ｂが、それぞれ示されている。

図示された例では、タブレット４００ｂ（以下、一般化してＵＩ装置４００ともいう）が備えるカメラ（図示せず）によって、ボタン１００ｄおよびＬＥＤランプ１００ｆ（以下、一般化してエレメント１００ともいう）を含む画像が取得されている。さらに、本実施形態でも、上記の第１の実施形態と同様に、エレメント１００は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などによる無線信号Ｓ１を出力している。ＵＩ装置４００は、受信した無線信号Ｓ１をデコードすることによって、エレメント１００のシステム１０内でのＩＤを特定することができる。ＵＩ装置４００は、特定されたＩＤを、マネージャ２００またはサーバ３００に送信する。

また、本実施形態でも、ＵＩ装置４００は、エレメント１００から受信した信号に基づいて、ＵＩ装置４００とエレメント１００との位置関係を特定する。より具体的には、例えば、ＵＩ装置４００は、画像から抽出される発光信号に基づいて、発光信号を射出しているエレメント１００の画像内での位置を特定することができる。また、ＵＩ装置４００は、受信される無線信号Ｓ１の強度に基づいて、ＵＩ装置４００とエレメント１００との距離を特定することができる。

ここで、第１の実施形態との相違点として、本実施形態において、エレメント１００のＩＤに基づいて特定される設定情報は、マネージャ２００またはサーバ３００から、ＵＩ装置４００ではなく別の提示装置５００に提供され、提示装置５００によってエレメント１００に関連付けて提示される。このため、ＵＩ装置４００は、エレメント１００のＩＤとともに、ＵＩ装置４００とエレメント１００との位置関係を示す情報もマネージャ２００またはサーバ３００に送信する。マネージャ２００またはサーバ３００は、受信されたＩＤに基づいて記憶部２３０／３３０のデータベースから抽出された設定情報と、ＵＩ装置４００とエレメント１００との位置関係を示す情報とを、提示装置５００に送信する。提示装置５００は、ＵＩ装置４００とエレメント１００との位置関係を示す情報を、提示装置５００とエレメント１００との位置関係を示す情報に変換した上で、エレメント１００に関連付けて設定情報を提示する。

図示された例では、例えば、タブレット４００ｂとボタン１００ｄおよびＬＥＤランプ１００ｆとの相対的な位置関係が、スマートグラス５００ａとボタン１００ｄおよびＬＥＤランプ１００ｆとの位置関係、またはプロジェクタ５００ｂとボタン１００ｄおよびＬＥＤランプ１００ｆとの位置関係に変換される。位置関係の変換は、例えば、タブレット４００ｂとスマートグラス５００ａまたはプロジェクタ５００ｂとがそれぞれカメラを用いて取得している画像をマッチングして、それぞれの画像の視点の位置関係を推定することによって可能になる。例えば、スマートグラス５００ａは、変換された位置関係に基づいて、グラス部分のディスプレイに透過表示されるボタン１００ｄおよびＬＥＤランプ１００ｆの近傍に設定情報を反射表示させる。また、プロジェクタ５００ｂは、変換された位置関係に基づいて、実空間におけるボタン１００ｄおよびＬＥＤランプ１００ｆの近傍に、設定情報を投影する。

（ＵＩ装置の機能構成）
図２９は、本開示の第２の実施形態に係るＵＩ装置の機能構成例を示すブロック図である。図２９を参照すると、本実施形態に係るＵＩ装置４００−２は、通信部４１０、制御部４２０、および入出力部４３０に加えて、撮像部４１５を有する。上記の第１の実施形態に係るＵＩ装置４００との相違点として、制御部４２０は、設定情報受信部４２７および提示制御部４２８を含まない。代わりに、制御部４２０は、位置関係送信部４３２を含む。

位置関係送信部４３２は、位置関係特定部４２４によって特定された、ＵＩ装置４００とエレメント１００との位置関係を示す情報を、通信部４１０を介してサーバに送信する。ここでいうサーバも、識別情報（ＩＤ）が提供されたエレメント１００についてのシステム１０内での状態情報を管理する装置を意味し、必ずしもサーバ３００には限定されない。

本実施形態において、識別情報送信部４２３および位置関係送信部４３２は、エレメント１００の識別情報、およびＵＩ装置４００とエレメント１００との位置関係に基づいて、エレメント１００のシステム１０内での設定情報をエレメント１００に関連付けて提示するための手段を構成している。なお、本実施形態において、設定情報の提示は提示装置５００によって実行される。

（提示装置の機能構成）
図３０は、本開示の第２の実施形態に係る提示装置の機能構成例を示すブロック図である。図３０を参照すると、本実施形態に係る提示装置５００は、通信部５１０、制御部５２０、および出力部５３０に加えて、撮像部５１５を有する。制御部５２０は、設定情報受信部５２１、位置関係受信部５２２、位置関係変換部５２３、および提示制御部５２４を含む。

提示装置５００は、図２８の例にも示されているように、ＵＩ装置４００としても使用することが可能な機能構成を有する装置でありうる。より具体的には、通信部５１０は、マネージャ２００およびサーバ３００とネットワークを介して通信する通信装置を含みうる。制御部５２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、出力部５３０を制御するとともに、通信部５１０を介した情報のやりとりを制御する。出力部５３０は、例えばディスプレイ、プロジェクタ、またはスピーカなどを含み、ＵＩを介してユーザに各種の情報を提示する。

設定情報受信部５２１は、ＵＩ装置４００の識別情報送信部４２３からエレメント１００の識別情報（ＩＤ）を取得したサーバから、通信部５１０を介して、当該識別情報に基づいて特定されるエレメント１００の設定情報を受信する。上述の通り、設定情報は、例えば、システム１０においてエレメント１００を他のエレメント１００および／または各種のソフトウェアと連係動作させるプログラムの情報を含みうる。

位置関係受信部５２２は、ＵＩ装置４００の位置関係特定部４２４によって特定された、ＵＩ装置４００とエレメント１００との位置関係を示す情報を、サーバから、通信部５１０を介して受信する。

位置関係変換部５２３は、位置関係受信部５２２によって受信された、ＵＩ装置４００とエレメント１００との位置関係を示す情報を提示装置５００とエレメント１００との位置関係を示す情報に変換する。このとき、位置関係変換部５２３は、撮像部５１５によって取得された、対象のエレメント１００を含む画像（ＵＩ装置４００において取得される画像とは異なる視点で、共通する被写体を含む画像でありうる）を利用して、位置関係の変換を実行してもよい。

より具体的には、例えば、位置関係変換部５２３は、ＵＩ装置４００が撮像部４１５を用いて取得した画像を別途取得し（ＵＩ装置４００から直接的に取得してもよいし、サーバを経由して取得してもよい）、撮像部５１５によって取得された画像との間で被写体を基準にしたマッチングを実行することによって、それぞれの画像の視点の位置関係を推定し、視点の位置関係に基づいて、ＵＩ装置４００とエレメント１００との位置関係を提示装置５００とエレメント１００との位置関係に変換してもよい。なお、位置関係の変換には、上記に例示した手法に限らず、異なる視点から撮像された画像のマッチングなどに用いられる各種の技術を利用することができる。

提示制御部５２４は、設定情報受信部５２１によって受信されたエレメント１００の設定情報を、エレメント１００に関連付けて提示する。より具体的には、例えば、提示制御部５２４は、出力部５３０に含まれるディスプレイの画面内で、設定情報をエレメント１００に関連付けて表示させる。なお、エレメント１００および設定情報の表示の具体的な方法は、上記の第１の実施形態で説明した方法と同様でありうる。

（処理シーケンス）
図３１は、本開示の第２の実施形態における処理の第１の部分を示すシーケンス図である。図３１では、ＵＩ装置４００からエレメント１００に信号のリクエストが送信されてから、エレメント１００の識別情報、およびＵＩ装置４００とエレメント１００との位置関係を示す情報がサーバ２００／３００に送信されるまでの処理が示されている。

図示された例において、Ｓ１０１〜Ｓ１１１の処理は、上記で図２４を参照して説明した第１の実施形態の処理と同様であるため、重複した説明は省略する。なお、本実施形態では、エレメント１００の設定情報が提示装置５００によって提示されるため、サーバ２００／３００は、識別情報に基づいて抽出されるエレメント１００の設定情報を、ＵＩ装置４００には送信しない。代わりに、ＵＩ装置４００が、Ｓ１１１で特定されたＵＩ装置４００とエレメント１００との位置関係を示す情報を、識別情報と同様にサーバ２００／３００に送信する（Ｓ２０１）。

図３２は、本開示の第２の実施形態における処理の第２の部分を示すシーケンス図である。図３２では、図３１に示された第１の部分に続いて、サーバ２００／３００が設定情報および位置関係を示す情報を提示装置５００に送信し、提示装置５００が設定情報をエレメント１００に関連付けて提示するまでの処理が示されている。

図示された例では、まず、サーバ２００／３００が、ＵＩ装置４００から送信された識別情報に基づいて抽出されたエレメント１００の設定情報と、ＵＩ装置４００とエレメント１００との位置関係を示す情報とを、それぞれ提示装置５００に送信する（Ｓ２０３，Ｓ２０５）。なお、これらの情報が送信される順序は任意である。提示装置５００では、位置関係変換部５２３が、Ｓ２０５で受信された情報、すなわちＵＩ装置４００とエレメント１００との位置関係を示す情報を、提示装置５００とエレメント１００との位置関係を示す情報に変換する（Ｓ２０７）。さらに、提示制御部５２４が、Ｓ２０７で取得された提示装置５００とエレメント１００との位置関係に基づいて、設定情報を提示する（Ｓ２０９）。より具体的には、設定情報は、提示装置５００の出力部５３０に含まれるディスプレイにおいて表示されたり、同じく出力部５３０に含まれるプロジェクタによって投射されたりすることによって表示される。

（変形例）
図３３は、本開示の第２の実施形態の変形例について説明するための図である。図３３では、システム１０内の１または複数の装置であるエレメント１００が、提示装置５００としても機能する。より具体的には、図示された例では、ＵＩ装置４００の近傍に、複数のエレメント１００が存在している。これらのエレメント１００のうちの少なくとも一部は、提示装置５００としても機能する。このようなエレメント１００は、通信部１１０を介して、マネージャ２００またはサーバ３００（図示せず）から、それ自身の設定情報を受信する。さらに、エレメント１００は、例えば機能部１３０に含まれるディスプレイ、スピーカ、またはランプのような出力装置を介して、受信された設定情報を出力する。つまり、本変形例では、エレメント１００の設定情報が、エレメント１００自身によって提示される。

ＵＩ装置４００は、例えば図示されたようにタブレット４００ｂでありうる。タブレット４００ｂは、エレメント１００が近接していることを、エレメント１００から出力される無線信号または発光信号を受信することによって検出する。さらに、タブレット４００ｂは、受信された信号をデコードすることによってエレメント１００のシステム１０内でのＩＤを特定し、特定されたＩＤをマネージャ２００またはサーバ３００に送信する。送信されるＩＤは、対象のエレメント１００を特定するとともに、当該エレメント１００とタブレット４００ｂとが近接したこと（位置関係の一種）を示す情報ともいえる。

エレメント１００のＩＤを受信したマネージャ２００またはサーバ３００は、ＩＤに基づいて当該エレメント１００の設定情報を抽出するとともに、設定情報をエレメント１００自身に送信する。エレメント１００は、受信した設定情報を、例えば機能部１３０に含まれるディスプレイ、スピーカ、またはランプのような出力装置を介して出力する。

以上、本開示の第２の実施形態について説明した。本実施形態では、エレメント１００が出力信号を受信するＵＩ装置４００とは異なる提示装置５００が、エレメント１００に関連付けて設定情報を提示させる。従って、例えば、ＵＩ装置４００は、必ずしも、エレメント１００に関連付けて設定情報を提示させるための出力装置、例えばディスプレイやプロジェクタなどを有さなくてもよい。また、エレメント１００自身が提示装置５００としても機能する変形例によれば、ＵＩ装置４００が必ずしもエレメント１００との詳細な位置関係を特定しなくても、設定情報を対応するエレメント１００に対応付けて提示することができる。

なお、上記で説明された例では、ＵＩ装置４００と提示装置５００との間にサーバ２００／３００が介在したが、他の例では、サーバ２００／３００を介さず、局所的にＵＩ装置４００と提示装置５００との間で情報がやりとりされてもよい。例えば、エレメント１００の設定情報がＵＩ装置４００または提示装置５００において少なくとも一時的に保持されているような場合、ＵＩ装置４００は、直接的に提示装置５００に識別情報または設定情報を送信してもよい。

（２−３．第３の実施形態）
次に、本開示の第３の実施形態について説明する。なお、本実施形態は、別途の説明がない部分については、上記の第１の実施形態と同様の構成をとりうる。

図３４は、本開示の第３の実施形態の概略的な構成例を示す図である。図３４を参照すると、本実施形態において、エレメント１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉなどによってマネージャ２００に接続されている一方で、継続的に無線信号Ｓ１をブロードキャストしている（例えば、ＢｌｕｅｔｏｏｔｈにおけるＡｄｖｅｒｔｉｓｉｎｇ）。この状態で、エレメント１００にＵＩ装置４００が接近すると、ＵＩ装置４００はエレメントから出力される無線信号Ｓ１を受信する（Ｓ３０１）。

ＵＩ装置４００は、無線信号Ｓ１が所定の強度を超えた時点で無線信号Ｓ１をデコードし、エレメント１００の識別情報（ＩＤ）を取得する。さらに、ＵＩ装置４００は、取得された識別情報をサーバ３００に送信して、エレメント１００の設定情報を問い合わせる（Ｓ３０３）。サーバ３００は、問い合わせに応じて、エレメント１００の設定情報、例えば、システム１０内でエレメント１００に与えられている名称や、エレメント１００とマネージャ２００との通信状態、エレメント１００の電池残量などの情報をＵＩ装置４００に送信する（Ｓ３０５）。

サーバ３００から受信された情報に基づいて、ＵＩ装置４００のディスプレイには、ＵＩ画面４６００が反射表示される。ＵＩ画面４６００には、例えば、エレメント１００を示すアイコン４６０１と、エレメント１００の設定情報表示４６０３とが表示される。アイコン４６０１と設定情報表示４６０３とは、例えば、互いに近接して表示されたり、リンクで結ばれたりして、対応付けられている。

本実施形態では、上記の第１および第２の実施形態とは異なり、ＵＩ装置４００が、必ずしもエレメント１００を含む画像を取得しない。ＵＩ装置４００は、ＵＩ装置４００が受信する無線信号Ｓ１に基づいてＵＩ装置４００とエレメント１００とが近接したことを特定するとともに、無線信号Ｓ１をデコードしてエレメント１００の識別情報を取得する。従って、本実施形態では、ＵＩ装置４００が撮像部を有さない装置であってもよい。

また、本実施形態では、ＵＩ装置４００が撮像部を有する場合であっても、エレメント１００が必ずしもＵＩ装置４００の視点から視認可能でなくてもよい。例えば、エレメント１００は、何らかのオブジェクトの内側に配置されており、外部からは視認できなくてもよい。このような場合でも、無線信号Ｓ１に基づいてエレメント１００が検出され、またアイコン４６０１を用いてエレメント１００の設定情報を表示するＵＩ画面４６００が提供されることによって、エレメント１００の設定情報の確認および編集を容易に実行することができる。

（３．ハードウェア構成）
次に、図３５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図３５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるエレメント１００、マネージャ２００、サーバ３００、ＵＩ装置４００、および／または提示装置５００を実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（４．補足）
本開示の実施形態は、例えば、上記で説明したような端末装置、システム、端末装置またはシステムで実行される情報提示方法、端末装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）端末装置であって、
システム内の１または複数の装置から出力される第１の信号を受信する信号受信部と、
前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する位置関係特定部と、
前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
を備える端末装置。
（２）前記手段は、
前記識別情報をサーバに送信する識別情報送信部と、
前記サーバから前記識別情報に基づいて特定される前記１または複数の装置の設定情報を受信する設定情報受信部と、
前記受信された設定情報を前記１または複数の装置に関連付けて提示させる提示制御部と
を含む、前記（１）に記載の端末装置。
（３）前記手段は、
前記識別情報をサーバに送信する識別情報送信部と、
前記位置関係を示す情報を前記サーバに送信する位置関係送信部と
を含み、
前記サーバは、前記識別情報に基づいて特定される前記１または複数の装置の設定情報を、前記１または複数の装置に関連付けて前記設定情報を提示する提示装置に提供する、前記（１）に記載の端末装置。
（４）前記１または複数の装置は、前記提示装置として機能する装置を含む、前記（３）に記載の端末装置。
（５）前記設定情報は、前記１または複数の装置が反射表示されるディスプレイによって提示される、前記（１）〜（３）のいずれか１項に記載の端末装置。
（６）前記ディスプレイは、前記１または複数の装置を含むライブビュー画像を表示する、前記（５）に記載の端末装置。
（７）前記ディスプレイは、前記１または複数の装置のアイコンを含む画像を表示する、前記（５）に記載の端末装置。
（８）前記設定情報は、前記１または複数の装置が透過表示されるディスプレイによって提示される、前記（１）〜（３）のいずれか１項に記載の端末装置。
（９）前記１または複数の装置に対する設定変更操作を受け付ける操作受付部と、
前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
をさらに備え、
前記操作受付部は、前記１または複数の装置が表示されるディスプレイにおいて提供されるＧＵＩ（Graphical User Interface）を介して前記設定変更操作を受け付ける、前記（１）〜（８）のいずれか１項に記載の端末装置。
（１０）前記設定情報は、前記１または複数の装置の近傍の実空間に画像を投影するプロジェクタによって提示される、前記（１）〜（３）のいずれか１項に記載の端末装置。
（１１）前記１または複数の装置に対する設定変更操作を受け付ける操作受付部と、
前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
をさらに備え、
前記操作受付部は、前記１または複数の装置に対してユーザがＮＵＩ（Natural User Interface）を介して実行する前記設定変更操作を受け付ける、前記（１）〜（１０）のいずれか１項に記載の端末装置。
（１２）前記信号受信部は、前記１または複数の装置から出力される第２の信号を受信し、
前記端末装置は、
前記第２の信号から前記１または複数の装置の状態情報を抽出する状態情報抽出部と、
前記状態情報をサーバに送信する状態情報送信部と
をさらに備える、前記（１）〜（１１）のいずれか１項に記載の端末装置。
（１３）前記端末装置は、前記１または複数の装置を含む画像を取得する撮像部をさらに備え、
前記第１の信号は、前記１または複数の装置が有する発光素子によって出力される発光信号を含み、
前記位置関係特定部は、前記画像から前記発光信号を抽出することによって前記位置関係を特定する、前記（１）〜（１２）のいずれか１項に記載の端末装置。
（１４）前記第１の信号は、前記１または複数の装置によって送信される無線信号を含み、
前記位置関係特定部は、前記無線信号の強度に基づいて前記位置関係を特定する、前記（１）〜（１３）のいずれか１項に記載の端末装置。
（１５）前記位置関係特定部は、前記端末装置と前記１または複数の装置とが近接しているか否かを特定する、前記（１）〜（１４）のいずれか１項に記載の端末装置。
（１６）前記位置関係特定部は、前記端末装置と前記１または複数の装置との距離を特定する、前記（１）〜（１５）のいずれか１項に記載の端末装置。
（１７）１または複数の装置と、端末装置とを含むシステムであって、
前記１または複数の装置は、第１の信号を出力し、
前記端末装置は、
前記第１の信号を受信する信号受信部と、
前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する位置関係特定部と、
前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
を備えるシステム。
（１８）システム内の１または複数の装置が第１の信号を出力することと、
端末装置が前記第１の信号を受信することと、
処理回路を用いて、前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定するとともに、前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出することと、
前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示することと
を含む情報提示方法。
（１９）端末装置の処理回路において実行されるプログラムであって、
システム内の１または複数の装置から出力される第１の信号を受信する機能と、
前記第１の信号に基づいて前記端末装置と前記１または複数の装置との位置関係を特定する機能と、
前記第１の信号から前記１または複数の装置の前記システム内での識別情報を抽出する機能と、
前記識別情報および前記位置関係に基づいて、前記１または複数の装置の前記システム内での設定情報を前記１または複数の装置に関連付けて提示するための手段と
を実現するプログラム。

１０ システム
１００ エレメント
１１０ 通信部
１２０ 制御部
１３０ 機能部
１３５ 発光素子
１４０ 電源部
２００ マネージャ
２１０ 通信部
２２０ 制御部
２３０ 記憶部
３００ サーバ
３１０ 通信部
３２０ 制御部
３３０ 記憶部
４００ ＵＩ装置
４１０ 通信部
４１５ 撮像部
４２０ 制御部
４３０ 入出力部
５００ 提示装置
５１０ 通信部
５１５ 撮像部
５２０ 制御部
５３０ 出力部

Claims (20)

1. 端末装置であって、
   システム内の複数の装置から出力される第１の信号を受信する信号受信部と、
   前記第１の信号に基づいて前記端末装置と前記複数の装置との位置関係を特定する位置関係特定部と、
   前記第１の信号から前記複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
   前記識別情報および前記位置関係に基づいて、前記複数の装置の前記システム内での設定情報を前記複数の装置に関連付けて提示するための手段と
   を備え、
   前記設定情報は、前記複数の装置を連携動作させるための情報である端末装置。
2. 前記手段は、
   前記識別情報をサーバに送信する識別情報送信部と、
   前記サーバから前記識別情報に基づいて特定される前記複数の装置の設定情報を受信する設定情報受信部と、
   前記受信された設定情報を前記複数の装置に関連付けて提示させる提示制御部と
   を含む、請求項１に記載の端末装置。
3. 前記手段は、
   前記識別情報をサーバに送信する識別情報送信部と、
   前記位置関係を示す情報を前記サーバに送信する位置関係送信部と
   を含み、
   前記サーバは、前記識別情報に基づいて特定される前記複数の装置の設定情報を、前記複数の装置に関連付けて前記設定情報を提示する提示装置に提供する、請求項１に記載の端末装置。
4. 前記複数の装置は、前記提示装置として機能する装置を含む、請求項３に記載の端末装置。
5. 前記設定情報は、前記複数の装置が反射表示されるディスプレイによって提示される、請求項１に記載の端末装置。
6. 前記ディスプレイは、前記複数の装置のライブビュー画像を表示する、請求項５に記載の端末装置。
7. 前記ディスプレイは、前記複数の装置のアイコンを含む画像を表示する、請求項５に記載の端末装置。
8. 前記設定情報は、前記複数の装置が透過表示されるディスプレイによって提示される、請求項１に記載の端末装置。
9. 前記複数の装置に対する設定変更操作を受け付ける操作受付部と、
   前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
   をさらに備え、
   前記操作受付部は、前記複数の装置が表示されるディスプレイにおいて提供されるＧＵＩ（Graphical User Interface）を介して前記設定変更操作を受け付ける、請求項１に記載の端末装置。
10. 前記設定情報は、前記複数の装置の近傍の実空間に画像を投影するプロジェクタによって提示される、請求項１に記載の端末装置。
11. 前記複数の装置に対する設定変更操作を受け付ける操作受付部と、
    前記設定変更操作に対応する操作情報をサーバに送信する操作情報送信部と
    をさらに備え、
    前記操作受付部は、前記複数の装置に対してユーザがＮＵＩ（Natural User Interface）を介して実行する前記設定変更操作を受け付ける、請求項１に記載の端末装置。
12. 前記信号受信部は、前記複数の装置から出力される第２の信号を受信し、
    前記端末装置は、
    前記第２の信号から前記複数の装置の状態情報を抽出する状態情報抽出部と、
    前記状態情報をサーバに送信する状態情報送信部と
    をさらに備える、請求項１に記載の端末装置。
13. 前記端末装置は、前記複数の装置を含む画像を取得する撮像部をさらに備え、
    前記第１の信号は、前記複数の装置が有する発光素子によって出力される発光信号を含み、
    前記位置関係特定部は、前記画像から前記発光信号を抽出することによって前記位置関係を特定する、請求項１に記載の端末装置。
14. 前記第１の信号は、前記複数の装置によって送信される無線信号を含み、
    前記位置関係特定部は、前記無線信号の強度に基づいて前記位置関係を特定する、請求項１に記載の端末装置。
15. 前記位置関係特定部は、前記端末装置と前記複数の装置とが近接しているか否かを特定する、請求項１に記載の端末装置。
16. 前記位置関係特定部は、前記端末装置と前記複数の装置との距離を特定する、請求項１に記載の端末装置。
17. 前記設定情報は、前記連携動作における前記複数の装置の役割を示す情報と、前記複数の装置間の関連性を示す情報とをさらに含む、請求項１に記載の端末装置。
18. 複数の装置と、端末装置とを含むシステムであって、
    前記複数の装置は、第１の信号を出力し、
    前記端末装置は、
    前記第１の信号を受信する信号受信部と、
    前記第１の信号に基づいて前記端末装置と前記複数の装置との位置関係を特定する位置関係特定部と、
    前記第１の信号から前記複数の装置の前記システム内での識別情報を抽出する識別情報抽出部と、
    前記識別情報および前記位置関係に基づいて、前記複数の装置の前記システム内での設定情報を前記複数の装置に関連付けて提示するための手段と
    を備え、
    前記設定情報は、前記複数の装置を連携動作させるための情報であるシステム。
19. システム内の複数の装置が第１の信号を出力することと、
    端末装置が前記第１の信号を受信することと、
    処理回路を用いて、前記第１の信号に基づいて前記端末装置と前記複数の装置との位置関係を特定するとともに、前記第１の信号から前記複数の装置の前記システム内での識別情報を抽出することと、
    前記識別情報および前記位置関係に基づいて、前記複数の装置の前記システム内での設定情報を前記複数の装置に関連付けて提示することと
    を含み、
    前記設定情報は、前記複数の装置を連携動作させるための情報である情報提示方法。
20. 端末装置の処理回路において実行されるプログラムであって、
    システム内の複数の装置から出力される第１の信号を受信する機能と、
    前記第１の信号に基づいて前記端末装置と前記複数の装置との位置関係を特定する機能と、
    前記第１の信号から前記複数の装置の前記システム内での識別情報を抽出する機能と、
    前記識別情報および前記位置関係に基づいて、前記複数の装置の前記システム内での設定情報を前記複数の装置に関連付けて提示するための手段と
    を実現し、
    前記設定情報は、前記複数の装置を連携動作させるための情報であるプログラム。

Images