JP5799018B2 - 拡張物体との対話用デバイス - Google Patents

Description

本発明は、ユーザが、ある環境における少なくとも１つの物体と、ビデオリンクの媒介を通して対話できるようにする、新たな対話パラダイムに関する。

多くの環境および用途で、たとえば遠隔地の物体、または危険な環境の場合、ユーザが、ビデオリンクを通して見える物体と対話することが要求される。

たとえば米国特許第６４６３３４３号から、ビデオリンクを介して、少なくとも１つの「アクティブな」物体を含む環境を表示すること、およびユーザが前記物体と対話できるようにするために、前記物体によって提供されるサービスと関連付けられたコマンドインタフェース要素を重ねることが一般的であり、ビデオリンクは、対話の結果を視覚的に監視することを可能にする。

しかしながら、米国特許第６４６３３４３号では、ユーザが、なんらかの動作に先立って、一方における、典型的には記憶媒体から入ってくるコマンドインタフェース要素と、他方における、物体によって提供されるサービスとの関連を定義しなければならない。

モノのインターネットが登場してから、ビデオ画像を通した遠隔地の物体の発見および制御が大きな関心領域となっている。主たる問題は、ビデオリンクを介してインタラクティブな物体を発見し、それに働きかける一方で、インタフェースの統合および構成作業を制限してしまうことである。

これは、ユーザが、遠隔地の物体を、前記物体によって提供されるサービスを使用することによって制御できるようにするために、遠隔制御インタフェースを有する物体と他の通常の物体を自動的に区別する能力、およびこの制御インタフェースを前記ビデオとともにユーザに提示する能力を含意する。

現在、静的な情報をビデオに挿入すること、または画像の特定の領域にコメントを挿入することがせいぜい一般的である。

米国特許第６４６３３４３号明細書

本発明は、アクティブな物体を、制御インタフェースまたはそのようなインタフェースを定義する手段に自動的に関連付けるための手段を提案することによって、これらの欠点を取り除く。これは、拡張物体の革新的なコンセプトによって可能になる。そのようなコンセプトは、モノのインターネットに関する現在の開発の中で、その場所を必然的に見いだす。

本発明の目的は、ユーザ領域に位置するユーザが、ある環境に存在する少なくとも１つの拡張物体と対話できるようにするデバイスにして、前記拡張物体は、物体領域内に位置し、この拡張物体は、物理的物体および関連付けられた仮想物体を含み、前記仮想物体は、前記拡張物体によって提供される少なくとも１つのサービスのための少なくとも１つの定義要素を含み、前記拡張物体は、第１の通信手段を介して接続が可能である、デバイスであって：
− 物体領域内に位置し、前記環境の少なくとも一部分のビデオ画像を撮像することが可能な、ビデオをキャプチャする手段と、
− 物体領域の前記ビデオ画像をユーザ領域に送信することが可能な第２の通信手段と、
− ユーザ領域に位置し、ユーザに提示するために、前記ビデオ画像を表示することが可能なユーザ端末と、
− 関連付けられた物理的物体が、ビデオキャプチャの手段の場所に存在するとき、拡張物体を自動的に識別する手段と、
− デバイスと識別された拡張物体の間の接続を確立することが可能であり、前記拡張物体によって提供されるサービス用の前記定義要素を復元するための第１の通信手段と、
− 識別された拡張物体のサービス用の制御インタフェースを、前記サービス定義要素に従って定義することが可能であり、ユーザ端末を介して前記制御インタフェースをユーザに提示するための制御インタフェースを定義する手段と、
− ユーザから入力されるコマンドを、前記制御インタフェースと連係して読み取ることが可能な、前記サービス用のリーダコマンドと、
− 前記コマンドを拡張物体に送信することが可能であり、それによって、物理的物体は前記サービスを実行することができる、第３の通信手段とを備える、デバイスである。

本発明の別の特徴によれば、デバイスはまた、物体領域に位置し、その環境からサウンドをキャプチャすることが可能なサウンドキャプチャの手段と、物体領域からの前記サウンドをユーザ領域に送信することが可能な第４の通信手段とを備え、ユーザ端末が、前記サウンドをユーザに対して再生することが可能なサウンドプレーバックの手段を含む。

本発明の別の特徴によれば、ビデオキャプチャの手段の姿勢および／または位置が制御でき、ユーザ端末がまた、制御コマンドを生成することによって、ユーザが前記制御を実行できるようにすることが可能な、コマンドの手段を備え、デバイスがまた、ユーザ領域から物体領域に前記制御コマンドを送信することが可能な第５の通信手段を備える。

本発明の別の特徴によれば、拡張物体を自動的に識別する手段が、物理的物体の形状を認識する手段を備える。

本発明の別の特徴によれば、拡張物体を自動的に識別する手段が、物理的物体の位置を特定する手段を備える。

本発明の別の特徴によれば、拡張物体を自動的に識別する手段が、物理的物体上またはその近くに位置する識別用マーカを含む。

本発明の別の特徴によれば、インタフェース定義手段が、拡張物体によって直接提案される制御インタフェースを使用可能である。

本発明のまた別の特徴によれば、インタフェース定義手段が、サービス定義要素に従って定義された制御インタフェースを記憶手段から復元することが可能である。

本発明の別の特徴によれば、インタフェース定義手段が、ユーザ端末上に表示されたビデオ画像に埋め込んだ前記制御インタフェースを表示することが可能である。

本発明の別の特徴によれば、前記サービス用のコマンドを読み取る手段が、前記制御インタフェースと連係して、キーボード、タッチパッド、および／またはポインティング機構を備える。

本発明の別の特徴によれば、前記サービス用のコマンドを拡張物体に通信する第３の手段が、ユーザ端末と拡張物体の間にリンク、および仮想物体と物理的物体の間に特別な接続インタフェースを含む。

本発明の別の有利な特徴によれば、第１の、第２の、第３の、第４の、および第５の通信手段はまた、インターネットネットワークを含む。

本発明の他の特徴、詳細、および利点が、図面を参照ながら例として以下に述べる詳細な説明から明らかになろう。

本発明によるデバイスの総観図である。 拡張物体を含む物体領域の例を示す図である。 ビデオ画像と、図２に提示された拡張物体用の制御インタフェースの重ねた表示の例を示す図である。

図１は、本発明によるデバイス１を示す。いわゆる物体領域２において、少なくとも１つの拡張物体３を含む環境が存在する。前記デバイス１は、典型的には物体領域２とは別個かつそこから遠くのユーザ領域４に位置するユーザ５が、その１つまたは複数の拡張物体３を検出し、それらと対話することができるようにする。そうするために、本発明の本質的な特徴に従って、拡張物体が、仮想物体が追加７される物理的物体６の周りに構成される。前記物理的物体６は、現実世界の物体６であり、好ましくは、少なくとも１つのサービスを提供することができるという意味においてアクティブな物体である。

例示的かつ非限定的な例として、いくつかの物体３が、この点を説明するために挙げられ得る。たとえば照明器具が、２つのサービスを提供することができる物体である：前記照明器具をオンにするための「スイッチオン」サービス、前記照明器具をオフにするためのおよび「スイッチオフ」サービス。マルチメディアプレーヤが、たとえばマルチメディアコンテンツ用の「ブロードキャスト」サービスを提供することができる別の物体である。最後に、電話が、電話接続を確立するための「コール」サービスを提案することができる物体である。

拡張物体３およびそれが提供し得るサービスを定義するために、仮想物体７が、物理的物体６と関連付けられる。この仮想物体７は、コンピュータ世界の物体である。したがって、それは、純粋にデータおよび／またはプログラムタイプソフトウェアの要素を含み、また、物理的な要素、典型的には電子的要素、管理要素、インタフェース要素、または相互接続要素も含み得る。

前記仮想物体７は、物理的物体６用の少なくとも１つの定義要素および／または識別要素を含み得る。したがって、拡張物体３は、所与の環境内で一意に定義される。物理的物体６と関連付けられた仮想物体７は、前記拡張物体３によって物理的物体６を介して提供されるサービス（複数可）を定義する少なくとも１つの定義要素を含む。

本発明の本質的な特徴によれば、第１の通信手段１０、たとえばネットワークを介して、拡張物体に接続することが可能である。その接続および前記通信手段１０との通信インタフェースは、拡張物体３の仮想物体７によって行われる。したがって、ユーザ５は、対話し、情報を交換するために、ユーザ端末１２を介して、拡張物体３に接続することができる。

デバイス１は、環境の少なくとも一部のビデオ画像９を撮像できるビデオキャプチャの手段８を備える。このビデオキャプチャの手段８は、物体領域２に位置する。このビデオキャプチャの手段８は、少なくとも１つのビデオカメラ、たとえばウェブカメラを含むことができる。

第２の通信手段１１は、前記キャプチャしたビデオ画像９を、物体領域２からユーザ領域４へ送信することを可能にする。

ユーザ５は、デバイス１と対話し、ユーザ端末１２を使用してそれに指令を出す。ユーザ端末１２は、ユーザ領域４に位置しており、ユーザ５に提示するためにキャプチャし、送信された前記ビデオ画像９を表示することが可能である。したがって、ユーザ５は、有利には、遠方において、物体領域２内で何が起こっているかをリアルタイムで視覚的に知ることができる。

デバイス１はまた、この拡張物体３に関連付けられた物理的物体６がビデオキャプチャの手段８の場所に存在するときに、拡張物体３を自動的に識別する手段１３を備える。前記識別する手段１３は、例示として記載されるものを含む種々の原理に従って機能し得る。識別はいつでも、要求に応じて、または連続的に実行することができる。しかし、物体３は、少なくともビデオキャプチャの手段８に見え、ユーザ５に提示されるビデオ画像９内に存在するときは、識別可能でなければならない。後述するように、識別処理は、物体３を認識し、一意に識別することを可能にする。したがって、この識別は、前記物体３に接続するために、その位置を特定する手段を提供する。したがって、通信ネットワークの場合、識別は、前記拡張物体３用の独自のネットワークアドレスを提供し、これはネットワーク上の物体の位置を特定し、そこに接続することを可能にする。

デバイス１はまた、第１の通信手段１０を備える。第１の通信手段１０は、識別する手段１３によって提供された１つまたは複数の識別要素に基づいて、デバイス１と、そのようにして識別された拡張物体３の間の接続を確立することを可能にする。拡張物体３との間で確立された接続は、拡張物体３を調べて、前記物体３に関連付けられるまたは前記物体３によって参照される、記憶手段に含まれる拡張物体３に関する情報を復元することを可能にする。

そのようにして復元した情報から、デバイス１は、前記拡張物体３によって提供される１つまたは複数のサービスに対する少なくとも定義要素を区別する。

したがって、照明器具の例に戻ると、デバイスは、識別された拡張照明器具に接続し、２つのサービス、「スイッチオン」および「スイッチオフ」、ならびにこれらのサービスのための定義要素を復元する。したがって、本例においては、「スイッチオン」サービスのための定義要素は、たとえば、その名称：「スイッチオン」、そのタイプ：バイナリコマンド、さらにはその実施のために必要な要素：サービスを実行して照明器具をオンにするように作動されるべき物理的接続のアドレス、を含む。

いくらかの拡張物体３がビデオ画像９内で識別され得る場合、それぞれに関する情報を復元するために、デバイス１と種々の拡張物体３のうちのそれぞれの間で、逐次的にまたは並行して、いくらかの接続が確立されるということは言うまでもない。

デバイス１はまた、制御インタフェースを定義する手段１４を含み、これは、拡張物体３のためのサービス定義要素に基づいて、識別された拡張物体３のサービス用の制御インタフェース１５を定義することができる。この制御インタフェース１５は、ユーザ５によって認識してもらうために、ユーザ端末１２上に表示できる、たとえばグラフィックのフロントパネルを提示する。このフロントパネルと連係して、制御インタフェース１５は、サービスコマンドを拡張物体３に送信するために必要な接続を有する。制御インタフェース１５は、サービス定義要素に従って定義される。

デバイス１はまた、ユーザ５によって適用されるコマンドを読み取ることが可能なリーダ１６を備える。このリーダ１６は、識別された拡張物体３から抽出されるサービス定義要素に従って、また前記制御インタフェース１５のフロントパネルと連係して構成される。

したがって、照明器具の例に戻ると、２つのサービス、「スイッチオン」および「スイッチオフ」が、たとえば、２つのボタンを有する制御インタフェース１５上に示されることになる。これらの２つのボタンは、グラフィックで示され、それぞれその名前で認識可能である。次いで、リーダ１６は、ユーザ５による、２つのボタンの一方または他方の作動を検出することが可能である。ユーザが、「スイッチオン」サービスと関連付けられたボタンを操作した場合、リーダ１６は、対応する「スイッチオン」サービスコマンドを読み取る。

デバイスはまた、第３の通信手段１７を備える。この通信手段は、リーダ１６によって読み取られるコマンドの拡張物体３への送信を担っている。この送信は、拡張物体３が前記コマンドを受信し、対応するサービスを物理的物体６に対して実行するために行われる。

したがって、照明器具の例で続けると、「スイッチオン」コマンドが読み込まれる。それは拡張照明器具物体に送信され、次いで、サービスが実行され、物理的照明器具がオンになるように、必要なインタフェース要素を作動する。

ユーザ５に提示される環境の認識は、有利には、ビデオ画像９を通じた視覚によるものである。しかし、それは、他の知覚手段に関わるフィードバックによって置換または補足され得る。したがって、デバイス１は、有利には、環境からのサウンドをキャプチャするために、ビデオキャプチャの手段８に多少なりとも地理的に近い物体領域３内にサウンドキャプチャの手段を含み得る。次いで、ユーザ端末１２内に含まれるヘッドホンまたはスピーカなどのサウンド生成の手段を使用して、ユーザ５に対して前記サウンドを再生するために、第４の送信する手段が、物体領域２からユーザ領域４に前記サウンドを送信するために使用される。

接触フィードバックなどの、同じ原理に基づく他のフィードバックを追加することも可能である。すべてのこういった知覚的補助は、一体となって機能して、その環境について、また特に、拡張物体３のサービスを制御し、ひいては前記環境を修正するユーザ５の行動に応答してそこで何が起こっているかについて、ユーザ５に知らせる。

有利には、ビデオキャプチャの手段８によって認識される場を可変させるために、ひいては、遠隔地のユーザ５によって認識され得る環境の範囲を広げるために、ビデオキャプチャの手段８は制御され得る。したがって、ビデオキャプチャデバイスの姿勢が、たとえば高度および方位について制御され得る。ビデオキャプチャデバイスはまた、ズーム制御を有し得る。ビデオキャプチャデバイスはまた、位置制御を有し得る。後者の可能性は、制御可能なロボットなどの移動基部を使用して実現することができ、ビデオキャプチャデバイスは、前記移動基部上に載置される。これはまた、ソースを選択する制御室タイプ手段に結合されたいくらかのビデオキャプチャデバイスによって実現され得る。これらの種々の実施形態を結合することもまた可能である。次いで、ユーザ端末１２は、ユーザ５が前記制御を実行できるようにすることおよび制御コマンドの生成を可能にする、ビデオキャプチャの手段８の構造に適合された、制御する手段１８を備える。デバイス１は、有利には、姿勢、位置、選択コマンドをビデオキャプチャの手段８上で実行する１つまたは複数の制御本体による実行のために、ユーザ領域４から物体領域２へ前記制御コマンドを送信することが可能な第５の通信手段１９を備える。

デバイス１の１つの重要な部分は、拡張物体３の識別である。いくらかの技術が、そのような識別を得るために等しく適用できる。識別は、拡張物体３に接続するために、前記拡張物体３を一意に指定することを可能にするという点で、必要である。

識別する手段の第１の実施形態は、ビデオ画像９の分析による、任意の知られている方法に従って形状認識を使用することができる。しかしながら、そのような分析が可能にするのは、認識であって識別ではない。したがって、形状分析は、物体が照明器具であると認識することを可能にするが、識別は、どの照明器具であるか厳密に分かることを要する。

したがって、形状認識の方法は、他の手段によって補足されなければならない。したがって、あらかじめ準備された備品目録を使用することによって続行することが可能である。したがって、照明器具が１つ（すなわち、この種類／色の照明器具が１つ、またはこの環境／部屋に照明器具が１つ）だけである場合、照明器具は確実に識別され得る。

識別する手段１３の別の実施形態が、物理的物体６の位置を単独で、または形状認識などの別の手段と組み合わせて使用することができる。したがって、物体は、その位置によって識別される。物体は、部屋の左の隅にあるので、照明器具である。またはここでまた組み合わせて、その形状によって認識された照明器具は、床の１メートル上に位置する（唯一の照明器具である）ので、番号３の照明器具である。しかしながら、そのようなアプローチは、先行定義、たとえば、デバイスの包括的性質を減少させる、種々の物体の位置のマッピングの形を要する。別の欠点は、拡張物体３が動かされていた場合に、それを識別することが困難または不可能になることである。

物体の位置の判定は、ビデオキャプチャの手段８の位置および姿勢に基づいて実行され得る。したがって、ビデオキャプチャデバイスの位置は、それが固定されているため、またはＧＰＳ受信機などの任意の知られている位置特定手段によって知られているので、それが可変の場合、物体の位置は、前記ビデオキャプチャデバイスの姿勢の角度が分かることによって判定され得る。正しく言えば、そのような識別が示すのは、線であって位置ではない。しかし、そのような識別は、他の物体（または同じタイプもしくは同じ形状などの物体）が前記線上に存在しなければ、物体３を識別するには十分であり得る。

しかしながら、先行マッピング準備はなんら要求せず、物体３の潜在的かつ常に可能性のある動きを許容する識別する手段１３の実施形態が好ましい。そのような識別する手段１３は、識別用マーカ２０で識別したい拡張物体３に関連付けられた物理的物体６を備えることによって実行できる。そのようなマーカ２０は、識別するために固有のものである。それは、物理的物体６の上または近くに位置する。それは、そのタイプに応じて、見える／読み取れるように配置され得る。その特徴シグネチャ（形状、色、コードなど）は、デバイス１からアクセス可能なルックアップテーブル内に保存されて、シグネチャを独自の拡張物体識別子（たとえば前記拡張物体３のネットワークアドレス）に関連付けている。代替的アプローチが、拡張物体３の識別要素のコードからなり、識別用マーカ２０への接続を直接的に可能にする。

この実施形態によれば、環境の先行準備がここでも必要である。しかしここで、この準備は１度だけ、拡張物体３ごとに、個別的かつ独立して実行される。すべての候補物体が将来的には工場でこのように構成され、それらを視認可能／判読可能な独自の識別用マーカ２０およびネットワーク接続アドレス、たとえば、現在のＭＡＣアドレスに関連付けることが考えられる。識別用マーカ２０と接続識別要素の対応が識別用マーカ自体に直接コード化されない場合、ルックアップテーブルは、物体の製造業者によって、たとえばインターネット上に、アクセス可能になるように公開され得る。

識別用マーカ２０は、たとえば画像分析によってデバイス１が認識するように、有利にはビデオキャプチャの手段８によって視認できる視覚的マーカ（図像、バーコード、カラーコードなど）であり得る。バーコードなどの視覚的「コード」が、有利には、ネットワーク接続識別子をそのコード内、それ以外であればアドレスまたはそれを見いだすことを可能にする任意の他の参照手段に直接的に含めることを可能にする。

有利には、そのような視覚的マーカは、ビデオキャプチャの手段８を再使用するので、追加の読み取る手段は要しない。そのような視覚的マーカの１つの欠点は、認められた（ｐｒｉｖｉｌｅｇｅｄ）方向周辺の空間という限定された領域でしか視認できないことである。

代替実施形態によれば、識別用マーカは、ＲＦＩＤという名称でも知られている無線周波数ラベルである。この場合、デバイス１は、無線周波数ラベルリーダも備えていなければならない。物体領域２内に位置するリーダは、そのような無線周波数ラベルを読み取ることが可能である。そのような無線周波数ラベルは、前述の利点を有する「コード」である。有利には、そのような無線周波数ラベルは、読み取ることができるように見える必要はなく、物体３の中に隠され／埋め込まれていてもよい。また、有利には、そのような無線周波数ラベルの読取りは、いずれの空間的方向でも分け隔てなく行うことができる。

インタフェースを定義する手段１４が、前記拡張物体３によって提供されるサービスと関連付けられた、制御インタフェース１５の定義要素を、拡張物体３から抽出することをここまで記載してきた。制御インタフェースは、少なくとも物体３のタイプによって定義される。したがって、照明器具の例では、制御インタフェース１５用の定義要素は、２つのサービス、「スイッチオン」および「スイッチオフ」のそれぞれが、バイナリコマンドと関連付けられた指示を少なくとも含む。物体はまた、より具体的な指示、たとえば、レイアウト、見かけ、または拡張物体３によって提案される制御インタフェース１５の詳細なグラフィック表示さえも含むことができる。

第１の実施形態によれば、インタフェースを定義する手段１４が、拡張物体３によって提案される制御インタフェースを直接的かつ十分に使用する。これは、拡張物体３に固有のグラフィックの美的性質に従うことを可能にする。

別法として、インタフェースを定義する手段１４は、タイプ定義要素を使用して、物体３およびそのサービスに対応する制御インタフェース１５を構築するが、拡張物体３によって提案されるものを考慮せずに、グラフィックの見かけを定める。これは、インタフェースを定義する手段１４が、ある拡張物体３から別の拡張物体３の間で均質なグラフィックの美的性質を備える制御インタフェース１５を提案することを可能にする。

インタフェースタイプ定義要素およびすべてまたは一部のそれらのグラフィック表示を、環境または物体についてのなんらかの従来知識なしで、ビデオ画像９内で識別された拡張物体３から自動的に抽出するこの機能は、先行定義、環境モデリング、または構成なしでデバイス１の実装を可能にするという点で極めて有利である。

さらに、（構成または準備のない）自動的および自律的識別は、知られていない環境を理解し、たとえば物体３を移動させることによる、前記環境への変更を許容することを可能にする。

拡張物体３への接続の後に抽出される要素が、拡張物体３自体に含まれる記憶手段から抽出することができることは明らかである。別法として、参照またはアドレスを、これらの要素が記憶されている遠隔地の記憶手段を示す物体３から抽出してもよい。

前記制御インタフェース１５を定義した後、定義する手段１４は、有利にはユーザ端末１２内に含まれる表示する手段上に表示することが可能である。

特に有利な実施形態によれば、前記制御インタフェース１５の表示は、ビデオ画像９上に直接的に重なったグラフィックによって行われる。したがって、単一の表示手段上で、ユーザ５は、そのサービスを使用するために、物体３との間で対話するために必要なすべての情報を有する。したがって、制御インタフェースは、有利には、それが関連付けられる拡張物体３の近くに位置する。したがって、ユーザ５は、物体３のサービスを前記制御インタフェース１５を使用して制御することができ、またサービスを使用した結果を同じ表示上で観察することができる。

したがって、なお照明器具の例で言えば、制御インタフェースのグラフィック表示が、関連が明らかとなるように、照明器具が現れているビデオ画像上の照明器具の近くに重畳され、「スイッチオン」および「スイッチオフ」ボタンを示す。ユーザ４が、これらの２つのサービスのうちの一方に指令を出したとき、ユーザは、ビデオ画像９を通じて、環境における結果を直接的に観察することができる。したがって、「スイッチオン」サービスに指令を出した後、照明器具がオンになり、ユーザ５は、その環境における点灯の効果を観察することができる。

ユーザ５に提示される前記制御インタフェース１５とともに、デバイス１は、ユーザ５によって実行されるコマンドを読み取る手段１６を備える。このリーダ１６は、キーボード、タッチパッド、および／またはポインティングデバイスを含み得る。この１つまたは複数の要素は、制御インタフェース１５と連係して構成される。したがって、照明器具の例において、キーボードは、キーを２つのサービス、「スイッチオン」および「スイッチオフ」のそれぞれに関連付けることによって使用することができる。関連付けられたキーを押すことで、前記サービスに指令が出る。タッチパッドも使用できる。有利には、それは、制御インタフェース１５のグラフィック表示が表示される表示手段上に重畳される。また、従来、マウス（またはジョイスティック、トラックボール、パッドなど）のポインティングデバイスが使用されることがある。この場合、グラフィックのボタンは、そのアクティブなゾーンをクリックすることによって作動する。

本発明との関連で規定するように、拡張物体３との間の接続を確立できなければならない。したがって、物体からの情報にアクセスし、その制御インタフェースを定義するために、第１の通信手段が使用される。

第３の通信手段１７はまた、サービスのためのコマンドを、ユーザ５からの前記コマンドを読み取ったユーザ端末１２から、前記コマンドを実行して、対応するサービスを実施する拡張物体３に送信するために使用される。

この第３の通信手段１７は、体系的に、ユーザ端末１２と拡張物体３の間に第１のリンクを含む。最も多くはネットワークによるこの接続は、ユーザ端末１２と仮想物体７の間のリンクを確立する。それはまた、第２の接続も含み得る。第２の接続は、仮想物体７と物理的物体６の間の特別な接続インタフェースである。したがって、純粋に物理的物体である照明器具の場合、拡張前に、切替えデバイスによって、２つの仮想サービス、「スイッチオンおよびスイッチオフ」を物理的に関連付ける特別な接続インタフェースで照明器具を補足することが必要である。

本質的にネットワークインタフェースを含む、インターネットインタフェースを有するネットワークドライブまたはＤＶＤプレーヤなどの電子またはコンピュータ物体の場合、これらの２つの接続が重なり合う。

有利な一実施形態によれば、第１の、第２の、第３の、第４の、および第５の通信手段が、重なり合い、通信ネットワーク、たとえば、インターネットを備える。

したがって、デバイス１の構造のこの説明を補足し、例示するために、ここで例を提示してその使用を示し、それによって、この新たなパラダイムの潜在的可能性を示す。

応用的枠組みは、家庭電化製品環境における遠隔対話であり、娯楽および親（ユーザ５）が端末１２を使用して自身の仕事場から行う、家における子どもの監視に適用される。

ユーザ５は、家（物体領域２）の内部を、自身の仕事場（ユーザ領域４）からウェブカメラ８を使用して見ることができ、ウェブカメラ８の画像は、インターネットを介して、有利には標準的なパーソナルコンピュータ（ユーザ端末１２）に再送される。ビデオ画像９は、リビングルームを示す。デバイスは、適用可能な場合、自動的にこの光景における３つの拡張物体の存在：照明器具、電話、およびマルチメディアプレーヤを検出し、グラフィックで強調表示する。デバイスは、選択的に（たとえば、ポインタを物体の上に移動させたとき）３つの拡張物体のそれぞれに対する制御インタフェース１５を表示するまたは隠すことを可能にする。

時刻は５：００ｐｍで、親は、ビデオを介して、帰宅した自身の子を観察することができる。

親は、電話物体を選択する。これは、少なくとも「コールミー（ｃａｌｌ ｍｅ）」サービスを提供する制御インタフェースを表示する。このサービスは、コマンドを受け、家にある電話への電話の呼の確立をトリガし、これが、端末を介した親と前記電話を介した子をつなぐ。

その後の会話の間、親は子に対し、親がダウンロードしてある自分たちのひいきの群から最新のビデオクリップを視聴するように提案する。

親は、マルチメディアプレーヤを選択する。これは、少なくとも「ブロードキャスト」サービスを提供する制御インタフェースを表示する。親は、自身の端末のデスクトップ上のビデオクリップを選択し、それを「ブロードキャスト」サービス用の制御インタフェース上にドラッグする。これは、仕事場から家のマルチメディアプレーヤへの前記クリップのダウンロードをトリガし、次いで、子の視聴のために前記マルチメディアプレーヤ上で前記クリップを再生する。

クリップのブロードキャストが中断しないように、親は、照明器具物体を選択して、オフにすることができ、すべて遠隔操作で実行される。

Claims (18)

1. ユーザ領域（４）に位置するユーザ（５）が、ある環境に存在する少なくとも１つの拡張物体（３）と対話できるようにするデバイスにして、前記拡張物体（３）は、物体領域（２）内に位置し、この拡張物体（３）は、物理的物体（６）および関連付けられた仮想物体（７）を含み、前記仮想物体（７）は、前記拡張物体（３）によって提供される少なくとも１つのサービスのための少なくとも１つの定義要素を含み、前記拡張物体（３）は、第１の通信手段（１０）を介して接続が可能である、デバイス（１）であって、
   物体領域（２）内に位置し、前記環境の少なくとも一部分のビデオ画像（９）を撮像することが可能な、ビデオをキャプチャする手段（８）と、
   物体領域（２）の前記ビデオ画像（９）をユーザ領域（４）に送信することが可能な第２の通信手段（１１）と、
   ユーザ領域（４）に位置し、ユーザ（５）に提示するために、前記ビデオ画像（９）を表示することが可能なユーザ端末（１２）と、
   関連付けられた物理的物体（６）が、ビデオキャプチャの手段（８）の場所に存在するとき、拡張物体（３）を自動的に識別する手段（１３）と、
   デバイス（１）と識別された拡張物体（３）の間の接続を確立することが可能であり、前記拡張物体（３）によって提供されるサービスの前記定義要素を復元するための第１の通信手段（１０）と、
   識別された拡張物体（３）のサービス用の制御インタフェース（１５）を、前記サービス定義要素に従って定義することが可能であり、ユーザ端末（１２）を介して前記制御インタフェース（１５）をユーザ（５）に提示するための制御インタフェースを定義する手段（１４）と、
   ユーザ（５）から入力されるコマンドを、前記制御インタフェース（１５）と連係して読み取ることが可能な、前記サービス用のコマンドを読み取る手段（１６）と、
   前記コマンドを拡張物体（３）に送信することが可能であり、それによって、物理的物体（６）は前記サービスを実行することができる、第３の通信手段（１７）と
   を備える、デバイス（１）。
2. 物体領域（２）に位置し、その環境からサウンドをキャプチャすることが可能なサウンドキャプチャの手段と、物体領域（２）からの前記サウンドをユーザ領域（４）に送信することが可能な第４の通信手段とを備え、ユーザ端末（１２）が、前記サウンドをユーザ（５）に対して再生することが可能なサウンドプレーバックの手段を含む、請求項１に記載のデバイス。
3. ビデオキャプチャの手段の姿勢および／または位置が制御でき、ユーザ端末（１２）がまた、制御コマンドを生成することによって、ユーザ（５）が前記制御を実行できるようにすることが可能な、ビデオコマンドの手段（１８）を備え、デバイスがまた、ユーザ領域（４）から物体領域（２）に前記制御コマンドを送信することが可能な第５の通信手段（１９）を備える、請求項２に記載のデバイス。
4. ビデオキャプチャの手段の姿勢および／または位置が制御でき、ユーザ端末（１２）がまた、制御コマンドを生成することによって、ユーザ（５）が前記制御を実行できるようにすることが可能な、ビデオコマンドの手段（１８）を備え、デバイスがまた、ユーザ領域（４）から物体領域（２）に前記制御コマンドを送信することが可能な第５の通信手段（１９）を備える、請求項１に記載のデバイス。
5. 第１の、第２の、および第３の通信手段はまた、インターネットを含む、請求項１に記載のデバイス。
6. 第１の、第２の、第３の、および第４の通信手段はまた、インターネットを含む、請求項２に記載のデバイス。
7. 第１の、第２の、第３の、第４の、および第５の通信手段はまた、インターネットを含む、請求項３に記載のデバイス。
8. 第１の、第２の、第３の、および第５の通信手段はまた、インターネットを含む、請求項４に記載のデバイス。
9. 拡張物体（３）を自動的に識別する手段（１３）が、物理的物体（６）の形状を認識する手段を備える、請求項１から８のいずれかに記載のデバイス。
10. 拡張物体（３）を自動的に識別する手段（１３）が、物理的物体（６）の位置を特定する手段を備える、請求項１から９のいずれかに記載のデバイス。
11. 拡張物体（３）を自動的に識別する手段（１３）が、物理的物体（６）上またはその近くに位置する識別用マーカ（２０）を含む、請求項１から１０のいずれかに記載のデバイス。
12. 識別用マーカ（２０）が視覚的マーカである、請求項１１に記載のデバイス。
13. 識別用マーカ（２０）が無線周波数ラベルであり、デバイスがまた、物体領域（２）内に位置し、そのような無線周波数ラベルを読み取ることが可能な無線周波数ラベルリーダを含む、請求項１１または１２に記載のデバイス。
14. インタフェースを定義する手段（１４）が、拡張物体（３）から抽出される制御インタフェース（１５）を使用可能である、請求項１から１３のいずれかに記載のデバイス。
15. インタフェースを定義する手段（１４）が、サービス定義要素に従って定義された制御インタフェース（１５）を記憶手段から復元することが可能である、請求項１から１４のいずれかに記載のデバイス。
16. インタフェースを定義する手段（１４）が、前記制御インタフェース（１５）を、ユーザ端末（１２）上に表示されたビデオ画像（９）に埋め込むことによって表示することが可能である、請求項１から１５のいずれかに記載のデバイス。
17. 前記サービス用のコマンドを読み取る手段（１６）が、前記制御インタフェース（１５）と連係して、キーボード、タッチパッド、および／またはポインティング機構を備える、請求項１から１６のいずれかに記載のデバイス。
18. 前記サービス用のコマンドを拡張物体（３）に通信する第３の手段（１７）が、ユーザ端末（１２）と拡張物体（３）の間にリンク、および仮想物体（７）と物理的物体（６）の間に接続インタフェースを含む、請求項１から１７のいずれかに記載のデバイス。

Images