JP4916126B2 - 仮想環境と物理的オブジェクトとの間の対話を可能にするための方法およびシステム - Google Patents

Description

本発明は、一般に、表面上に表示された仮想環境とディスプレイ表面上に置かれたオブジェクトとの間で対話が行われる方法および装置に関し、より具体的には、ディスプレイ表面上に表示されたグラフィックイメージと、ディスプレイ表面上に置かれた、またはディスプレイ表面近くに配置された受動的および／または能動的なオブジェクトとの間の対話を円滑にすることに関する。

仮想環境は、通常、ゲームコンソール上、パーソナルコンピュータ上、および他のタイプのコンピューティングデバイス上で行われる電子ゲームにおいても、その他のタイプのアプリケーションにおいても使用される。ユーザは、普通、仮想オブジェクトが特定の仕方で動くように、または仮想環境を生じさせるソフトウェアプログラムによって定義された他の何らかのアクションまたは機能を実行するようにさせる、マウス、ジョイスティック、ホイール（ｗｈｅｅｌ）、ゲームパッド、トラックボール、または他のユーザ入力デバイスを操作することにより、仮想環境内のオブジェクトと対話する。仮想環境内のオブジェクトとのユーザ対話の効果は、一般に、ディスプレイで可視である。例えば、ユーザは、仮想環境において表示された宇宙船またはレースカーなどの仮想オブジェクトを制御して、仮想オブジェクトが何らかのタスクを実行するようにしていることが可能である。ユーザによって制御される仮想オブジェクトが別の仮想オブジェクトを攻撃した場合、仮想オブジェクトは、ディスプレイ上で破壊を示すグラフィックイメージによって示されるとおり、「破壊される」ことが可能である。一部のゲームでは、ゲームコンソールまたはゲームコンピュータが、ユーザのタスクをサポートして、またはユーザのタスクの完了を妨害するように、環境内の他の仮想オブジェクトを制御することが可能である。以上のように、仮想環境内の仮想オブジェクト間の対話は、周知である。

別の形態のユーザ入力は、ユーザの指またはスタイラスの接触に応答するディスプレイを使用する。タッチ応答ディスプレイは、圧力によってアクティブ化される（ｐｒｅｓｓｕｒｅ ａｃｔｉｖａｔｅｄ）こと、静電容量に応答すること、磁界強度が変化すること、表面弾性波を使用すること、またはディスプレイ上の指またはスタイラスの位置を示す他の変数に応答することが可能である。別のタイプのタッチセンシティブ（ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ）ディスプレイは、スクリーンに触れる指またはスタイラスの位置を検出することができるように、ディスプレイスクリーンの周囲に間隔を開けて置かれた複数の光センサを含む。以上のタッチセンシティブディスプレイの１つを使用して、ユーザは、表示された仮想オブジェクトをより直接的に制御することができる。例えば、ユーザは、表示された仮想オブジェクトに触れて、そのオブジェクトを選択し、そのオブジェクトをタッチセンシティブディスプレイ上の新たな位置にドラッグすることができる。

ただし、ほとんどのそのようなタッチセンシティブディスプレイにおいて、応答は、あるポイントにおける指またはスタイラスの接触に対してだけである。ユーザにより豊かな体験を提供することが可能な、仮想環境との別のタイプの対話が存在する。ゲームなどの仮想環境は、しばしば、スクリーン上に表示された仮想オブジェクトを含むが、仮想環境が、ディスプレイ表面上に置かれた物理的オブジェクトにも応答することが望ましい。ほとんどの従来技術のタッチセンシティブディスプレイでは、指またはスタイラスは、実際に仮想環境内にある物理的オブジェクトとして扱われず、代わりに、スクリーン上で選択を行う、または要素をドラッグしてまわるのに使用される、単なる代替のタイプのポインティングデバイスである。ディスプレイ表面上に置かれた物理的オブジェクトに対して真に対話的であるには、ディスプレイ表面は、ディスプレイ表面上で複数の物理的オブジェクトがどこに置かれているかも検出することができるとともに、ユーザに異なる対話体験をそれぞれが提供することが可能な、異なるタイプの物理的オブジェクトも検出することができなければならない。しかし、従来のタッチセンシティブディスプレイにおいて使用される静電容量タイプ、電磁タイプ、光タイプ、またはその他のタイプのセンサは、通常、ディスプレイに触れている複数の指またはオブジェクトの位置を一度に同時に検出することができず、このため、ディスプレイ上に置かれた複数の異なるタイプの物理的オブジェクトの位置、またはそれぞれの異なるタイプを検出することができない。従来技術のこれらの接触感知（ｔｏｕｃｈ−ｓｅｎｓｉｎｇ）システムは、一般に、複数の接触ポイントを検出することができず、ディスプレイ表面に近接した、または接触しているオブジェクトの形状を検出することができない。複数の接触ポイントを検出することができる静電容量式、または抵抗式、または表面弾性波式の感知ディスプレイ表面でも、適切な解像度でディスプレイ表面上のオブジェクトをイメージングすることができない。これらのタイプの従来技術のシステムは、ディスプレイ表面上に置かれた複数の異なるオブジェクトの間で各オブジェクトを識別するのに使用することができるオブジェクト上のパターン、または詳細な形状を検出することができない。

従来の技術において開発された別のアプローチは、水平ディスプレイスクリーンの上方の側部に取り付けられたカメラ群を使用して、ディスプレイスクリーンに触れるユーザの指、または他のオブジェクトのイメージを視覚的にキャプチャする。この複数のカメラを取り付ける構成は、明らかに、大方の人々が住宅環境で使用することを所望するような小型のシステムではない。さらに、ディスプレイ表面上の、またはディスプレイ表面に近接したオブジェクトに応答する際の、このタイプのマルチカメラシステムの精度は、オブジェクト群、ならびに３次元空間内のオブジェクト群の位置を視覚的に認識するのにシステムで使用されるソフトウェアの能力に依存する。さらに、カメラの１つによる１つのビューは介在するオブジェクトによって妨げられることがある。

以上に説明したタイプのタッチセンシティブディスプレイに固有の問題の多くに対処するため、ＭＩＴ Ｍｅｄｉａ Ｌａｂにおいて、ｍｅｔａＤＥＳＫという、ユーザインタフェースプラットフォームが開発された（非特許文献１参照）。ｍｅｔａＤＥＳＫは、２次元の地理的情報を表示するのに使用される水平に近いグラフィカル面（ｇｒａｐｈｉｃａｌ ｓｕｒｆａｃｅ）を含む。グラフィカル面の上方には、３次元の地理的情報を表示するのに使用するための「アクティブなレンズ」の役割をするアームマウント式のフラットパネルディスプレイが配置される。デスクユニット内部（すなわち、グラフィカル面より下）のコンピュータビジョンシステムが、赤外線（ＩＲ）ランプ、ＩＲカメラ、ビデオカメラ、ビデオプロジェクタ、およびミラーを含む。ミラーは、グラフィカルディスプレイ表面の下面上にプロジェクタによって投影されたグラフィカルイメージを反映する。ＩＲカメラは、グラフィカル面上に置かれた「ファイコン（ｐｈｉｃｏｎ）」と呼ばれる受動的オブジェクトの底面上で提供される特徴的なパターンを検出することができる。磁界位置センサおよび電気接触センサも、ｍｅｔａＤＥＳＫに含まれる。例えば、ＩＲカメラが、「グレートドーム（Ｇｒｅａｔ Ｄｏｍｅ）ファイコン」の底面に印加された（可視光にはトランスペアレントな）ＩＲパターンを検出したことに応答して、グレートドームファイコンが位置する、グレートドームの実際の位置が地図の中に位置付けられて、ＭＩＴキャンパスの地図がグラフィカル面上に表示される。グラフィカル面上でグレートドームファイコンを動かすことにより、ユーザによるファイコンの動きに対応して地図を回転させる、または平行移動させることで、表示された地図が操作される。上記の論文は、グラフィカルディスプレイ表面で使用されるオブジェクトまたはファイコンのすべてが、受動的であり、したがって、ディスプレイシステムは、特定のグラフィカルイメージを生成することで単にファイコンに応答するが、ファイコン自体は、仮想環境に応答しないことを述べている。

ディスプレイ上のオブジェクトを感知することに対する類似のアプローチが、株式会社ソニーコンピューターサイエンス研究所のレキモトジュンが、他の人々と共同で出版したいくつかの論文で開示されている。これらの論文は、「ＨｏｌｏＷａｌｌ」および「ＨｏｌｏＴａｂｌｅ」を簡単に説明しており、「ＨｏｌｏＷａｌｌ」と「ＨｏｌｏＴａｂｌｅ」はともに、ＩＲ光線を使用して、背面映写されたイメージが見えるディスプレイ表面に近接した、または接触するオブジェクトを検出する。ＨｏｌｏＷａｌｌにおいて垂直であり、ＨｏｌｏＴａｂｌｅにおいて水平である背面映写パネルは、半透明な拡散パネルであり、したがって、オブジェクトは、パネルに接近し、パネルに接触するにつれ、より明確に見えるようになる。このように検出されるオブジェクトは、ユーザの指または手、あるいは他のオブジェクトであることが可能である。しかし、ディスプレイパネルの表面上に能動的なオブジェクトが置かれて、スクリーン上に表示される仮想環境との対話に関わる何らかの能動的な機能を実行することは、全く説明されていない。

仮想環境内で、ディスプレイ表面上に置かれた物理的オブジェクトと仮想環境内の仮想オブジェクトとの間の対話を可能にし、あるタイプの物理的オブジェクトが、表示されている仮想環境に能動的で知覚できる形で応答できるようにすることが望ましい。理想的には、対話は、タッチセンシティブスクリーン上で仮想オブジェクトを単に選択し、動かすのに物理的オブジェクトを使用することをはるかに凌ぐべきである。ディスプレイ表面上に置かれる一部のタイプのオブジェクトは、受動的であり、ユーザの手によってディスプレイ表面上で動かされることしかできないが、他のタイプの物理的オブジェクトは、アクティブであり、対話的な形で仮想環境に応答することができなければならない。例えば、何らかのタイプの乗り物のように見える物理的オブジェクトが、ユーザによって拾い上げられ、異なる位置に移動されることなしに、ディスプレイ表面上で動くことができれば、好ましい。このため、オブジェクト上の車輪を駆動するように結合された小型電気モータを含む物理的オブジェクトが、ユーザ、または仮想環境を生じさせるコンピューティングデバイスによって、ディスプレイ表面上を動きまわり、ディスプレイ表面上に表示された仮想オブジェクト群と対話するようにさせられることが可能である。また、異なるタイプの能動的なオブジェクトにおいて他のタイプの能動的な諸機能を使用して、表示されている仮想環境に応答することも望ましい。

物理的オブジェクトと表示された仮想環境内の仮想オブジェクトの間の対話は、異なる形態をとることも可能である。例えば、ディスプレイ表面上に物理的オブジェクトを配置し、仮想環境を実行しているソフトウェアプログラムに物理的オブジェクト、および物理的オブジェクトの位置を認識させた後、仮想環境内の仮想オブジェクトを動かす際に、物理的オブジェクトの存在に応答させることができることが望ましい。また、仮想環境が、ユーザによって生じさせられた、仮想環境内の物理的オブジェクトの位置の変化に応答することも可能である。このため、ユーザが、物理的オブジェクトを動かして、ディスプレイ表面上で物理的オブジェクトの位置または向きを変えた場合、これに応答して、仮想環境ソフトウェアプログラムは、仮想環境ソフトウェアによって生じさせられるサウンドの音量などの、仮想環境に関連する何らかの機能、パラメータ、または特徴を変更することにより、応答することが可能である。

ディスプレイ表面に対する物理的オブジェクトの接触の変化する範囲（ａｒｅａ）および位置を感知することにより、好ましくは、表示された仮想環境との対応する対話ももたらされる。例えば、物理的オブジェクトが、変化する圧力で形状を変える場合、ディスプレイ表面上のオブジェクトをユーザが動かすことにより、ディスプレイ表面と接触しているオブジェクトの変化する形状を表す、ディスプレイにおける対応するストローク（ｓｔｒｏｋｅ）がもたらされなければならない。ディスプレイ表面上の物理的オブジェクトと、ディスプレイ表面上に表示されたグラフィックイメージおよび仮想環境の間における以上、およびその他の形態の対話により、はるかに楽しい現実感のある体験がユーザに提供されることが可能である。

Brygg Ullmer and Hiroshi Ishii, "The metaDESK: Models and Prototypes for Tangible User Interfaces", Proceedings of UIST 10/1997:14-17

従来のシステムには上述したようにさらなる改善が望まれている。

本発明は、このような状況に鑑みてなされたもので、その目的とするところは、オブジェクトと仮想環境ディスプレイとの間の対話を円滑にする、仮想環境と物理的オブジェクトとの間の対話を可能にするための方法およびシステムを提供することにある。

本発明は、物理的オブジェクトの現実世界と、仮想オブジェクトおよびグラフィックイメージがディスプレイスクリーン上に表示される仮想環境の間の区別を曖昧にすることを可能にする。この結果を実現するのに、テーブルトップの中央部分として形成されたディスプレイ表面を含む対話型ディスプレイが開発されている。仮想環境が下側から投影され、ディスプレイ表面上で見られる。ディスプレイ表面上に配置されたあらゆる物理的オブジェクトが、ディスプレイ表面の下に配置され、物理的オブジェクトから反射されるＩＲ光線に応答するＩＲカメラによって光学的に検出されることが可能である。物理的オブジェクトが、カメラを使用して特定の位置で検出されると、表示されている仮想環境またはグラフィックイメージを制御するソフトウェアプログラムが、あたかも物理的オブジェクトが仮想環境内に含まれているかのように、物理的オブジェクトと仮想環境の間の対話を円滑にする。ディスプレイ表面の上に配置された物理的オブジェクトのタイプに依存して、対話は、２つの異なるモードで行われることが可能である。具体的には、第１のモードでは、表示された仮想環境は、ディスプレイ表面上の物理的オブジェクトの存在に応答する。第２のモードでは、物理的オブジェクトは、表示された仮想環境に応答し、特に、ディスプレイ表面上に表示された仮想環境またはグラフィックイメージの変化に応答する。

ディスプレイ表面に対する物理的オブジェクトのあらゆる動きが、ディスプレイ表面上の物理的オブジェクトの位置の変化を感知することによって追跡される。したがって、物理的オブジェクトに対する応答には、ディスプレイ表面に対する物理的オブジェクトの動きに応答して、仮想環境内のパラメータの値を変更することが含まれることが可能である。

物理的オブジェクトに対する応答は、物理的オブジェクトとの仮想環境内の仮想オブジェクトの対話によって実施されることも可能である。このため、例えば、仮想オブジェクトは、ディスプレイ表面上に物理的オブジェクトが配置されている仮想環境内の領域を通過することが妨げられることが可能である。物理的オブジェクトが仮想環境内の壁を表す場合、仮想環境を表示するソフトウェアプログラムによって制御される自動車に相当する仮想オブジェクトが、ディスプレイスクリーン上の物理的オブジェクトの位置にある壁から離れるようにハンドルを切り、壁に衝突することを回避するようにさせられる。この方法は、ディスプレイ表面上の特定の位置にある物理的オブジェクトのサイズと形状の少なくともどちらかを検出して、仮想環境内の物理的オブジェクトに対する事前定義された応答を可能にすることもできる。

また、この方法は、物理的オブジェクトから反射されたＩＲ光線に基づき、物理的オブジェクトを識別することもできる。例えば、反射されるＩＲ光線は、ディスプレイ表面の下に配置されたＩＲカメラによって光学的に検出される事前定義されたパターンで符号化されていることが可能である。物理的オブジェクトは、ユーザが知覚できる能動的機能を全く実行しない受動的オブジェクトであることも、能動的機能を実行する能動的オブジェクトであることも可能である。能動的オブジェクトは、能動的オブジェクトが能動的機能を実行するようにさせる、特定の光信号などの、仮想環境内で生成された信号を検出することが可能である。

能動的機能には、光を放出すること、またはトーンを生成すること、または振動すること、またはディスプレイ表面上の能動的オブジェクトの動きなどの、１つまたは複数の異なるタイプの知覚できる条件を生成することが含まれることが可能である。可動の能動的オブジェクトは、ディスプレイ表面上で自らを動かし、仮想環境と対話することができる。例えば、能動的オブジェクトは、電気モータがおもちゃの戦車上のトレッド（ｔｒｅａｄ）を駆動してディスプレイ表面上を動き回る無線操縦式（ＲＣ）のおもちゃの戦車であることが可能である。あるいは、おもちゃの戦車は、代わりに、ディスプレイ表面の下に配置されたＩＲ発光ダイオード（ＬＥＤ）などの、ＩＲ源からのＩＲ光線を変調することにより、あるいはディスプレイ表面上で見られる表示を生成するために使用されるイメージ源によって生成される可視光の可視光パルスまたは変調によって制御されてもよい。上記、およびその他のタイプの能動的オブジェクトの場合、能動的オブジェクトの能動的機能は、ユーザによって制御されること、あるいは代替として、仮想環境を生成するソフトウェアプログラムによって制御されることが可能である。電力が、バッテリ、または充電されたキャパシタによって能動的オブジェクトに供給されて、能動的オブジェクトが、ある能動的機能を実行できるようにすることが可能である。このため、ソフトウェアを実行するコンピューティングデバイスが、能動的オブジェクトを制御することができ、能動的オブジェクトは、仮想オブジェクトの動作に影響を与え、ユーザにさらに影響を与えることができ、その逆も同様である。多くの異なる対話のシナリオも、明らかに容易に想像できる。

受動的オブジェクトと仮想環境の間で、他のタイプの対話が可能である。例えば、物理的オブジェクトに固有であり、物理的オブジェクトを介して見えるイメージが、物理的オブジェクトが配置されたディスプレイ表面上に投影されることが可能である。すると、投影されたイメージは、物理的オブジェクトを介して可視であり、物理的オブジェクトの一部として現れる。というのは、この投影されたイメージは、ディスプレイ表面上で受動的オブジェクトが動かされるにつれ、動き回るからである。

この方法において、物理的オブジェクトの位置は判定されるので、仮想オブジェクトと物理的オブジェクトとの間で視覚的干渉を避けるように選択されたディスプレイ表面上の位置に、仮想エンティティを表示することができる。仮想エンティティは、仮想オブジェクトまたは情報を含む。好ましくは、物理的オブジェクトに対する干渉を避けるように仮想エンティティを選択的に表示することができる、複数の優先順位付けされた位置、または順序付けされた位置が判定される。物理的エンティティに対する干渉を避け、最高の優先順位を有する位置が、仮想エンティティの表示のために選択される。また、この方法は、好ましくは、仮想エンティティを視覚的に認識する特定のユーザの位置も判定して、その特定のユーザが仮想エンティティを容易に視覚的に認識することを可能にするように選択された位置に、仮想エンティティが方向付けられ、表示されるようにする。その位置は、物理的オブジェクトと仮想エンティティの間の視覚的干渉を避けるように選択される。仮想エンティティを、最高優先順位の位置で物理的オブジェクトに対する干渉なしに表示することができない場合、仮想エンティティのサイズを縮小して、物理的オブジェクトに対する干渉を避けることができる。

本発明の別の態様は、本方法のステップを実行するためのマシン実行可能命令が格納された記憶媒体を対象とする。

本発明のさらに別の態様は、仮想環境と物理的オブジェクトとの間の対話を可能にするためのシステムを対象とする。システムは、仮想環境が表示されるディスプレイ表面を含む対話型ディスプレイ、およびディスプレイ表面上に置かれた物理的オブジェクトを検出するためのセンサを含む。プロセッサが、対話型ディスプレイ、ならびにマシン命令が格納されたメモリに結合される。プロセッサによって実行されると、マシン命令は、プロセッサが、以上に説明した方法のステップと全体的に合致する複数の機能を実行するようにさせる。

本発明の以上の態様、および付随する利点の多くは、添付の図面と併せて解釈される以下の詳細な説明を参照して本発明がよりよく理解されるにつれ、より容易に認識されるようになろう。

本発明によれば、オブジェクトと仮想環境ディスプレイとの間の対話を円滑にする効果を奏する。

以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。

本発明を実施するための典型的なシステム
図１を参照し、本発明の様々な部分を実施するのに適した典型的なシステムを説明する。システムは、プロセッサ２１、システムメモリ２２、およびシステムバス２３を備えた、従来のＰＣ（personal computer）２０の形態の汎用コンピューティングデバイスを含む。システムバスは、システムメモリを含む様々なシステムコンポーネントをプロセッサ２１に結合し、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含め、いくつかのタイプのバス構造のいずれであることも可能である。システムメモリは、読み取り専用メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５を含む。スタートアップ中などに、ＰＣ２０内部の要素間で情報を転送するのを助ける基本ルーチンを含む、ＢＩＯＳ（Basic Input/Output System）２６が、ＲＯＭ２４の中に格納される。ＰＣ２０は、ハードディスク（図示せず）に対して読み取りおよび書き込みを行うためのハードディスクドライブ２７、リムーバブルな磁気ディスク２９に対して読み取りまたは書き込みを行うための磁気ディスクドライブ２８、およびＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）または他の光媒体などの、リムーバブルな光ディスク３１に対して読み取りまたは書き込みを行うための光ディスクドライブ３０をさらに含む。ハードディスクドライブ２７、磁気ディスクドライブ２８、および光ディスクドライブ３０は、それぞれ、ハードディスクドライブインタフェース３２、磁気ディスクドライブインタフェース３３、および光ディスクドライブインタフェース３４でシステムバス２３に接続される。以上のドライブ、および関連するコンピュータ可読媒体により、コンピュータ可読マシン命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性ストレージが、ＰＣ２０に提供される。本明細書で説明する典型的な環境は、ハードディスク、リムーバブルな磁気ディスク２９、およびリムーバブルな光ディスク３１を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭなどの、コンピュータがアクセスすることができるデータおよびマシン命令を格納することができる、他のタイプのコンピュータ可読媒体も典型的な動作環境で使用できることが、当業者には認識されよう。

オペレーティングシステム３５、１つまたは複数のアプリケーションプログラム３６、その他のプログラムモジュール群３７、およびプログラムデータ３８を含め、いくつかのプログラムモジュールが、ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ２４、またはＲＡＭ２５に格納されることが可能である。ユーザは、キーボード４０やポインティングデバイス４２などの入力デバイス群を介して、コマンドおよび情報をＰＣ２０に入力することができ、制御入力を与えることができる。ポインティングデバイス４２には、マウス、スタイラス、ワイヤレスリモコン、または他のポインタが含まれることが可能であるが、本発明に関連して、そのような従来のポインティングデバイス群は、省くことができる。というのは、ユーザは、入力および制御のために対話型ディスプレイを使用することができるからである。以下に使用する「マウス」という用語は、スクリーン上でカーソルの位置を制御するのに役立つ、実質的にあらゆるポインティングデバイスを包含するものとする。その他の入力デバイス群（図示せず）には、マイク、ジョイスティック、触覚（ｈａｐｔｉｃ）ジョイスティック、ヨーク（ｙｏｋｅ）、フットペダル、ゲームパッド、衛星パラボラアンテナ、スキャナなどが含まれることが可能である。以上、およびその他の入出力（Ｉ／Ｏ）デバイス群は、しばしば、システムバス２３に結合されたＩ／Ｏインタフェース４６を介してプロセッサ２１に接続される。Ｉ／Ｏインタフェースという用語は、シリアルポート、パラレルポート、ゲームポート、キーボードポート、および／またはユニバーサルシリアルバス（ＵＳＢ）として具体的に使用される各インタフェースを包含するものとする。システムバス２３は、カメラインタフェース５９にも接続され、インタフェース５９は、対話型ディスプレイ６０に結合されて、以下に説明するとおり、ディスプレイ６０内部に含まれるデジタルビデオカメラから信号を受け取る。デジタルビデオカメラは、代わりに、ＵＳＢバージョン２．０ポートなどの、適切なシリアルＩ／Ｏポートに結合してもよい。オプションとして、モニタ４７を、ビデオアダプタ４８などの適切なインタフェースを介して、システムバス２３に接続することができるが、本発明の対話型ディスプレイは、情報の表示および入力のため、およびソフトウェアアプリケーション群の制御のために、はるかに豊かな表示、およびユーザとの対話を提供することができ、したがって、ビデオアダプタに結合される。モニタに加え、ＰＣは、しばしば、スピーカ（図示していない、サウンドカードまたは他のオーディオインタフェースを介して）やプリンタなどの、他の周辺出力デバイス（図示せず）にも結合される。ＰＣ２０は、ＰＣが能動的オブジェクトと通信することを可能にするピアツーピア（例えば、Ｂｌｕｅｔｏｏｔｈ（商標））システム（図示せず）を介して、ディスプレイ表面上に置かれた能動的オブジェクト群に結合できることも企図されている。代替として、コントローラを、適切なＩ／Ｏポートを介してＰＣに結合することもでき、コントローラは、以下に説明するとおり、対話型テーブル内部に含まれるソースによって生成される、可視またはＩＲの光信号を介することも含め、適切な有線リンク、ＲＦ（radio frequency）リンク、または他のタイプの無線リンクを介して、１つまたは複数の能動的オブジェクトに結合することができる。

本発明は、単一のマシン上で実施することができるが、ＰＣ２０は、リモートコンピュータ４９のような、１つまたは複数のリモートコンピュータに対する論理接続を使用するネットワーク化された環境においても動作することができる。リモートコンピュータ４９は、別のＰＣ、サーバ（通常、全体的にＰＣ２０とほぼ同様に構成される）、ルータ、ネットワークＰＣ、ピアデバイス、若しくはサテライトまたは他の一般的なネットワークノードであることが可能であり、通常、ＰＣ２０に関連して前述した要素の多く、またはすべてを含むが、外部メモリ記憶装置５０だけを図１に示している。図１に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）５１およびワイドエリアネットワーク（ＷＡＮ）５２を含む。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的である。

ＬＡＮネットワーキング環境で使用される場合、ＰＣ２０は、ネットワークインタフェースまたはネットワークアダプタ５３を介してＬＡＮ５１に接続される。ＷＡＮネットワーキング環境で使用される場合、ＰＣ２０は、通常、インターネットなどのＷＡＮ５２を介して通信を確立するために、モデム５４、またはケーブルモデム、デジタル加入者線（ＤＬＳ）インタフェース、またはＩＳＤＮ（Integrated Services Digital Network）インタフェースなどの他の手段を含む。内部にあることも、外部にあることも可能なモデム５４は、システムバス２３に接続されるか、またはＩ／Ｏデバイスインタフェース４６を介して、すなわち、シリアルポートを介して、このバスに結合される。ネットワーク化された環境では、ＰＣ２０に関連して示したプログラムモジュール群、またはプログラムモジュール群の諸部分は、リモートメモリ記憶装置の中に格納することができる。図示したネットワークは、典型的であり、無線通信や広帯域ネットワークリンクなどの、コンピュータ間で通信リンクを確立する他の手段も使用できることが認められよう。

典型的な対話型テーブル
図２に、フレーム６２内にＰＣ２０を含み、コンピュータのための光入力デバイスと光出力デバイスの両方の役割をする典型的な対話型テーブル６０を示す。対話型テーブルのこの破断図では、グラフィックイメージを表示するために使用される光線が、全般的に、点線（dotted line）を使用して示される一方で、ディスプレイ表面６４ａの上、または少し上方のオブジェクト群を感知するために使用される赤外（ＩＲ）光線が、破線（dash line）を使用して示される。ディスプレイ表面６４ａは、対話型テーブルのテーブル表面６４の範囲内に置かれる。テーブル表面の周囲（perimeter）は、ユーザの腕、あるいはディスプレイ表面６４ａ上に表示されるグラフィックイメージまたは仮想環境と対話するのにまだ使用されていない他のオブジェクト群を支承するのに役立つが、明らかに必須ではない。

ＩＲ光線源６６は、好ましくは、複数のＩＲ発光ダイオード（ＬＥＤ）を含み、フレーム６２の内側に取り付けられる。ＩＲ光線源６６によって生じさせられたＩＲ光線は、破線７８ａ、７８ｂ、および７８ｃで示すとおり、ディスプレイ表面６４ａの下面に向けて上方に向けられる。ＩＲ光線源６６のＩＲ光線は、ベラム（ｖｅｌｌｕｍ）、または光拡散特性を有する他の適切な材料のシートを含む、テーブルの半透明レイヤ６４ｂを透過した後、ディスプレイ表面上の、またはディスプレイ表面近くのあらゆるオブジェクトから反射される。透明なプラスチックなどの透明の材料のシートを使用して、必要な場合、半透明レイヤ６４ｂとして使用される光を拡散させる材料を支えることができる。１つだけのＩＲ源６６を示しているが、複数のそのようなＩＲ源をフレーム６２の内側の周囲に離間した位置で取り付けて、ディスプレイ表面６４ａの均等な照射を実証する（prove）こともできることが認められよう。ＩＲ源によって生じさせられる赤外線は、次のことが可能である。すなわち、
・破線７８ａで示すとおり、オブジェクトを全く照射せずに、テーブル表面を透過して出ること、
・破線７８ｂで示すとおり、テーブル表面上のオブジェクトを照射すること、または
・破線７８ｃで示すとおり、テーブル表面から上方に短い距離であるが、テーブル表面には触れていないオブジェクトを照射することである。

ディスプレイ表面６４ａの上方のオブジェクトには、ディスプレイ表面の上に置かれている「接触」オブジェクト７６ａ、ならびにディスプレイ表面に近接しているが、実際に接触はしていない「ホバー（ｈｏｖｅｒ）」オブジェクト７６ｂが含まれる。ディスプレイ表面の下で半透明レイヤ６４ｂを使用して、ディスプレイ表面を透過するＩＲ光線を拡散させることの結果として、オブジェクトがディスプレイ表面６４ａの上面に接近するにつれ、オブジェクトによって反射されるＩＲ光線の量は、オブジェクトがディスプレイ表面６４ａに実際に接触した場合に達せられる最大レベルまで増加する。

デジタルビデオカメラ６８が、ディスプレイ表面６４ａの上方に置かれた接触オブジェクトまたはホバーオブジェクトから反射されたＩＲ光線を受け取るのに適切な位置で、ディスプレイ表面６４ａの下のフレーム６２に取り付けられる。デジタルビデオカメラ６８は、ＩＲ光線だけを透過させ、点線８４ａに沿ってディスプレイ表面６４ａを透過する周辺可視光を遮るＩＲ透過フィルタ８６ａを備える。ＩＲ源６６とデジタルビデオカメラとの間にバフル（ｂａｆｆｌｅ）７９が配置されて、ＩＲ源から直接に放出されたＩＲ光線がデジタルビデオカメラに入るのを防止する。というのは、そのデジタルビデオカメラが、ディスプレイ表面６４ａから上方に短い距離の、またはディスプレイ表面６４ａに接触するオブジェクト群から反射されたＩＲ光線に応答する出力信号を生成することが重要だからである。ミラー７２ｂ（図２）からの２次反射の結果として生じさせられる鏡面反射を避けるため、または直接のＩＲ光線がビジョンシステムに達するのを避けるため、それらのＩＲ ＬＥＤの位置を選択する際に注意が払われた。それらの鏡面反射および直接ＩＲ光線は、ディスプレイ表面上のオブジェクト群を感知することを妨げるデッドスポット（ｄｅａｄ ｓｐｏｔ）をビジョンシステムにおいて生じさせる可能性がある。デジタルビデオカメラ６８は、ディスプレイ表面６４ａを透過し、対話型ディスプレイの内部に入る周辺光（例えば、点線８４ａで示した経路に沿っても伝わる周辺ＩＲ光線）に含まれるＩＲ光線にも応答することが認識されよう。

テーブル表面の上、または上方のオブジェクト群から反射されるＩＲ光線は、次のことが可能である。すなわち、
・破線８０ａおよび８０ｂで示すとおり、反射されて半透明レイヤ６４ｂを透過して戻り、ＩＲ透過フィルタ８６ａを透過し、デジタルビデオカメラ６８のレンズ群に入ること、または
・破線８０ｃで示すとおり、デジタルビデオカメラ６８のレンズ群に入らずに、対話型ディスプレイ内部の他の内側面（ｉｎｔｅｒｉｏｒ ｓｕｒｆａｃｅ）によって反射されるか、または吸収されることである。

半透明レイヤ６４ｂは、入射するＩＲ光線と反射されたＩＲ光線をともに拡散させる。このため、前述したとおり、ディスプレイ表面６４ａにより近い「ホバー」オブジェクト群は、ディスプレイ表面からより遠くに離れた同一の反射率のオブジェクト群より多くのＩＲ光線をデジタルビデオカメラ６８に反射して戻す。デジタルビデオカメラ６８は、カメラ６８のイメージングフィールド内の「接触」オブジェクト群または「ホバー」オブジェクト群から反射された赤外線を感知し、その反射されたＩＲ光線のイメージ群に対応するデジタル信号を生成し、この信号が、それぞれのそのようなオブジェクトの位置、ならびにオプションとして、そのオブジェクトのサイズ、向き、および形状を判定する処理のためにＰＣ２０に入力される。オブジェクトの一部分（ユーザの前腕など）がテーブルの上方にある一方で、別の部分（ユーザの指など）は、ディスプレイ表面に接触していることも可能であることに留意されたい。さらに、オブジェクトは、オブジェクトの底面上に、そのオブジェクト、またはそのオブジェクトがメンバである関連するオブジェクトのクラスに固有であるＩＲ光線反射パターンまたはＩＲ光線反射コード（例えば、バーコード）を含むことも可能である。したがって、デジタルビデオカメラ６８からのイメージング信号は、オブジェクトの反射パターンから反射されたＩＲ光線に基づき、そのような特定のオブジェクトを検出することとならんで、オブジェクトの向きを判定することのためにも使用することができる。

ＰＣ２０は、図２に示すとおり、対話型テーブル６０と一体になっていることも、そうではなく、図６の実施形態で示すとおり、対話型テーブルの外部にあることも可能である。図６では、対話型テーブル１８２が、データケーブル１８６を介して外部ＰＣ１８４（前述したとおり、オプションのモニタを含む）に接続されている。対話型テーブルは、外部ＰＣ１８４、あるいはセットトップボックス、ビデオゲーム、ラップトップコンピュータ、またはメディアコンピュータなどの、他の何らかのタイプのコンピューティングデバイスに接続される場合、入出力デバイスを含む。外部ＰＣ１８４を対話型テーブル１８２に接続するデータケーブル１８６は、ＰＣ１８４上のＵＳＢ２．０ポート、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（米電気電子学会））１３９４（またはＦｉｒｅｗｉｒｅ）ポート、またはイーサネット（登録商標）ポートに結合することができる。無線接続の速度が向上するにつれ、対話型テーブルは、高速無線接続を介して、または他の何らかの適切な有線または無線のデータ通信リンクを介してＰＣ１８４などのコンピューティングデバイスに接続することが可能であることも企図されている。対話型ディスプレイの一部として内部に含められるか、外部に含められるかに関わらず、ＰＣは、デジタルビデオカメラ６８からのデジタルイメージを処理するためのアルゴリズムを実行し、対話型テーブル６０のより直観的なユーザインタフェース機能を有利に使用するように設計されたソフトウェアアプリケーション群を実行するとともに、そのような機能を利用するように特に設計されていないが、それでも、対話型テーブルの入力能力および出力能力を使用することができる他のソフトウェアアプリケーション群も実行する。

対話型テーブル（前述した実施形態のいずれでも）の重要で強力な特徴は、ゲームまたは他のソフトウェアアプリケーション群に関するグラフィックイメージまたは仮想環境を表示することができ、ディスプレイ表面６４ａ上に見られるグラフィックイメージまたは仮想環境と、ディスプレイ表面の上に置かれた、またはディスプレイ表面から少し上方に浮いたオブジェクト群の間の対話を可能にすることができることである。

図２を再び参照すると、対話型テーブル６０は、ディスプレイ表面６４ａ上にグラフィックイメージ、仮想環境、またはテキスト情報を表示するのに使用されるビデオプロジェクタ７０を含む。ビデオプロジェクタは、好ましくは、少なくとも６４０×４８０ピクセルの解像度を有する、ＬＣＤ（液晶ディスプレイ）、またはＤＬＰ（ｄｉｇｉｔａｌ ｌｉｇｈｔ ｐｒｏｃｅｓｓｏｒ（デジタルライトプロセッサ））ディスプレイタイプ、またはＬＣｏＳ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）ディスプレイタイプを含む。ＩＲカットフィルタ８６ｂが、ビデオプロジェクタ７０のプロジェクタレンズの前方に取り付けられて、ビデオプロジェクタによって放出されたＩＲ光線が、対話型テーブルの内部に入り、ディスプレイ表面６４ａの上、または上方のオブジェクトから反射されたＩＲ光線に干渉するのを防止する。第１のミラーアセンブリ７２ａが、プロジェクタレンズから点線の経路８２ａに沿ってフレーム６２における透明な開口９０ａを透過して伝わる、投射された光を方向付け、その投射された光が、第２のミラーアセンブリ７２ｂ上に入射するようにする。第２のミラーアセンブリ７２ｂは、投射された光を半透明レイヤ６４ｂ上に反射し、レイヤ６４ｂは、投影されたイメージが、表示（ｖｉｅｗｉｎｇ）のためにディスプレイ表面６４ａ上で焦点が合って見えるように、プロジェクタレンズの焦点に位置する。

アラインメントデバイス７４ａおよび７４ｂが提供され、第１のミラーアセンブリおよび第２のミラーアセンブリの角度を調整して、ディスプレイ表面上に投影されたイメージが、ディスプレイ表面と揃っていることを確実にするためのネジ棒と回転可能な調整ナット群７４ｃを含む。投影されたイメージを所望の方向に向けることに加え、これら２つのミラーアセンブリの使用は、プロジェクタ７０と半透明レイヤ６４ｂの間でより長い経路を提供し、より重要なことには、対話型ディスプレイテーブルの所望のサイズおよび形状を実現することに役立ち、対話型ディスプレイテーブルが大き過ぎず、ユーザがテーブルの隣に快適に座ることを可能にするサイズと形状であるようにする。

仮想環境内における物理的オブジェクトと仮想オブジェクトとの間の対話
図４の機能ブロックダイアグラム１３０は、本発明に従って、受動的な物理的オブジェクト１３６が、どのようにユーザおよび仮想環境と対話するかを示す。（本明細書では、「受動的な物理的オブジェクト」という用語を時として短縮して、単に「受動的オブジェクト」と呼ぶ）この図に示すとおり、ユーザ１３２は、受動的な物理的オブジェクト１３６をディスプレイ１３４上、またはその近くに置くことができる。ディスプレイ表面上の受動的な物理的オブジェクト１３６の存在は、感知機能１３８によって検出され、この機能１３８は、受動的な物理的オブジェクトがディスプレイ１３４の上に置かれている、またはすぐ上方に位置している場合、対話型テーブル６０内部で、受動的な物理的オブジェクトの底部から反射されたＩＲ光線を検出するデジタルビデオカメラ６８によって実行される。受動的な物理的オブジェクトを示す信号は、ＣＰＵ（central processing unit）によって実行されるソフトウェアに供給されて仮想環境１４０を生成し、仮想環境が、受動的な物理的オブジェクトの存在を認識し、その存在に応答することができるようにする。図４には示していないが、ディスプレイ１３４の上で、またはすぐ上方に物理的オブジェクトを位置付ける、またはそこで動かすことに加え、ユーザ１３２は、キーボード、ポインティングデバイスを介して、または単に仮想環境と対話することにより、例えば、メニュー項目を選択することなどにより、他のソースの入力を仮想環境１４０に提供することができる。仮想環境１４０は、ディスプレイ１３４にイメージングされるので、仮想環境を生成するソフトウェアプログラムは、仮想環境内の仮想オブジェクト群が、物理的オブジェクト１３６の存在に応答するとともに、物理的オブジェクトの位置、向き、サイズ、ならびに物理的オブジェクトを一意に識別する物理的オブジェクト上に含まれる符号化された情報にも応答する、または共通クラス内の一群の物理的オブジェクトの１つとして物理的オブジェクト１３６の存在に応答するようにさせることができる。ユーザ、受動的な物理的オブジェクト、および仮想環境の間で行われることが可能な対話のタイプの例を以下に説明する。

図５の機能ブロックダイアグラム１５０の機能図は、能動的な物理的オブジェクト１５４が、どのように仮想環境内の表示されたイメージ１５６と対話するかを示す。（本明細書では、「能動的な物理的オブジェクト」という用語をときとして短縮して、単に「能動的オブジェクト」と呼ぶ。）能動的な物理的オブジェクト１５４は、ユーザが知覚できる１つまたは複数の能動的機能を実行することができる物理的オブジェクトであり、したがって、各能動的オブジェクトとユーザの間には、通常、双方向の対話が存在することが可能である。能動的オブジェクト１５４は、ディスプレイ１３４上に置かれた場合、またはディスプレイのすぐ上方で「ホバリング（ｈｏｖｅｒ）」させられた場合に検出される。能動的オブジェクト１５４を感知するのに、ディスプレイ１３４の上に、またはすぐ上方に配置された能動的オブジェクトから反射されたＩＲ光線が、感知システム１３８によって検出され、システム１３８は、前述したとおり、好適実施形態では、ＩＲ感知デジタルビデオカメラを含む。感知システムによって生成された信号は、デジタル化され、ディスプレイ表面上の能動的オブジェクトの位置、およびオプションとして、形状、向き、ならびに能動的オブジェクトを識別するように能動的オブジェクト上で提供される特定の符号化された情報が、仮想環境１４０を生成するＣＰＵに提供される。この場合も、ユーザ１３２は、仮想環境の表示されたイメージと対話するとともに、能動的オブジェクト群１５４とも対話する。ただし、ユーザは、単にディスプレイ表面上の特定の位置に能動的オブジェクトを配置することを超えて能動的オブジェクト１５４と対話することもできる。例えば、能動的オブジェクトが自走式の車である場合、ユーザ１３２は、能動的オブジェクト１５４に接続されたＲＣ（remote control）デバイス、または別のタイプのコントローラを使用して、方向、速度、ならびにその車が実行することができるその他の能動的機能を制御することができる。能動的オブジェクト１５４は、ディスプレイ１３４と対話することができる。というのは、ディスプレイ上で仮想環境１４０のグラフィックイメージを生成するソフトウェアは、能動的オブジェクト群１５４を制御する信号も生成することができるからである。好ましくは、能動的オブジェクトの制御は、ＰＣに結合されたコントローラを介して行われ、ＰＣが、オブジェクトのユーザによる制御にいくつかの制限を差し挟むことができ、オブジェクトがテーブル上の、またはテーブルから外れた他の受動的オブジェクトまたは能動的オブジェクトと不適切に対話するように能動的な物理的オブジェクトをユーザが制御するのを防止することができるようにしなければならない。例えば、ＰＣは、ユーザが、能動的オブジェクトをディスプレイ表面から外れるように走行させる、または能動的オブジェクトを使用して、ソフトウェア仮想環境の規則内でそのように動かされることになっていない受動的オブジェクトを動かすのを防止することができる。

前述したとおり、あるタイプの能動的な物理的オブジェクトが行うことができる１つの形態の能動的機能は、ディスプレイ表面上で動き回ることである。ただし、能動的オブジェクト１５４は、ユーザ１３２が知覚できる他の能動的機能も実施することができる。例えば、能動的オブジェクト１５４は、仮想環境内の諸条件に応答して、光を放出することができ、場合により、１つまたは複数の異なる光を放出することができる。同様に、能動的オブジェクト１５４は、場合により、表示されている仮想環境内の仮想オブジェクトまたは他のグラフィックイメージのステータスに依存して異なるピッチの、可聴の信号またはトーンを生成することができる。可聴のトーンを生成する代りに、能動的オブジェクト１５４は、振動することも可能である。能動的機能の以上の例のそれぞれにおいて、能動的オブジェクト１５４は、仮想環境と対話し、したがって、能動的オブジェクトは、仮想環境の一部分であるように見え、別個の分離したエンティティではないように見える。

表示された仮想環境は、能動的オブジェクト群１５４、ならびに能動的オブジェクト群１５４がいくつかの異なる形で実施する能動的機能を、制御することができる。仮想環境内で、ＩＲビデオカメラを使用して「ループを閉じ」、オブジェクトの制御された動きの誤りを、制御理論における標準の技術を使用して訂正することができるようにする。例えば、ＰＣのユーザは、ディスプレイ表面上を直線で動くように能動的オブジェクトを制御することを、ビジョンシステムフィードバックを利用することなく、能動的オブジェクト上のモータ群がそのような正確な制御ができない可能性があっても、行うことができる。ブロック１６０で示すとおり、仮想環境（または仮想環境を生成するＣＰＵ）は、能動的オブジェクトが応答し、表示されたイメージの一部である光を使用して能動的オブジェクトと通信すること、あるいはＲＦ信号を生成して、またはＩＲ光線、または他の何らかの信号を使用して、能動的オブジェクトと通信することができる。このため、仮想環境が、ディスプレイ表面上で動き回る可視光の点を含む場合、能動的オブジェクト１５４は、表示されたイメージを生成するソフトウェアアプリケーションプログラムによって制御されるその光の点を実際上、追うことができる。対話型ディスプレイを使用して行われるゲームでは、仮想環境を生成するＣＰＵが、１つまたは複数の能動的オブジェクトを制御することが可能な一方で、ユーザは、他の能動的オブジェクトを制御する。能動的オブジェクトは、受動的オブジェクトとしても機能することが可能である。というのは、ディスプレイ表面上に能動的オブジェクトが単に存在することにより、その位置に能動的な物理的オブジェクトが単に存在することに、仮想環境が適切に応答するようにさせられることが可能だからである。

いくつかの例が、受動的オブジェクトと仮想環境の間、および能動的オブジェクトと仮想環境の間でどのように様々な対話が行われることが可能であるかを示すのに役立つ可能性がある。例えば、ユーザが、ピンボールゲームレイアウトがディスプレイ表面上に現れる仮想環境を含む、ピンボールゲーム（ｐｉｎｂａｌｌ ａｒｃａｄｅ ｇａｍｅ）を行っている場合、ユーザは、ディスプレイ表面上に現れるピンボールゲームイメージ内のバンパ（ｂｕｍｐｅｒ）として構成される受動的オブジェクトを配置することができる。ピンボールを表す仮想オブジェクトが放たれ、ユーザによって配置されたバンパに「当たった」場合、仮想イメージは、はね返るようにさせられ、仮想の光の明滅が、仮想環境によって生成されるサウンドとともに現れるようにさせられる。ユーザが、バンパの役割をする受動的オブジェクトの位置を変えた場合、仮想ゲーム環境は、受動的オブジェクトの新たな位置および向きを感知し、ピンボールが、バンパの新たな位置でバンパに「当たる」ことの応答は、やはり事前定義された応答をもたらす。

次に、ユーザが、仮想環境として表示されたピンボールゲームボード上に円形のバンパを表す能動的オブジェクトを配置した場合、異なるタイプの応答が生成されることが可能である。仮想ピンボールが円形のバンパに「当たった」場合、仮想環境は、能動的オブジェクトの下で光信号を生成することが可能であり、その信号に能動的オブジェクトは、振動して、能動的オブジェクト内部に含まれる光源から光のパルスを生成すること、および／または事前定義された鳴り響くサウンドを生成することで応答する。仮想環境は、ピンボールが能動的エージェントに当たった場合に、能動的オブジェクトの下で他の視覚的な照明の効果または点滅を生成することもできる。

ピンボールは、能動的オブジェクトまたは受動的オブジェクトに「当たった」際のピンボールの動きに適切な方向および力で、ピンボールゲームの仮想環境内で動くようにさせて、仮想ピンボールが、物理の法則で定義される方向で物理的オブジェクトからはね返るようにすることができる。能動的オブジェクトに点灯させる、またはサウンドを発するようにさせる、または振動させるのに、仮想環境は、仮想オブジェクトが能動的オブジェクトに衝突した時点で、能動的オブジェクトの下面上のレセプタ（receptor）に可視光線またはＩＲ光線のパルスを向けて、能動的オブジェクトが、能動的機能を実施するようにさせることができる。さらに、仮想環境内で能動的オブジェクトに伝送される光信号は、能動的オブジェクトが、能動的オブジェクトの下面上に配置されたセンサによって受け取られる特定のコードシーケンスに依存して、異なる能動的機能を実行するようにさせるように符号化することができる。

図７は、物理的オブジェクトがディスプレイ表面１９２上に置かれた場合に仮想イメージ１９０と対話することができる、いくつかの異なる物理的オブジェクトを示す。図７に示すとおり、受動的オブジェクト１９４ａが、仮想環境内の壁を表す。別のタイプの受動的オブジェクトが、ノブ（ｋｎｏｂ）またはリニアパッドなどのユーザインタフェースコントロールを表し、このコントロールが、物理的オブジェクトを回転させる、またはスライドさせることによりユーザによって動かされて、仮想環境の物理的パラメータが変更される。音量レベルなど、ほとんどあらゆるパラメータが、このように調整されることが可能であり、受動的オブジェクトの動きを使用して、複数のメニュー項目の１つを選択することができる。他の受動的オブジェクトには、ディスプレイ表面１９２と接触させられ、表面上で引かれた場合、ディスプレイ表面に押し付けられるオブジェクトに印加される圧力の関数として、太さ、およびその他の諸特性が変化するストロークを表す対応するイメージが、仮想環境によって表示されるようにする、オブジェクトが含まれる。ストロークの諸特性は、ディスプレイ表面に接触するオブジェクトの面積に応答して変化する。描画（ｄｒａｗｉｎｇ）ソフトウェアプログラム群でやはり役立つのが、スタイラスを表す受動的オブジェクトであり、したがって、ユーザは、単に受動的オブジェクトをディスプレイ表面上で動かすことにより、受動的オブジェクトを使用して描画を行うことができる。同様に、受動的オブジェクトは、ディスプレイ表面上に表示されたイメージの諸部分を、表示されたイメージのその部分の上で消しゴム（ｅｒａｓｅｒ）を動かすことによって削除することができる消しゴムであることが可能である。

図７の戦車１９４ｂが、光の点１９６ａがディスプレイ表面１９２上を動き回るのにつれ、その光の点１９６ａの後を追うのが示される。光の点に応答するため、タンク１９４ｂは、点１９６ａを生成するために使用される光の波長に応答する光レセプタ（別個に図示せず）を含む。代替として、戦車１９４ｂは、ＲＣ戦車１９４ｅと同様に、仮想環境ソフトウェアプログラムによって送信されるＲＦ信号を使用して制御されることも可能である。

この例では、ユーザは、戦車１９４ｅの行路に受動的オブジェクト１９４ａを配置しており、オブジェクト１９４ａは、仮想環境において実際の戦車を止める重厚な壁を表す。仮想環境は、受動的オブジェクト１９４ａの検出に応答し、オブジェクト１９４ａの形状、位置、および向きに応答する。受動的オブジェクト１９４ａは、受動的オブジェクト１９４ａの位置が感知される仮想環境内の場所における壁を表すので、仮想環境は、戦車１９４ｅが、仮想環境内で受動的オブジェクト１９４ａによって占められる領域を通って前進することを許さない。このため、壁を表す受動的オブジェクトは、仮想環境によって制御される物理的オブジェクト１９４ｅの動きに影響を与える仮想環境の一部分として扱われる。

物理的オブジェクトは、戦車１９４ｂによって発射された砲弾１９６ｃなどの仮想オブジェクトに応答することもできる。そのような砲弾が当たったことに応答して、仮想の爆発１９６ｄが、戦車１９４ｅのまわりに目立つように現れるようにして、仮想の砲弾が戦車に当たったことを示すことができる。

能動的オブジェクト１９４ｃおよび１９４ｄは、ＲＦコントロールまたは有線コントロール（図示せず）を使用するユーザによって、あるいはＲＦコントロール、ＩＲ光信号がディスプレイ表面１９２上に投射されると、能動的オブジェクト上の光センサが応答するパルスＩＲ光信号源、または可視光線１９６ｂを使用する仮想環境により、やはり制御される、自動車、または他の乗り物に相当する。以上の信号のいずれを使用しても、能動的オブジェクト１９４ｃがディスプレイ表面１９２上で動く方向を制御することができる。

電力が能動的オブジェクトに通電することを要求する諸機能を実行する能動的オブジェクト１９４ｂ、１９４ｃ、１９４ｄ、および１９４ｅは、通常、充電可能な（または充電可能でない）バッテリを含むか、または容量充電（ｃａｐａｃｉｔｉｖｅ ｃｈａｒｇｅ）電源を使用する（最低限の電力量だけしか要さない場合）。図１２は、ＡＣ電源電圧３０２に結合され、ＡＣ電源電圧を適切な電荷信号（ｃｈａｒｇｅ ｓｉｇｎａｌ）に変換して、電荷を能動的オブジェクト３０４に送る典型的な充電ステーション３００を示し、オブジェクト３０４は、電気エネルギーを使用してオブジェクト３０４の能動的機能を実行する。充電可能なバッテリ、または代替として、容量充電ストレージが、電動の（ｐｏｗｅｒｅｄ）能動的オブジェクト３０４内部に含まれる。代替として、充電ステーション３００自体、能動的オブジェクト内部のエネルギー源に充電するために使用されるバッテリを含むことが可能である。このため、能動的オブジェクトは、充電ステーション３００に結合されて、対話型ディスプレイ上の能動的オブジェクトの使用の合間に充電を受ける。

まだ説明していない、本発明で使用される受動的オブジェクトの別の特徴は、表示されたイメージの特定の部分を、受動的オブジェクトが占めるディスプレイ表面上に投影して、表示されたイメージのその部分が、受動的オブジェクトの一部であるように、すなわち、あたかも受動的オブジェクトの底面に付けられているかのように見えるようにすることができることである。図１１は、子供の綴りゲームがその特徴を使用する、単純な例を示す。この例では、ディスプレイ表面６４ａ上に投影される仮想環境は、「ここに語を綴りなさい（Ｓｐｅｌｌ Ｗｏｒｄ Ｈｅｒｅ）」、すなわち、表示された線の上に語を綴りなさいという、ユーザに対する命令を含む。ディスプレイ表面６４ａ上に散乱しているのが、透明なプラスチック材で作られ、受動的オブジェクトのそれぞれの下面にＩＲ符号化されたパターン（人間の目に見えない）が印加されている、複数の受動的オブジェクト２２０である。そのようなパターンの例を１つの受動的オブジェクト上に示す。このため、各受動的オブジェクト２２０は、綴りゲームプログラムの制御の下でディスプレイ表面上のイメージの一部分として投影された文字群が、受動的オブジェクト２２０のそれぞれに関連付けられるように、一意に識別されることが可能である。この単純な例では示していないが、綴りプログラムは、子供のユーザが、示された線の上に受動的オブジェクト群２２０を含むブロック群を適切な順序で並べて、「ＲＡＫＥ（熊手）」という語を綴ろうと試みるように、熊手のピクチャを表示することも可能である。ユーザが、各ブロックをディスプレイ表面６４ａ上で方々にスライドさせるのにつれ、受動的オブジェクトの下面上に投影された対応する文字が、その受動的オブジェクトとともに動き、受動的オブジェクトがディスプレイ表面上で回され、動かされるのに応じて、受動的オブジェクトの向きを保つ。この技術を使用する別の例は、パズルイメージの諸部分が、ディスプレイ表面上に置かれた受動的オブジェクト群の上に投影されるようにする、ソフトウェアアプリケーションに関連する。ユーザは、各受動的オブジェクトを、したがって、その受動的オブジェクト上に投影されたイメージの部分を、他の受動的オブジェクト、ならびにイメージの他の受動的オブジェクトに対応する部分とリンクして、パズルが表す完成されたイメージを形成することにより、パズルを完成させるように受動的オブジェクトを選択的に並べることができる。また、イメージは、ビデオイメージ、または静的でないイメージであることも可能である。

物理的オブジェクトと、仮想環境内に表示された仮想オブジェクトとの間の別の対話は、仮想オブジェクトの少なくとも一部分が、ユーザまたはソフトウェアによってディスプレイ表面上に配置された物理的オブジェクトによって覆い隠される場合、仮想オブジェクトの表示を避けることに関する。物理的オブジェクトは、透明ではないものと想定する。仮想オブジェクトの表示と、ボード上に配置された物理的オブジェクトとの間の干渉により、仮想環境は、物理的オブジェクトの位置およびサイズを認識することが要求される。ディスプレイ表面上で動かされている、またはディスプレイ表面上に置かれている物理的オブジェクトに対する干渉を避けるだけでなく、仮想表示の他の諸態様に対する干渉も避けるように、仮想オブジェクトを表示するための優先順位付けされた位置リストを作成することが、一般に、好ましい。

図８、図９、および図１０は、どのように本発明のこの態様が実施されるかを示す例である。この例では、仮想環境２００は、ＴＲＩＶＩＡＬ ＰＵＲＳＵＩＴ（商標）ゲームボードの表示を表す。ゲーム内の各プレーヤの進行状況（ｐｒｏｇｒｅｓｓ）が、物理的オブジェクトの位置で示される。このため、物理的オブジェクトは、異なるプレーヤにそれぞれが割り当てられた、プレーヤの駒２０２、２０４、または２０８を表す。図８に示すとおり、プレーヤの駒２０２および２０４は、概して、仮想環境２００としてのホイール様の表示の中心、またはハブに位置する。各プレーヤの順番になると、ディスプレイ表面上に仮想環境２００を生成するソフトウェアプログラムが、現在、順番になっているプレーヤに仮想の質問カード２０６を表示し、その質問に対するプレーヤの応答を求めて、プレーヤの駒がゲーム内で前進することができるかどうかを判定する。現在のプレーヤが、図８に示すとおり、仮想表示２００の南西の隅に隣接して物理的に位置しているものと想定すると、質問カード２０６を表示するための最高優先順位の位置は、仮想表示の南西の隅である。この位置が最高優先順位を有するのは、この位置により、この表示位置の隣のプレーヤが、質問カード上の質問を容易に読むことが可能になるからである。質問カード２０６は、仮想オブジェクトであるため、仮想表示２００を生成するソフトウェアプログラムは、異なる優先順位付けされた位置で質問カードを選択的に表示することができる。このケースでは、最高優先順位を有する南西の位置が選択され、使用される。というのは、仮想環境ゲームボードの中心またはハブに配置されたプレーヤの駒２０２または２０４に対して全く干渉しないからである。

しかし、図９では、現在、仮想環境の南西のスポーク（ｓｐｏｋｅ）上に置かれているプレーヤの駒２０８により、質問カードに相当する仮想オブジェクトが、図８で使用した南西の位置に表示されることが除外される。実際、質問カードに応答する必要があるプレーヤに比較的近い、優先順位付けされた位置、または順序付けられた位置のいずれも、選択可能ではない。このケースでは、質問カードに相当する仮想オブジェクト２０６’が表示されるが、仮想オブジェクト２０６’は、仮想オブジェクト２０６と比べてサイズが小さく、質問カードと、ディスプレイ表面上に置かれた物理的オブジェクト群の間で全く干渉を生じさせることなしに、ディスプレイ表面上の２番目に高い優先順位の位置で表示されることが可能である。

図１０は、質問カードを含む仮想オブジェクトを表示することが可能なオプションの位置の優先順位付けされたリスト、または順序付けされたリストを判定する際、Ｔｒｉｖｉａｌ Ｐｕｒｓｕｉｔゲームで使用されるハブ−ホイールデザインの幾何学的形状が、仮想オブジェクトの表示位置の優先順位付けされたリストを作成するのに考慮されることを示す。というのは、ディスプレイ表面上に物理的に置かれるプレーヤの駒は、ボードデザインの縁（ｒｉｍ）、スポーク、またはハブの上だけに置くことができるからである。したがって、ディスプレイ表面上で仮想環境を生成するのに使用されるそれぞれの異なるソフトウェアアプリケーションに関して、異なる基準が、仮想オブジェクトを表示することができる位置の優先順位付けされたリストの判定に影響を与えることが、明白であろう。

図３の流れ図１００は、ディスプレイ表面上に置かれた物理的オブジェクト群に対する干渉を避けるのに、どこに仮想オブジェクトを表示するかを判定する際に使用されるロジックステップを示す。開始ブロック１０２の後、ステップ１０４が、仮想オブジェクトの表示のための可能な位置の順序付けされたリストを作成することを可能にする。図１０に関連して既に述べたとおり、優先順位付けされたリストは、例えば、図１０に示したとおり、仮想オブジェクトと対話するユーザの位置とならび、物理的オブジェクト群が配置される可能性のある位置を定義する可能性が高い、仮想環境のレイアウトも考慮するように順序付けられることが可能である。さらに、優先順位付けは、仮想オブジェクトが、重要な情報が隠されることなしに、物理的オブジェクトによって覆い隠されることが可能な諸部分を含む可能性があることも考慮に入れることができる。例えば、仮想の質問カードの周囲の境界は、仮想の質問カードを読むユーザの能力に影響を与えることなしに、覆い隠されることも可能である。次に、ステップ１０６が、例えば、対話型ディスプレイ内部に含まれるデジタルビデオカメラによって受け取られた、反射されたＩＲ光線に基づき、ディスプレイ表面上の１つまたは複数の物理的オブジェクトの位置を確認する。

次に、ステップ１０８が、優先順位付けされたリスト内の各位置に関して、仮想オブジェクトがそこに表示されるべきであるかどうかを判定する。ステップ１１０で、プログラムは、仮想オブジェクトが表示される際に、仮想オブジェクトがプレーヤの方を向くように方向付ける。次に、判定ステップ１１２により、仮想オブジェクトに少なくとも部分的に干渉するように、ディスプレイ表面上でその位置に配置された物理的オブジェクトが存在するかどうかが判定される。存在する場合、ステップ１１４が、仮想オブジェクトのサイズを変更して、仮想オブジェクトがより小さくなるようにするか、または代替として、物理的オブジェクトの周囲に合うように仮想オブジェクトのサイズまたは形状を変更することにより、仮想オブジェクトを再フォーマットする。次に再び、判定ステップ１１６により、サイズ変更された、または再フォーマットされた仮想オブジェクトを覆い隠す物理的オブジェクトが存在するかどうかが判定される。存在する場合、ロジックは、ステップ１１８に進み、可能な位置の優先順位付けされたリスト内、または順序付けされたリスト内の次の位置が評価される。判定ステップ１１２における判定、または判定ステップ１１６における判定が否定であった場合、ロジックは、ステップ１２０に進み、ロジックが判定ブロック１１２から来た場合には、元のサイズで、ロジックが判定ブロック１１６から来た場合には、より小さいサイズ（または変更されたフォーマット）で、仮想オブジェクトを現在の位置に配置する。判定ブロック１１６に対する肯定応答の後、ステップ１１８は、ステップ１１０に戻り、順序付けされたリスト内の次の位置に関してプロセスを繰り返す。判定ブロック１２０で、仮想オブジェクトがディスプレイ表面上に置かれる（すなわち、表示される）と、ロジックは、ステップ１２２で完了する。優先順位付けされた位置リストを使用する前述したロジックは、単に典型的であり、ディスプレイ表面上に置かれている物理的オブジェクト群に対する干渉を避けるように仮想イメージ群を表示するための、他の制約を満足させる技術、または最適化技術を代わりに使用することもできることが、理解されよう。

本発明は、本発明を実施する好適な形態に関連して説明してきたが、添付の特許請求の範囲の範囲内で多数の変更形態を実施することもできることが、当業者には理解されよう。したがって、本発明の範囲が、以上の説明によって限定されることは全く意図されず、代わりに、添付の特許請求の範囲を参照することによって完全に規定されるものとする。

本発明を適用できる実施形態の、入力データおよび出力データを処理するのに適した全般的に従来のコンピューティングデバイスまたはパーソナルコンピュータ（ＰＣ）を示す機能ブロック図である。 本発明を適用できる実施形態の、対話型テーブルのハードウェアコンポーネント群、対話型テーブル内部の光が通る経路、テーブルの表面の上および上方に配置された典型的なオブジェクト群を示す対話型テーブルの内部の図である。 本発明を適用できる実施形態の、ディスプレイ表面上の物理的オブジェクトとディスプレイ表面上にイメージングされた仮想オブジェクトとの間の視覚的干渉を避ける際に実行されるロジックステップを示す流れ図である。 本発明を適用できる実施形態の、能動的物理的オブジェクトが、どのように感知され、対話型ディスプレイ上に表示された仮想環境と対話するかを示す機能ブロックダイアグラムの図である。 本発明を適用できる実施形態の、能動的物理的オブジェクトが、どのように対話型ディスプレイ上に表示された仮想環境と対話するかを示す機能ブロックダイアグラムの図である。 本発明を適用できる実施形態の、どのように本発明を、スタンドアロンパーソナルコンピュータ、または他のコンピューティングデバイスに結合された対話型ディスプレイとして実施することができるかを示すブロック図である。 本発明を適用できる実施形態の、複数の受動的オブジェクトおよび能動的オブジェクトを仮想環境との対話に関して示すディスプレイ表面の等角投影図である。 本発明を適用できる実施形態の、どのように仮想エンティティ、すなわち、質問カードが、ゲームボードの中央に置かれた複数のプレーヤの駒（ｐｌａｙｅｒ ｐｉｅｃｅ）からの視覚的干渉を避けるように、ゲームボードの隅近くの位置に表示されるかを示す、「ＴＲＩＶＩＡＬ ＰＵＲＳＵＩＴ」ゲームに関する典型的な仮想環境ゲームボードを示す図である。 本発明を適用できる実施形態の、図８で質問カードが表示された位置辺りでディスプレイ表面上に配置されたプレーヤの駒の干渉を避けるように、異なる位置で質問カード（サイズが縮小された）が表示された、図８に示したゲームボードのさらなる例を示す図である。 本発明を適用できる実施形態の、ゲームのプレー中に物理的オブジェクト（すなわち、プレーヤの駒）が存在する可能性がある可能な位置をホイールハブ（ｗｈｅｅｌ ｈｕｂ）が表し、プレーヤの駒による視覚的干渉を避けるように仮想エンティティ（すなわち、質問カード）を表示することができる位置の優先順位付けされたリスト、図８および図９からのゲームボードのホイールハブ部分を示す図である。 本発明を適用できる実施形態の、ディスプレイ表面を介して透明ブロック群の底部に投影された文字を示し、子供の綴りプログラムにおいて語を綴るように固有符号化パターンで識別される透明ブロック群を並べ替えることができるようにする、ディスプレイ表面の一部分を示す等角投影図である。 本発明を適用できる実施形態の、能動的オブジェクト内部のエネルギー源が、どのように充電ステーション（ｐｏｗｅｒ ｃｈａｒｇｉｎｇ ｓｔａｔｉｏｎ）によって充電されることが可能であるかを示す図である。

符号の説明

１３０、１５０ 機能ブロックダイアグラム
１３２ ユーザ
１３４ ディスプレイ
１３６ 受動的な物理的オブジェクト
１３８ 感知機能
１４０ 仮想環境
１５４ 能動的な物理的オブジェクト
１６０ ブロック

Claims (43)

1. 仮想環境と物理的オブジェクトとの間の対話を可能にするための方法であって、
   （ａ）前記物理的オブジェクトが、前記仮想環境が表示されるディスプレイ表面上に置かれている場合、前記物理的オブジェクト、および前記物理的オブジェクトの位置を検出するステップであって、前記物理的オブジェクトは、前記物理的オブジェクトから反射された光を前記ディスプレイ表面の下から光学的に感知することによって、前記ディスプレイ表面上で検出されるステップと、
   （ｂ）前記仮想環境内で、あたかも前記物理的オブジェクトが前記仮想環境内に含まれるかのように前記物理的オブジェクトに対する応答を生成するステップであって、前記ディスプレイ表面上に置かれた前記物理的オブジェクトのタイプに依存して、２つの異なるモードで前記物理的オブジェクトと前記仮想環境との間の対話を可能にし、前記２つの異なるモードは、
   （ｉ）前記仮想環境が前記ディスプレイ表面上の前記物理的オブジェクトの存在に応答する第１のモードと、
   （ｉｉ）前記物理的オブジェクトが、前記物理的オブジェクトが検出された後に表示される前記仮想環境に応答する第２のモードであって、前記物理的オブジェクトは、前記仮想環境の変化に応答してユーザが知覚することができる能動的機能を実行する能動的オブジェクトを備える、第２のモードとを含む
   生成するステップと
   を備えることを特徴とする方法。
2. 前記ディスプレイ表面上の前記物理的オブジェクトの位置の変化を感知することにより、前記ディスプレイ表面に対する前記物理的オブジェクトの動きを追跡するステップをさらに備えることを特徴とする請求項１に記載の方法。
3. 前記第２のモードで前記物理的オブジェクトに対する前記応答を生成するステップは、前記ディスプレイ表面に対する前記物理的オブジェクトの前記動きに応答して、前記仮想環境内の少なくとも１つのパラメータの値を変更するステップを含むことを特徴とする請求項２に記載の方法。
4. 前記第１のモードで前記応答を生成するステップは、前記仮想環境内で仮想オブジェクトが前記物理的オブジェクトと対話するようにさせるステップを含むことを特徴とする請求項１に記載の方法。
5. 前記物理的オブジェクトとの前記仮想オブジェクトの前記対話は、前記仮想オブジェクトが、前記ディスプレイ表面上に前記物理的オブジェクトが置かれた前記仮想環境内の領域を通過しないよう制御するステップを含むことを特徴とする請求項４に記載の方法。
6. 前記第１のモードにおいて前記物理的オブジェクトのサイズと形状の少なくともどちらかを検出して、前記仮想環境内で前記物理的オブジェクトに対する事前定義された応答を可能にするステップをさらに備えることを特徴とする請求項１に記載の方法。
7. 前記ディスプレイ表面の下で光学的に検出される事前定義されたパターンで符号化された、前記物理的オブジェクトから反射された前記光に基づき、前記物理的オブジェクトを識別するステップをさらに備えることを特徴とする請求項１に記載の方法。
8. 前記仮想環境が前記第１のモードで応答する前記物理的オブジェクトは、能動的機能を全く実行しない受動的オブジェクトを含むことを特徴とする請求項７に記載の方法。
9. 前記仮想環境内において前記第２のモードで、前記能動的オブジェクトによって検出され、前記能動的オブジェクトが前記能動的機能を実行するようにさせる信号を生成するステップをさらに備えることを特徴とする請求項１に記載の方法。
10. 前記能動的機能は、
    （ａ）前記能動的オブジェクトの視覚的に認識できる状態、
    （ｂ）前記能動的オブジェクトの聴覚的に認識できる状態、
    （ｃ）前記ディスプレイ表面上の前記能動的オブジェクトの動き、および
    （ｄ）前記能動的オブジェクトの少なくとも一部分の振動
    の１つを生成するステップを含むことを特徴とする請求項１に記載の方法。
11. 前記能動的オブジェクトは、可動であり、前記能動的機能の実行により、前記ディスプレイ表面上で該能動的オブジェクトが動くことを特徴とする請求項１に記載の方法。
12. 前記能動的オブジェクトの前記能動的機能が前記ユーザによって制御されることを可能にするステップをさらに備えることを特徴とする請求項１に記載の方法。
13. 前記能動的オブジェクトによって実行される前記能動的機能が、前記仮想環境を生成するソフトウェアプログラムによって制御されることを可能にするステップをさらに備えることを特徴とする請求項１に記載の方法。
14. バッテリと充電されたキャパシタのどちらかによって前記能動的オブジェクトに電力が供給され、前記能動的オブジェクトが、前記能動的機能を実行することを可能にすることを特徴とする請求項１に記載の方法。
15. 前記物理的オブジェクトの前記位置に限定され、前記ディスプレイ表面上の前記物理的オブジェクトの前記位置で、前記物理的オブジェクトを介して見える投影されたイメージを表示して、前記物理的オブジェクトを介して見える前記投影されたイメージが、前記物理的オブジェクトの一部として見えるようにするが、前記ディスプレイ表面上に表示された前記仮想環境の全体的イメージの一部であるステップをさらに備えることを特徴とする請求項１に記載の方法。
16. （ａ）前記ディスプレイ表面上の仮想オブジェクトと情報のどちらかを含む仮想エンティティを表示するステップと、
    （ｂ）前記仮想オブジェクトと前記ディスプレイ表面上に置かれた前記物理的オブジェクトとの間の視覚的干渉を避けるように選択された位置で、前記仮想エンティティを表示するステップと
    をさらに備えることを特徴とする請求項１に記載の方法。
17. 前記物理的オブジェクトに対する前記干渉を避けるように前記仮想エンティティを選択的に表示することができる複数の優先順位付けされた位置を提供し、より高い優先順位を有する位置が、前記物理的オブジェクトに対する前記干渉を避けるように、前記仮想エンティティの表示のために選択されるステップをさらに備えることを特徴とする請求項１６に記載の方法。
18. 前記仮想エンティティを視覚的に認識する特定のユーザの位置を判定し、前記物理的オブジェクトに視覚的に干渉することも回避しながら、前記特定のユーザが前記仮想エンティティを容易に視覚的に認識するのを促すように自動的に選択された位置で、前記仮想エンティティを方向付け、表示するステップをさらに備えることを特徴とする請求項１６に記載の方法。
19. 前記仮想エンティティのサイズを小さくして、前記仮想エンティティが前記ディスプレイ表面上に表示される位置で前記物理的オブジェクトに干渉するのを避けるようにするステップをさらに備えることを特徴とする請求項１６に記載の方法。
20. 前記仮想エンティティの形状を再フォーマットして、前記仮想エンティティが前記ディスプレイ表面上に表示される位置で前記物理的オブジェクトに干渉するのを避けるようにするステップをさらに備えることを特徴とする請求項１６に記載の方法。
21. 請求項１に記載のステップを実行するためのマシン実行可能命令が格納されていることを特徴とする記憶媒体。
22. 仮想環境と物理的オブジェクトとの間の対話を可能にするためのシステムであって、
    （ａ）（ｉ）前記仮想環境が表示されるディスプレイ表面と、
    （ｉｉ）前記ディスプレイ表面上に置かれた物理的オブジェクトを検出するためのセンサと
    を含む対話型ディスプレイと、
    （ｂ）前記対話型ディスプレイに結合されたプロセッサと、
    （ｃ）前記プロセッサに結合され、前記プロセッサによって実行されると、前記プロセッサに複数の機能を実行させるマシン命令を格納するメモリであって、該複数の機能は、
    （ｉ）前記センサを使用して、前記物理的オブジェクトが、前記仮想環境が表示されるディスプレイ表面上に置かれた場合、前記物理的オブジェクト、および前記物理的オブジェクトの位置を検出する機能と、
    （ｉｉ）前記仮想環境内で、あたかも前記物理的オブジェクトが前記仮想環境内に含まれるかのように前記物理的オブジェクトに対する応答を生成する機能であって、前記ディスプレイ表面上に置かれた前記物理的オブジェクトのタイプに依存して、２つの異なるモードで前記物理的オブジェクトと前記仮想環境との間の対話を可能にし、前記２つの異なるモードは、
    （ｉ）前記仮想環境が前記ディスプレイ表面上の前記物理的オブジェクトの存在に応答する第１のモードと、
    （ｉｉ）前記物理的オブジェクトが、前記物理的オブジェクトが検出された後に表示される前記仮想環境に応答する第２のモードであって、前記物理的オブジェクトは、前記仮想環境の変化に応答してユーザが知覚することができる能動的機能を実行する能動的オブジェクトを備える、第２のモードとを含む
    生成する機能と
    を含むメモリと
    を備えたことを特徴とするシステム。
23. 前記センサは、前記ディスプレイ表面の下に配置され、前記ディスプレイ表面上の前記位置に配置された前記物理的オブジェクトから反射された光を検出するカメラを含むことを特徴とする請求項２２に記載のシステム。
24. 前記仮想環境は、前記ディスプレイ表面の下から前記ディスプレイ表面上に投影されることを特徴とする請求項２２に記載のシステム。
25. 前記マシン命令はさらに、前記プロセッサに、前記ディスプレイ表面上の前記物理的オブジェクトの前記位置の変化を感知することにより、前記ディスプレイ表面に対する前記物理的オブジェクトの動きを追跡するための、前記カメラからの信号を処理させることを特徴とする請求項２３に記載のシステム。
26. 前記プロセッサは、前記ディスプレイ表面に対する前記物理的オブジェクトの前記動きに応答して、前記仮想環境内の少なくとも１つのパラメータの値を変更することにより、前記第１のモードで前記物理的オブジェクトに対する前記応答を生成することを特徴とする請求項２５に記載のシステム。
27. 前記プロセッサは、前記仮想環境内の仮想オブジェクトが前記物理的オブジェクトと対話するようにさせることにより、前記第１のモードで前記物理的オブジェクトに対する前記応答を生成することを特徴とする請求項２２に記載のシステム。
28. プロセッサは、前記仮想オブジェクトが、前記物理的オブジェクトが前記仮想環境内に配置されている前記仮想環境内の領域を通過しないよう制御することにより、前記仮想オブジェクトに前記物理的オブジェクトと対話させることを特徴とする請求項２７に記載のシステム。
29. 前記プロセッサは、前記センサを使用して前記物理的オブジェクトのサイズと形状の少なくともどちらかを検出して、前記物理的オブジェクトに対する事前定義された応答が前記仮想環境内で実行されることを可能にすることを特徴とする請求項２２に記載のシステム。
30. 前記マシン命令はさらに、前記プロセッサに前記センサを使用して、前記センサによって光学的に検出される事前定義されたパターンで符号化された、前記物理的オブジェクトから反射された光に基づき、前記物理的オブジェクトを識別させることを特徴とする請求項２２に記載のシステム。
31. 前記仮想環境が前記第１のモードで応答する前記物理的オブジェクトは、能動的機能を全く実行しない受動的オブジェクトを含むことを特徴とする請求項３０に記載のシステム。
32. 前記マシン命令はさらに、前記プロセッサに、前記能動的オブジェクトによって検出される信号を前記対話型ディスプレイを使用して生成させ、前記能動的オブジェクトに、前記能動的機能を前記第２のモードで実行させることを特徴とする請求項２２に記載のシステム。
33. 前記能動的機能は、
    （ａ）前記能動的オブジェクトの視覚的に認識できる状態
    （ｂ）前記能動的オブジェクトの聴覚的に認識できる状態、
    （ｃ）前記ディスプレイ表面上の前記能動的オブジェクトの動き、および
    （ｄ）前記能動的オブジェクトの少なくとも一部分の振動
    の１つを含むことを特徴とする請求項２３に記載のシステム。
34. 前記能動的オブジェクトは、可動であり、前記能動的機能の実行により、前記ディスプレイ表面上で該能動的オブジェクトが動くことを特徴とすることを特徴とする請求項２２に記載のシステム。
35. 前記能動的オブジェクトの前記能動的機能は、ユーザによって制御されることを特徴とする請求項２２に記載のシステム。
36. 前記プロセッサは、前記能動的オブジェクトのユーザによる制御を制限して、好ましくない結果を防止することを特徴とする請求項３５に記載のシステム。
37. 前記能動的オブジェクトによって実行される前記能動的機能は、前記マシン命令に応答して前記プロセッサによって制御されることを特徴とする請求項２２に記載のシステム。
38. バッテリと充電されたキャパシタのどちらかによって前記能動的オブジェクトに電力が供給され、前記能動的オブジェクトが、前記能動的機能を実行することを可能にすることを特徴とする請求項２２に記載のシステム。
39. 前記対話型ディスプレイは、前記物理的オブジェクトの前記位置に限定され、前記ディスプレイ表面上の前記物理的オブジェクトの前記位置で、前記物理的オブジェクトを介して見える投影されたイメージを表示するためのプロジェクタを含み、前記物理的オブジェクトを介して見える前記投影されたイメージが、前記物理的オブジェクトの一部として見えるようにするが、前記ディスプレイ表面上に表示された前記仮想環境の全体的イメージの一部であることを特徴とする請求項２２に記載のシステム。
40. 前記マシン命令はさらに、前記プロセッサに、前記対話型ディスプレイ上に仮想エンティティを表示させ、前記仮想エンティティは、前記仮想エンティティと前記ディスプレイ表面上に配置された前記物理的オブジェクトとの間の視覚的干渉を避けるように選択された位置で前記ディスプレイ表面上に見える仮想オブジェクトと情報のどちらかを含むことを特徴とする請求項２２に記載のシステム。
41. 前記マシン命令は、前記物理的オブジェクトに対する前記視覚的干渉を避けるように、前記仮想エンティティが、前記プロセッサによって前記対話型ディスプレイを使用して選択的に表示されることが可能な複数の優先順位付けされた位置を定義し、より高い優先順位を有する位置が、前記仮想エンティティが前記物理的オブジェクトに視覚的に干渉するのを避けるように、前記仮想エンティティの表示のために選択されることを特徴とする請求項４０に記載のシステム。
42. 前記マシン命令はさらに、前記プロセッサに、前記対話型ディスプレイ上の前記仮想エンティティを視覚的に認識する特定のユーザの位置を特定させ、前記物理的オブジェクトに視覚的に干渉することも回避しながら、前記特定のユーザが前記仮想エンティティを容易に視覚的に認識するのを促すように選択された位置で、前記仮想エンティティが方向付けられ、表示されるようにすることを特徴とする請求項４０に記載のシステム。
43. 前記マシン命令はさらに、前記プロセッサに、前記仮想エンティティのサイズを小さくさせ、前記仮想エンティティが前記ディスプレイ表面上に表示される位置で前記物理的オブジェクトに干渉するのを避けるようにすることを特徴とする請求項４０に記載のシステム。

Images