JP4230999B2 - ビデオ作動インタラクティブ環境 - Google Patents

Description

本発明は、インタラクティブゲームの分野に関し、より特には、種々の表面に投影されるインタラクティブ環境を形成するシステム及び方法を与える。

ショッピングモール、テーマパーク、美術館、映画館等のような多数の客をひきつける場所は、訪問者を、お気に入りの店、お気に入りの乗り物、新しい展示物、又は、所望の映画のような所望の場所に案内する問題に頻繁に遭遇する。従来技術におけるいくつかは、地図及び他の情報を客に表示することができる情報キオスクに基づくインタラクティブなタッチスクリーンを与えることによって、この問題を改善することを試みている。残念ながら、これらのキオスクは、これらと相互作用して所望の場所を見つけるのに必要な時間が、人間のサービス係からの情報を要求するのに必要な時間よりしばしば重大に長くなるため、限定された成功しか得ていない。

多数の客をひきつける場所に対面する他の問題は、客が所望の場所から所望の場所へ移動するとき、又は、客がアトラクションへのアクセスを待つとき、彼らを楽しませ続けることである。この問題は、訪問者が、彼らが所定の乗り物に乗ることができる前、映画のチケットを得る又は映画を観ることができる前、又は、彼らの食事に関して着席できる前に、重要な長さの時間を待つことを必要とすることができる、テーマパーク、映画館及びレストランにおいて、特に激しい。

多数の客をひきつける場所に対面する依然としてある他の問題は、訪問者に再び来たいと思わせる新しくエキサイティングなアトラクションを与えることである。その教えがその全体における参照によってここに含まれる、ＩＢＭシステムジャーナル（２０００）のボリューム３９、ナンバー３及び４において現れる“性能におけるメディア：ダンス、劇場、サークル及び美術館展示物に関するインタラクティブ空間”において、Ｆ．スパラチノ（Sparacino）、Ｇ．ダベンポート及びＡ．ペントランドは、個々の美術館訪問者が、限定された展示空間における多数の展示物と相互作用し、これらを見ることを可能にするコンピュータに基づく複雑な視覚及び触覚センサを記載している。このスパラチノシステムは、個々のパフォーマの動きを監視することもでき、それによって、パフォーマがコンピュータ制御された音楽、投影されたテキスト、又は、簡単な振舞いに基づく同様のものにアクセスするのを可能にする。

スパラチノのようなものは、制御された環境において良好に機能するシステムを開発したが、これらのシステムは、それらの広範囲な使用を妨害するいくつかの制限を有する。例として、これらのようなシステムによって要求される装置は、代表的にとても大きく、重大な物理的空間を必要とし、この装置は、しばしば、シリコングラフィックスワークステーション等のような、高価でハイエンドなコンピュータ装置である。さらに、現在のシステムは、代表的に、特定の環境にのみ好適である。例えば、スパラチノ等は、彼らのビデオセンサインタラクティブ仮想環境に基づくビデオセンサが、背景が動かない場合にのみ使用することができることと、彼らの環境は、単独の個人のみの監視をサポートすることとを示している。これは、スパラチノのアプローチを、実世界の環境におけるその使用を考慮するよりも、ステージ上の個々のパフォーマのような潜在的用途の極めて狭いセットに限定する。ＶＴＴインフォメーションテクノロジーによって開発されたノーチラスゲームや、スミソニアン学術協会国立自然史博物館におけるバイタルスペース展示物のような他のシステムは、接触感応テーブル、フロアマット等を必要とし、これは、これらのようなシステムを使用することができる環境も制限する。

したがって、本発明は、関連技術の制限及び欠点による問題の１つ又はそれ以上を実質的に除去するビデオ作動インタラクティブ環境を形成するシステム及び方法に向けられる。本発明の追加の特徴及び利点は、以下の記載において説明され、部分的にはその説明から明らかになり、又は、本発明の実施によって学ばれるかもしれない。本発明の目的及び他の利点は、本明細書及び請求項並びに添付した図面において特に指摘される構造によって実現され獲得される。

本発明は、多数のインタラクティブ客エンターテインメント、教育及び／又は情報用途が構成されることができるプラットフォームを提供する。本発明を限定することを意図しない例として、野外の設定において、いくらか暗くなった野外の歩道に沿ってぶらぶら歩く、又は、テーマパークにおけるアトラクション、映画館、博物館等に並んで待っている客は、インタラクティブフットボール、サッカー、エアホッケー、又は他のそのようなゲームを、グランド、セメント、舗装路、又は他のそのような表面上に投影された“仮想”ボール、パック等を前後に蹴る、又はそうでなければこれらと相互作用することによってすることができる。

本発明の一実施例は、オーバヘッドビデオプロジェクション及び検出手段を使用し、床ベースのインタラクティブ領域を形成する。オーバヘッドビデオプロジェクション及び検出手段は、好適には、コンピュータ処理手段に結合され、コンピュータ処理手段は、インタラクティブ領域における人間の参加者の存在を決定することができると共に、静止画像からフルモーション三次元ビデオまで変化する投影されたアイコンを、一人又はそれ以上の参加者に割り当てることができる。オーバヘッドビデオプロジェクション手段は、他のアイコンをインタラクティブ領域のどこにでも投影させることも好適にできる。

ここに記載された実施例は、インタラクティブ領域が床にあるシステムに焦点を合わせているが、本発明を、インタラクティブ領域が、壁、天井、家具表面等（しかしこれらに限定されない）を含む任意の表面であるように、容易に適合できることは、当業者には明らかであるべきである。したがって、ここで使用される限り、“オーバヘッド”、“上”、“下”等の用語は、絶対的な位置基準として解釈されるべきではなく、むしろインタラクティブ領域として使用されている表面に関する位置を示すように解釈されるべきである。

本発明は、好適には、低コストビデオベースの検出システムを使用し、大規模なインタラクティブ客体験を与える。動作において、１つ又はそれ以上の低コスト赤外線ビデオカメラは、表面を観察し、インタラクティブ領域を形成することができる。赤外線ビデオカメラは、任意の可視光が利用可能である場合でさえ、赤外線シーン照明が客に知覚されずに追跡することを可能にするため、好まれる。赤外線ビデオカメラからのビデオ信号は、好適には、処理用の低コストパーソナルコンピュータベースのビデオ処理システムに送られる。

システム性能を改善するために、客は、識別タグの様なドックタグ、リストバンド、ピン、ボタン等のような１つまたはそれ以上の着用可能再帰反射ターゲット、又は、１つ又はそれ以上の再帰反射ターゲットが取り付けられた、魔法の杖、バトン等のような移動可能棒を支給することができる。複数の再帰反射ターゲットが１つの棒、人間等に割り当てられる場合、ターゲット又は物体の方向を決定することが可能になり、したがって、本システムは、さらに強力な経験を客に与えることができる。このような実施例において、好適に、非正三角形を形成する３個のターゲットの組は、簡単な方向識別を容易にするのに使用することができる。これらのような棒は、無線周波数識別（ＲＦＩＤ）タグ、バーコード、又は、他の識別子も含むことができ、個々の客の積極的な識別を容易にする。

複数のターゲットが使用され、これらのターゲット間の距離が知られている場合、カメラからのターゲットの距離を決定することも可能である。これは、インタラクティブ環境における相互作用が、ターゲットがインタラクティブ領域に関して接続される表面の位置に部分的に基づく状況において有利となることができる。本発明を限定することを意図しない例として、ホッケースタイルのゲームにおいて、プレイヤが、ブレードの先端に近いターゲットと、ブレードの末端に近いターゲットとを有するホッケースティックを支給される場合、ターゲット間の距離は、本発明によって監視されることができる。スティックがカメラに近づいて移動するにつれ、すなわち、床から上昇するにつれ、ターゲット間の距離は、カメラのパースペクティブから増加するように現れる。したがって、ゲームが行われる場合、本発明が、ホッケースティックがインタラクティブ表面の上に所定の高さだけ上げられることを検出すると、パックは、ホッケースティックのブレードの下を通過するように現れることができる。

ターゲット間の距離が知られていないところでさえ、複数のターゲットを使用することは、投影された画像のスケーリングを可能にし、ターゲットに関して所望のアスペクト比を満たすことを可能にする。本発明を限定することを意図しない例として、複数の円板が、各々の円板の中心において取り付けられたターゲットと、各々の円板の外側エッジにおけるある点において取り付けられたターゲットと共に、暗くされた部屋の天井の近くのベニヤ板の動くシートから吊り下げることができる。このような配置は、本発明が、特に、エッジタグの位置が中心タグに関して知られている（例えば、エッジタグが常に中心タグの上にある）場合、各々の円板の中心と、各々の円板のエッジとを決定することを可能にする。ターゲット間の距離に基づいて、本発明は、可視光プロジェクタによって円板上に投影すべきアイコンのスケールを、アイコンが背景中に断ち切られることなしにディスクの最大の利点を活用するように計算することができる。円板の位置も監視されることができ、円板上に投影されるアイコンは、該投影されるアイコンが円板に対して移動するように現れるように正確に位置決めされることができる。特に視覚的に印象的な効果は、投影されるアイコンが、開いたり閉じたりする目玉のような（しかしこれに限定されない）ダイナミック画像である場合、形成することができる。

再帰反射ターゲットは、客がインタラクティブ領域に入るときに、彼又は彼女の検出を簡単にし、強めることができ、客の特定の部分、又は、彼又は彼女が相互作用のために運ぶ棒の特定の部分を隔離することができる。本発明を限定することを意図しない例として、ターゲットを客の靴のつま先領域に適用し、これによって、靴のつま先がフットボールのようなコンピュータが発生する又はコンピュータが制御する物体と“衝突”した場合を特に明確にすることができる。変化するサイズのターゲットを単一の棒又は参加者において使用し、棒又は参加者の異なった部分間を容易に区別することもできる。

複数のこのようなターゲットを使用することによって、“ホットスポット”を人間又は棒において形成することができ、これらのホットスポットを容易に追跡することができる。コンピュータが発生する又はコンピュータが制御するマーカを、１つ又はそれ以上のホットスポットに割り当て、これらにおいて投影し、参加者が、これらのホットスポットの現在知覚されている場所における正確な知識及びフィードバックを有することが可能になるようにすることができる。

本発明の一実施例を使用し、プレイヤを仮想“エアホッケー”のインタラクティブゲームに没頭させることができる。このような実施例におけるプレイヤは、ターゲットを各々の靴に取り付け、これによって、事実上、仮想パドルになるようにすることができる。ドール及びテーブル境界を、地面に投影することができ、又は、地面において物理的に区分することができる。プレイヤは、テーブル境界内中を移動することができ、地面に投影されるホッケーパックの画像を“蹴る”ことができる。パーソナルコンピュータシステムは、好適には、ホッケーパック及びプレイヤの足の投影された位置、プレイヤの足が移動する速度等を追跡し、ホッケーパックを、これがエアホッケーテーブル上にあるかのように移動する。

他の実施例において、アニメーションするキャラクタを、客の位置を意識するようにし、これによって、キャラクタが客と相互作用し、客に話し、所望の方向に客を向けることを可能にすることができる。例えば、投影された漫画キャラクタは、歩く客を好きな乗り物、特定の店、又は他のこのような開催地に導くことができる。キャラクタを、客が止まった時に止まることや、客が所望の方向において動いていない場合、彼又は彼女の進路を変えさせること（しかしこれらに限定されない）を含む種々の方法において、客と相互作用するように形成することができる。音響合図をキャラクタに結びつけ、漫画キャラクタが客に実際に話しているように見せかけることもできる。当業者には、アニメーションするキャラクタをここで説明したが、予め記録された又は生の人間の役者を含む代わりのキャラクタ形式を、本発明の趣旨又は範囲から逸脱することなく代用することができることは明らかであるべきである。大規模ゲームを達成するのに必要な好適な物理的装置は、小型で低コストであり、開催地から開催地への移動に関して持ち運びのできるようにセットアップすることさえできる。さらに、マスタコンピュータシステムを、個々のシステムを結合し、これによって、客が、単一のキャラクタへのアクセスを依然として有している間に、大きい空間を歩き回らせることを可能にし、そして、各々のシステム内のより高い解像度のプロジェクションに関してインプリメントすることができる。

上記の一般的な説明及び以下の詳細な説明の双方は好例及び説明的であり、請求される本発明のさらなる説明を与えるように意図されることは、理解されるべきである。

本発明のさらなる理解を与えるように含まれ、本明細書に含まれると共にその一部を形成する添付図面は、本発明の実施例を、本発明の少なくとも１つの実施例の原理を説明するのに役立つ記述と共に例示する。

ここで、本発明の好適実施例を詳細に参照し、これらの実施例の例は、添付図面において例示される。

図１は、床においてインタラクティブ領域１０４を形成する本発明の使用を例示する。図１に例示した実施例において、インタラクティブ領域は、好適には、赤外線（ＩＲ）ビデオカメラ１０６によって上から見られ、好適には、１つ又はそれ以上のＩＲ照明１０５、又は、比較的制限された波長範囲を有する電磁エネルギーを発生することができる他の電磁エネルギー源によって照らされる。ＩＲ照明の効果を、１つ又はそれ以上のビームスプリッタ１０７によって増すことができる。像は、好適には、可視光プロジェクタ１０１によってインタラクティブ領域１０４上に投影される。１つ又はそれ以上のプロジェクタ１０１によって投影されるビデオ画像物体１２０を、インタラクティブ領域１０４内の人間又は物理的物体１０３の検出される位置に反応するように形成することができる。

ＩＲ照明１０５は、好適には複数の赤外線ＬＥＤを使用し、インタラクティブ領域１０４一面に、赤外線照明の明るい一様な領域を与える。レインボーＣＣＴＶからのＩＲＬ５８５Ａのような（しかしこれに限定されない）照明は、この用途に好適である。

ＩＲカメラ１０６は、任意の内部赤外線遮断フィルタも除去した代表的な白黒ＣＣＤビデオ監視カメラ、又は、赤外線波長における電磁エネルギーを検出することができる他のビデオカメラとすることができる。多数の低コストの監視形式カメラが容易に利用可能であり、この用途に容易に適合され得る。

ＩＲ遮断フィルタ１０２は、好適にはプロジェクタ１０１の光経路において設けられ、プロジェクタ１０１からの余剰ＩＲ光がインタラクティブ領域を汚染するのを防ぐ。同様に、ＩＲ遮断フィルタは、インタラクティブ領域１０４の近くに位置するランプ、街灯、及び他のこれらのような照明手段において用いることができる。

ＩＲ透過フィルタ１０８は、好適には、カメラ１０６の光経路中に挿入され、カメラ１０６がＩＲ照明１０５によって放射された波長に対して感度が最高になり、他の波長に対して事実上無感度になることを確実にする。この方法において、本システム全体は、インタラクティブ領域１０４の近くにある干渉する可能性がある光の既知の光源に対して無反応にされる。

検出の他の手段が可能であるが、赤外線光の使用は、人間の目がこの照明に対して無反応であり、プロジェクタ１０１によってインタラクティブ領域１０４に投影されている可視光に干渉せず、光量が少ない環境におけるムードを変えないため、好適である。

一実施例において、参加者は、一般的にカメラ１０６に面して、好適には、代表的に参加者の身体によって遮断されない位置において構成される再帰反射パッチ１１２を装備することができる。本発明を限定することを意図しない例として、０．２５インチ×０．２５インチ反射器を、参加者のシャツの後襟にピン止めするか、参加者の肩又は靴に付けることができる。１つ又はそれ以上の再帰反射器を有する参加者の身体の部分は、再帰反射器が照明１０５の光を実質的に照明１０５（ビームスプリッタ１０７を通してカメラ１０６に伝達することによって）の位置に戻すため、カメラ１０６の視野内の他の物体と比べて、カメラ１０６の視野において極めて明るく現れる。

参加者は、図１に例示されたホッケースティック状再帰反射ターゲットホルダ１３０のような棒を使用することができる。一実施例において、プロジェクタ１０１によって表示される１つ又はそれ以上の物体を、再帰反射ターゲットが取り付けられる棒１１２の末端に物理的に取り付けられるように現れるようにすることができる。さらに、棒は、参加者の身体から離れた再帰反射器まで延び、再帰反射器のカメラ１０６の視野が、参加者のいずれかによって妨げられることがなさそうにする。

依然として他の実施例において、参加者及び／又は棒は、ＩＲ透過フィルタが取り付けられた慣例的なフラッシュライト、赤外線放射ダイオード（ＬＥＤ）、又は、他の拡散赤外線エネルギーの他の単一の点光源のような赤外線放射器を装備することができる。これらのような放射器を、ターゲットの代わりに、又はこれらに加えて使用することができる。

図２において例示される実施例において、カメラ１０６からのビデオ画像データは、回路２１０によって前処理される。図２が例示するように、回路２１０は、好適には、カメラ１０６からの入力ビデオ２０１を、一度に１フレーム、カメラ１０６によって獲得され格納されたビデオフレーム２０２と比較する。格納されたビデオフレーム２０２は、好適には、インタラクティブ領域１０４にプレイヤ又は他の物体がまったくないときに獲得される。しかしながら、格納されたビデオフレーム２０２は、インタラクティブ環境における変化を考慮するように、周期的にリフレッシュすることができることが、当業者に明らかであるべきである。

差ビデオ信号２０８は、好適には、ビデオ減算器２０３によって、格納されたビデオフレーム２０２を現在のフレームから減算することによって発生される。この差ビデオ信号は、格納されたビデオフレーム２０２が獲得された時間からインタラクティブ領域１０４内に入った、又はこの中で移動したプレイヤ及び他の物体のみを表示する。差ビデオ信号２０８は、好適には、ＰＣ搭載ビデオデジタイザ２２１に好適に適用される。好適なデジタル化ユニットは、コレコイメージングによるＰＣバージョンビデオフレームグラバー（しかしこれに限定されない）を含む。

ビデオ減算器２１０は、参加者が落とし、依然としてインタラクティブ領域にある再帰反射ターゲットのような、カメラ１０６の視野内のアーティファクトの除去を簡略することができるが、ビデオ減算器は常に必要ではない。本発明を限定することを意図しない例として、ターゲットの位置はずっと監視されることができ、本システムは、所定の期間後、動いていないターゲットをターゲットが再び動くまで無視することができる。本システムは、ターゲットが所定の時間中静止していると、これは負傷している参加者又はインタラクティブ領域内の他の問題を示すことができるため、本システムの制御における人間に警告することもできる。代わりの実施例において、フレームごとのターゲット検出は、他のフレームから独立して達成することができる。

ブロブ検出アルゴリズム２２２は、画像において動作し、画像における各々の明るい物体、すなわち“ブロブ”の中心のＸ及びＹ位置を計算する。ブロブ検出アルゴリズム２２２は、各々のブロブのサイズも計算することができる。ブロブ検出アルゴリズム２２２は、好適には、これらに限定されない低及び高画素輝度しきい値、低及び高ブロブサイズしきい値、及び、粒状性検索を含むがユーザが選択可能なパラメータを使用して実施される。所定のビデオフレームにおける任意のブロブのサイズ及び位置が決定されたら、この情報は、アプリケーションソフトウェア２２３に渡され、インタラクティブ領域１０４における人間とどう相互作用するかを決定する。本発明を限定することを意図しない例として、アプリケーションソフトウェア２２３は、インタラクティブ領域１０４において投影されるビデオ出力を発生することができる。

図３は、ブロブ検出アルゴリズム２２２に与えられる前処理されたビデオ画像２０８を示す。上述したように、ブロブ検出アルゴリズム２２２は、差信号２０８における個々の明るいスポット３０１、３０２、３０３を検出することができ、これらの“ブロブ”の中心３１０のＸ−Ｙ位置が決定される。代わりの実施例において、ブロブは、ＩＲカメラ１０６からのフィードから直接識別することができる。当業者には、本発明の趣旨又は範囲から逸脱することなく、フレームレートが変化することができ、又は、いくつかのフレームが欠けることができることが明らかであるべきだが、ブロブ検出は、好適には、入力ビデオの各々のフレームにおける隣接する明るい画素の各々のグループに関して達成される。

上述したように、ブロブは、好適には、調節可能な画素輝度しきい値を使用して検出される。各々のフレームは、好適には、起点画素から開始して走査される。各々の画素は、最初に、興味あるこれらの画素、すなわち、下限及び上限輝度しきい値内に入るこれらの画素を識別するために評価される。試験下の画素が下限輝度しきい値より下、又は、上限輝度しきい値より上の輝度値を有する場合、この画素の輝度値はゼロ（すなわち黒）に設定される。上限及び下限輝度しきい値の双方をしきい値目的に使用することができるが、１つのしきい値を比較目的に使用することができ、輝度値がこのしきい値より下のすべての画素の輝度値がゼロにリセットされることは当業者に明らかであるべきである。

興味ある画素が識別され、残りの画素がゼロにされると、ブロブ検出アルゴリズムは、ブロブに関してフレームの走査を開始する。この走査プロセスは、起点画素から開始される。画素の輝度値がゼロならば、同じ行における次の画素が検査される。現在の画素と次の画素との間の距離は、ユーザが調節可能な粒状性設定によって決定される。より低い粒状性は、より小さいブロブの検出を可能にし、より高い粒状性は、より速い処理を可能にする。所定の行の終わりに達したら、検査は次の行に進み、行間の距離も、ユーザが調節可能な粒状性設定によって配列される。

検査されている画素がゼロでない輝度値を有する場合、ブロブ処理ソフトウェア２２２は、ブロブの上エッジが見つかるまで（すなわち、ゼロ輝度値画素に出会うまで）、同じ列で一度に１行フレームを上げはじめる。上エッジの座標は、今後の参照のために保存される。ブロブ処理ソフトウェア２２２は、次に、試験下の画素に戻り、ブロブの下エッジが見つかるまで行を下げ、下エッジの座標がまた、参考のため保存する。上ブロブエッジと下ブロブエッジの間の線の長さが計算され、この線の中間点が決定される。検出された上ブロブエッジ及び下ブロブエッジを接続する線の中間点は、試験下の画素になり、ブロブ処理ソフトウェア２２２は、上及び下エッジを決定するのに使用されたのと同様なプロセスによって左及び右エッジを見つける。次に、左及び右ブロブエッジを接続する線の中間点が決定され、この中間点は試験下の画素になる。次に、上及び下ブロブエッジは、この新たな試験下の画素の位置に基づいて再び計算することができる。適切なブロブ境界が決定されたら、この情報は、後の使用のために記憶される。次に、上、下、左及び右エッジによって描かれる境界ボックス内のすべての画素は、ゼロの輝度値を割り当てられ、ブロブ処理ソフトウェア２２２は、元の試験化の画素を起点として再び開始する。

この検出アルゴリズムは、フレーム内の一様にシャープな連続する明るい領域をすばやく検出するのには良好に働くが、検出アルゴリズムは、１つのみのブログが実際に存在する場合にいくつかのブロブの検出を生じるかもしれない。これを改善するために、ブロブ座標が比較され、交差する又は接触する任意のブロブは単一のブロブに結合され、その大きさは個々のブロブを取り囲む境界ボックスである。各々の結合されたブロブの中心はまた、各々の角から斜めに反対側の角まで延在する線の交点に基づいて計算される。このプロセスを通じて、好適には各々のブロブの中心と、ブロブのエッジを表す座標と、エッジの各々の中心からの距離の平均として計算される半径と、境界矩形内の非ゼロ値を有する画素の割合として計算される各々のブロブの重み（しかしこれらに限定されない）とを含む、検出されたブロブリストを容易に決定することができる。

しきい値は、好適には、ブロブ処理ソフトウェア２２２によってブロブとして識別されるべき連続する画素の最小及び最大グループに関しても設定することができない。本発明を限定することを意図しない例として、均一なターゲットサイズが使用され、インタラクティブ領域のサイズと、インタラクティブ領域上のカメラの高さとが既知である場合、有効ターゲットサイズの範囲を決定することができ、この有効ターゲットサイズ範囲内に入らないどのブログも、ブロブ処理ソフトウェア２２２によって無視することができる。これは、ブロブ処理ソフトウェア２２２がインタラクティブ領域内の外部からのノイズを無視することを可能にし、ターゲットが使用される場合、インタラクティブ領域内の実際のターゲットと、任意の外部からの不可避な干渉光から、又は、いくつかのアスレチックシューズにおいて一般的になっているような、客の従来の衣服の一部として身に着けている反射ストリップからのもののような（しかしこれらに限定されない）、他の反射とを区別することを可能にする。ユーザによって設定されるしきい値境界の外にある、ブロブ処理ソフトウェア２２２によって検出されたブロブは、好適には、検出されたブロブリストから外される。

図２のコンピュータ２２０の好適実施例は、ブロブ処理ソフトウェア２２２及びアプリケーションロジック２２３の双方を含むが、ブロブ処理ソフトウェア２２２及びアプリケーションロジック２２３は、好適には、モジュラコードベースから構成される。これは、ブロブ処理アルゴリズム２２２が１つのコンピュータにおいて動作することを可能にし、アプリケーションロジック２２３に中継されるそこからの結果は、１つ以上の他のコンピュータにおいて動作する。本発明を限定することを意図しない例として、このような結果は、８０２．１１（ｇ）対応した無線ネットワーキングインタフェースをシステム移植性を容易にするように使用して他のコンピュータに伝送することができる。所定のコンピュータの計算容量が多数のブロブを追跡するのに十分でないイベントにおいて、このモジュラアーキテクチャは、複数のターゲットを、インタラクティブ表面を横切って容易に追跡できるようにすることができる。

インタラクティブ領域内のターゲットの位置を知ることによって、アプリケーションロジック２２３は、１つ以上のターゲットと、コンピュータが発生したビデオ物体（例えば、ビデオ投影されたパック又はボール）、又は、インタラクティブ空間における参加者（又は彼らの棒）の物理的位置に固定されるもののような他の投影された画像との間の衝突を検出することができる。加えて、ＭＩＤＩトリガを使用し、ブロブ、ビデオ物体又はこれらの組み合わせの、互いの、インタラクティブ領域境界との、又は、インタラクティブ領域の他の特徴との衝突に応じて音を発生することができる。

図４に例示した実施例において、客は、本発明によって与えられる床ベースのインタラクティブ領域を使用し、“エアホッケー”の電子バージョンをプレイすることができる。ここで、客は、好適には、彼らの靴のつま先に再帰反射器１１２を取り付けられた後、投影されたパック１２０を前後方向に蹴ることができる。この場合において、客の足の位置は、ブロブ処理ソフトウェア５２２によって決定され、“とがったフットスクープ”を、各々の客の足におけるターゲットの周囲に投影することができる。例えば、とがったスクープ４１３を床に投影し、プレイヤが、投影されたパック１２０との接触が達成されるゾーンを見ることを可能にする。

代わりに、プレイヤは、図４のホッケースティック状装置１３０のような棒を使用し、“パック”をあたりに押し動かすことができる。棒が使用される場合、この棒は、取り付けられた１つ以上の再帰反射ターゲットを有することができる。このような実施例において、客の靴に関して上述したのと同様の方法において、グラフィカル画像を棒の周囲に投影することができる。投影されるグラフィカル画像は、客の足に関係付けられたブロブの中心から発する所定の半径の円を測定することによって決定できるような可視及び／又は不可視境界を有することができる。このような境界を使用し、投影されたパックのような他のゲーム物体との“接触”が起こった場合を決定することができる。

パック又はボールのビデオ画像は、写真、例えば、実際のエアホッケーパックのデジタル化された写真、又は、架空の様式化された画像とすることができる。パックが入ることに反応する床上のゴールが設定することができ、実際のパックの動きの物理は、ゲーム動作のすべてにおいてプログラムすることができる。参加者が、実施例において記載されたホッケースティックのような棒を使用して本システムと相互作用している場合、“ポン”、ホッケー、サッカー、卓球又は他のゲームのバージョンを容易に実施及びプレイすることができる。パックが打たれる方向に応じて、発生した物がプレイヤに実際に現実の物を打つようなことをシミュレートするビデオ運動によって、それを伝えることができる。

図５において例示した代わりの実施例において、ＩＲ光源１０５は、インタラクティブ領域１０４の視野を有するカメラ１０６に照明を与える。この実施例において、ＩＲ光源１０５は、好適には、カメラ１０６及びプロジェクタ１０１から実質的に離れて位置する。ＩＲ光源１０５の位置は、客に、インタラクティブ領域１０４内に影（赤外線における）５１０を投げかけさせる。この影は、カメラ１０６によって画像化することができ、奇抜で強力な幻影を構成することができる。この実施例に関する処理システムを図６に示す。

図６において例示するように、図１−３の実施例に関して説明した減算前処理をこの実施例において任意に使用することができ、インタラクティブ領域における無関係の物体又は光によって形成される任意の影響を除去し、これによって、本システムが参加者５０５との相互作用を検出及び促進することを可能にする。減算前処理を使用する場合、差ビデオ画像がビデオ反転器６１０に供給され、その出力をプロジェクタ１０１に供給することができる。減算前処理を使用しない場合、カメラ１０６からの出力をビデオ反転器６１０に直接供給することができる。

差ビデオ又はカメラ１０６からの出力を反転することによって（再び図５を参照）、赤外線の影における領域を明るくすることができる。この反転された画像をインタラクティブ領域に投影し、一方赤外線画像において明るい領域（すなわち、インタラクティブ表面の残りの大部分）を暗くすることができ（すなわち、投影された光を受けることができない）、赤外線画像において暗い領域が投影された光を受けることができる。客は赤外線の影を見ることができず、投影された反転された“影”のみを見るため、彼らの日常の体験において影は暗く、明るくないため、彼らは驚かされ、楽しまされるであろう。当業者には、物理的歪み、色、ストライプ、スポット（しかしこれらに限定されない）等を含むが代わりの効果が、“影”領域に加えることができることが明らかであるべきである。

依然として他の実施例において、光検出及び投影方法は、図５及び６において例示した実施例において使用されるのと同様であるが、ここでは、好適にはインタラクティブ表面において投影される漫画キャラクタが客と相互作用する。本発明を限定することを意図しない例として、図７のＡ−Ｄにおいて例示するように、インタラクティブ領域１０４を通って歩く客は、彼らと共に歩く漫画キャラクタによって近づくことができる。

漫画キャラクタは、ラウドスピーカ（図示せず）によって再生されるリアルタイム又は記憶されたオーディオクリップの使用によって“歩く”ように形成することができる。複数のスピーカ及び慣例的な３Ｄオーディオアルゴリズムを使用することによって、キャラクタの声は、単に壁におけるスピーカからでなく、キャラクタの物理的位置から来るかのように現れるようにすることができる。

ソフトウェアは、好適には、見ている人に対して“直立”して現れるようにキャラクタを描く。これを、図７のジオメトリを考慮して容易に成し遂げることができる。ソフトウェアは、ＩＲ光源に最も近い人間のＩＲ影の端を決定し、客が位置する場所を決定することができる。ソフトウェアは、キャラクタの足が参加者の足の近くになり、その身体がＩＲ光源１０５から半径方向に延在するようにキャラクタを描くことができる。インタラクティブ領域のこのオフ軸投影及び観察方法によって、客が彼らのために指定された投影を妨げる可能性が減少する。この方法において、キャラクタは、参加者の影に近づき、本システムを上記実施例において説明した“白い影”状態から開始し、次に参加者の影をキャラクタにモーフィングすることによって、本当に、驚異的なショーを達成することができる。

キャラクタは、通行人のための広告、娯楽又は案内を与えることができる。地面において描かれているキャラクタと相互作用することは、通常通行人の毎日の経験から逸脱しているため、初めは、通行人はキャラクタを無視する傾向があるかもしれない。しかしながら、キャラクタは、客の前進を妨げるように床に沿って移動することができる。キャラクタは、客に手招きし、特定の方向において歩くことができ、ソフトウェアはこれらの進行を監視する。進行が、彼又は彼女を、例えば戸口７１５に入らせる方向である場合、キャラクタは、支持動作（例えば、“その通り”、“一緒に来て”等と発音する）でその承認を示すことができ、そうでない場合、キャラクタは、指示する、先導する、言葉でおだてる、又は他の方法において客を誘導することができる。キャラクタは、有利には客をせきたて、店に入らせることができ、又は、客が他の方向決定を行うのを助けることができる。１つ以上の方向性マイクロフォンをインタラクティブ領域に追加することによって、参加者又はキャラクタは言葉で相互作用することができる。

図８において例示する、依然として他の実施例において、キャラクタ又は他のインタラクティブ体験が生じることができる領域を拡大するために、投影される画像を、出力光の円錐を光学的に導くことができるプロジェクタによって発することができる。これは、同じプロジェクタが、（一度にすべてではないが）潜在的にはるかに大きい領域を照らすことを可能にし、照射される領域においてより高い解像度で投影されることを可能にする。

図８において、本システムの画像検出部分は、上記の実施例のものと、カメラ１０６の視野が、好適にはプロジェクタ１０１の放射される光画像より広く形成されるのを除いて、上記の実施例のものと同じである。プロジェクタ１０１は、好適には、コンピュータ制御される光学パン及びチルトミラー配置８１０をプロジェクタの光経路において用い（又は、プロジェクタ全体がパン及びチルトすることができる）、投影される画像を、必要ならばカメラの視野８０４全体に渡って動かすことができるようにする。このシステムを動作するソフトウェアは、プロジェクタのＸ−Ｙ光円錐の運動と、投影される円錐内の物体のビデオ運動との組み合わせを使用し、表面８０４における物体の総合的な運動を実行することができることを除いて、上記の実施例のものと同じである。この実施例において、投影される物体との瞬時の相互作用は、好適には、旋回するプロジェクタの投影範囲内に現在ある領域においてのみ生じる。カメラ１０６は、より広い領域全体を画像化するため、インタラクティブ領域におけるどこで生じる活動も、最終的に本システムによって反応されることができる。例えば、新たな客が全体的に走査されるインタラクティブ領域８０４に入ることは、投影されるキャラクタに現在の客から注意をそらし始めさせ、この新たに到着した客の方向に移動させることができ、または新たなキャラクタを導入することができる。

代わりの実施例において、追加のカメラは、パン及びチルトミラー配置を使用することができ、プロジェクタが投影することができる領域により高い解像度を与える。依然として他の実施例において、単一のカメラがパン及びチルトミラー配置を使用することができ、本システムが参加者を見失った場合、本システムは、参加者が見つかるまで、又は、デフォルト位置に達するまで、探索パターンに従うことができる。

サッカー又は他の床ベースのスポーツ用途において、この旋回プロジェクタ技術は、上述した静的プロジェクタ実施例によって可能なよりも高い解像度及び明るさを有するボールの画像を投影しながら、パック又はボールの運動により広い範囲を与えることができる。

加えて、プロジェクタのその出力をそらす能力を、投影された領域内のビデオ運動を組み合わせ、客の相互作用に対する急速な応答と、大きい領域の相互作用と、高度に現実的な画像とを与えることができる。

図９に示す代わりの実施例は、相互作用性が生じることができる表面領域を増加することが望ましい、又は、固定された領域内の検出及び投影の解像度を増加することが望ましい場合のようないくつかの用途において有利であるかもしれない。ここで、多数の“つなぎ合わされた”カメラ１０６、プロジェクタ１０１、又は、カメラ／プロジェクタ対を使用し、床表面を画像化し、及び／又は、床表面に投影することができる。個々のコンピュータは、カメラ１０６からの画像を別々に処理することができ、投影された領域又は彼らを、多数のアナログデジタル変換器及びグラフィカル出力容量を有する１台の高速コンピュータによって扱うこともできる。

図１０に示す、非常に大きいインタラクティブ領域が存在するという知覚を客に与える他の実施例において、実際のインタラクティブ投影領域１０４を、スライド又は遮光板形式のプロジェクタのような静止画像プロジェクタ１０１０によって投影される大きい固定された非インタラクティブ領域１０２０によって取り囲むことができる。これは、システムのコストをさらにより低くし、インタラクティブ領域の美的な外観を増すことができる。インタラクティブ領域がこの暗い空間を満たすように、静止画像における領域を覆い隠すことができ、又は、インタラクティブ領域プロジェクションシステムが、共有されたプロジェクション領域１０４において単純に重ねて投影することもできる。

図１１に例示する依然として代わりの実施例において、（ジョージア州、アルファレッタ、ノースフルトンインダストリアルブールバード、クロマテック社によって市販されている）クロマステレオのような（しかしこれに限定されない）３次元表示技術を使用し、床に投影された画像が種々の領域において深さ及び高さを有することを表すようにすることができる。この様な実施例において、参加者は複数のプリズム・グレイティング・グラス（図示されない）を着けることができる。これらは、光スペクトルと交差する異なった色の光を異なった量だけ曲げる。ボール１１２０のような、インタラクティブ表面から延長することになっている画像部分は、好適には、可視スペクトルの一方の端から、例えば赤の端からの色を使用して描かれる。中間に延在するように見えるべきグリッド１１１０のような領域は、緑のような可視光の中央からの色で投影され、近くに、又は、背景領域１１０４のようなインタラクティブ領域と同じレベルにおいて現れることになっている領域は、可視光の青端に向かう色において投影される。クロマステレオ技術は、分極ステレオ、又は、ステレオ効果を与えるビュー間の相違が下を向く参加者のビューの回転に対して変化しないフィールドシーケンシャルステレオのような他の３Ｄ技術より有利である。参加者がある方位からインタラクティブ表面の方向のみを向く場合、上述した、及び他の標準ステレオ符号化技術を使用することができる。

人間のエアホッケーを許可するインタラクティブ領域のような、大スケールの実施に使用されるのに加えて、本発明は、小スケールの使用にも適合することができる。さらに、視覚的光プロジェクタ１０１、ＩＲ照明器１０５及びカメラ１０６を、代表的に、共通領域内に配備するが、本発明はこれに限定されない。図１２は、本発明を使用する水族館のような実施例を例示する。図１２に示す実施例において、活魚は参加者１０３として働く。この水族館は、インタラクティブ領域１０４として働くリアプロジェクションスクリーンに対して立てかける。ＩＲ照明器１０５及び視覚的光プロジェクタ１０１は、好適には、リアプロジェクトスクリーン１０４の背後に配置される。ＩＲ照明器１０５は、インタラクティブ領域１０４を十分に照らすことができ、ＩＲパスフィルタ１０８を使用して可視光が減衰された場合、カメラ１０６に対して“白色”に現れる。魚１０３がインタラクティブ領域１０４の前面において動き回ると、これらは影を投げかけ、これらの影をカメラ１０６によって検出することができる。ブロブ処理ソフトウェア２２２は、影のサイズ及び位置を決定することができる。この場合において視覚的光プロジェクタ１０１によってインタラクティブ領域１０４に投影されるスキューバダイバーの画像であるキャラクタ７１０は、魚１０３と相互作用するように現れることができ、これは、魚の上、下又は背後に泳ぐことを含む。

本発明を、詳細に、その特定の実施例の参照と共に説明したが、種々の変更及び変形を、その趣旨及び範囲から逸脱することなしに行えることは、当業者には明らかであろう。したがって、本発明は、本発明の変更及び変形を、これらが添付した請求の範囲及びこれらの均等物に入るならば、含むことが意図される。

図１は、本発明の一実施例によるインタラクティブ表面を示す。 図２は、本発明の一実施例によるビデオ処理及びコンピュータ制御システムを示す。 図３は、本発明の一実施例によるビデオブロブ位置アルゴリズムを示す。 図４は、本発明の一実施例による床ベースのパック蹴りゲーム及びインタラクティブホッケースティックを示す。 図５は、白色影が投影される本発明の一実施例を示す。 図６は、本発明の白色影の一態様による画像処理を示す。 図７は、本発明の一実施例によるアニメーションする床に投影されたキャラクタを示す。 図８は、本発明の一実施例の旋回するプロジェクタ態様を示す。 図９は、本発明の一実施例による高解像度で大きい領域をカバーする多数のプロジェクタ又はカメラの使用を示す。 図１０は、本発明の一実施例によるより大きい非インタラクティブ領域内に埋め込まれたインタラクティブ領域を示す。 図１１は、本発明の一実施例による３次元投影を示す。 図１２は、本発明を利用する水族館のような実施例を示す。

Claims (46)

1. 当該領域上に電磁エネルギーが投射されると共に、当該領域上で前記電磁エネルギーが検出されるインタラクティブ領域を含むインタラクティブ表面上に位置する参加者のためのインタラクティブ環境を形成するビデオ作動システムにおいて、
   制限された波長範囲内の電磁エネルギーを発生することができる電磁エネルギー源であって、前記電磁エネルギー源からの前記電磁エネルギーが前記インタラクティブ表面の少なくとも一部である前記インタラクティブ領域に投射されるように配置された電磁エネルギー源と、
   前記電磁エネルギー源によって発生された少なくとも前記制限された波長範囲内の電磁エネルギーを検出し、前記検出した電磁エネルギーを出力信号に変換することができる電磁画像化装置であって、前記インタラクティブ領域からの前記電磁エネルギーを検出できるように配置された電磁画像化装置と、
   少なくとも１つの入力部を有し、可視光を前記インタラクティブ表面上に投影することができる可視光プロジェクタと、
   コンピュータシステムと、
   前記コンピュータシステム上で実行されるコンピュータプログラムであって、前記電磁画像化装置からの前記出力信号を受け、前記出力信号内の前記電磁エネルギーのブロブを検出し、前記ブロブについてのブロブ情報を報告し、前記ブロブ情報を処理し、前記処理したブロブ情報に基づいて前記可視光プロジェクタへの入力を発生し、これにより前記可視光プロジェクタが前記インタラクティブ表面上に画像を投影して前記ブロブの１つと相互作用する手順を前記コンピュータシステムに実行させるためのコンピュータプログラムとを具えることを特徴とするビデオ作動システム。
2. 請求項１に記載のビデオ作動システムにおいて、狭い波長範囲の少なくとも１つのパスフィルタをさらに具え、前記少なくとも１つのパスフィルタは、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを効率的に減衰せずに通過させ、一方他の波長の電磁エネルギーを減衰させ、前記パスフィルタは、実質的に前記電磁画像化装置と前記インタラクティブ表面との間に、前記電磁画像化装置に入る実質的にすべての電磁エネルギーが前記パスフィルタを通過するように構成されていることを特徴とするビデオ作動システム。
3. 請求項１に記載のビデオ作動システムにおいて、狭い波長範囲の少なくとも１つのストップフィルタをさらに具え、前記ストップフィルタは、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを減衰させ、一方他の波長の電磁エネルギーを効率的に減衰せずに通過させ、前記ストップフィルタは、前記可視光プロジェクタと前記インタラクティブ表面との間に、前記可視光プロジェクタからの実質的にすべての光が前記ストップフィルタを通過するように構成されていることを特徴とするビデオ作動システム。
4. 請求項１に記載のビデオ作動システムにおいて、
   狭い波長範囲のパスフィルタであって、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを効率的に減衰せずに通過させ、一方他の波長の電磁エネルギーを減衰させ、前記電磁画像化装置と前記インタラクティブ表面との間に、前記電磁画像化装置に入る実質的にすべての電磁エネルギーが当該パスフィルタを通過するように構成された少なくとも１つのパスフィルタと、
   狭い波長範囲のストップフィルタであって、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを減衰させ、一方他の波長の電磁エネルギーを効率的に減衰せずに通過させ、前記可視光プロジェクタと前記インタラクティブ表面との間に、前記可視光プロジェクタからの実質的にすべての光が当該ストップフィルタを通過するように構成された少なくとも１つのストップフィルタとをさらに具えることを特徴とするビデオ作動システム。
5. 請求項１に記載のビデオ作動システムにおいて、前記電磁エネルギー源は、前記電磁エネルギーの波長範囲内の波長を有する電磁エネルギーを発生することを特徴とするビデオ作動システム。
6. 請求項１に記載のビデオ作動システムにおいて、前記インタラクティブ表面は床から成り、前記電磁エネルギー源は前記インタラクティブ表面上に配置されることを特徴とするビデオ作動システム。
7. 請求項１に記載のビデオ作動システムにおいて、前記電磁画像化装置はグレイスケールＣＣＤカメラであることを特徴とするビデオ作動システム。
8. 請求項１に記載のビデオ作動システムにおいて、前記インタラクティブ表面は床から成り、前記電磁画像化装置は前記インタラクティブ表面上に配置されることを特徴とするビデオ作動システム。
9. 請求項１に記載のビデオ作動システムにおいて、前記ブロブの検出はフレーム毎に生じることを特徴とするビデオ作動システム。
10. 請求項１に記載のビデオ作動システムにおいて、前記ブロブの検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
11. 請求項１に記載のビデオ作動システムにおいて、前記ブロブの検出は、少なくとも１つのカスタマイズ可能なブロブサイズしきい値に基づくことを特徴とするビデオ作動システム。
12. 請求項１１に記載のビデオ作動システムにおいて、前記ブロブの検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
13. 請求項１に記載のビデオ作動システムにおいて、前記ブロブの検出は、カスタマイズ可能な粒状性設定に基づいて制御可能であることを特徴とするビデオ作動システム。
14. 請求項１に記載のビデオ作動システムにおいて、ターゲットが前記参加者に関係付けられることを特徴とするビデオ作動システム。
15. 請求項１４に記載のビデオ作動システムにおいて、前記ターゲットは再帰反射ターゲットであることを特徴とするビデオ作動システム。
16. 請求項１に記載のビデオ作動システムにおいて、複数のターゲットが前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
17. 請求項１６に記載のビデオ作動システムにおいて、既知の方向の３つの前記ターゲットが、前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
18. 請求項１７に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記ブロブの各々のサイズ及び位置を含むことを特徴とするビデオ作動システム。
19. 請求項１８に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記参加者の各々の方向を決定するために使用されることを特徴とするビデオ作動システム。
20. 請求項１９に記載のビデオ作動システムにおいて、前記参加者の少なくとも１人の方向が、前記コンピュータプログラムによって使用されて、前記可視光プロジェクタへの前記入力を発生することを特徴とするビデオ作動システム。
21. 請求項１７に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記インタラクティブ表面上の棒の高さを決定するのに使用されることを特徴とするビデオ作動システム。
22. 請求項１７に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記可視光プロジェクタによって投影される前記画像の少なくとも一部のスケールを決定するのに使用されることを特徴とするビデオ作動システム。
23. 請求項１に記載のビデオ作動システムにおいて、前記電磁エネルギー源は前記参加者の各々に割り当てられることを特徴とするビデオ作動システム。
24. 請求項１に記載のビデオ作動システムにおいて、パン兼チルトミラーが前記可視光プロジェクタの光路内に配置されることを特徴とするビデオ作動システム。
25. 請求項１に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、３次元表示技術を使用してエンコードされた光を投影することを特徴とするビデオ作動システム。
26. 請求項１に記載のビデオ作動システムにおいて、前記電磁エネルギー源は、前記インタラクティブ表面の前記インタラクティブ領域上に、前記電磁画像化装置が前記インタラクティブ表面の前記インタラクティブ領域を検出する位置と異なる位置から前記電磁エネルギーを投射して、前記インタラクティブ表面の前記インタラクティブ領域が前記電磁画像化装置によって検出された際に、前記参加者のうち少なくとも１人が、前記インタラクティブ表面の前記インタラクティブ領域内に影を投げかけるようにすることを特徴とするビデオ作動システム。
27. 請求項２６に記載のビデオ作動システムにおいて、前記ブロブの検出を行うアルゴリズムが、前記電磁画像化装置によって検出される、前記インタラクティブ表面の前記インタラクティブ領域内の前記参加者の影の位置を決定することを特徴とするビデオ作動システム。
28. 請求項２７に記載のビデオ作動システムにおいて、前記コンピュータプログラムは、前記可視光プロジェクタに、前記参加者の影の領域内にアニメーション化したキャラクタを投射させる手順を前記コンピュータシステムに実行させることを特徴とするビデオ作動システム。
29. 当該領域上に電磁エネルギーが投射されると共に、当該領域で前記電磁エネルギーが検出されるインタラクティブ領域を含む、床から成るインタラクティブ表面上に位置する参加者のためのインタラクティブ環境を形成するビデオ作動システムにおいて、
    少なくとも１つの再帰反射ターゲットが前記参加者に関係付けられ、
    前記インタラクティブ表面上に位置し、赤外線エネルギーを前記インタラクティブ表面上に投射することができる赤外線エネルギー源と、
    前記赤外線エネルギー源によって発生される前記赤外線エネルギーを検出し、前記検出したエネルギーを出力信号に変換することができる、前記インタラクティブ表面上に位置するグレイスケールＣＣＤカメラと、
    少なくとも１つの入力部を有し、可視光を前記インタラクティブ表面上に投影することができる可視光プロジェクタと、
    狭い波長範囲のパスフィルタであって、前記赤外線エネルギー源によって発生される赤外線エネルギーを効率的に減衰せずに通過させ、一方他の波長の電磁エネルギーを減衰し、前記グレイスケールＣＣＤカメラと前記インタラクティブ表面との間に、前記グレイスケールＣＣＤカメラに入る実質的にすべての電磁エネルギーが当該パスフィルタを通過するように構成された少なくとも１つのパスフィルタと、
    狭い波長範囲のストップフィルタであって、前記赤外線エネルギー源によって発生される赤外線エネルギーと実質的に等価な赤外線エネルギーを減衰し、一方他の波長の赤外線エネルギーを効率的に減衰せずに通過させ、前記可視光プロジェクタと前記インタラクティブ表面との間に、前記可視光プロジェクタからの実質的にすべての光が当該ストップフィルタを通過するように構成された少なくとも１つのストップフィルタと、
    コンピュータシステムと、
    前記コンピュータシステム上で実行されるコンピュータプログラムであって、前記グレイスケールＣＣＤカメラからの前記出力信号を受け、前記出力信号内の前記赤外線エネルギーのブロブを検出し、前記ブロブについてのブロブ情報を報告し、前記ブロブ情報を処理し、前記処理したブロブ情報に基づいて前記可視光プロジェクタへの入力を発生し、これにより前記可視光プロジェクタが前記インタラクティブ表面上に画像を投影して前記ブロブの１つと相互作用する手順を前記コンピュータシステムに実行させるためのコンピュータプログラムとを具えることを特徴とするビデオ作動システム。
30. 請求項２９に記載のビデオ作動システムにおいて、前記ブロブの検出はフレーム毎に生じることを特徴とするビデオ作動システム。
31. 請求項２９に記載のビデオ作動システムにおいて、前記ブロブの検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
32. 請求項２９に記載のビデオ作動システムにおいて、前記ブロブの検出は、少なくとも１つのカスタマイズ可能なブロブサイズしきい値に基づくことを特徴とするビデオ作動システム。
33. 請求項３２に記載のビデオ作動システムにおいて、前記ブロブの検出は、少なくとも１つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
34. 請求項２９に記載のビデオ作動システムにおいて、前記ブロブの検出は、カスタマイズ可能な粒状性設定に基づいて制御可能であることを特徴とするビデオ作動システム。
35. 請求項２９に記載のビデオ作動システムにおいて、ターゲットが前記参加者に関係付けられることを特徴とするビデオ作動システム。
36. 請求項３５に記載のビデオ作動システムにおいて、前記ターゲットは再帰反射ターゲットであることを特徴とするビデオ作動システム。
37. 請求項２９に記載のビデオ作動システムにおいて、複数のターゲットが前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
38. 請求項３７に記載のビデオ作動システムにおいて、既知の方向の３つの前記ターゲットが、前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
39. 請求項３８に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記ブロブの各々のサイズ及び位置を含むことを特徴とするビデオ作動システム。
40. 請求項３９に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記参加者の各々の方向を決定するために使用されることを特徴とするビデオ作動システム。
41. 請求項４０に記載のビデオ作動システムにおいて、前記参加者の少なくとも１人の方向が、前記コンピュータプログラムによって使用されて、前記可視光プロジェクタへの前記入力を発生することを特徴とするビデオ作動システム。
42. 請求項２９に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、パン兼チルトミラーを含むことを特徴とするビデオ作動システム。
43. 請求項２９に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、３次元表示技術を使用してエンコードされた光を投影することを特徴とするビデオ作動システム。
44. 参加者のためのインタラクティブ環境を形成するビデオ作動システムにおいて、
    当該領域上で電磁エネルギーが投射されると共に、当該領域上で前記電磁エネルギーが検出されるインタラクティブ領域を含む複数のインタラクティブ表面と、
    制限された波長範囲内の電磁エネルギーを発生することができる電磁エネルギー源であって、前記電磁エネルギー源からの前記電磁エネルギーが前記インタラクティブ表面の少なくとも一部である前記インタラクティブ領域に投射されるように配置された電磁エネルギー源と、
    前記電磁エネルギー源によって発生された少なくとも前記制限された波長範囲内の電磁エネルギーを検出し、前記検出した電磁エネルギーを出力信号に変換することができる電磁画像化装置であって、前記インタラクティブ表面の前記インタラクティブ領域からの前記電磁エネルギーを検出できるように配置された電磁画像化装置と、
    各々が少なくとも１つの入力部を有し、各々が可視光を前記複数のインタラクティブ表面の少なくとも１つの上に投影することができる複数の可視光プロジェクタと、
    複数のコンピュータシステムと、
    前記複数のコンピュータシステム上で実行されるコンピュータプログラムであって、前 記電磁画像化装置の少なくとも１つからの前記出力信号を受け、前記出力信号内の前記電磁エネルギーのブロブを検出し、前記複数のインタラクティブ表面内の前記参加者の前記位置を決定し、前記決定した前記参加者の位置を処理し、前記決定した前記参加者の位置に基づいて、前記複数の可視光プロジェクタの少なくとも１つへの入力を発生する手順を前記コンピュータシステムに実行させるためのコンピュータプログラムとを具えることを特徴とするビデオ作動システム。
45. 請求項４４に記載のビデオ作動システムにおいて、前記複数の可視光プロジェクタの少なくとも１つに対して発生される入力が、当該可視光プロジェクタに、前記決定した前記参加者の位置の近くにキャラクタを投影させることを特徴とするビデオ作動システム。
46. 請求項４５に記載のビデオ作動システムにおいて、前記キャラクタは、前記参加者が前記複数のインタラクティブ表面間を移動するとともに、前記参加者に追従することを特徴とするビデオ作動システム。

Images