JP4230999B2 - ビデオ作動インタラクティブ環境 - Google Patents

ビデオ作動インタラクティブ環境 Download PDF

Info

Publication number
JP4230999B2
JP4230999B2 JP2004550522A JP2004550522A JP4230999B2 JP 4230999 B2 JP4230999 B2 JP 4230999B2 JP 2004550522 A JP2004550522 A JP 2004550522A JP 2004550522 A JP2004550522 A JP 2004550522A JP 4230999 B2 JP4230999 B2 JP 4230999B2
Authority
JP
Japan
Prior art keywords
video
electromagnetic energy
interactive
blob
actuation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004550522A
Other languages
English (en)
Other versions
JP2006505330A (ja
JP2006505330A5 (ja
Inventor
スタークス スモート レニー
ジョセフ マッカードレ ウィリアム
Original Assignee
ディズニー エンタープライゼス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディズニー エンタープライゼス インコーポレイテッド filed Critical ディズニー エンタープライゼス インコーポレイテッド
Publication of JP2006505330A publication Critical patent/JP2006505330A/ja
Publication of JP2006505330A5 publication Critical patent/JP2006505330A5/ja
Application granted granted Critical
Publication of JP4230999B2 publication Critical patent/JP4230999B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1062Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to a type of game, e.g. steering wheel
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011Ball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8023Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game the game being played by multiple players at a common site, e.g. in an arena, theatre, shopping mall using a large public display
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Projection Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、インタラクティブゲームの分野に関し、より特には、種々の表面に投影されるインタラクティブ環境を形成するシステム及び方法を与える。
ショッピングモール、テーマパーク、美術館、映画館等のような多数の客をひきつける場所は、訪問者を、お気に入りの店、お気に入りの乗り物、新しい展示物、又は、所望の映画のような所望の場所に案内する問題に頻繁に遭遇する。従来技術におけるいくつかは、地図及び他の情報を客に表示することができる情報キオスクに基づくインタラクティブなタッチスクリーンを与えることによって、この問題を改善することを試みている。残念ながら、これらのキオスクは、これらと相互作用して所望の場所を見つけるのに必要な時間が、人間のサービス係からの情報を要求するのに必要な時間よりしばしば重大に長くなるため、限定された成功しか得ていない。
多数の客をひきつける場所に対面する他の問題は、客が所望の場所から所望の場所へ移動するとき、又は、客がアトラクションへのアクセスを待つとき、彼らを楽しませ続けることである。この問題は、訪問者が、彼らが所定の乗り物に乗ることができる前、映画のチケットを得る又は映画を観ることができる前、又は、彼らの食事に関して着席できる前に、重要な長さの時間を待つことを必要とすることができる、テーマパーク、映画館及びレストランにおいて、特に激しい。
多数の客をひきつける場所に対面する依然としてある他の問題は、訪問者に再び来たいと思わせる新しくエキサイティングなアトラクションを与えることである。その教えがその全体における参照によってここに含まれる、IBMシステムジャーナル(2000)のボリューム39、ナンバー3及び4において現れる“性能におけるメディア:ダンス、劇場、サークル及び美術館展示物に関するインタラクティブ空間”において、F.スパラチノ(Sparacino)、G.ダベンポート及びA.ペントランドは、個々の美術館訪問者が、限定された展示空間における多数の展示物と相互作用し、これらを見ることを可能にするコンピュータに基づく複雑な視覚及び触覚センサを記載している。このスパラチノシステムは、個々のパフォーマの動きを監視することもでき、それによって、パフォーマがコンピュータ制御された音楽、投影されたテキスト、又は、簡単な振舞いに基づく同様のものにアクセスするのを可能にする。
スパラチノのようなものは、制御された環境において良好に機能するシステムを開発したが、これらのシステムは、それらの広範囲な使用を妨害するいくつかの制限を有する。例として、これらのようなシステムによって要求される装置は、代表的にとても大きく、重大な物理的空間を必要とし、この装置は、しばしば、シリコングラフィックスワークステーション等のような、高価でハイエンドなコンピュータ装置である。さらに、現在のシステムは、代表的に、特定の環境にのみ好適である。例えば、スパラチノ等は、彼らのビデオセンサインタラクティブ仮想環境に基づくビデオセンサが、背景が動かない場合にのみ使用することができることと、彼らの環境は、単独の個人のみの監視をサポートすることとを示している。これは、スパラチノのアプローチを、実世界の環境におけるその使用を考慮するよりも、ステージ上の個々のパフォーマのような潜在的用途の極めて狭いセットに限定する。VTTインフォメーションテクノロジーによって開発されたノーチラスゲームや、スミソニアン学術協会国立自然史博物館におけるバイタルスペース展示物のような他のシステムは、接触感応テーブル、フロアマット等を必要とし、これは、これらのようなシステムを使用することができる環境も制限する。
したがって、本発明は、関連技術の制限及び欠点による問題の1つ又はそれ以上を実質的に除去するビデオ作動インタラクティブ環境を形成するシステム及び方法に向けられる。本発明の追加の特徴及び利点は、以下の記載において説明され、部分的にはその説明から明らかになり、又は、本発明の実施によって学ばれるかもしれない。本発明の目的及び他の利点は、本明細書及び請求項並びに添付した図面において特に指摘される構造によって実現され獲得される。
本発明は、多数のインタラクティブ客エンターテインメント、教育及び/又は情報用途が構成されることができるプラットフォームを提供する。本発明を限定することを意図しない例として、野外の設定において、いくらか暗くなった野外の歩道に沿ってぶらぶら歩く、又は、テーマパークにおけるアトラクション、映画館、博物館等に並んで待っている客は、インタラクティブフットボール、サッカー、エアホッケー、又は他のそのようなゲームを、グランド、セメント、舗装路、又は他のそのような表面上に投影された“仮想”ボール、パック等を前後に蹴る、又はそうでなければこれらと相互作用することによってすることができる。
本発明の一実施例は、オーバヘッドビデオプロジェクション及び検出手段を使用し、床ベースのインタラクティブ領域を形成する。オーバヘッドビデオプロジェクション及び検出手段は、好適には、コンピュータ処理手段に結合され、コンピュータ処理手段は、インタラクティブ領域における人間の参加者の存在を決定することができると共に、静止画像からフルモーション三次元ビデオまで変化する投影されたアイコンを、一人又はそれ以上の参加者に割り当てることができる。オーバヘッドビデオプロジェクション手段は、他のアイコンをインタラクティブ領域のどこにでも投影させることも好適にできる。
ここに記載された実施例は、インタラクティブ領域が床にあるシステムに焦点を合わせているが、本発明を、インタラクティブ領域が、壁、天井、家具表面等(しかしこれらに限定されない)を含む任意の表面であるように、容易に適合できることは、当業者には明らかであるべきである。したがって、ここで使用される限り、“オーバヘッド”、“上”、“下”等の用語は、絶対的な位置基準として解釈されるべきではなく、むしろインタラクティブ領域として使用されている表面に関する位置を示すように解釈されるべきである。
本発明は、好適には、低コストビデオベースの検出システムを使用し、大規模なインタラクティブ客体験を与える。動作において、1つ又はそれ以上の低コスト赤外線ビデオカメラは、表面を観察し、インタラクティブ領域を形成することができる。赤外線ビデオカメラは、任意の可視光が利用可能である場合でさえ、赤外線シーン照明が客に知覚されずに追跡することを可能にするため、好まれる。赤外線ビデオカメラからのビデオ信号は、好適には、処理用の低コストパーソナルコンピュータベースのビデオ処理システムに送られる。
システム性能を改善するために、客は、識別タグの様なドックタグ、リストバンド、ピン、ボタン等のような1つまたはそれ以上の着用可能再帰反射ターゲット、又は、1つ又はそれ以上の再帰反射ターゲットが取り付けられた、魔法の杖、バトン等のような移動可能棒を支給することができる。複数の再帰反射ターゲットが1つの棒、人間等に割り当てられる場合、ターゲット又は物体の方向を決定することが可能になり、したがって、本システムは、さらに強力な経験を客に与えることができる。このような実施例において、好適に、非正三角形を形成する3個のターゲットの組は、簡単な方向識別を容易にするのに使用することができる。これらのような棒は、無線周波数識別(RFID)タグ、バーコード、又は、他の識別子も含むことができ、個々の客の積極的な識別を容易にする。
複数のターゲットが使用され、これらのターゲット間の距離が知られている場合、カメラからのターゲットの距離を決定することも可能である。これは、インタラクティブ環境における相互作用が、ターゲットがインタラクティブ領域に関して接続される表面の位置に部分的に基づく状況において有利となることができる。本発明を限定することを意図しない例として、ホッケースタイルのゲームにおいて、プレイヤが、ブレードの先端に近いターゲットと、ブレードの末端に近いターゲットとを有するホッケースティックを支給される場合、ターゲット間の距離は、本発明によって監視されることができる。スティックがカメラに近づいて移動するにつれ、すなわち、床から上昇するにつれ、ターゲット間の距離は、カメラのパースペクティブから増加するように現れる。したがって、ゲームが行われる場合、本発明が、ホッケースティックがインタラクティブ表面の上に所定の高さだけ上げられることを検出すると、パックは、ホッケースティックのブレードの下を通過するように現れることができる。
ターゲット間の距離が知られていないところでさえ、複数のターゲットを使用することは、投影された画像のスケーリングを可能にし、ターゲットに関して所望のアスペクト比を満たすことを可能にする。本発明を限定することを意図しない例として、複数の円板が、各々の円板の中心において取り付けられたターゲットと、各々の円板の外側エッジにおけるある点において取り付けられたターゲットと共に、暗くされた部屋の天井の近くのベニヤ板の動くシートから吊り下げることができる。このような配置は、本発明が、特に、エッジタグの位置が中心タグに関して知られている(例えば、エッジタグが常に中心タグの上にある)場合、各々の円板の中心と、各々の円板のエッジとを決定することを可能にする。ターゲット間の距離に基づいて、本発明は、可視光プロジェクタによって円板上に投影すべきアイコンのスケールを、アイコンが背景中に断ち切られることなしにディスクの最大の利点を活用するように計算することができる。円板の位置も監視されることができ、円板上に投影されるアイコンは、該投影されるアイコンが円板に対して移動するように現れるように正確に位置決めされることができる。特に視覚的に印象的な効果は、投影されるアイコンが、開いたり閉じたりする目玉のような(しかしこれに限定されない)ダイナミック画像である場合、形成することができる。
再帰反射ターゲットは、客がインタラクティブ領域に入るときに、彼又は彼女の検出を簡単にし、強めることができ、客の特定の部分、又は、彼又は彼女が相互作用のために運ぶ棒の特定の部分を隔離することができる。本発明を限定することを意図しない例として、ターゲットを客の靴のつま先領域に適用し、これによって、靴のつま先がフットボールのようなコンピュータが発生する又はコンピュータが制御する物体と“衝突”した場合を特に明確にすることができる。変化するサイズのターゲットを単一の棒又は参加者において使用し、棒又は参加者の異なった部分間を容易に区別することもできる。
複数のこのようなターゲットを使用することによって、“ホットスポット”を人間又は棒において形成することができ、これらのホットスポットを容易に追跡することができる。コンピュータが発生する又はコンピュータが制御するマーカを、1つ又はそれ以上のホットスポットに割り当て、これらにおいて投影し、参加者が、これらのホットスポットの現在知覚されている場所における正確な知識及びフィードバックを有することが可能になるようにすることができる。
本発明の一実施例を使用し、プレイヤを仮想“エアホッケー”のインタラクティブゲームに没頭させることができる。このような実施例におけるプレイヤは、ターゲットを各々の靴に取り付け、これによって、事実上、仮想パドルになるようにすることができる。ドール及びテーブル境界を、地面に投影することができ、又は、地面において物理的に区分することができる。プレイヤは、テーブル境界内中を移動することができ、地面に投影されるホッケーパックの画像を“蹴る”ことができる。パーソナルコンピュータシステムは、好適には、ホッケーパック及びプレイヤの足の投影された位置、プレイヤの足が移動する速度等を追跡し、ホッケーパックを、これがエアホッケーテーブル上にあるかのように移動する。
他の実施例において、アニメーションするキャラクタを、客の位置を意識するようにし、これによって、キャラクタが客と相互作用し、客に話し、所望の方向に客を向けることを可能にすることができる。例えば、投影された漫画キャラクタは、歩く客を好きな乗り物、特定の店、又は他のこのような開催地に導くことができる。キャラクタを、客が止まった時に止まることや、客が所望の方向において動いていない場合、彼又は彼女の進路を変えさせること(しかしこれらに限定されない)を含む種々の方法において、客と相互作用するように形成することができる。音響合図をキャラクタに結びつけ、漫画キャラクタが客に実際に話しているように見せかけることもできる。当業者には、アニメーションするキャラクタをここで説明したが、予め記録された又は生の人間の役者を含む代わりのキャラクタ形式を、本発明の趣旨又は範囲から逸脱することなく代用することができることは明らかであるべきである。大規模ゲームを達成するのに必要な好適な物理的装置は、小型で低コストであり、開催地から開催地への移動に関して持ち運びのできるようにセットアップすることさえできる。さらに、マスタコンピュータシステムを、個々のシステムを結合し、これによって、客が、単一のキャラクタへのアクセスを依然として有している間に、大きい空間を歩き回らせることを可能にし、そして、各々のシステム内のより高い解像度のプロジェクションに関してインプリメントすることができる。
上記の一般的な説明及び以下の詳細な説明の双方は好例及び説明的であり、請求される本発明のさらなる説明を与えるように意図されることは、理解されるべきである。
本発明のさらなる理解を与えるように含まれ、本明細書に含まれると共にその一部を形成する添付図面は、本発明の実施例を、本発明の少なくとも1つの実施例の原理を説明するのに役立つ記述と共に例示する。
ここで、本発明の好適実施例を詳細に参照し、これらの実施例の例は、添付図面において例示される。
図1は、床においてインタラクティブ領域104を形成する本発明の使用を例示する。図1に例示した実施例において、インタラクティブ領域は、好適には、赤外線(IR)ビデオカメラ106によって上から見られ、好適には、1つ又はそれ以上のIR照明105、又は、比較的制限された波長範囲を有する電磁エネルギーを発生することができる他の電磁エネルギー源によって照らされる。IR照明の効果を、1つ又はそれ以上のビームスプリッタ107によって増すことができる。像は、好適には、可視光プロジェクタ101によってインタラクティブ領域104上に投影される。1つ又はそれ以上のプロジェクタ101によって投影されるビデオ画像物体120を、インタラクティブ領域104内の人間又は物理的物体103の検出される位置に反応するように形成することができる。
IR照明105は、好適には複数の赤外線LEDを使用し、インタラクティブ領域104一面に、赤外線照明の明るい一様な領域を与える。レインボーCCTVからのIRL585Aのような(しかしこれに限定されない)照明は、この用途に好適である。
IRカメラ106は、任意の内部赤外線遮断フィルタも除去した代表的な白黒CCDビデオ監視カメラ、又は、赤外線波長における電磁エネルギーを検出することができる他のビデオカメラとすることができる。多数の低コストの監視形式カメラが容易に利用可能であり、この用途に容易に適合され得る。
IR遮断フィルタ102は、好適にはプロジェクタ101の光経路において設けられ、プロジェクタ101からの余剰IR光がインタラクティブ領域を汚染するのを防ぐ。同様に、IR遮断フィルタは、インタラクティブ領域104の近くに位置するランプ、街灯、及び他のこれらのような照明手段において用いることができる。
IR透過フィルタ108は、好適には、カメラ106の光経路中に挿入され、カメラ106がIR照明105によって放射された波長に対して感度が最高になり、他の波長に対して事実上無感度になることを確実にする。この方法において、本システム全体は、インタラクティブ領域104の近くにある干渉する可能性がある光の既知の光源に対して無反応にされる。
検出の他の手段が可能であるが、赤外線光の使用は、人間の目がこの照明に対して無反応であり、プロジェクタ101によってインタラクティブ領域104に投影されている可視光に干渉せず、光量が少ない環境におけるムードを変えないため、好適である。
一実施例において、参加者は、一般的にカメラ106に面して、好適には、代表的に参加者の身体によって遮断されない位置において構成される再帰反射パッチ112を装備することができる。本発明を限定することを意図しない例として、0.25インチ×0.25インチ反射器を、参加者のシャツの後襟にピン止めするか、参加者の肩又は靴に付けることができる。1つ又はそれ以上の再帰反射器を有する参加者の身体の部分は、再帰反射器が照明105の光を実質的に照明105(ビームスプリッタ107を通してカメラ106に伝達することによって)の位置に戻すため、カメラ106の視野内の他の物体と比べて、カメラ106の視野において極めて明るく現れる。
参加者は、図1に例示されたホッケースティック状再帰反射ターゲットホルダ130のような棒を使用することができる。一実施例において、プロジェクタ101によって表示される1つ又はそれ以上の物体を、再帰反射ターゲットが取り付けられる棒112の末端に物理的に取り付けられるように現れるようにすることができる。さらに、棒は、参加者の身体から離れた再帰反射器まで延び、再帰反射器のカメラ106の視野が、参加者のいずれかによって妨げられることがなさそうにする。
依然として他の実施例において、参加者及び/又は棒は、IR透過フィルタが取り付けられた慣例的なフラッシュライト、赤外線放射ダイオード(LED)、又は、他の拡散赤外線エネルギーの他の単一の点光源のような赤外線放射器を装備することができる。これらのような放射器を、ターゲットの代わりに、又はこれらに加えて使用することができる。
図2において例示される実施例において、カメラ106からのビデオ画像データは、回路210によって前処理される。図2が例示するように、回路210は、好適には、カメラ106からの入力ビデオ201を、一度に1フレーム、カメラ106によって獲得され格納されたビデオフレーム202と比較する。格納されたビデオフレーム202は、好適には、インタラクティブ領域104にプレイヤ又は他の物体がまったくないときに獲得される。しかしながら、格納されたビデオフレーム202は、インタラクティブ環境における変化を考慮するように、周期的にリフレッシュすることができることが、当業者に明らかであるべきである。
差ビデオ信号208は、好適には、ビデオ減算器203によって、格納されたビデオフレーム202を現在のフレームから減算することによって発生される。この差ビデオ信号は、格納されたビデオフレーム202が獲得された時間からインタラクティブ領域104内に入った、又はこの中で移動したプレイヤ及び他の物体のみを表示する。差ビデオ信号208は、好適には、PC搭載ビデオデジタイザ221に好適に適用される。好適なデジタル化ユニットは、コレコイメージングによるPCバージョンビデオフレームグラバー(しかしこれに限定されない)を含む。
ビデオ減算器210は、参加者が落とし、依然としてインタラクティブ領域にある再帰反射ターゲットのような、カメラ106の視野内のアーティファクトの除去を簡略することができるが、ビデオ減算器は常に必要ではない。本発明を限定することを意図しない例として、ターゲットの位置はずっと監視されることができ、本システムは、所定の期間後、動いていないターゲットをターゲットが再び動くまで無視することができる。本システムは、ターゲットが所定の時間中静止していると、これは負傷している参加者又はインタラクティブ領域内の他の問題を示すことができるため、本システムの制御における人間に警告することもできる。代わりの実施例において、フレームごとのターゲット検出は、他のフレームから独立して達成することができる。
ブロブ検出アルゴリズム222は、画像において動作し、画像における各々の明るい物体、すなわち“ブロブ”の中心のX及びY位置を計算する。ブロブ検出アルゴリズム222は、各々のブロブのサイズも計算することができる。ブロブ検出アルゴリズム222は、好適には、これらに限定されない低及び高画素輝度しきい値、低及び高ブロブサイズしきい値、及び、粒状性検索を含むがユーザが選択可能なパラメータを使用して実施される。所定のビデオフレームにおける任意のブロブのサイズ及び位置が決定されたら、この情報は、アプリケーションソフトウェア223に渡され、インタラクティブ領域104における人間とどう相互作用するかを決定する。本発明を限定することを意図しない例として、アプリケーションソフトウェア223は、インタラクティブ領域104において投影されるビデオ出力を発生することができる。
図3は、ブロブ検出アルゴリズム222に与えられる前処理されたビデオ画像208を示す。上述したように、ブロブ検出アルゴリズム222は、差信号208における個々の明るいスポット301、302、303を検出することができ、これらの“ブロブ”の中心310のX−Y位置が決定される。代わりの実施例において、ブロブは、IRカメラ106からのフィードから直接識別することができる。当業者には、本発明の趣旨又は範囲から逸脱することなく、フレームレートが変化することができ、又は、いくつかのフレームが欠けることができることが明らかであるべきだが、ブロブ検出は、好適には、入力ビデオの各々のフレームにおける隣接する明るい画素の各々のグループに関して達成される。
上述したように、ブロブは、好適には、調節可能な画素輝度しきい値を使用して検出される。各々のフレームは、好適には、起点画素から開始して走査される。各々の画素は、最初に、興味あるこれらの画素、すなわち、下限及び上限輝度しきい値内に入るこれらの画素を識別するために評価される。試験下の画素が下限輝度しきい値より下、又は、上限輝度しきい値より上の輝度値を有する場合、この画素の輝度値はゼロ(すなわち黒)に設定される。上限及び下限輝度しきい値の双方をしきい値目的に使用することができるが、1つのしきい値を比較目的に使用することができ、輝度値がこのしきい値より下のすべての画素の輝度値がゼロにリセットされることは当業者に明らかであるべきである。
興味ある画素が識別され、残りの画素がゼロにされると、ブロブ検出アルゴリズムは、ブロブに関してフレームの走査を開始する。この走査プロセスは、起点画素から開始される。画素の輝度値がゼロならば、同じ行における次の画素が検査される。現在の画素と次の画素との間の距離は、ユーザが調節可能な粒状性設定によって決定される。より低い粒状性は、より小さいブロブの検出を可能にし、より高い粒状性は、より速い処理を可能にする。所定の行の終わりに達したら、検査は次の行に進み、行間の距離も、ユーザが調節可能な粒状性設定によって配列される。
検査されている画素がゼロでない輝度値を有する場合、ブロブ処理ソフトウェア222は、ブロブの上エッジが見つかるまで(すなわち、ゼロ輝度値画素に出会うまで)、同じ列で一度に1行フレームを上げはじめる。上エッジの座標は、今後の参照のために保存される。ブロブ処理ソフトウェア222は、次に、試験下の画素に戻り、ブロブの下エッジが見つかるまで行を下げ、下エッジの座標がまた、参考のため保存する。上ブロブエッジと下ブロブエッジの間の線の長さが計算され、この線の中間点が決定される。検出された上ブロブエッジ及び下ブロブエッジを接続する線の中間点は、試験下の画素になり、ブロブ処理ソフトウェア222は、上及び下エッジを決定するのに使用されたのと同様なプロセスによって左及び右エッジを見つける。次に、左及び右ブロブエッジを接続する線の中間点が決定され、この中間点は試験下の画素になる。次に、上及び下ブロブエッジは、この新たな試験下の画素の位置に基づいて再び計算することができる。適切なブロブ境界が決定されたら、この情報は、後の使用のために記憶される。次に、上、下、左及び右エッジによって描かれる境界ボックス内のすべての画素は、ゼロの輝度値を割り当てられ、ブロブ処理ソフトウェア222は、元の試験化の画素を起点として再び開始する。
この検出アルゴリズムは、フレーム内の一様にシャープな連続する明るい領域をすばやく検出するのには良好に働くが、検出アルゴリズムは、1つのみのブログが実際に存在する場合にいくつかのブロブの検出を生じるかもしれない。これを改善するために、ブロブ座標が比較され、交差する又は接触する任意のブロブは単一のブロブに結合され、その大きさは個々のブロブを取り囲む境界ボックスである。各々の結合されたブロブの中心はまた、各々の角から斜めに反対側の角まで延在する線の交点に基づいて計算される。このプロセスを通じて、好適には各々のブロブの中心と、ブロブのエッジを表す座標と、エッジの各々の中心からの距離の平均として計算される半径と、境界矩形内の非ゼロ値を有する画素の割合として計算される各々のブロブの重み(しかしこれらに限定されない)とを含む、検出されたブロブリストを容易に決定することができる。
しきい値は、好適には、ブロブ処理ソフトウェア222によってブロブとして識別されるべき連続する画素の最小及び最大グループに関しても設定することができない。本発明を限定することを意図しない例として、均一なターゲットサイズが使用され、インタラクティブ領域のサイズと、インタラクティブ領域上のカメラの高さとが既知である場合、有効ターゲットサイズの範囲を決定することができ、この有効ターゲットサイズ範囲内に入らないどのブログも、ブロブ処理ソフトウェア222によって無視することができる。これは、ブロブ処理ソフトウェア222がインタラクティブ領域内の外部からのノイズを無視することを可能にし、ターゲットが使用される場合、インタラクティブ領域内の実際のターゲットと、任意の外部からの不可避な干渉光から、又は、いくつかのアスレチックシューズにおいて一般的になっているような、客の従来の衣服の一部として身に着けている反射ストリップからのもののような(しかしこれらに限定されない)、他の反射とを区別することを可能にする。ユーザによって設定されるしきい値境界の外にある、ブロブ処理ソフトウェア222によって検出されたブロブは、好適には、検出されたブロブリストから外される。
図2のコンピュータ220の好適実施例は、ブロブ処理ソフトウェア222及びアプリケーションロジック223の双方を含むが、ブロブ処理ソフトウェア222及びアプリケーションロジック223は、好適には、モジュラコードベースから構成される。これは、ブロブ処理アルゴリズム222が1つのコンピュータにおいて動作することを可能にし、アプリケーションロジック223に中継されるそこからの結果は、1つ以上の他のコンピュータにおいて動作する。本発明を限定することを意図しない例として、このような結果は、802.11(g)対応した無線ネットワーキングインタフェースをシステム移植性を容易にするように使用して他のコンピュータに伝送することができる。所定のコンピュータの計算容量が多数のブロブを追跡するのに十分でないイベントにおいて、このモジュラアーキテクチャは、複数のターゲットを、インタラクティブ表面を横切って容易に追跡できるようにすることができる。
インタラクティブ領域内のターゲットの位置を知ることによって、アプリケーションロジック223は、1つ以上のターゲットと、コンピュータが発生したビデオ物体(例えば、ビデオ投影されたパック又はボール)、又は、インタラクティブ空間における参加者(又は彼らの棒)の物理的位置に固定されるもののような他の投影された画像との間の衝突を検出することができる。加えて、MIDIトリガを使用し、ブロブ、ビデオ物体又はこれらの組み合わせの、互いの、インタラクティブ領域境界との、又は、インタラクティブ領域の他の特徴との衝突に応じて音を発生することができる。
図4に例示した実施例において、客は、本発明によって与えられる床ベースのインタラクティブ領域を使用し、“エアホッケー”の電子バージョンをプレイすることができる。ここで、客は、好適には、彼らの靴のつま先に再帰反射器112を取り付けられた後、投影されたパック120を前後方向に蹴ることができる。この場合において、客の足の位置は、ブロブ処理ソフトウェア522によって決定され、“とがったフットスクープ”を、各々の客の足におけるターゲットの周囲に投影することができる。例えば、とがったスクープ413を床に投影し、プレイヤが、投影されたパック120との接触が達成されるゾーンを見ることを可能にする。
代わりに、プレイヤは、図4のホッケースティック状装置130のような棒を使用し、“パック”をあたりに押し動かすことができる。棒が使用される場合、この棒は、取り付けられた1つ以上の再帰反射ターゲットを有することができる。このような実施例において、客の靴に関して上述したのと同様の方法において、グラフィカル画像を棒の周囲に投影することができる。投影されるグラフィカル画像は、客の足に関係付けられたブロブの中心から発する所定の半径の円を測定することによって決定できるような可視及び/又は不可視境界を有することができる。このような境界を使用し、投影されたパックのような他のゲーム物体との“接触”が起こった場合を決定することができる。
パック又はボールのビデオ画像は、写真、例えば、実際のエアホッケーパックのデジタル化された写真、又は、架空の様式化された画像とすることができる。パックが入ることに反応する床上のゴールが設定することができ、実際のパックの動きの物理は、ゲーム動作のすべてにおいてプログラムすることができる。参加者が、実施例において記載されたホッケースティックのような棒を使用して本システムと相互作用している場合、“ポン”、ホッケー、サッカー、卓球又は他のゲームのバージョンを容易に実施及びプレイすることができる。パックが打たれる方向に応じて、発生した物がプレイヤに実際に現実の物を打つようなことをシミュレートするビデオ運動によって、それを伝えることができる。
図5において例示した代わりの実施例において、IR光源105は、インタラクティブ領域104の視野を有するカメラ106に照明を与える。この実施例において、IR光源105は、好適には、カメラ106及びプロジェクタ101から実質的に離れて位置する。IR光源105の位置は、客に、インタラクティブ領域104内に影(赤外線における)510を投げかけさせる。この影は、カメラ106によって画像化することができ、奇抜で強力な幻影を構成することができる。この実施例に関する処理システムを図6に示す。
図6において例示するように、図1−3の実施例に関して説明した減算前処理をこの実施例において任意に使用することができ、インタラクティブ領域における無関係の物体又は光によって形成される任意の影響を除去し、これによって、本システムが参加者505との相互作用を検出及び促進することを可能にする。減算前処理を使用する場合、差ビデオ画像がビデオ反転器610に供給され、その出力をプロジェクタ101に供給することができる。減算前処理を使用しない場合、カメラ106からの出力をビデオ反転器610に直接供給することができる。
差ビデオ又はカメラ106からの出力を反転することによって(再び図5を参照)、赤外線の影における領域を明るくすることができる。この反転された画像をインタラクティブ領域に投影し、一方赤外線画像において明るい領域(すなわち、インタラクティブ表面の残りの大部分)を暗くすることができ(すなわち、投影された光を受けることができない)、赤外線画像において暗い領域が投影された光を受けることができる。客は赤外線の影を見ることができず、投影された反転された“影”のみを見るため、彼らの日常の体験において影は暗く、明るくないため、彼らは驚かされ、楽しまされるであろう。当業者には、物理的歪み、色、ストライプ、スポット(しかしこれらに限定されない)等を含むが代わりの効果が、“影”領域に加えることができることが明らかであるべきである。
依然として他の実施例において、光検出及び投影方法は、図5及び6において例示した実施例において使用されるのと同様であるが、ここでは、好適にはインタラクティブ表面において投影される漫画キャラクタが客と相互作用する。本発明を限定することを意図しない例として、図7のA−Dにおいて例示するように、インタラクティブ領域104を通って歩く客は、彼らと共に歩く漫画キャラクタによって近づくことができる。
漫画キャラクタは、ラウドスピーカ(図示せず)によって再生されるリアルタイム又は記憶されたオーディオクリップの使用によって“歩く”ように形成することができる。複数のスピーカ及び慣例的な3Dオーディオアルゴリズムを使用することによって、キャラクタの声は、単に壁におけるスピーカからでなく、キャラクタの物理的位置から来るかのように現れるようにすることができる。
ソフトウェアは、好適には、見ている人に対して“直立”して現れるようにキャラクタを描く。これを、図7のジオメトリを考慮して容易に成し遂げることができる。ソフトウェアは、IR光源に最も近い人間のIR影の端を決定し、客が位置する場所を決定することができる。ソフトウェアは、キャラクタの足が参加者の足の近くになり、その身体がIR光源105から半径方向に延在するようにキャラクタを描くことができる。インタラクティブ領域のこのオフ軸投影及び観察方法によって、客が彼らのために指定された投影を妨げる可能性が減少する。この方法において、キャラクタは、参加者の影に近づき、本システムを上記実施例において説明した“白い影”状態から開始し、次に参加者の影をキャラクタにモーフィングすることによって、本当に、驚異的なショーを達成することができる。
キャラクタは、通行人のための広告、娯楽又は案内を与えることができる。地面において描かれているキャラクタと相互作用することは、通常通行人の毎日の経験から逸脱しているため、初めは、通行人はキャラクタを無視する傾向があるかもしれない。しかしながら、キャラクタは、客の前進を妨げるように床に沿って移動することができる。キャラクタは、客に手招きし、特定の方向において歩くことができ、ソフトウェアはこれらの進行を監視する。進行が、彼又は彼女を、例えば戸口715に入らせる方向である場合、キャラクタは、支持動作(例えば、“その通り”、“一緒に来て”等と発音する)でその承認を示すことができ、そうでない場合、キャラクタは、指示する、先導する、言葉でおだてる、又は他の方法において客を誘導することができる。キャラクタは、有利には客をせきたて、店に入らせることができ、又は、客が他の方向決定を行うのを助けることができる。1つ以上の方向性マイクロフォンをインタラクティブ領域に追加することによって、参加者又はキャラクタは言葉で相互作用することができる。
図8において例示する、依然として他の実施例において、キャラクタ又は他のインタラクティブ体験が生じることができる領域を拡大するために、投影される画像を、出力光の円錐を光学的に導くことができるプロジェクタによって発することができる。これは、同じプロジェクタが、(一度にすべてではないが)潜在的にはるかに大きい領域を照らすことを可能にし、照射される領域においてより高い解像度で投影されることを可能にする。
図8において、本システムの画像検出部分は、上記の実施例のものと、カメラ106の視野が、好適にはプロジェクタ101の放射される光画像より広く形成されるのを除いて、上記の実施例のものと同じである。プロジェクタ101は、好適には、コンピュータ制御される光学パン及びチルトミラー配置810をプロジェクタの光経路において用い(又は、プロジェクタ全体がパン及びチルトすることができる)、投影される画像を、必要ならばカメラの視野804全体に渡って動かすことができるようにする。このシステムを動作するソフトウェアは、プロジェクタのX−Y光円錐の運動と、投影される円錐内の物体のビデオ運動との組み合わせを使用し、表面804における物体の総合的な運動を実行することができることを除いて、上記の実施例のものと同じである。この実施例において、投影される物体との瞬時の相互作用は、好適には、旋回するプロジェクタの投影範囲内に現在ある領域においてのみ生じる。カメラ106は、より広い領域全体を画像化するため、インタラクティブ領域におけるどこで生じる活動も、最終的に本システムによって反応されることができる。例えば、新たな客が全体的に走査されるインタラクティブ領域804に入ることは、投影されるキャラクタに現在の客から注意をそらし始めさせ、この新たに到着した客の方向に移動させることができ、または新たなキャラクタを導入することができる。
代わりの実施例において、追加のカメラは、パン及びチルトミラー配置を使用することができ、プロジェクタが投影することができる領域により高い解像度を与える。依然として他の実施例において、単一のカメラがパン及びチルトミラー配置を使用することができ、本システムが参加者を見失った場合、本システムは、参加者が見つかるまで、又は、デフォルト位置に達するまで、探索パターンに従うことができる。
サッカー又は他の床ベースのスポーツ用途において、この旋回プロジェクタ技術は、上述した静的プロジェクタ実施例によって可能なよりも高い解像度及び明るさを有するボールの画像を投影しながら、パック又はボールの運動により広い範囲を与えることができる。
加えて、プロジェクタのその出力をそらす能力を、投影された領域内のビデオ運動を組み合わせ、客の相互作用に対する急速な応答と、大きい領域の相互作用と、高度に現実的な画像とを与えることができる。
図9に示す代わりの実施例は、相互作用性が生じることができる表面領域を増加することが望ましい、又は、固定された領域内の検出及び投影の解像度を増加することが望ましい場合のようないくつかの用途において有利であるかもしれない。ここで、多数の“つなぎ合わされた”カメラ106、プロジェクタ101、又は、カメラ/プロジェクタ対を使用し、床表面を画像化し、及び/又は、床表面に投影することができる。個々のコンピュータは、カメラ106からの画像を別々に処理することができ、投影された領域又は彼らを、多数のアナログデジタル変換器及びグラフィカル出力容量を有する1台の高速コンピュータによって扱うこともできる。
図10に示す、非常に大きいインタラクティブ領域が存在するという知覚を客に与える他の実施例において、実際のインタラクティブ投影領域104を、スライド又は遮光板形式のプロジェクタのような静止画像プロジェクタ1010によって投影される大きい固定された非インタラクティブ領域1020によって取り囲むことができる。これは、システムのコストをさらにより低くし、インタラクティブ領域の美的な外観を増すことができる。インタラクティブ領域がこの暗い空間を満たすように、静止画像における領域を覆い隠すことができ、又は、インタラクティブ領域プロジェクションシステムが、共有されたプロジェクション領域104において単純に重ねて投影することもできる。
図11に例示する依然として代わりの実施例において、(ジョージア州、アルファレッタ、ノースフルトンインダストリアルブールバード、クロマテック社によって市販されている)クロマステレオのような(しかしこれに限定されない)3次元表示技術を使用し、床に投影された画像が種々の領域において深さ及び高さを有することを表すようにすることができる。この様な実施例において、参加者は複数のプリズム・グレイティング・グラス(図示されない)を着けることができる。これらは、光スペクトルと交差する異なった色の光を異なった量だけ曲げる。ボール1120のような、インタラクティブ表面から延長することになっている画像部分は、好適には、可視スペクトルの一方の端から、例えば赤の端からの色を使用して描かれる。中間に延在するように見えるべきグリッド1110のような領域は、緑のような可視光の中央からの色で投影され、近くに、又は、背景領域1104のようなインタラクティブ領域と同じレベルにおいて現れることになっている領域は、可視光の青端に向かう色において投影される。クロマステレオ技術は、分極ステレオ、又は、ステレオ効果を与えるビュー間の相違が下を向く参加者のビューの回転に対して変化しないフィールドシーケンシャルステレオのような他の3D技術より有利である。参加者がある方位からインタラクティブ表面の方向のみを向く場合、上述した、及び他の標準ステレオ符号化技術を使用することができる。
人間のエアホッケーを許可するインタラクティブ領域のような、大スケールの実施に使用されるのに加えて、本発明は、小スケールの使用にも適合することができる。さらに、視覚的光プロジェクタ101、IR照明器105及びカメラ106を、代表的に、共通領域内に配備するが、本発明はこれに限定されない。図12は、本発明を使用する水族館のような実施例を例示する。図12に示す実施例において、活魚は参加者103として働く。この水族館は、インタラクティブ領域104として働くリアプロジェクションスクリーンに対して立てかける。IR照明器105及び視覚的光プロジェクタ101は、好適には、リアプロジェクトスクリーン104の背後に配置される。IR照明器105は、インタラクティブ領域104を十分に照らすことができ、IRパスフィルタ108を使用して可視光が減衰された場合、カメラ106に対して“白色”に現れる。魚103がインタラクティブ領域104の前面において動き回ると、これらは影を投げかけ、これらの影をカメラ106によって検出することができる。ブロブ処理ソフトウェア222は、影のサイズ及び位置を決定することができる。この場合において視覚的光プロジェクタ101によってインタラクティブ領域104に投影されるスキューバダイバーの画像であるキャラクタ710は、魚103と相互作用するように現れることができ、これは、魚の上、下又は背後に泳ぐことを含む。
本発明を、詳細に、その特定の実施例の参照と共に説明したが、種々の変更及び変形を、その趣旨及び範囲から逸脱することなしに行えることは、当業者には明らかであろう。したがって、本発明は、本発明の変更及び変形を、これらが添付した請求の範囲及びこれらの均等物に入るならば、含むことが意図される。
図1は、本発明の一実施例によるインタラクティブ表面を示す。 図2は、本発明の一実施例によるビデオ処理及びコンピュータ制御システムを示す。 図3は、本発明の一実施例によるビデオブロブ位置アルゴリズムを示す。 図4は、本発明の一実施例による床ベースのパック蹴りゲーム及びインタラクティブホッケースティックを示す。 図5は、白色影が投影される本発明の一実施例を示す。 図6は、本発明の白色影の一態様による画像処理を示す。 図7は、本発明の一実施例によるアニメーションする床に投影されたキャラクタを示す。 図8は、本発明の一実施例の旋回するプロジェクタ態様を示す。 図9は、本発明の一実施例による高解像度で大きい領域をカバーする多数のプロジェクタ又はカメラの使用を示す。 図10は、本発明の一実施例によるより大きい非インタラクティブ領域内に埋め込まれたインタラクティブ領域を示す。 図11は、本発明の一実施例による3次元投影を示す。 図12は、本発明を利用する水族館のような実施例を示す。

Claims (46)

  1. 当該領域上に電磁エネルギーが投射されると共に、当該領域上で前記電磁エネルギーが検出されるインタラクティブ領域を含むインタラクティブ表面上に位置する参加者のためのインタラクティブ環境を形成するビデオ作動システムにおいて、
    制限された波長範囲内の電磁エネルギーを発生することができる電磁エネルギー源であって、前記電磁エネルギー源からの前記電磁エネルギーが前記インタラクティブ表面の少なくとも一部である前記インタラクティブ領域投射されるように配置された電磁エネルギー源と、
    前記電磁エネルギー源によって発生された少なくとも前記制限された波長範囲内の電磁エネルギーを検出し、前記検出電磁エネルギーを出力信号に変換することができる電磁画像化装置であって、前記インタラクティブ領域からの前記電磁エネルギーを検出できるように配置され電磁画像化装置と、
    少なくとも1つの入力部を有、可視光を前記インタラクティブ表面に投影することができる可視光プロジェクタと、
    コンピュータシステムと、
    前記コンピュータシステム上で実行されるコンピュータプログラムであって、前記電磁画像化装置からの前記出力信号を受け、前記出力信号内の前記電磁エネルギーのブロブを検出し、前記ブロブについてのブロブ情報を報告し、前記ブロブ情報を処理し、前記処理たブロブ情報に基づいて前記可視光プロジェクタへの入力を発生し、これにより前記可視光プロジェクタが前記インタラクティブ表面上に画像を投影して前記ブロブの1つと相互作用する手順を前記コンピュータシステムに実行させるためのコンピュータプログラムとを具えることを特徴とするビデオ作動システム。
  2. 請求項1に記載のビデオ作動システムにおいて、狭い波長範囲の少なくとも1つのパスフィルタをさらに具え、前記少なくとも1つのパスフィルタは、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを効率的に減衰せずに通過させ、一方他の波長の電磁エネルギーを減衰させ、前記パスフィルタは、実質的に前記電磁画像化装置と前記インタラクティブ表面との間に、前記電磁画像化装置に入る実質的にすべての電磁エネルギーが前記パスフィルタを通過するように構成されていることを特徴とするビデオ作動システム。
  3. 請求項1に記載のビデオ作動システムにおいて、狭い波長範囲の少なくとも1つのストップフィルタをさらに具え、前記ストップフィルタは、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを減衰させ、一方他の波長の電磁エネルギーを効率的に減衰せずに通過させ、前記ストップフィルタは、前記可視光プロジェクタと前記インタラクティブ表面との間に、前記可視光プロジェクタからの実質的にすべての光が前記ストップフィルタを通過するように構成されていることを特徴とするビデオ作動システム。
  4. 請求項1に記載のビデオ作動システムにおいて、
    狭い波長範囲のパスフィルタであって、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを効率的に減衰せずに通過させ、一方他の波長の電磁エネルギーを減衰させ、前記電磁画像化装置と前記インタラクティブ表面との間に、前記電磁画像化装置に入る実質的にすべての電磁エネルギーが当該パスフィルタを通過するように構成され少なくとも1つのパスフィルタと、
    狭い波長範囲のストップフィルタであって、前記電磁エネルギー源によって発生される前記狭い波長範囲内の電磁エネルギーと実質的に等価な電磁エネルギーを減衰させ、一方他の波長の電磁エネルギーを効率的に減衰せずに通過させ、前記可視光プロジェクタと前記インタラクティブ表面との間に、前記可視光プロジェクタからの実質的にすべての光が当該ストップフィルタを通過するように構成され少なくとも1つのストップフィルタとをさらに具えることを特徴とするビデオ作動システム。
  5. 請求項1に記載のビデオ作動システムにおいて、前記電磁エネルギー源は、前記電磁エネルギーの波長範囲内の波長を有する電磁エネルギーを発生することを特徴とするビデオ作動システム。
  6. 請求項1に記載のビデオ作動システムにおいて、前記インタラクティブ表面は床から成り、前記電磁エネルギー源は前記インタラクティブ表面上に配置されることを特徴とするビデオ作動システム。
  7. 請求項1に記載のビデオ作動システムにおいて、前記電磁画像化装置はグレイスケールCCDカメラであることを特徴とするビデオ作動システム。
  8. 請求項1に記載のビデオ作動システムにおいて、前記インタラクティブ表面は床から成り、前記電磁画像化装置は前記インタラクティブ表面上に配置されることを特徴とするビデオ作動システム。
  9. 請求項1に記載のビデオ作動システムにおいて、前記ブロブ検出はフレーム毎生じることを特徴とするビデオ作動システム。
  10. 請求項1に記載のビデオ作動システムにおいて、前記ブロブ検出は、少なくとも1つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
  11. 請求項1に記載のビデオ作動システムにおいて、前記ブロブ検出は、少なくとも1つのカスタマイズ可能なブロブサイズしきい値に基づくことを特徴とするビデオ作動システム。
  12. 請求項11に記載のビデオ作動システムにおいて、前記ブロブ検出は、少なくとも1つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
  13. 請求項1に記載のビデオ作動システムにおいて、前記ブロブ検出は、カスタマイズ可能な粒状性設定に基づいて制御可能であることを特徴とするビデオ作動システム。
  14. 請求項1に記載のビデオ作動システムにおいて、ターゲット前記参加者に関係付けられることを特徴とするビデオ作動システム。
  15. 請求項14に記載のビデオ作動システムにおいて、前記ターゲットは再帰反射ターゲットであることを特徴とするビデオ作動システム。
  16. 請求項1に記載のビデオ作動システムにおいて、複数のターゲット前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
  17. 請求項16に記載のビデオ作動システムにおいて、既知の方向の3つの前記ターゲット、前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
  18. 請求項17に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記ブロブの各々のサイズ及び位置を含むことを特徴とするビデオ作動システム。
  19. 請求項18に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記参加者の各々の方向を決定するために使用されることを特徴とするビデオ作動システム。
  20. 請求項19に記載のビデオ作動システムにおいて、前記参加者の少なくとも1人の方向、前記コンピュータプログラムによって使用され、前記可視光プロジェクタへの前記入力を発生することを特徴とするビデオ作動システム。
  21. 請求項17に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記インタラクティブ表面上の棒の高さを決定するのに使用されることを特徴とするビデオ作動システム。
  22. 請求項17に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記可視光プロジェクタによって投影される前記画像の少なくとも一部のスケールを決定するのに使用されることを特徴とするビデオ作動システム。
  23. 請求項1に記載のビデオ作動システムにおいて、前記電磁エネルギー源は前記参加者の各々に割り当てられることを特徴とするビデオ作動システム。
  24. 請求項1に記載のビデオ作動システムにおいて、パンチルトミラー前記可視光プロジェクタの光路内に配置されることを特徴とするビデオ作動システム。
  25. 請求項1に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、3次元表示技術を使用してエンコードされた光を投影することを特徴とするビデオ作動システム。
  26. 請求項1に記載のビデオ作動システムにおいて、前記電磁エネルギー源は、前記インタラクティブ表面の前記インタラクティブ領域上に、前記電磁画像化装置が前記インタラクティブ表面の前記インタラクティブ領域を検出する位置と異なる位置から前記電磁エネルギーを投射して、前記インタラクティブ表面の前記インタラクティブ領域が前記電磁画像化装置によって検出された際に前記参加者のうち少なくとも1人が、前記インタラクティブ表面の前記インタラクティブ領域内に影を投げかけるようにすることを特徴とするビデオ作動システム。
  27. 請求項26に記載のビデオ作動システムにおいて、前記ブロブ検出を行うアルゴリズム、前記電磁画像化装置によって検出される、前記インタラクティブ表面の前記インタラクティブ領域内の前記参加者の影の位置を決定することを特徴とするビデオ作動システム。
  28. 請求項27に記載のビデオ作動システムにおいて、前記コンピュータプログラムは、前記可視光プロジェクタに、前記参加者の影の領域内にアニメーション化したキャラクタを投射させる手順を前記コンピュータシステムに実行させることを特徴とするビデオ作動システム。
  29. 当該領域上に電磁エネルギーが投射されると共に、当該領域で前記電磁エネルギーが検出されるインタラクティブ領域を含む、床から成るインタラクティブ表面上に位置する参加者のためのインタラクティブ環境を形成するビデオ作動システムにおいて、
    少なくとも1つの再帰反射ターゲットが前記参加者に関係付けられ、
    前記インタラクティブ表面上に位置し、赤外線エネルギーを前記インタラクティブ表面上に投射することができる赤外線エネルギー源と、
    前記赤外線エネルギー源によって発生される前記赤外線エネルギーを検出、前記検出たエネルギーを出力信号に変換することができ、前記インタラクティブ表面上に位置するグレイスケールCCDカメラと、
    少なくとも1つの入力部を有し、可視光を前記インタラクティブ表面上に投影することができる可視光プロジェクタと、
    狭い波長範囲のパスフィルタであって、前記赤外線エネルギー源によって発生される赤外線エネルギーを効率的に減衰せずに通過させ、一方他の波長電磁エネルギーを減衰し、前記グレイスケールCCDカメラと前記インタラクティブ表面との間に、前記グレイスケールCCDカメラに入る実質的にすべての電磁エネルギーが当該パスフィルタを通過するように構成され少なくとも1つのパスフィルタと、
    狭い波長範囲のストップフィルタであって、前記赤外線エネルギー源によって発生される赤外線エネルギーと実質的に等価な赤外線エネルギーを減衰し、一方他の波長の赤外線エネルギーを効率的に減衰せずに通過させ、前記可視光プロジェクタと前記インタラクティブ表面との間に、前記可視光プロジェクタからの実質的にすべての光が当該ストップフィルタを通過するように構成された少なくとも1つのストップフィルタと、
    コンピュータシステムと、
    前記コンピュータシステム上で実行されるコンピュータプログラムであって、前記グレイスケールCCDカメラからの前記出力信号を受け、前記出力信号内の前記赤外線エネルギーのブロブを検出し、前記ブロブについてのブロブ情報を報告し、前記ブロブ情報を処理し、前記処理たブロブ情報に基づいて前記可視光プロジェクタへの入力を発生し、これにより前記可視光プロジェクタが前記インタラクティブ表面上に画像を投影して前記ブロブの1つと相互作用する手順を前記コンピュータシステムに実行させるためのコンピュータプログラムとを具えることを特徴とするビデオ作動システム。
  30. 請求項29に記載のビデオ作動システムにおいて、前記ブロブ検出はフレーム毎生じることを特徴とするビデオ作動システム。
  31. 請求項29に記載のビデオ作動システムにおいて、前記ブロブ検出は、少なくとも1つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
  32. 請求項29に記載のビデオ作動システムにおいて、前記ブロブ検出は、少なくとも1つのカスタマイズ可能なブロブサイズしきい値に基づくことを特徴とするビデオ作動システム。
  33. 請求項32に記載のビデオ作動システムにおいて、前記ブロブ検出は、少なくとも1つのカスタマイズ可能なしきい値輝度レベルに基づくことを特徴とするビデオ作動システム。
  34. 請求項29に記載のビデオ作動システムにおいて、前記ブロブ検出は、カスタマイズ可能な粒状性設定に基づいて制御可能であることを特徴とするビデオ作動システム。
  35. 請求項29に記載のビデオ作動システムにおいて、ターゲット前記参加者に関係付けられることを特徴とするビデオ作動システム。
  36. 請求項35に記載のビデオ作動システムにおいて、前記ターゲットは再帰反射ターゲットであることを特徴とするビデオ作動システム。
  37. 請求項29に記載のビデオ作動システムにおいて、複数のターゲット前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
  38. 請求項37に記載のビデオ作動システムにおいて、既知の方向の3つの前記ターゲット、前記参加者の各々に関係付けられることを特徴とするビデオ作動システム。
  39. 請求項38に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記ブロブの各々のサイズ及び位置を含むことを特徴とするビデオ作動システム。
  40. 請求項39に記載のビデオ作動システムにおいて、前記ブロブ情報は、前記参加者の各々の方向を決定するために使用されることを特徴とするビデオ作動システム。
  41. 請求項40に記載のビデオ作動システムにおいて、前記参加者の少なくとも1人の方向、前記コンピュータプログラムによって使用され、前記可視光プロジェクタへの前記入力を発生することを特徴とするビデオ作動システム。
  42. 請求項29に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、パンチルトミラーを含むことを特徴とするビデオ作動システム。
  43. 請求項29に記載のビデオ作動システムにおいて、前記可視光プロジェクタは、3次元表示技術を使用してエンコードされた光を投影することを特徴とするビデオ作動システム。
  44. 参加者のためのインタラクティブ環境を形成するビデオ作動システムにおいて、
    当該領域上で電磁エネルギーが投射されると共に、当該領域上で前記電磁エネルギーが検出されるインタラクティブ領域を含む複数のインタラクティブ表面と、
    制限された波長範囲内の電磁エネルギーを発生することができる電磁エネルギー源であって、前記電磁エネルギー源からの前記電磁エネルギーが前記インタラクティブ表面の少なくとも一部である前記インタラクティブ領域に投射されるように配置された電磁エネルギー源と、
    前記電磁エネルギー源によって発生された少なくとも前記制限された波長範囲内の電磁エネルギーを検出し、前記検出した電磁エネルギーを出力信号に変換することができる電磁画像化装置であって、前記インタラクティブ表面の前記インタラクティブ領域からの前記電磁エネルギーを検出できるように配置された電磁画像化装置と、
    各々が少なくとも1つの入力部を有し、各々が可視光を前記複数のインタラクティブ表面の少なくとも1つの上に投影することができる複数の可視光プロジェクタと、
    複数のコンピュータシステムと、
    前記複数のコンピュータシステム上で実行されるコンピュータプログラムであって 記電磁画像化装置の少なくとも1つからの前記出力信号を受け、前記出力信号内の前記電磁エネルギーのブロブを検出し、前記複数のインタラクティブ表面内の前記参加者の前記位置を決定し、前記決定した前記参加者の位置を処理し、前記決定した前記参加者の位置に基づいて、前記複数の可視光プロジェクタの少なくとも1つへの入力を発生する手順を前記コンピュータシステムに実行させるためのコンピュータプログラムとを具えることを特徴とするビデオ作動システム。
  45. 請求項44に記載のビデオ作動システムにおいて、前記複数の可視光プロジェクタの少なくとも1つに対して発生される入力が、当該可視光プロジェクタに、前記決定した前記参加者の位置の近くにキャラクタを投影させることを特徴とするビデオ作動システム。
  46. 請求項45に記載のビデオ作動システムにおいて、前記キャラクタは、前記参加者が前記複数のインタラクティブ表面間を移動するとともに、前記参加者に追従することを特徴とするビデオ作動システム。
JP2004550522A 2002-11-05 2003-11-05 ビデオ作動インタラクティブ環境 Expired - Lifetime JP4230999B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42423302P 2002-11-05 2002-11-05
PCT/US2003/035339 WO2004042666A2 (en) 2002-11-05 2003-11-05 Video actuated interactive environment

Publications (3)

Publication Number Publication Date
JP2006505330A JP2006505330A (ja) 2006-02-16
JP2006505330A5 JP2006505330A5 (ja) 2006-12-21
JP4230999B2 true JP4230999B2 (ja) 2009-02-25

Family

ID=32312774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004550522A Expired - Lifetime JP4230999B2 (ja) 2002-11-05 2003-11-05 ビデオ作動インタラクティブ環境

Country Status (5)

Country Link
US (1) US7775883B2 (ja)
EP (1) EP1567234A4 (ja)
JP (1) JP4230999B2 (ja)
AU (1) AU2003291320A1 (ja)
WO (1) WO2004042666A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102421658B1 (ko) * 2022-05-02 2022-07-18 경상남도 (교육청) 스마트 건강 관리 게임을 수행하기 위한 스마트 건강 관리 게임 장치
US11645895B2 (en) 2020-11-25 2023-05-09 Canon Kabushiki Kaisha Queue analysis apparatus using a video analysis

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060287030A1 (en) * 1999-02-26 2006-12-21 Briggs Rick A Systems and methods for interactive game play
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7878905B2 (en) * 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6967566B2 (en) * 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US7390092B2 (en) * 2002-11-08 2008-06-24 Belliveau Richard S Image projection lighting devices with visible and infrared imaging
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US7285047B2 (en) * 2003-10-17 2007-10-23 Hewlett-Packard Development Company, L.P. Method and system for real-time rendering within a gaming environment
FR2862884B1 (fr) * 2003-12-02 2008-05-30 Xkpad Dispositif pour la pratique de la gymnastique interactive de type "step"
US7428318B1 (en) * 2003-12-11 2008-09-23 Motion Reality, Inc. Method for capturing, measuring and analyzing motion
NZ527240A (en) * 2004-01-29 2006-09-29 Bruce Peter Parker Method for depicting an image on an event surface
DE102004041849A1 (de) * 2004-08-27 2006-03-16 Sennheiser Electronic Gmbh & Co. Kg IR-Strahleranordnung
US7273280B2 (en) * 2004-10-04 2007-09-25 Disney Enterprises, Inc. Interactive projection system and method
EP1807162A2 (en) * 2004-11-05 2007-07-18 Mattel, Inc. Multi-user touch-responsive entertainment device
US20060118634A1 (en) * 2004-12-07 2006-06-08 Blythe Michael M Object with symbology
US7430312B2 (en) 2005-01-07 2008-09-30 Gesturetek, Inc. Creating 3D images of objects by illuminating with infrared patterns
EP1849123A2 (en) * 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US20060158616A1 (en) * 2005-01-15 2006-07-20 International Business Machines Corporation Apparatus and method for interacting with a subject in an environment
CN101147188B (zh) 2005-01-21 2010-09-29 格斯图尔泰克股份有限公司 图像处理中基于运动的跟踪的方法和系统
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
AU2006272401B2 (en) 2005-07-22 2011-03-31 Fanvision Entertainment Llc System and methods for enhancing the experience of spectators attending a live sporting event
CN104548586B (zh) * 2005-08-03 2020-03-03 株式会社Ip舍路信 信息输出装置、媒体及信息输入/输出装置
WO2007032075A1 (ja) * 2005-09-15 2007-03-22 Dentsu Inc. アトラクションシステムおよびアトラクション提供方法
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
FR2895811B1 (fr) * 2006-01-04 2008-03-14 Bernard Szajner Procede d'interaction en temps reel avec des images en relief
JPWO2007091333A1 (ja) * 2006-02-10 2009-07-02 株式会社トーセ 映像表示装置
AU2007219710B2 (en) * 2006-03-01 2011-10-13 Brennan Broadcast Group Pty Ltd Detecting contacts during sporting activities etc
WO2007107874A2 (en) * 2006-03-22 2007-09-27 Home Focus Development Ltd Interactive playmat
US7976387B2 (en) * 2006-04-11 2011-07-12 Avago Technologies General Ip (Singapore) Pte. Ltd. Free-standing input device
WO2007121749A1 (en) * 2006-04-21 2007-11-01 Invisiblegame.Com Aps Game system with a virtual ball
US8376844B2 (en) * 2006-06-19 2013-02-19 Ambx Uk Limited Game enhancer
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
US8356254B2 (en) * 2006-10-25 2013-01-15 International Business Machines Corporation System and method for interacting with a display
AU2007332145A1 (en) * 2006-12-11 2008-06-19 Conseng Pty Ltd Monitoring system
US20080195938A1 (en) * 2006-12-14 2008-08-14 Steven Tischer Media Content Alteration
US8189003B2 (en) * 2007-05-08 2012-05-29 Dreamworks Animation Llc System and method for rendering computer graphics utilizing a shadow illuminator
US8155450B2 (en) * 2007-07-25 2012-04-10 The United States Of America As Represented By The Secretary Of The Navy Apparatus for single pass blob image analysis
US8059893B2 (en) * 2007-07-25 2011-11-15 The United States Of America As Represented By The Secretary Of The Navy Method for single pass blob image analysis
US8702430B2 (en) * 2007-08-17 2014-04-22 Adidas International Marketing B.V. Sports electronic training system, and applications thereof
US8360904B2 (en) 2007-08-17 2013-01-29 Adidas International Marketing Bv Sports electronic training system with sport ball, and applications thereof
US8221290B2 (en) 2007-08-17 2012-07-17 Adidas International Marketing B.V. Sports electronic training system with electronic gaming features, and applications thereof
JP4998156B2 (ja) * 2007-08-30 2012-08-15 ソニー株式会社 情報提示システム、情報提示装置、情報提示方法、プログラム並びにプログラムを記録した記録媒体
US20090086027A1 (en) * 2007-10-01 2009-04-02 Benjamin Antonio Chaykin Method And System For Providing Images And Graphics
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
ES2332561B1 (es) * 2008-01-30 2010-11-29 Cuatic Interaccion Fisica, S.L.U Sistema de inmersion visual interactiva.
US20090221211A1 (en) * 2008-02-29 2009-09-03 Phong David Ngo Scoot: a physical activity-promoting game system
US20090219381A1 (en) * 2008-03-03 2009-09-03 Disney Enterprises, Inc., A Delaware Corporation System and/or method for processing three dimensional images
WO2009109058A1 (de) * 2008-03-05 2009-09-11 Quasmo Ag Vorrichtung und verfahren zur steuerung eines spielablaufs
US9649551B2 (en) 2008-06-03 2017-05-16 Tweedletech, Llc Furniture and building structures comprising sensors for determining the position of one or more objects
US10155156B2 (en) 2008-06-03 2018-12-18 Tweedletech, Llc Multi-dimensional game comprising interactive physical and virtual components
US8602857B2 (en) 2008-06-03 2013-12-10 Tweedletech, Llc Intelligent board game system with visual marker based game object tracking and identification
WO2009149112A1 (en) * 2008-06-03 2009-12-10 Tweedletech, Llc An intelligent game system for putting intelligence into board and tabletop games including miniatures
US8974295B2 (en) 2008-06-03 2015-03-10 Tweedletech, Llc Intelligent game system including intelligent foldable three-dimensional terrain
WO2012033863A1 (en) 2010-09-09 2012-03-15 Tweedletech, Llc A board game with dynamic characteristic tracking
US20100037273A1 (en) * 2008-08-07 2010-02-11 Brian Dressel Interactive video presentation
US8373657B2 (en) * 2008-08-15 2013-02-12 Qualcomm Incorporated Enhanced multi-touch detection
EP2193825B1 (en) 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8092287B2 (en) * 2008-12-04 2012-01-10 Disney Enterprises, Inc. System and method for providing a real-time interactive surface
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
EP2219097A1 (en) * 2009-02-13 2010-08-18 Ecole Polytechnique Federale De Lausanne (Epfl) Man-machine interface method executed by an interactive device
US20110165923A1 (en) * 2010-01-04 2011-07-07 Davis Mark L Electronic circle game system
US20110256927A1 (en) * 2009-03-25 2011-10-20 MEP Games Inc. Projection of interactive game environment
US9971458B2 (en) 2009-03-25 2018-05-15 Mep Tech, Inc. Projection of interactive environment
KR101067809B1 (ko) * 2009-04-23 2011-09-27 주식회사유스페이스자산관리 공간탈출게임시스템
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
US20100309197A1 (en) * 2009-06-08 2010-12-09 Nvidia Corporation Interaction of stereoscopic objects with physical objects in viewing area
US8223196B2 (en) * 2009-06-10 2012-07-17 Disney Enterprises, Inc. Projector systems and methods for producing digitally augmented, interactive cakes and other food products
US8727875B2 (en) * 2009-07-27 2014-05-20 Obscura Digital, Inc. Automated enhancements for billiards and the like
US8616971B2 (en) * 2009-07-27 2013-12-31 Obscura Digital, Inc. Automated enhancements for billiards and the like
US8992315B2 (en) * 2009-07-27 2015-03-31 Obscura Digital, Inc. Automated enhancements for billiards and the like
JP5254906B2 (ja) * 2009-08-27 2013-08-07 京セラ株式会社 電子機器
US8523673B1 (en) * 2009-12-14 2013-09-03 Markeith Boyd Vocally interactive video game mechanism for displaying recorded physical characteristics of a player in a virtual world and in a physical game space via one or more holographic images
US8549418B2 (en) * 2009-12-23 2013-10-01 Intel Corporation Projected display to enhance computer device use
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
EP2347809A1 (en) * 2010-01-20 2011-07-27 Blue Banana bvba Crowd control system and method
US8814363B2 (en) * 2010-04-08 2014-08-26 Disney Enterprises, Inc. Trackable projection surfaces using hidden marker tracking
US20110275434A1 (en) * 2010-05-04 2011-11-10 Mediatek Inc. Methods for controlling a process of a game and electronic devices utilizing the same
WO2011145431A1 (ja) * 2010-05-19 2011-11-24 株式会社バンダイ ゲーム装置及びコンピュータプログラム
US9132352B1 (en) * 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US8542218B2 (en) * 2010-08-19 2013-09-24 Hyundai Motor Company Electronic switch apparatus for vehicle
US20120157204A1 (en) * 2010-12-20 2012-06-21 Lai Games Australia Pty Ltd. User-controlled projector-based games
US8878858B2 (en) 2011-02-03 2014-11-04 Videa, Llc Video projection apparatus and methods, with image content control
US9667932B2 (en) * 2011-02-03 2017-05-30 Videa, Llc Automatic correction of keystone distortion and other unwanted artifacts in projected images
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
BE1020384A3 (nl) * 2012-05-30 2013-08-06 Vanerum Belgie Nv Interactief projectiesysteem.
US9092394B2 (en) 2012-06-15 2015-07-28 Honda Motor Co., Ltd. Depth based context identification
JP2014008295A (ja) * 2012-06-29 2014-01-20 Sega Corp 映像演出装置
SE1200428A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
US9317109B2 (en) * 2012-07-12 2016-04-19 Mep Tech, Inc. Interactive image projection accessory
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
US9197870B1 (en) 2012-09-12 2015-11-24 Amazon Technologies, Inc. Automatic projection focusing
US20140121007A1 (en) * 2012-10-30 2014-05-01 Zynga Inc. Playing a social game with automatic players
US9931566B2 (en) 2014-01-29 2018-04-03 Eddie's Social Club, LLC Game system with interactive show control
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
US9101824B2 (en) * 2013-03-15 2015-08-11 Honda Motor Co., Ltd. Method and system of virtual gaming in a vehicle
US20140363073A1 (en) * 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US9778546B2 (en) 2013-08-15 2017-10-03 Mep Tech, Inc. Projector for projecting visible and non-visible images
CN103558921A (zh) * 2013-11-23 2014-02-05 高国梁 地幕投影互动系统
US20150145711A1 (en) * 2013-11-26 2015-05-28 The Regents Of The University Of Michigan Retro-reflective radar patch antenna target for vehicle and road infrastructure identification
JP5874717B2 (ja) * 2013-12-02 2016-03-02 トヨタ自動車株式会社 訓練システム、及び訓練方法
USD755850S1 (en) * 2013-12-30 2016-05-10 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
RU2763166C2 (ru) * 2014-05-21 2021-12-28 ЮНИВЕРСАЛ СИТИ СТЬЮДИОС ЭлЭлСи Система и способ отслеживания для использования при наблюдении за оборудованием парка развлечений
US10061058B2 (en) * 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
US9616350B2 (en) * 2014-05-21 2017-04-11 Universal City Studios Llc Enhanced interactivity in an amusement park environment using passive tracking elements
US9429398B2 (en) 2014-05-21 2016-08-30 Universal City Studios Llc Optical tracking for controlling pyrotechnic show elements
US9433870B2 (en) 2014-05-21 2016-09-06 Universal City Studios Llc Ride vehicle tracking and control system using passive tracking elements
US10207193B2 (en) * 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9600999B2 (en) 2014-05-21 2017-03-21 Universal City Studios Llc Amusement park element tracking system
US10025990B2 (en) 2014-05-21 2018-07-17 Universal City Studios Llc System and method for tracking vehicles in parking structures and intersections
US9962570B2 (en) * 2014-05-22 2018-05-08 Brandon Dallmann Trampoline game system
US9943759B2 (en) 2014-06-16 2018-04-17 Universal City Studios Llc Interactive game floor system and method
CN104117202B (zh) * 2014-07-02 2015-12-30 乔冰 投影式台球击球智能辅助系统和方法
CN104117203B (zh) * 2014-07-02 2015-12-09 乔冰 红外投影式台球娱乐系统及其实现方法
CN104117201B (zh) * 2014-07-02 2015-12-09 乔冰 投影式台球系统手势/球杆控制系统及其实现方法
WO2016007029A1 (pt) * 2014-07-09 2016-01-14 Isensexpert, Lda Sistema de treino incluindo zonas de treino de referência e processo de operação do referido sistema de treino
US9993733B2 (en) 2014-07-09 2018-06-12 Lumo Interactive Inc. Infrared reflective device interactive projection effect system
US9566508B2 (en) * 2014-07-11 2017-02-14 Zeroplus Technology Co., Ltd. Interactive gaming apparatus using an image projected onto a flexible mat
US10122976B2 (en) * 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface
PL4235628T3 (pl) 2015-06-08 2024-04-29 Battlekart Europe System tworzenia środowiska
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
IN2015CH03967A (ja) 2015-07-31 2015-08-14 Wipro Ltd
JP6615541B2 (ja) * 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
CN106095133B (zh) * 2016-05-31 2019-11-12 广景视睿科技(深圳)有限公司 一种交互投影的方法及系统
KR101815530B1 (ko) * 2017-02-16 2018-01-05 주식회사 애틱팹 의자형 가상현실 콘트롤러
US10223590B2 (en) * 2016-08-01 2019-03-05 Qualcomm Incorporated Methods and systems of performing adaptive morphology operations in video analytics
US20180280656A1 (en) * 2017-03-28 2018-10-04 Nextvr Inc. Virtual reality methods and apparatus which use or include brain activity sensors
US10310610B2 (en) * 2017-10-19 2019-06-04 Facebook Technologies, Llc Haptic device for artificial reality systems
US10026209B1 (en) * 2017-12-21 2018-07-17 Capital One Services, Llc Ground plane detection for placement of augmented reality objects
US11247099B2 (en) * 2018-12-05 2022-02-15 Lombro James Ristas Programmed control of athletic training drills
WO2020176903A1 (en) 2019-02-28 2020-09-03 Mark Fuller System and method of altering the appearance of liquid and solid physical objects or forms
WO2020181073A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, terminal, capturing system and device for setting capturing devices
EP3946659A4 (en) * 2019-03-29 2022-12-28 The Regents of The University of Michigan AUGMENTED REALITY GAME ENVIRONMENT BASED ON PERIPERSONAL LIMITS
AT522702B1 (de) * 2019-06-24 2021-11-15 Brp Rotax Gmbh & Co Kg Interaktives System
AT522577B1 (de) 2019-06-24 2020-12-15 Brp Rotax Gmbh & Co Kg Tunnel oder Überdachung
US11660524B2 (en) * 2019-06-25 2023-05-30 Crunchy Logistics Llc Bowling enhancement system with mobile device pairing and related methods
US11758626B2 (en) 2020-03-11 2023-09-12 Universal City Studios Llc Special light effects system
US20210342616A1 (en) * 2020-04-29 2021-11-04 Universal City Studios Llc Identification systems and methods for a user interactive device
US12013109B1 (en) * 2023-01-10 2024-06-18 Lonvis Technology (Shenzhen) Co., Ltd. Rainbow projection lamp

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4160942A (en) * 1977-09-12 1979-07-10 Acushnet Company Golf ball trajectory presentation system
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US5025476A (en) * 1988-10-31 1991-06-18 Nathaniel Gould Diagnostics, Inc. Redotopography apparatus and method using moire fringe analysis to measure foot shapes
JPH05127809A (ja) * 1991-04-19 1993-05-25 Sharp Corp 三次元空間座標入力装置
US5442168A (en) * 1991-10-15 1995-08-15 Interactive Light, Inc. Dynamically-activated optical instrument for producing control signals having a self-calibration means
US5354063A (en) * 1992-12-04 1994-10-11 Virtual Golf, Inc. Double position golf simulator
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5600330A (en) * 1994-07-12 1997-02-04 Ascension Technology Corporation Device for measuring position and orientation using non-dipole magnet IC fields
US5649706A (en) * 1994-09-21 1997-07-22 Treat, Jr.; Erwin C. Simulator and practice method
JPH0895707A (ja) 1994-09-27 1996-04-12 Sony Corp コンピュータディスプレイシステム
US5592401A (en) * 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
DE19516664C1 (de) * 1995-05-05 1996-08-29 Siemens Ag Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6308565B1 (en) * 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US5917934A (en) * 1996-03-15 1999-06-29 Sony Corporation Automated visual inspection apparatus for detecting defects and for measuring defect size
DE19708240C2 (de) * 1997-02-28 1999-10-14 Siemens Ag Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6526157B2 (en) * 1997-08-01 2003-02-25 Sony Corporation Image processing apparatus, image processing method and transmission medium
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
US6917301B2 (en) * 1999-05-04 2005-07-12 Intellimats, Llc Floor display system with variable image orientation
KR100384406B1 (ko) * 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
JP3640156B2 (ja) 2000-02-22 2005-04-20 セイコーエプソン株式会社 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP4028708B2 (ja) * 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645895B2 (en) 2020-11-25 2023-05-09 Canon Kabushiki Kaisha Queue analysis apparatus using a video analysis
KR102421658B1 (ko) * 2022-05-02 2022-07-18 경상남도 (교육청) 스마트 건강 관리 게임을 수행하기 위한 스마트 건강 관리 게임 장치

Also Published As

Publication number Publication date
JP2006505330A (ja) 2006-02-16
US20040102247A1 (en) 2004-05-27
EP1567234A4 (en) 2006-01-04
AU2003291320A8 (en) 2004-06-07
AU2003291320A1 (en) 2004-06-07
US7775883B2 (en) 2010-08-17
WO2004042666A3 (en) 2005-02-10
WO2004042666A2 (en) 2004-05-21
EP1567234A2 (en) 2005-08-31

Similar Documents

Publication Publication Date Title
JP4230999B2 (ja) ビデオ作動インタラクティブ環境
JP2006505330A5 (ja)
CA2449300C (en) Interactive video display system
US8300042B2 (en) Interactive video display system using strobed light
US7576727B2 (en) Interactive directed light/sound system
EP1689172B1 (en) Interactive video display system
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US10156730B1 (en) Accurate and balanced lighting in a Pepper's ghost projection system for live cinematic performances
US20080316432A1 (en) Digital Image Projection System
US20160008718A1 (en) Infrared reflective device interactive projection effect system
US20110001935A1 (en) Digital image projection system
US12005341B2 (en) Interaction of audio, video, effects and architectural lighting with bowling scoring system and methods of use
Sueishi et al. Lumipen 2: Dynamic projection mapping with mirror-based robust high-speed tracking against illumination changes
JP2005276139A (ja) 情報入力装置
US7652824B2 (en) System and/or method for combining images
EP3454098A1 (en) System with semi-transparent reflector for mixed/augmented reality
KR20180093400A (ko) 스마트기기를 이용한 체험형 미술관 운영 시스템, 방법 및 스마트기기에 설치되는 어플리케이션
JP4833067B2 (ja) 映像演出システム及び映像演出方法
JP2000512467A (ja) ルームコントロール装置
Sato et al. MlioLight: Projector-camera Based Multi-layered Image Overlay System for Multiple Flashlights Interaction
JP5633155B2 (ja) 映像情報提示装置
JP2024506636A (ja) インタラクティブペッパーズゴースト効果システム及び方法
CA3233725A1 (en) Interaction of audio, video, effects and architectural lighting with bowling scoring system and methods of use
AU2002312346A1 (en) Interactive video display system
Kwon et al. Real-time Interactive Media Design with Camera Motion Tracking

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080708

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081204

R150 Certificate of patent or registration of utility model

Ref document number: 4230999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term