JP5752715B2 - デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ - Google Patents

デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ Download PDF

Info

Publication number
JP5752715B2
JP5752715B2 JP2012555036A JP2012555036A JP5752715B2 JP 5752715 B2 JP5752715 B2 JP 5752715B2 JP 2012555036 A JP2012555036 A JP 2012555036A JP 2012555036 A JP2012555036 A JP 2012555036A JP 5752715 B2 JP5752715 B2 JP 5752715B2
Authority
JP
Japan
Prior art keywords
physical space
space
camera
interactive
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012555036A
Other languages
English (en)
Other versions
JP2013520751A5 (ja
JP2013520751A (ja
Inventor
デービッド ウィルソン アンドリュー
デービッド ウィルソン アンドリュー
ベンコ フルボエ
ベンコ フルボエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013520751A publication Critical patent/JP2013520751A/ja
Publication of JP2013520751A5 publication Critical patent/JP2013520751A5/ja
Application granted granted Critical
Publication of JP5752715B2 publication Critical patent/JP5752715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Description

本発明は、多次元モデリングシステム、及び、多次元モデリング方法に関する。
近年のタッチセンサ式の対話型ディスプレイは、ユーザが仮想物体に触れることができることから訴求力があるものと考えられることが多い。マルチタッチの特徴と高速のグラフィック能力を組み合わせて、これらのシステムの「ダイレクトタッチ」の態様により、従来の入力装置で利用可能であったものよりも、より説得力のある物理的な物体（紙文書、写真等）の操作のシミュレーションが可能にされる。
近年の研究によりセンシングとディスプレイ技術の使用が実証され、対話型表面の直上でのインタラクションを可能にしたが、これらはディスプレイの物理的な範囲に限定される。仮想現実および拡張現実の技術を使用して、完全な仮想３Ｄ環境、または、現実の世界と仮想の世界が混合した場所にユーザを置くことにより、ディスプレイの制限の範囲を超えることができる。残念ながら、真に没入させるためには、そのようなアプローチでは典型的には、煩わしいヘッドマウントディスプレイおよび追跡装置を必要とする。
以下では、本明細書に記載されるいくつかの新規な実施形態の、基本的な理解を提供するために、簡素化された要約を示す。この要約は、広範囲な概要ではなく、かつ、重要／決定的な要素を確認することまたはその範囲を明確にすること、を意図していない。その唯一の目的は、後に示されるさらに詳細な記載の前置きとして、いくつかの概念を簡素化された形式で示すことである。
開示されるアーキテクチャでは、複数の深度感知カメラおよび複数のプロジェクタを組み合わせて、拡張現実および仮想対話のための特定の空間（例えば、部屋）を対象とする。カメラおよびプロジェクタは校正され、空間内の物体の多次元（例えば、３Ｄ）のモデルの開発と、制御された様式でグラフィックを同じ物体上に投影する能力を可能にする。このアーキテクチャでは、全ての深度カメラからのデータを、校正されたプロジェクタと組み合わせて統合された多次元モデルに組み込む。さらに、興味深いユーザインタラクションを可能にする。
物体を空間内の異なる場所の間で移動させる際に仮想的な連続性を提供するために、ユーザの身体（または、視界内の他の物体）は、このインタラクションを投影する一時的なキャンバスとして機能することができる。ユーザが身体の一部を動かすと、例えば、空間内において他の物体が何もない状態で、身体の一部は、その環境内の既存のスクリーン／インターフェースの間で「推移中」のデータのための一時的な「スクリーン」として機能することができる。
本アーキテクチャにより、物体の接続、物体のピッキング、物体のドロッピング、およびバーチャルメニュー等の空間ウィジェットの採用を含む物理的な空間におけるインタラクションが円滑にされる。
上述した関連する目的を達成するために、特定の例示的な態様が、以下の説明および添付の図面に関連して本明細書において記載される。これらの態様は、本明細書に開示される原理を実践することができる種々の方法を示し、その全ての態様および等価物が請求される主題の範囲内にあることが意図される。他の利点および新規な特徴は、以下の発明を実施するための形態において図面と併せて検討することにより、明らかになるであろう。
開示されるアーキテクチャに従う、多次元モデリングシステムを例示する図である。 開示されるアーキテクチャに従う、多次元モデリングシステムの代替実施形態を例示する図である。 開示されるアーキテクチャに従う、多次元モデリング方法を例示する図である。 図３の方法のさらなる態様を例示する図である。 開示されるアーキテクチャに従う、拡張現実およびインタラクションを実行するコンピュータシステムのブロック図を例示する図である。
深度カメラとプロジェクタの組み合わせにより、新しい対話型の経験が可能にされる。リアルタイムにアップデートされる高密度の３Ｄメッシュ（相互に接続される例えば三角形等の多角形の網）のリッチな経験は、コンピュータビジョンについての考え方に変化をもたらす。メッシュを高レベルの抽象プリミティブに単純化しようと苦心するよりはむしろ、多くのインタラクションは、メッシュに対する直接的なそれほど破壊的でない変換およびシミュレーションにより達成することができる。そうすることで、ユーザの正確な物理的な形状およびユーザの環境について、より基本となるプロパティを利用することができる。
本アーキテクチャでは、深度感知カメラとプロジェクタを組み合わせた機能を使用して、ディスプレイとしての環境の最小の角さえも感知し利用する。例えば、本明細書において採用する場合、深度感知カメラは、色に加えて、各画素位置において最も近い物理的表面までの範囲（距離）を直接感知することができる。代替の一実装において、３Ｄ飛行時間型カメラを採用することができる。
例えば、ユーザは接触を使用して、機器を装備していないテーブルに投影される仮想物体を操作し、物体を一方の手でテーブルから他方の手の中に移動させることにより物体をつかみ、ユーザが対話型の壁のディスプレイの方へ歩くときも手の中に物体が見え、そして、壁に触れることにより壁に物体を置くことができる。
本アーキテクチャでは、環境内のどこにある表面も有効にされ、空間はコンピュータであり、ユーザの身体でさえもディスプレイの表面とすることができる。換言すれば、全ての物理的表面を対話型ディスプレイとすることができる。対話型ディスプレイがアクティブであるだけでなく、ディスプレイ間の空間も同様にアクティブであり、ユーザは、一方を他方に接続させて両方のディスプレイに触れる等、興味を持てるやり方でディスプレイに係わることが可能である。グラフィックをユーザの身体上に投影させ、仮想物体をあたかも実物であるかのように持つこと、または、手の上に投影されるメニューによって選択すること等、空中のインタラクションを可能にすることができる。
複数の校正された深度カメラおよびプロジェクタを組み合わせて、ユーザが器具を使用することなく、グラフィックを物体に（例えば、動画、静止画）投影することができる。カメラおよびプロジェクタは実世界の単位で１つの座標系に合わせて校正され、特定のインタラクションにどのカメラまたはディスプレイを最終的に使用するかを意識しない、対話型の経験のオーサリングを可能にする。
感知された３Ｄデータを２Ｄ画像に選択的に投影することで、熟知の２Ｄ画像処理技術を使用して３Ｄ空間について推論することを可能にする。そのような投影を使用して、例えば、表面のような機能性を、機器を装備しないテーブル上にエミュレートすることができる。複数の投影をお互いに関連付けて、２つまたはそれ以上の投影での物体を相互参照させて、実空間における接続性を確立することができるようにする。これを使用して、複雑でエラーが起こりやすい追跡技術に頼らずに、ユーザが２つのシミュレートされる表面にいつ触れているのか（物体が一方から他方に移動する時等）を検出することができる。
加えて、深度カメラにより感知される３Ｄメッシュで表され身体の一部に置かれている、仮想物体の物理特性をシミュレートすることにより仮想物体を「持つ」ことができる。さらに、ユーザは、一方の手の上に投影されるメニューの選択を、空中で所定の動きに従って（例えば、上下に）手を動かすことにより変更することができる。
本アーキテクチャにより、ユーザまたは部屋をセンサまたはマーカで拡張することなく、日常環境において対話性および可視化が可能にされる。インタラクションには、シミュレートされた対話型表面、身体を通る表面間での移行、物体をつかむこと、および空間メニューが含まれる。
シミュレートされる対話型表面について、部屋の表面は、ユーザが手のジェスチャを使用し触れて、投影される内容を操作することができる対話型「ディスプレイ」となることが可能にされる。一実装において、対話型の壁および対話型のテーブルを提供することができる。しかし、任意の数の同様の表面を生成して採用することが可能であることを理解すべきである。壁もテーブルも個別のディスプレイなのではなく、標準的な家具に対して上部のプロジェクタおよびカメラから投影および感知することができる。
深度感知ビデオカメラの技術は、カラー映像に加え、正確な画素単位の範囲のデータを提供する。そのようなカメラは、ロボット工学、およびゲームやジェスチャ入力システム等の視覚に基づく人間とコンピュータのインタラクションのシナリオにおいて応用される。
深度感知カメラを採用して対話型テーブルトップシステムを円滑にすることができ、カメラがテーブル表面上にある物体の高さマップを形成する。例えば、プレイヤがテーブル上に置かれた実物体の上を仮想の車で走行できるシミュレーションゲーム（例えば、トライビングゲーム）に高さマップが使用される。プレイヤは、例えば、折り畳まれた紙の小片を使用して、斜面や他の障害物のコースを配置することができる。第１のプロジェクタが表面上での車の位置を表示し、車が斜面上を走ると、例えば、変換によって車が飛行するようにできる。第２のプロジェクタは、表面全体の合成グラフィックのビュー、または、車の背後からの従来のアーケードビューを示すことができる。
開示されるアーキテクチャは、複数の深度感知カメラおよびプロジェクタを採用して、あるボリュームの空間（例えば、部屋）の中に３Ｄレンダリング・対話型の経験を提供する。カメラは、各画素の範囲（深度）および色を含む出力を提供する。これにより、表面については、表面に対して、またその表面に関連する物体（移動しているものまたは静止しているもの）上にプロジェクタのグラフィックを調整する能力が促進される。カメラの出力とプロジェクタの校正を統合された表現として空間で組み合わせる多次元モデルが作られる。カメラの位置決めおよび方向付けは、静止している時および空間を移動している時にリアルタイムで空間に物体の形状のフル３Ｄレンダリングをキャプチャしかつ提供するような様式で行われる。統合されたモデルを有するという強みは、データの収集に利用される実機からオーサリングおよびインタラクションの設計を切り離すことができることである。
ここで図面を参照すると、全体を通して同様の数字が同様の要素を参照するために使用される。以下の記載において、説明の目的で、全体の理解を提供するために多数の特定の詳細が記載される。しかし、新規な実施形態は、これらの特定の詳細なしでも実践することができることは明らかであろう。他の例において、周知の構造および装置が、その説明を容易にするためにブロック図の形式で示される。請求される主題の精神および範囲にある全ての修正、等価物、および代替を対象とすることが意図される。
図１は、開示されるアーキテクチャに従う、多次元モデリングシステム１００を例示する。システム１００には、物理的空間１０６内の物体１０４（例えば、カメラからの距離および色）を感知し、感知された情報１０８を出力する深度感知カメラ１０２の配置構成と、物理的空間１０６内の表面１１４（例えば、物体１０４、物理的空間１０６の壁、空間１０６等にいるユーザ）等に投影１１２を行うプロジェクタ１１０の配置構成と、感知された情報１０８および投影１１２を処理して仮想対話型空間１１８を物理的空間１０６に（例えば、連続して）マッピングし、物体１０４および表面１１４とのインタラクション（例えば、ユーザ）のための対話型ディスプレイをエミュレートする制御コンポーネント１１６と、が含まれる。なお、矩形の２Ｄ空間として示されているが、物理的空間１０６は１つの内側表面または複数の内側表面を含むことができる３Ｄ空間であり、表面とは、空間１０６の内側の壁（および、床、天井）、壁につるされるボード等の物体、物体１０４の表面、ユーザの身体の一部または全身の表面、等とすることができる。仮想空間１１８は、明確にするために、物理的空間１０６からオフセットされているように例示されており、実際は、ディスプレイを介して見ると、仮想空間１１８と物理的空間１０６との間の界面は識別しにくいであろう。
システム１００は、感知された情報の一部を投影にマッピングしてモノリシック３Ｄ物理座標系を作成するマッピングコンポーネントをさらに備えることができる。制御コンポーネント１１６は、３Ｄ感知情報である感知された情報１０８を、２Ｄ画像である投影１１２に適用する。カメラ１０２およびプロジェクタ１１０は、物理的空間１０６に対して登録される。投影１１２は、少なくとも２つの投影１１２内の物体が相互参照されて物理的空間１０６において接続性が確立されるように相互に関連付けられる。
制御コンポーネント１１６は、物理的空間１０６内の表面上への空間ウィジェットの投影を円滑にし、空間ウィジェットの対話型操作は、物理的空間１０６で所定の動き（例えば、手のジェスチャ）を使用して達成される。深度感知カメラ１０２の感知された情報１０８を利用して、物理的空間１０６にいるユーザに対して仮想物体の位置決めをシミュレートするために制御コンポーネント１１６が処理する３Ｄメッシュが構築される。３Ｄメッシュはリアルタイムで構築され、物理的空間１０６の感知される部分をモデル化する。制御コンポーネント１１６は、感知された情報１０８を処理して物理的空間１０６内の物体１０４の深度を推測する。
図２は、開示されるアーキテクチャに従う、多次元モデリングシステム２００の代替実施形態を例示する。システム２００には、空間１０６内の物体（例えば、物体２０２）を感知し、感知された情報１０８（ＤＳＣＳＩ）（例えば、ＤＳＣＳＩ1、ＤＳＣＳＩ2、．．．）を出力する深度感知カメラ（ＤＳＣ）１０２の配置構成が含まれる。システム２００にはまた、空間１０６に対して投影１１２（ＰＳ1、ＰＳ2、．．．で示される）を行うプロジェクタ（Ｐ）１１０（Ｐ1、Ｐ2、．．．で示される）の配置構成が含まれる。
マッピングコンポーネント２０４は、感知された情報１０８の一部を投影１１２にマッピングしてマッピング情報を作成する。モデリングコンポーネント２０６は、感知された情報１０８およびマッピング情報に基づき多次元モデル２０８を作成する。モデル２０８は、空間１０６内の物体２０２とのインタラクションに採用される。
３Ｄ環境において、複数の深度感知カメラは、空間（例えば、部屋）にある物体、例えば、空間内の家具や人、の３Ｄ形状に関する詳細な情報を提供する。深度カメラにより返される画像の情報を使用して、空間内で観測される表面の正確な実世界の座標（例えば、ミリメータ単位で）を計算することができる。これにより、３Ｄ幾何学モデルが使用されることになる。複数のカメラからのデータ（例えば、感知された情報）を、相対的な（お互い同士に対する、または、何らかの選択された物理的世界の座標系に対する）方向および位置に正確に基づき、統合されたモデル２０８にまとめることができる。この方向および位置情報は標準的な校正手順により算出することができる。
同様に、複数のプロジェクタを別の標準校正手順により３Ｄモデルに組み込んでも良く、その結果、任意の表面上に、その表面が少なくとも１つのカメラおよび少なくとも１つのプロジェクタにより見える場合は、グラフィックの提示に有用なモデルが得られる。例えば、表面からプロジェクタまでの距離を考慮せずに特定の大きさで見えるように、グラフィックを表面に投影することができる。概して、グラフィックの物体を標準のグラフィック技術を使用して３Ｄモデル内に位置付けることができる場合、カメラとプロジェクタの両方の視線等の特定の制限はあるが、グラフィックの物体を物理的実世界において正確にレンダリングすることができる。
この基本モデルを使用して有用なインタラクションを可能にすることができ、これには以下が含まれる。仮想物体を空間内の机の上に投影することができる。ユーザが机に近づき物体を（例えば、一方の手で）他方の中に振り落とすと、ユーザが壁のディスプレイの方に歩く時にも物体は手の中に見える。ユーザが仮想物体を投擲の動きで壁のディスプレイに投げると、物体は壁のディスプレイに向かって飛び、壁のディスプレイ上に現れる。１つのディスプレイから別のディスプレイへの仮想物体の移動はこのように達成される。
部屋の中の何らかの表面上にレンダリングされた仮想の「データソース」、および近隣の「データシンク」について考察する。ユーザは、一方の手でソースに触れ、他方の手でシンクに触れることによりソースをシンクに接続させる。接続はユーザの身体上に投影されたグラフィックによって示すことができ、データそのものをユーザ上に直接レンダリングさせることができる。なお、データソースとデータシンクは、静止した表面上に投影される像と同様に基本的なものすることができ、または、ソースまたはシンクのそれぞれを人とすることができる。他の人と握手することによりデータを移動させることが可能であり、インタラクションが発生する時に手の上に投影されてこの接続をグラフィックで見ることができると考えられる。
従って、開示されるアーキテクチャに基づき、異なる種類の新しい空中ＵＩ制御を実装することが可能である。さらに、例えば、表面（例えば、床）上のある地点がメニュー選択の存在を示すことについて考察する。ユーザはその地点の上方に手を合わせることができ、システムが、現在の選択を直接ユーザの手の上に投影することにより応答する。ユーザは、手を上げるまたは下げることにより、または他のジェスチャを行うことにより、選択を変更することが可能である。
開示されるアーキテクチャの空間（例えば、部屋）におけるインタラクションを追跡かつ推論する能力により、個々の対話型表面をシームレスでモノリシックな対話型面に接続させることが円滑にされる。ユーザは、単に物体に触れ、次に所望の場所に触れることにより、対話型表面間で「身体を通して」物体を移行させることができる。システムは両方の接触が同一人物に属することを推測し、表面間の接続を確立する。例えば、ユーザがテーブル上の画像に触れ、次に壁にも触れると、画像は壁に移行される。換言すれば、身体を通る移行は２つの表面に同時に触れることにより達成される。
移行をトリガするために両方の表面に同時に触れるとはいえ、最初に触れられた物体はソース（送信元）であり、２番目に触れられた表面は送信先となる。ユーザの身体を「通して」なされる接続を示すために、短時間のハイライト（例えば、２秒）をユーザに投影するという形式で視覚的な確認をすることが可能であり、物体が移動されたことを他の人に通知するのに役立ち、誰が移動を行ったのかを示す。
代替の実装において、物体の対象送信先への移動の手段として同時に触れるのではなく、経路と速度を３Ｄメッシュにおいて採用してソースに対する送信先を推測することが可能である。さらに別の実装において、連続した接触を表面接続の決定要因とすることができ、最初にソースにユーザの手が触れ、次に、ソースに触れた２秒以内に送信先表面にユーザの手が触れる場合に、接続がなされたとも考えることができる。
身体を通して接続を行うことに加えて、ユーザは、文字通り対話型表面から物体を引きずり出して手で拾い上げることができる。システムは、実際にはユーザの手（または任意の他の身体の部分）を追跡はせず、各物体に物理特性的な挙動を与える。物体をテーブルから拾い上げることは、例えば、物体を手の中に拭い込むことにより達成することが可能である。物体を拾い上げることに続いて、手の中にあることに関連して物体の像描写を提示することができる。
ユーザは、実際に物体を手の中にとること、物体を環境内の他の人に渡すこと、および、物体を対話型表面間で運ぶことができる。仮想物体を手の中に持っている時に、任意の対話型表面に触れると、身体を通る瞬時の移行がなされ、物体を表面上に戻して置くための簡単で一貫した方法をユーザに体得させる。
空中において、利用可能な投影領域はユーザの手の大きさに制限され、大きな仮想物体を投影することが困難になる。空中においてユーザの手に大きな仮想物体を投影することに対処するため、各仮想物体を、手の中に保持される間は小さなカラーボールで表現することができる。
空間内のユーザの位置を正確に検出する能力を使用して、種々の空間インターフェースを有効にすることができる。例えば、床の上の投影されたメニューマーカの上の垂直な空間に手を置くことにより、空間垂直メニューを起動することができる。他のトリガを採用することが可能である。手を上下に動かすことで、ユーザの手に直接投影される異なるオプションを明らかにすることができる。メニュー選択肢の上に（例えば、２秒間）存在することを、選択を行うトリガとすることができる。上述のように、利用できる表面が他に無い時、ユーザの身体の部分を空中における投影用のキャンバスとして使用することが可能である。
一実装において、深度感知カメラは、画素単位の深度推定量を、センサからのセンチメートル単位の距離の推定される深度分解能と共に報告することが可能である。深度は構造化光アプローチを使用して計算することができる。カメラには、赤外線（ＩＲ）カメラ、ＲＧＢ（赤緑青）カメラおよびＩＲカメラからほぼ数センチメートルに位置決めされたＩＲ光源の組み合わせを採用することができる。この光源は環境上にパターンを投影する。カメラは、シーンに重ねられるこのパターンをキャプチャし、画像内のパターンの歪みから深度を計算する。得られる「深度画像」は、画像内の画素毎にミリメートル単位の深度推定量を含有する。
画像の各部の３Ｄ位置を知ることで空間内のエンティティの分割機能が円滑にされる。基本の３Ｄメッシュ（ユーザのいない空間のメッシュ）を、収集かつ使用してシーンにおける任意の新しい物体を解像することができる（すなわち、基本メッシュとは異なる深度値を持つ画素）。
一実装において、アーキテクチャは３つの異なる深度感知カメラと３つのプロジェクタを採用し、それぞれが独立して設置され視野を有する。カメラおよびプロジェクタは１つの３Ｄ座標系に登録される。深度カメラが実世界に対応する深度値を報告し、プロジェクタがカメラの値を使用して校正されるため、カメラとプロジェクタの両方が実世界（例えば、物理的空間１０６）で登録される。
校正の第１のステップは、深度カメラを校正することである。カメラを物理的空間で登録するためにカメラの画像内の３地点（同一内で良い）を使用することができる。逆反射の点の固定グリッド（既知の実世界での位置）を空間内で位置決めして、これらの地点の内の少なくとも３つが各カメラから見えるようにする。逆反射の点によりカメラの赤外線画像内の校正地点が簡単に識別されるが、これらの地点が周囲の環境よりも非常に明るく見えるためである。各校正地点の３Ｄ空間位置を計算するために、周囲の画素の深度値のサンプリングおよび平均化が実行され、深度推定として使用される。この領域平均化法では、任意の１地点における深度を読み込む際のカメラのノイズも減少する。
実世界の３地点がカメラによりサンプリングされて識別される時に、３Ｄカメラ姿勢推定がカメラ毎に実行され繰り返され、その後、全てのカメラが同一の座標系に対して校正される。
校正ルーチンの第２のステップは、上述の校正されたカメラを考慮した、プロジェクタの登録とすることができる。このステップでは、少なくとも１地点が同一平面外にある４つの校正地点を利用することができる。これらの４地点は深度カメラにより正確に識別されプロジェクタの画像内に配置され、その後アルゴリズムを使用してプロジェクタの位置と方向を発見することができる。この処理ではプロジェクタの焦点距離と投影の中心を利用する。深度カメラにより点の位置を正確に推測可能であるため、再度、逆反射の点をシーン内の任意の場所に位置付けることができる。
シミュレートされた対話型表面の校正について、対話型表面は手動で指定可能である。別々の矩形表面を使用する場合、それぞれを、深度カメラ画像における表面の左上、右上、左下の角を特定することにより別々に校正することができる。代替の実装において、全ての表面が対話型にされる。新しく投影された対話型表面を指定するのと同時に、３つの校正地点が表面の上の対話型空間の範囲を特定し、表面の上のボリューム内のユーザの全ての動作を追跡する。
校正に基づき、空間の感知された部分全体をモデル化する３Ｄメッシュをリアルタイムにキャプチャすることが可能である。仮想物体を、同一シーン内でメッシュの上部に位置付けして良い。そして、プロジェクタの校正により、これらの物体は実際の物体の上部の実空間に正確に投影される。
本アーキテクチャでは１つまたは複数のアルゴリズムを採用して、ユーザがいつ空間にいるのか、ユーザがいつ対話型表面に触れるか、ユーザがメニューに対応する空間のアクティブな領域にいつ手を挿入するか、等を検出する。例えば、検出された２人のユーザからのメッシュが、別々に追跡されて視覚的に違いが付けられる（例えば、異なる色相で色付けされる）。
以下は、２Ｄ画像処理を使用してインタラクションを実装する技術である。３Ｄデータの投影を計算して新しい画像作成することは、「仮想カメラ」（対応する実際のカメラは無い）により生成されたものと考えることができる。そのような新しい画像は、最初に、全ての深度感知カメラ画像内の各地点をローカルなカメラ座標からワールド座標に変換し、次に仮想カメラのビュー行列と投影行列により仮想カメラ座標に変換することによって、計算することができる。この地点のｚ値は目的の画像内のその（ｘ，ｙ）位置に書き込まれる。３つ全て深度カメラからのデータは、このように１つの仮想カメラビューに対して「レンダリング」される。
仮想カメラを使用している時、仮想カメラ画像のビュー行列および投影行列は、実際の深度カメラの構成とは無関係に選択することができる。各仮想カメラが複数の深度カメラからの深度データを組み込むことができるため、仮想カメラビューを消費する側は、深度カメラの特定の位置及び方向、または複数のカメラが存在すると言う事実さえについても懸念する必要が無い。
複数の仮想カメラビューを計算することができ、それぞれを正確に調整して特定のインタラクションをサポートすることができる。仮想カメラは、近クリップ面および遠クリップ面を使用して空間の特定のボリュームを選択することができる。例えば、３つの正投影を使用することが可能であり、１つの投影が部屋の「平面」ビューを与え、２つの投影がテーブルトップおよび壁のディスプレイ表面の真上でインタラクションをキャプチャするべく構成される。
一度計算すると、仮想カメラ画像は２Ｄ画像処理技術を使用して処理することができる。仮想カメラ画像は、例えば、対話型の表示を取得することにより生成される画像と事実上同様にテーブルトップの真上に現れる。開示されるアーキテクチャは、これらのシステムに特有のパイプラインの処理を再現することにより対話型表面の挙動をエミュレートする。接触は接続されるコンポーネントを計算することにより発見され、時間をかけて追跡される。仮想物体（例えば、移動、回転、スケーリング）のヒットテストおよびマルチタッチ操作が必然的にサポートされる。
テーブルと壁の両方の仮想カメラビューにおける接触が発見された後、平面ビューは、テーブルトップ上の接触および壁のディスプレイ上の接触が、ユーザが両方のディスプレイに同時に触れている時のように、物理的に接続されるかどうかの判定に役立つ。あるビューから別のビューへの接続コンポーネントにインデックスを付けるテーブルを構築すること、および、入力された深度画像およびワールド座標系により全てのビューが関連付けられるという事実を有効利用することにより、接続性を計算することが可能である。
マップは、平面ビューにおける（ある場合には）対応する物体（接続されるコンポーネント）を深度画像の画素位置毎に示す、深度カメラ画像毎に計算される。マップを使用して、第２のパスが実行されて、テーブルトップビューにおいて観測される物体毎に、テーブルの物体に属する全ての画素に対応する平面ビューコンポーネントのセットが収集される。対応する平面ビューの物体のセットは各テーブルの物体と共に記憶される。この処理は壁のビューに対して繰り返される。そして、テーブルおよび壁の接触が平面ビュー内の物体（例えば、ユーザの身体）により物理的に接続されるのは、テーブルトップおよび壁の物体と共に記憶される物体の共通部分が空でない場合、すなわち、物体が、共通部分における平面ビューの物体により接続される場合である。
エミュレートされた対話型表面上に現れる仮想物体は、例えば、物体が対話型表面の縁に近づく時、および、近くに現れる表面（ユーザの手等）がある時に、ユーザの手で採取される（また「拾い上げられる」）。一度採取されると、物体の動きは、平面ビュー内の可能性のある新しい場所の窓に対して目的関数を最大化することにより判定される。一実装において、目的関数は、物体の動きの量を最小化する複数の因子の線形結合であり、観測される表面に対応しない地点を無効とし、より低い位置への移動を促し、観測される表面が平らである場所への移動を促す（すなわち、領域の表面高さの分散が小さい）。
目的関数を実験的に選択して、表面上を移動するボールの動きを、確実にボールが表面の縁から落ちないようにしながら、大まかにエミュレートすることができる。より複雑な実装において、物理エンジンを採用して、メッシュを用いて直接、仮想物体のインタラクションを制御することができる。
対話型表面上に物体を「落とす」ことは、対話型表面近隣の物体を保持することにより拾い上げるのと逆の順番で達成することができる。平面ビューにおいて仮想物体を保持する物体（接続されるコンポーネント）が、例えば、テーブルトップまたは壁のビューのどちらかの物体に接続されることを判定することにより、物体を落とすことができる。この場合、仮想物体は対話型表面上に落とされる。これは、仮想物体を一方の手で保持しながら送信先のディスプレイに触れることにより、または、保持する物体を送信先のディスプレイに近づけることにより、達成することができる。
空間メニューは、仮想カメラ（例えば、特定の場所の上の長くて狭い柱状の空間を表現するカメラ）に基づく別のインタラクションである。インタラクションには、ユーザが特定のメニュー項目の３Ｄ空間位置に対して手を位置づけることが含まれる。例えば、床に固定して投影されるマーカ等、メニューがどこに配置されるかを示すべく空間メニューをマークすることができる。マーカは、空間的基準として機能し、該基準の上の柱状の空間を介して３Ｄ選択のタスクの複雑性を一次元スイープに減少させる。
加えて、システムでは、メニューを操作するユーザの頭の位置を推論することも可能であり、身体上の最高地点として検出することができる。検出された頭の位置に対してメニュー項目を方向付け、メニュー項目を現在のユーザに対して正確に読み取り可能にする。原則的には、空間メニューはユーザから離れたオンデマンドの空間ウィジェットである。異なる態様の環境（例えば、空間ボタン、スライダ等）を制御するため、また、態様の挙動を関連する空間メニューを有する各物体の状況にあてはめるために、他の空間ウィジェットを実装することができる。
本アーキテクチャにより円滑にされる別のシナリオには、複数のユーザ間の接続を伴う。例えば、あるユーザがテーブル上の物体に触れ、別のユーザが壁に触れている際に、ユーザ同士が握手をするとそのユーザの物理接続が計算仮想リンクを形成し、これがテーブルから壁への物体の移動を可能にする。
代替の実装において、表面は移動または形状の変更が可能とされ、これによりさらに、２つの机を必要に応じて一緒に移動させること、壁のディスプレイを机に変更することにより、または、手に持った紙に対話型能力を与える際等、即時のタスクの必要性に対して空間内のディスプレイの動的な再構成を適合させることができる。
さらなる拡張性としては、全ての感知された表面を１つの連続する対話型ディスプレイとして動作させることが可能であり、この上で仮想物体が移動され操作されて良い。連続する対話型表面にはユーザの身体を含むことができる。例えば、ユーザの手を（投影された）赤の塗料の溜め部に置くと赤くなるようにすることができる。青の塗料に触れると、より紫色を帯びた色になる。別の例では、ユーザが部屋の中のボタンに触れると、ユーザの腕に沿って広がったメニューを使用し、他方の手で選択を行う。２人の人が単に握手するだけで接続情報を交換することができ、この移動はユーザの身体上にグラフィックのアニメーションで示される。別の例では、ユーザが母国語を話す時その翻訳がユーザのシャツに直接提示され他の人が読めるようにする。
物理エンジンを利用するさらに複雑な実装では、物体を壁のディスプレイに向かって投げる等のより現実的なシミュレートされた動きが可能にされ、物体が壁に「当たる」時に物体を出現させる。物体がテーブルの縁に近づくと、床に落ちる前に物体をフラフラと揺動させることができる。
言い換えると、提供される多次元モデリングシステムは、物理的空間内の物体の画素毎の距離値を感知し、感知された３Ｄ情報を出力する深度感知カメラの配置構成と、物理的空間内の表面に２Ｄ投影を行うプロジェクタの配置構成と、感知された３Ｄ情報および投影を処理して仮想カメラの透視ビューから作成されるような仮想カメラ画像にする制御コンポーネントとを備え、仮想カメラ画像が物理的空間内の物体および表面とのユーザインタラクションのための対話型ディスプレイをエミュレートするべく採用される。物理的空間内の２つの表面は、２つの表面との物理的なユーザインタラクションに基づき仮想的に関連付けられる。
制御コンポーネントは、物体を仮想的に採取することおよび物体を仮想的に落すことを、物体に対する仮想対話型表面の計算された近接性に基づき円滑にする。制御コンポーネントは、感知された情報を処理して、仮想カメラのビューに対する物理的空間内の物体の距離を推測し、物理的空間内の対話型表面上への空間ウィジェットの提示、および所定の物理的移動を使用した空間ウィジェットの対話型操作を円滑にする。
本明細書には、開示されるアーキテクチャの新規な態様を実行するための例示の方法論を代表するフローチャートのセットが含まれる。一方、説明を簡単にする目的で、例えば、フローチャートまたはフロー図の形式で本明細書に示される１つまたは複数の方法論は、一連の動作として示され説明されるが、方法論が動作の順序により制限されず、それに従っていくつかの動作が、本明細書に示され説明される動作とは異なる順序および／または他の動作と同時に発生して良いということは理解および認識されるべきである。例えば、当業者は、方法論を代替えとして一連の相互に関係づけられる状態または事象として状態図等に表すことができることは理解および認識するであろう。さらに、方法論において例示される全ての動作が、新規な実装のために必要とされるわけではない。
図３は、開示されるアーキテクチャに従う多次元モデリング方法を例示する。３００にて、深度感知カメラの配置構成を使用して物理的空間内の物体が感知されて、感知された情報が出力される。３０２にて、プロジェクタの配置構成を使用して物理的空間内の表面上に画像が投影される。３０４にて、感知された情報および画像に基づき、仮想対話型空間が作成されて物理的空間に重ねられる。３０６にて、物体との仮想インタラクションが物理的空間内の表面に対して提示される。
図４は、図３の方法のさらなる態様を例示する。なお、矢印は、別々にまたは他のブロックと組み合わせて、図３のフローチャートにより表される方法の追加の態様として含めることができるステップを、各ブロックが表すことを示す。複数のブロックを図３のフローチャートへの追加のステップとしてみなすことができることは理解すべきである。４００にて、物理的空間内の物体の深度が、感知された情報に基づき推測される。４０２にて、物理的空間の３Ｄメッシュが、物理的空間へのカメラの登録および物理的空間へのプロジェクタの登録に基づきリアルタイムで生成される。４０４にて、物理的空間内の２つの表面が、該２つの表面との接続インタラクションに基づき仮想的に関係付けられる。４０６にて、物体が仮想的に採取され、その物体は物体に対する仮想対話型表面の計算された近接性に基づき仮想的に落とされる。４０８にて、空間ウィジェットが物理的空間の対話型表面上に提示され、空間ウィジェットは所定の物理的移動を使用して対話型に操作される。
本出願において使用される時、用語「コンポーネント」および「システム」は、コンピュータ関連のエンティティを指すことが意図され、ハードウェア、ソフトウェアと有形のハードウェアの組み合わせ、ソフトウェア、または、実行中のソフトウェア、のいずれかである。例えば、コンポーネントは、有形のコンポーネント、例えば、プロセッサ、チップメモリ、大容量記憶装置（例えば、光ドライブ、ソリッドステートドライブ、および／または磁気記憶媒体ドライブ）、およびコンピュータ、ならびに、ソフトウェアコンポーネント、例えば、プロセッサ上で稼働する処理、オブジェクト、実行ファイル、モジュール、実行のスレッド、および／またはプログラム、とすることができるがこれに限定されない。例として、サーバ上で稼働するアプリケーションとサーバの両方をコンポーネントとすることができる。１つまたは複数のコンポーネントは、処理および／または実行のスレッド内に常駐させることができ、また、コンポーネントは、１つのコンピュータに置くこと、および／または、２つまたはそれ以上のコンピュータ間に分散させることが可能である。単語「例」は本明細書で使用されて、例、事例、または例示として機能することが意味されることとする。本明細書に「例」として記載される任意の態様または設計は、必ずしも他の態様または設計よりも好適または有利であるとは解釈されない。
ここで、図５を参照すると、開示されるアーキテクチャに従う、拡張現実およびインタラクションを実行するコンピュータシステム５００のブロック図が例示される。その種々の態様のための追加の文脈を提供するために、図５および以下の記載では、種々の態様を実装可能な適切なコンピュータシステム５００の簡単な、全体的な説明を提供することが意図される。上記の説明は、１つまたは複数のコンピュータ上で実行可能なコンピュータ実行可能命令の一般的文脈によるが、当業者は、新規な実施形態を他のプログラムモジュールとの組み合わせで、および／または、ハードウェアとソフトウェアの組み合わせとして実装可能であることも認識するであろう。
種々の態様を実装するためのコンピュータシステム５００には、処理装置５０４（複数可）、システムメモリ５０６等のコンピュータ可読記憶装置、およびシステムバス５０８を有するコンピュータ５０２が含まれる。処理装置５０４（複数可）は、シングルプロセッサ、マルチプロセッサ、シングルコアユニット、およびマルチコアユニット等の種々の市販のプロセッサのいずれかとすることができる。さらに、新規な方法は、ミニコンピュータ、メインフレームコンピュータ、また、パーソナルコンピュータ（例えば、デスクトップ、ラップトップ等）、ハンドヘルドコンピュータ装置、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品等であって、それぞれが１つまたは複数の関連する装置に操作可能に連結される装置、を含む他のコンピュータシステム構成を用いて実践可能であることを当業者は理解するであろう。
システムメモリ５０６には、揮発性（ＶＯＬ）メモリ５１０（例えば、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））および不揮発性メモリ（ＮＯＮ−ＶＯＬ）５１２（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）等のコンピュータ可読記憶装置（物理記憶媒体）を含むことができる。基本入出力システム（ＢＩＯＳ）は不揮発性メモリ５１２に記憶させることができ、起動時等に、コンピュータ５０２内のコンポーネント間でのデータおよび信号の通信を円滑にする基本ルーチンを含む。揮発性メモリ５１０は、データをキャッシュするための静的ＲＡＭ等の高速ＲＡＭを含むこともできる。
システムバス５０８は、システムメモリ５０６を含むがこれに限定されないシステムコンポーネントのための処理装置５０４（複数可）に対するインターフェースを提供する。システムバス５０８は、様々な市販のバスアーキテクチャのいずれかを使用して、メモリバス（メモリコントローラはあっても無くても良い）、および周辺機器用バス（例えば、ＰＣＩ、ＰＣＩｅ、ＡＧＰ、ＬＰＣ等）に対してさらに相互接続可能な、いくつかのタイプのバス構造のうちのいずれかとすることができる。
コンピュータ５０２には、機械可読記憶サブシステム５１４（複数可）、およびシステムバス５０８および他の所望のコンピュータコンポーネントに対する記憶サブシステム５１４（複数可）のインターフェースのための記憶インターフェース５１６（複数可）がさらに含まれる。記憶サブシステム５１４（複数可）（物理記憶媒体）には、例えば、ハードディスクドライブ（ＨＤＤ）、磁気フロッピーディスクドライブ（ＦＤＤ）、および／または光ディスク記憶ドライブ（例えば、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ）、の内の１つまたは複数を含むことができる。記憶インターフェース５１６（複数可）には、例えば、ＥＩＤＥ、ＡＴＡ、ＳＡＴＡ、およびＩＥＥＥ１３９４等のインターフェース技術を含むことができる。
１つまたは複数のプログラムおよびデータは、メモリサブシステム５０６、機械可読着脱可能メモリサブシステム５１８（例えば、フラッシュドライブフォームファクタ技術）、および／または記憶サブシステム５１４（複数可）（例えば、光、磁気、ソリッドステート）に記憶させること可能であり、オペレーションシステム５２０、１つまたは複数のアプリケーションプログラム５２２、他のプログラムモジュール５２４、およびプログラムデータ５２６が含まれる。
１つまたは複数のアプリケーションプログラム５２２、他のプログラムモジュール５２４、およびプログラムデータ５２６には、例えば、図１のシステム１００のエンティティおよびコンポーネント、図２のシステム２００のエンティティおよびコンポーネント、および図４から５のフローチャートにより表される方法を含むことができる。
一般にプログラムには、特定のタスクの実行、または特定の抽象データ型の実装をなすルーチン、メソッド、データ構造、他のソフトウェアコンポーネント等が含まれる。オペレーティングシステム５２０、アプリケーション５２２、モジュール５２４、および／または、データ５２６の内の全てまたは一部を、例えば、揮発性メモリ５１０等のメモリにキャッシュすることもできる。開示されるアーキテクチャは、種々の市販のオペレーティングシステム、またはオペレーティングシステム（例えば、仮想マシンとして）の組み合わせを用いて実装可能であることは理解すべきである。
記憶サブシステム５１４（複数可）およびメモリサブシステム（５０６および５１８）は、データ、データ構造、コンピュータ実行化の命令等を揮発的におよび不揮発的に記憶するためのコンピュータ可読媒体として機能する。そのような命令は、コンピュータまたは他の機械により実行されると、該コンピュータまたは他の機械に方法の１つまたは複数の動作を実行させることができる。動作を実行する命令は、１つの媒体に記憶させることができ、または、複数の媒体に亘って記憶させて、命令の全てが同一の媒体上にあるかどうかに係わらず、命令を１つまたは複数のコンピュータ可読記憶媒体上に集約的に現れるようにすることができる。
コンピュータ可読媒体は、コンピュータ５０２によりアクセス可能、かつ、着脱可能または着脱不可能な揮発性および不揮発性の内部および／または外部媒体を含む、任意の利用可能な媒体とすることができる。コンピュータ５０２では、媒体はデータの記憶を任意の適切なデジタルフォーマットで受け入れる。開示されるアーキテクチャの新規な方法を実行するためのコンピュータ実行可能命令を記憶するためのＺＩＰドライブ、磁気テープ、フラッシュメモリカード、フラッシュドライブ、カートリッジ、等の他のタイプのコンピュータ可読媒体を採用可能であることは、当業者は理解すべきである。
ユーザは、コンピュータ５０２、プログラム、およびデータとのインタラクションを、キーボードおよびマウス等の外部ユーザ入力装置５２８を使用して行うことができる。他の外部ユーザ入力装置５２８には、マイク、ＩＲ（赤外線）リモートコントロール、ジョイスティック、ゲームパッド、カメラ認識システム、スタイラスペン、タッチスクリーン、ジェスチャシステム（例えば、目の動き、頭の動き等）、および／または類似するものを含むことができる。ユーザは、コンピュータ５０２、プログラム、およびデータとのインタラクションを、タッチパッド、マイク、キーボード等のコンピュータ取り付けのユーザ入力装置５３０を使用して行うことができ、例えば、コンピュータ５０２は携帯用コンピュータである。これらおよび他の入力装置は、入出力（Ｉ／Ｏ）装置インターフェース５３２（複数可）を介してシステムバス５０８を通り処理装置５０４（複数可）に接続されるが、パラレルポート、ＩＥＥＥ１３９４シリアルポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース等の他のインターフェースにより接続可能である。Ｉ／Ｏ装置インターフェース５３２（複数可）はまた、プリンタ、音声装置、カメラデバイス等の出力周辺機器５３４の使用を円滑にするもので、例えば、サウンドカードおよび／またはオンボードの音声処理機能等である。
１つまたは複数のグラフィックインターフェース５３６（複数可）（一般的にはＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）とも呼ばれる）が、コンピュータ５０２と外部ディスプレイ５３８（複数可）（例えば、ＬＣＤ、プラズマ）および／またはオンボードディスプレイ５４０（例えば、携帯用コンピュータの）との間のグラフィックおよび映像信号を提供する。グラフィックインターフェース５３６（複数可）は、コンピュータシステムボードの一部として製造されるものとすることもできる。
コンピュータ５０２は、ネットワーク環境（例えば、ＩＰベースの）において、有線／無線の通信サブシステム５４２を介した１つまたは複数のネットワークおよび／または他のコンピュータとの論理接続を使用して動作可能である。他のコンピュータには、ワークステーション、サーバ、ルータ、パーソナルコンピュータ、マイクロプロセッサベースの娯楽用機器、ピア装置または他の一般的なネットワークノードを含むことができ、また、典型的には、コンピュータ５０２に関して説明した要素の多くまたは全てを含むことができる。論理接続には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ホットスポット等への有線／無線接続を含むことができる。ＬＡＮおよびＷＡＮのネットワーク環境は事務所および会社では一般的なものであり、イントラネット等の企業規模のコンピュータネットワークを円滑にし、その全てがインターネット等のグローバル通信ネットワークに対して接続されて良い。
ネットワーク環境において使用される時、コンピュータ５０２はネットワークに対して有線／無線通信サブシステム５４２（例えば、ネットワークインターフェースアダプタ、オンボードトランシーバサブシステム等）を介して接続されて、有線／無線ネットワーク、有線／無線プリンタ、有線／無線入力装置５４４等と通信する。コンピュータ５０２には、モデム、またはネットワーク上で通信を確立するための他の手段を含むことができる。ネットワーク環境において、コンピュータ５０２に関連するプログラムおよびデータは、分散システムとの関連で、リモートのメモリ／記憶装置に記憶させることができる。図示されるネットワーク接続は例であること、かつ、コンピュータ間の通信リンクを確立する他の手段が使用可能であることは理解されるであろう。
コンピュータ５０２は、ＩＥＥＥ８０２．ｘｘ系標準の等の無線技術を使用して有線／無線の装置またはエンティティ、例えば、プリンタ、スキャナ、デスクトップおよび／または携帯用のコンピュータ、携帯情報端末（ＰＤＡ）、通信衛星、無線で検出可能なタグに関連する任意の機器または場所（例えば、キオスク、新聞売店、トイレ）、および電話との無線通信（例えば、ＩＥＥＥ８０２．１１の無線通信による変調技術）において動作可能に設置される無線装置、と通信するべく動作可能である。これには、少なくともホットスポット用のＷｉ−Ｆｉ（すなわち、ワイヤレスフィディリティー）、ＷｉＭａｘ、およびＢｌｕｅｔｏｏｔｈ（登録商標）の無線の技術が含まれる。従って、通信は、従来のネットワークを用いる所定の構造、または単純に少なくとも２つの装置間のアドホック通信とすることができる。Ｗｉ−Ｆｉネットワークは、ＩＥＥＥ８０２．１ｌｘ（ａ、ｂ、ｇ、等）と呼ばれる無線技術を使用して、安全で、信頼性のある、高速の無線接続を提供する。Ｗｉ−Ｆｉネットワークを使用して、コンピュータを、お互い同士、インターネット、有線ネットワーク（ＩＥＥＥ８０２．３に関連する媒体および機能を使用する）に接続させることができる。
上述の内容には、開示されるアーキテクチャの例が含まれる。もちろん、考え得る全ての組み合わせのコンポーネントおよび／または方法論を記載することは不可能であるが、当業者は、多くのさらなる組み合わせおよび置換が可能であることを理解するであろう。従って、新規のアーキテクチャは、添付の請求項の精神および範囲に含まれる全てのそのような変更、修正、および変形を包含することが意図される。さらに、用語「含む」が発明を実施するための形態または特許請求の範囲のどちらかで使用される限りにおいて、そのような用語は、請求項において遷移語として採用される用語「備える」の解釈と同様に、包括的である。

Claims (10)

  1. 多次元モデリングシステムであって、
    物理的空間内の物体を感知し、感知した情報を出力する、深度感知カメラの配置構成と、
    前記物理的空間内の表面上に投影を行う、プロジェクタの配置構成と、
    前記感知した情報及び前記投影を処理して仮想対話型空間を物理的空間にマッピンングし、前記物体及び前記表面とのインタラクションのための対話型ディスプレイをエミュレートする制御コンポーネントと、
    を備え、
    前記投影は、少なくとも２つの投影内の物体が相互参照されて前記物理的空間内における接続性を確立するように、相互に関連付けられ、
    前記接続性の少なくとも一部は、あるビューから別のビューへの接続コンポーネントにインデックスを付けるテーブルを構築することによって計算される、
    多次元モデリングシステム。
  2. 前記感知した情報の一部を投影にマッピングして３Ｄ物理座標系を作成するマッピングコンポーネントを更に備え、
    前記カメラ及び前記プロジェクタが物理的空間に登録される、請求項１に記載のシステム。
  3. 前記制御コンポーネントが、３Ｄ感知情報である前記感知した情報を、２Ｄ画像である前記投影に適用し、前記感知した情報を処理して物理的空間内の物体の深度を推測する、
    請求項１に記載のシステム。
  4. 前記制御コンポーネントが、前記物理的空間内の表面上への空間ウィジェットの投影を円滑にし、前記空間ウィジェットの対話型操作は、前記物理的空間で所定の動きを使用して達成される、請求項１に記載のシステム。
  5. 前記深度感知カメラの前記感知した情報を利用して、前記物理的空間内のユーザに対して仮想物体の位置決めをシミュレートするために前記制御コンポーネントが処理する、３Ｄメッシュを構築し、
    前記３Ｄメッシュは、リアルタイムで構築され、かつ、前記物理的空間の感知される部分をモデル化する、請求項１に記載のシステム。
  6. 多次元モデリング方法であって、
    深度感知カメラの配置構成を使用して物理的空間内の物体を感知し、感知した情報を出力するステップと、
    プロジェクタの配置構成を使用して、物理的空間内の表面上に画像を投影するステップと、
    前記感知した情報と前記画像とに基づいて、仮想対話型空間を作成して物理的空間に重ねるステップと、
    前記物理的空間内の表面に対して、物体とのインタラクションを提示するステップと、
    を含み、
    前記の投影は、少なくとも２つの投影内の物体が相互参照されて前記物理的空間内における接続性を確立するように、相互に関連付けられ、
    前記接続性の少なくとも一部は、あるビューから別のビューへの接続コンポーネントにインデックスを付けるテーブルを構築することによって計算される、
    多次元モデリング方法。
  7. 前記感知した情報に基づいて、前記物理的空間内の前記物体の深度を推測するステップを更に含む、請求項６に記載の方法。
  8. 前記カメラの物理的空間への登録及び前記プロジェクタの物理的空間への登録に基づいて、前記物理的空間の３Ｄメッシュをリアルタイムで生成するステップを更に含む、請求項６に記載の方法。
  9. 前記物理的空間内の２つの表面を、該２つの表面の接続インタラクションに基づいて、仮想的に関係付けるステップと、
    空間ウィジェットを前記物理的空間の対話型表面上に提示するステップと、
    所定の物理的動きを使用して前記空間ウィジェットを対話型に操作するステップと、
    を更に含む、請求項６に記載の方法。
  10. 前記物体に対する仮想対話型表面の計算された近接性に基づいて、前記物体を仮想的に取り、前記物体を仮想的に落とすステップを更に含む、請求項６に記載の方法。
JP2012555036A 2010-02-23 2011-02-15 デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ Active JP5752715B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US30742210P 2010-02-23 2010-02-23
US61/307,422 2010-02-23
US12/819,230 US8730309B2 (en) 2010-02-23 2010-06-21 Projectors and depth cameras for deviceless augmented reality and interaction
US12/819,230 2010-06-21
PCT/US2011/024925 WO2011106201A2 (en) 2010-02-23 2011-02-15 Projectors and depth cameras for deviceless augmented reality and interaction

Publications (3)

Publication Number Publication Date
JP2013520751A JP2013520751A (ja) 2013-06-06
JP2013520751A5 JP2013520751A5 (ja) 2014-03-13
JP5752715B2 true JP5752715B2 (ja) 2015-07-22

Family

ID=44476172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012555036A Active JP5752715B2 (ja) 2010-02-23 2011-02-15 デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ

Country Status (5)

Country Link
US (2) US8730309B2 (ja)
JP (1) JP5752715B2 (ja)
CN (1) CN102763422B (ja)
HK (1) HK1177073A1 (ja)
WO (1) WO2011106201A2 (ja)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US9971458B2 (en) * 2009-03-25 2018-05-15 Mep Tech, Inc. Projection of interactive environment
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8917905B1 (en) * 2010-04-15 2014-12-23 Don K. Dill Vision-2-vision control system
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395769B1 (en) 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
JP2012079291A (ja) * 2010-09-08 2012-04-19 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
KR101800182B1 (ko) * 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
EP2686254B1 (de) * 2011-03-17 2018-08-15 SSI Schäfer Automation GmbH Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US9478067B1 (en) 2011-04-08 2016-10-25 Amazon Technologies, Inc. Augmented reality environment with secondary sensory feedback
TWI462569B (zh) * 2011-04-22 2014-11-21 Mstar Semiconductor Inc 三維影像攝相機及其相關控制方法
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US8619049B2 (en) 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US20120320216A1 (en) * 2011-06-14 2012-12-20 Disney Enterprises, Inc. Method and System for Object Recognition, Authentication, and Tracking with Infrared Distortion Caused by Objects for Augmented Reality
DE102011104524A1 (de) * 2011-06-15 2012-12-20 Ifakt Gmbh Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich
US9520072B2 (en) * 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
US20130103446A1 (en) 2011-10-20 2013-04-25 Microsoft Corporation Information sharing democratization for co-located group meetings
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
CA2873811A1 (en) * 2012-05-18 2013-11-21 Jumbo Vision International Pty Ltd An arrangement for physically moving two dimensional, three dimensional and/or stereoscopic three dimensional virtual objects
US9449068B2 (en) * 2012-06-13 2016-09-20 Oracle International Corporation Information retrieval and navigation using a semantic layer and dynamic objects
US8855369B2 (en) * 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
US9672389B1 (en) * 2012-06-26 2017-06-06 The Mathworks, Inc. Generic human machine interface for a graphical model
US9117039B1 (en) 2012-06-26 2015-08-25 The Mathworks, Inc. Generating a three-dimensional (3D) report, associated with a model, from a technical computing environment (TCE)
US9582933B1 (en) 2012-06-26 2017-02-28 The Mathworks, Inc. Interacting with a model via a three-dimensional (3D) spatial environment
US9607113B1 (en) * 2012-06-26 2017-03-28 The Mathworks, Inc. Linking of model elements to spatial elements
US9245068B1 (en) 2012-06-26 2016-01-26 The Mathworks, Inc. Altering an attribute of a model based on an observed spatial attribute
WO2014010251A1 (en) 2012-07-13 2014-01-16 Panasonic Corporation Hand and object tracking in three-dimensional space
US9282301B1 (en) * 2012-07-25 2016-03-08 Rawles Llc System for image projection
US9519968B2 (en) 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US9294539B2 (en) 2013-03-14 2016-03-22 Microsoft Technology Licensing, Llc Cooperative federation of digital devices via proxemics and device micro-mobility
US10891003B2 (en) 2013-05-09 2021-01-12 Omni Consumer Products, Llc System, method, and apparatus for an interactive container
US10360052B1 (en) 2013-08-08 2019-07-23 The Mathworks, Inc. Automatic generation of models from detected hardware
CN103455141B (zh) * 2013-08-15 2016-07-06 无锡触角科技有限公司 互动投影系统及其深度传感器和投影仪的校准方法
KR101444858B1 (ko) * 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
JP6263917B2 (ja) 2013-09-17 2018-01-24 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US10445946B2 (en) 2013-10-29 2019-10-15 Microsoft Technology Licensing, Llc Dynamic workplane 3D rendering environment
US9256348B2 (en) * 2013-12-18 2016-02-09 Dassault Systemes Americas Corp. Posture creation with tool pickup
US9437159B2 (en) * 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
EP3107484B1 (en) * 2014-02-21 2022-03-30 Trispera Dental Inc. Augmented reality dental design method and system
CN106255938B (zh) * 2014-02-28 2019-12-17 惠普发展公司，有限责任合伙企业 传感器和投影仪的校准
US10181193B2 (en) * 2014-03-10 2019-01-15 Microsoft Technology Licensing, Llc Latency reduction in camera-projection systems
TWI526773B (zh) * 2014-04-18 2016-03-21 台達電子工業股份有限公司 三維掃描列印裝置
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
WO2016018392A1 (en) 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
CN106797458B (zh) * 2014-07-31 2019-03-08 惠普发展公司，有限责任合伙企业 真实对象的虚拟改变
CN107113417B (zh) * 2014-08-01 2020-05-05 惠普发展公司，有限责任合伙企业 将图像投影到对象上
CN104134229A (zh) * 2014-08-08 2014-11-05 李成 实时交互的增强现实系统以及方法
WO2016036352A1 (en) * 2014-09-03 2016-03-10 Hewlett-Packard Development Company, L.P. Presentation of a digital image of an object
WO2016040153A1 (en) * 2014-09-08 2016-03-17 Intel Corporation Environmentally mapped virtualization mechanism
FR3025917A1 (fr) * 2014-09-16 2016-03-18 Ingenuity I O Dispositif et procede d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'interaction spatialises 2d et 3d pour la creation d'environnements interactifs
CN107077196B (zh) 2014-09-30 2020-01-21 惠普发展公司，有限责任合伙企业 识别触敏表面上的对象
EP3201724A4 (en) 2014-09-30 2018-05-16 Hewlett-Packard Development Company, L.P. Gesture based manipulation of three-dimensional images
US10297082B2 (en) 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
CN107209960B (zh) * 2014-12-18 2021-01-01 脸谱科技有限责任公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
MX2017008609A (es) * 2014-12-30 2018-05-04 Omni Consumer Products Llc Sistema y método para la proyección interactiva.
US20180013997A1 (en) * 2015-01-30 2018-01-11 Ent. Services Development Corporation Lp Room capture and projection
US20180203437A1 (en) * 2015-04-17 2018-07-19 Tulip Interfaces, Inc. Containerized communications gateway
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
KR102365730B1 (ko) 2015-06-15 2022-02-22 한국전자통신연구원 인터랙티브 콘텐츠 제어 장치 및 방법
US9652897B2 (en) 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
US10012496B2 (en) * 2015-10-29 2018-07-03 Canon Kabushiki Kaisha Multispectral binary coded projection using multiple projectors
US10217283B2 (en) * 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
US20180286130A1 (en) * 2016-01-06 2018-10-04 Hewlett-Packard Development Company, L.P. Graphical image augmentation of physical objects
WO2017142977A1 (en) 2016-02-15 2017-08-24 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
CN107454373B (zh) 2016-05-31 2019-06-14 财团法人工业技术研究院 投影系统及其非平面自动校正方法与自动校正处理装置
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US10249084B2 (en) 2016-06-10 2019-04-02 Microsoft Technology Licensing, Llc Tap event location with a selection apparatus
KR102609330B1 (ko) 2016-07-15 2023-12-05 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
US10591277B2 (en) 2016-07-28 2020-03-17 Liberty Reach Inc. Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10049443B2 (en) 2016-08-29 2018-08-14 Liberty Reach Inc. Method and system for determining the presence or absence of a part of an assembly within a work cell
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10303118B2 (en) 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
CN106791748A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 一种台灯的投影处理方法及装置
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10244204B2 (en) 2017-03-22 2019-03-26 International Business Machines Corporation Dynamic projection of communication data
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
EP3430595B1 (en) * 2017-05-23 2020-10-28 Brainlab AG Determining the relative position between a point cloud generating camera and another camera
CN109407859A (zh) * 2017-08-15 2019-03-01 北京仁光科技有限公司 基于实物的人机交互方法、设备及系统
US11030810B1 (en) * 2017-09-13 2021-06-08 Lucasfilm Entertainment Company Ltd. Shared mixed-reality environments responsive to motion-capture data
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US11029713B2 (en) 2017-11-27 2021-06-08 Liberty Reach Inc. Method and system for expanding the range of working environments in which a 3-D or depth sensor can operate without damaging or degrading the measurement performance of the sensor
TWI659279B (zh) * 2018-02-02 2019-05-11 國立清華大學 基於擴充實境的加工規劃設備
WO2019173808A1 (en) * 2018-03-09 2019-09-12 Ventana 3D, Llc Real-time quality control during manufacturing using augmented reality
US20190340821A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Multi-surface object re-mapping in three-dimensional use modes
TWI721429B (zh) * 2018-05-21 2021-03-11 仁寶電腦工業股份有限公司 互動式投影系統和互動式投影方法
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN109615703B (zh) * 2018-09-28 2020-04-14 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
CN112912937A (zh) * 2018-10-31 2021-06-04 米沃奇电动工具公司 空间感知工具系统
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US10860120B2 (en) 2018-12-04 2020-12-08 International Business Machines Corporation Method and system to automatically map physical objects into input devices in real time
CN109840016A (zh) * 2018-12-14 2019-06-04 维沃移动通信有限公司 一种虚拟交互方法及终端设备
ES2954842T3 (es) * 2019-03-13 2023-11-27 Oreal Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體
JP7352239B2 (ja) * 2019-06-10 2023-09-28 株式会社アブストラクトエンジン プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法
CN110765159B (zh) * 2019-11-01 2022-08-12 上海达梦数据库有限公司 对象解析方法、装置、存储介质及设备
US11301712B2 (en) * 2019-11-07 2022-04-12 Sap Se Pointer recognition for analog instrument image analysis
US10679062B1 (en) 2019-12-03 2020-06-09 Primer Supply, Inc. Systems and methods for device positioning surface detection
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
DE102020201070A1 (de) * 2020-01-29 2021-07-29 Siemens Healthcare Gmbh Darstellungsvorrichtung
US11080879B1 (en) * 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
CN115514942A (zh) * 2022-08-02 2022-12-23 合壹(上海)展览有限公司 多交互形式的智能投影方法、系统、设备和存储介质

Family Cites Families (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402608A (en) * 1980-10-02 1983-09-06 Solid Photography Inc. Room scanning system using multiple camera and projector sensors
US4786966A (en) 1986-07-10 1988-11-22 Varo, Inc. Head mounted video display and remote camera system
JPH0456993A (ja) 1990-06-26 1992-02-24 Shimadzu Corp ウィンドウ生成装置
JPH04328627A (ja) 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> カーソル表示方法
US7188852B1 (en) 1992-06-05 2007-03-13 Fritschen Thomas M Bicycle with improved composite frame
DE4236091A1 (de) 1992-10-26 1994-04-28 Nsm Ag Projektionssystem für Unterhaltungs- und Spielgeräte
EP0622722B1 (en) 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
JP3277645B2 (ja) 1993-11-01 2002-04-22 株式会社日立製作所 ペン入力式情報処理装置
US5714997A (en) 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
JPH0946776A (ja) 1995-07-26 1997-02-14 Sony Corp 遠隔指示装置および方法
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6252579B1 (en) 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
JP3746378B2 (ja) 1997-08-26 2006-02-15 シャープ株式会社 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
EP0961506B1 (en) 1998-05-20 2003-03-26 Texas Instruments France Autostereoscopic display
US6392637B2 (en) 1998-08-13 2002-05-21 Dell Usa, L.P. Computer system having a configurable touchpad-mouse button combination
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2000322367A (ja) 1999-05-07 2000-11-24 Hitachi Ltd 代替装置によるユーザインタフェース変更方法及びその情報処理装置
JP2000354257A (ja) 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
EP1067362A1 (en) 1999-07-09 2001-01-10 Hewlett-Packard Company Document imaging system
US6542154B1 (en) 1999-08-07 2003-04-01 Hewlett-Packard Company Architectural extensions to 3D texturing units for accelerated volume rendering
GB9918704D0 (en) 1999-08-10 1999-10-13 White Peter M Device and method for eye to eye communication overa network
JP2003506973A (ja) * 1999-08-10 2003-02-18 ホワイト・ピーター・マクダフィー 通信システム
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
AU2001257210A1 (en) 2000-04-24 2001-11-07 The Trustees Of Columbia University In The City Of New York System and method for dynamic space management of a display space
CA2306515A1 (en) 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP4284855B2 (ja) 2000-10-25 2009-06-24 ソニー株式会社 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
US6431711B1 (en) * 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
DE10063089C1 (de) 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
GB2377147A (en) 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US7071897B2 (en) 2001-07-18 2006-07-04 Hewlett-Packard Development Company, L.P. Immersive augmentation for display systems
US6930681B2 (en) 2001-08-14 2005-08-16 Mitsubishi Electric Research Labs, Inc. System and method for registering multiple images with three-dimensional objects
JP3971907B2 (ja) 2001-09-17 2007-09-05 アルプス電気株式会社 座標入力装置及び電子機器
US7027031B2 (en) 2002-02-07 2006-04-11 Gifu University Touch sense interface and method for controlling touch sense interface
US7468778B2 (en) 2002-03-15 2008-12-23 British Broadcasting Corp Virtual studio system
US7199793B2 (en) 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7190331B2 (en) 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US8905834B2 (en) 2007-11-09 2014-12-09 Igt Transparent card display
US20090143141A1 (en) 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US20040037450A1 (en) 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US7134080B2 (en) 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7242818B2 (en) 2003-01-17 2007-07-10 Mitsubishi Electric Research Laboratories, Inc. Position and orientation sensing with a projector
US20040196282A1 (en) 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
CA2464569A1 (en) 2003-04-16 2004-10-16 Universite De Montreal Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
US7126228B2 (en) 2003-04-23 2006-10-24 Micron Technology, Inc. Apparatus for processing semiconductor devices in a singulated form
JP4201656B2 (ja) 2003-07-07 2008-12-24 富士通コンポーネント株式会社 ポインティングデバイス制御方法および装置
US7164789B2 (en) 2003-08-11 2007-01-16 Palo Alto Research Center Incorporated Three-dimensional active vision with glyph address carpet
US7746356B2 (en) 2003-08-19 2010-06-29 Koninklijke Philips Electronics N.V. Visual content signal display apparatus and a method of displaying a visual content signal therefor
US7747067B2 (en) 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US8050491B2 (en) 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
US7077529B2 (en) 2004-02-20 2006-07-18 L-3 Communications Corporation Masked image projection system and method
WO2005082075A2 (en) 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
US7609257B2 (en) 2004-03-29 2009-10-27 Oculus Info Inc. System and method for applying link analysis tools for visualizing connected temporal and spatial information on a user interface
US7204428B2 (en) 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
US7379562B2 (en) 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20070132733A1 (en) 2004-06-08 2007-06-14 Pranil Ram Computer Apparatus with added functionality
US7379047B2 (en) 2004-06-30 2008-05-27 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US7743348B2 (en) 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
KR101183000B1 (ko) 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
WO2006012678A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
ATE488091T1 (de) 2004-08-30 2010-11-15 Univ Weimar Bauhaus Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
US7961912B2 (en) 2004-10-14 2011-06-14 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US7614748B2 (en) 2004-10-25 2009-11-10 The Trustees Of Columbia University In The City Of New York Systems and methods for displaying three-dimensional images
KR100638367B1 (ko) 2004-10-30 2006-10-25 한국과학기술연구원 비행 스크린 기구의 비행 궤적 추적을 이용한 자동 영상디스플레이 장치
TW200617748A (en) 2004-11-23 2006-06-01 Mitac Technology Corp Integrated module used to control the displacement of the cursor displayed on a computer and the input of number keys
JP2006148730A (ja) 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp 会議システム及び会議情報提供方法
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
US8162486B2 (en) * 2005-01-15 2012-04-24 Lenovo (Singapore) Pte Ltd. Remote set-up and calibration of an interactive system
WO2006081198A2 (en) 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
US7260474B1 (en) 2005-02-08 2007-08-21 Cellco Partnership GIS point-to-point routing for directions
GB0502891D0 (en) 2005-02-12 2005-03-16 Next Device Ltd User interfaces
US7479967B2 (en) 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
US7970870B2 (en) 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
RU2008110056A (ru) 2005-08-15 2009-09-27 Конинклейке Филипс Электроникс Н.В. (Nl) Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем
US7843449B2 (en) 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US20070124370A1 (en) 2005-11-29 2007-05-31 Microsoft Corporation Interactive table based platform to facilitate collaborative activities
US8130330B2 (en) 2005-12-05 2012-03-06 Seiko Epson Corporation Immersive surround visual fields
US20070126864A1 (en) 2005-12-05 2007-06-07 Kiran Bhat Synthesizing three-dimensional surround visual field
US20080007567A1 (en) 2005-12-18 2008-01-10 Paul Clatworthy System and Method for Generating Advertising in 2D or 3D Frames and Scenes
JP2007226406A (ja) 2006-02-22 2007-09-06 Toshiba Corp 監視制御システム
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20070247422A1 (en) 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
EP2005732A1 (en) 2006-03-31 2008-12-24 Koninklijke Philips Electronics N.V. Adaptive rendering of video content based on additional frames of content
US20070257891A1 (en) 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US7984995B2 (en) 2006-05-24 2011-07-26 Smart Technologies Ulc Method and apparatus for inhibiting a subject's eyes from being exposed to projected light
US7552402B2 (en) 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP2008033844A (ja) 2006-07-31 2008-02-14 Sharp Corp 表示装置、制御方法およびプログラム
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP2008112077A (ja) 2006-10-31 2008-05-15 Sony Corp 画像投影装置およびその制御方法
US7942530B2 (en) 2006-10-31 2011-05-17 The Regents Of The University Of California Apparatus and method for self-calibrating multi-projector displays via plug and play projectors
DE102006055858A1 (de) 2006-11-27 2008-05-29 Carl Zeiss Ag Verfahren und Anordnung zur Steuerung eines Fahrzeuges
US20080143969A1 (en) 2006-12-15 2008-06-19 Richard Aufranc Dynamic superposition system and method for multi-projection display
US8269727B2 (en) 2007-01-03 2012-09-18 Apple Inc. Irregular input identification
KR100891099B1 (ko) 2007-01-25 2009-03-31 삼성전자주식회사 사용성을 향상시키는 터치 스크린 및 터치 스크린에서 사용성 향상을 위한 방법
US8380246B2 (en) 2007-03-01 2013-02-19 Microsoft Corporation Connecting mobile devices via interactive input medium
US7979315B2 (en) 2007-03-14 2011-07-12 Microsoft Corporation Virtual features of physical items
US8994757B2 (en) 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US20080231634A1 (en) 2007-03-22 2008-09-25 Honeywell International, Inc. Intuitive modification of visual output from a multi-function display
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US8172407B2 (en) * 2007-05-16 2012-05-08 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3D reconstruction
US20090027330A1 (en) 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
KR101014572B1 (ko) 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
US8488129B2 (en) 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8223192B2 (en) 2007-10-31 2012-07-17 Technion Research And Development Foundation Ltd. Free viewpoint video
US20090128783A1 (en) 2007-11-15 2009-05-21 Yueh-Hong Shih Ocular-protection projector device
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US20090149250A1 (en) 2007-12-07 2009-06-11 Sony Ericsson Mobile Communications Ab Dynamic gaming environment
KR101441584B1 (ko) 2008-01-02 2014-09-23 삼성전자 주식회사 투과형 영상표시장치 및 그 방법
JP5684577B2 (ja) 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
WO2009117450A1 (en) 2008-03-18 2009-09-24 Invism, Inc. Enhanced immersive soundscapes production
US8042949B2 (en) 2008-05-02 2011-10-25 Microsoft Corporation Projection of images onto tangible user interfaces
CN101755300B (zh) 2008-05-21 2014-02-05 松下电器产业株式会社 投影仪
US20100037273A1 (en) 2008-08-07 2010-02-11 Brian Dressel Interactive video presentation
EP2335138A4 (en) 2008-08-15 2012-12-19 Qualcomm Inc ENHANCED MULTIPOINT DETECTION
US8508671B2 (en) * 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US8538084B2 (en) * 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US20100073476A1 (en) 2008-09-24 2010-03-25 Industrial Technology Research Institute Systems and methods for measuring three-dimensional profile
JP5094663B2 (ja) 2008-09-24 2012-12-12 キヤノン株式会社 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
US20100079385A1 (en) 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US8297757B2 (en) 2008-10-29 2012-10-30 Seiko Epson Corporation Projector and projector control method
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8570423B2 (en) 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
MX2011008609A (es) 2009-02-17 2011-09-09 Koninklije Philips Electronics N V Combinar datos de imagen tridimensional y graficos.
US8199186B2 (en) 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
JP5287403B2 (ja) 2009-03-19 2013-09-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8223196B2 (en) 2009-06-10 2012-07-17 Disney Enterprises, Inc. Projector systems and methods for producing digitally augmented, interactive cakes and other food products
US20100330843A1 (en) 2009-06-25 2010-12-30 Hong Gao Lamp socket power plug adapter
US20110025689A1 (en) 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
WO2011065949A1 (en) 2009-11-25 2011-06-03 Hewlett-Packard Development Company, Lp Automatic page layout system and method
WO2011078883A1 (en) 2009-12-24 2011-06-30 Trumbull Ventures Llc Method and apparatus for photographing and projecting moving images in three dimensions
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8391590B2 (en) 2010-03-04 2013-03-05 Flashscan3D, Llc System and method for three-dimensional biometric data feature detection and recognition
US20110234481A1 (en) 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
EP2378310B1 (en) 2010-04-15 2016-08-10 Rockwell Automation Safety AG Time of flight camera unit and optical surveillance system
US20110263326A1 (en) 2010-04-26 2011-10-27 Wms Gaming, Inc. Projecting and controlling wagering games
US9858475B2 (en) 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US20110316845A1 (en) 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
KR101681095B1 (ko) 2010-08-24 2016-12-02 삼성전자주식회사 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
US20120050530A1 (en) 2010-08-31 2012-03-01 Google Inc. Use camera to augment input for portable electronic device
KR101713366B1 (ko) 2010-09-10 2017-03-07 인텔 코포레이션 이미지 투사 방법 및 장치
US9092089B2 (en) 2010-09-15 2015-07-28 Advanced Silicon Sa Method for detecting an arbitrary number of touches from a multi-touch device
US10036891B2 (en) 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9049423B2 (en) 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US20120157204A1 (en) 2010-12-20 2012-06-21 Lai Games Australia Pty Ltd. User-controlled projector-based games
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US20120223885A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US8860688B2 (en) 2011-03-02 2014-10-14 Smart Technologies Ulc 3D interactive input system and method
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9189068B2 (en) 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
US20120249422A1 (en) 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method
US20120264510A1 (en) 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US8570372B2 (en) 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9082214B2 (en) 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US20130057515A1 (en) 2011-09-07 2013-03-07 Microsoft Corporation Depth camera as a touch sensor
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9137511B1 (en) 2011-12-15 2015-09-15 Rawles Llc 3D modeling with depth camera and surface normals
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US20130266174A1 (en) 2012-04-06 2013-10-10 Omek Interactive, Ltd. System and method for enhanced object tracking
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
KR101385681B1 (ko) 2012-11-08 2014-04-15 삼성전자 주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
US20140247263A1 (en) 2013-03-04 2014-09-04 Microsoft Corporation Steerable display system
US20150049001A1 (en) 2013-08-19 2015-02-19 Qualcomm Incorporated Enabling remote screen sharing in optical see-through head mounted display with augmented reality

Also Published As

Publication number Publication date
US9509981B2 (en) 2016-11-29
US8730309B2 (en) 2014-05-20
WO2011106201A2 (en) 2011-09-01
CN102763422A (zh) 2012-10-31
US20140253692A1 (en) 2014-09-11
HK1177073A1 (en) 2013-08-09
WO2011106201A3 (en) 2011-12-22
JP2013520751A (ja) 2013-06-06
CN102763422B (zh) 2014-05-07
US20110205341A1 (en) 2011-08-25

Similar Documents

Publication Publication Date Title
JP5752715B2 (ja) デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
TWI827633B (zh) 具有廣泛使用性的三維圖形使用者介面的系統及方法與對應的可讀式媒體
KR101823182B1 (ko) 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과
US10331222B2 (en) Gesture recognition techniques
TWI567659B (zh) 照片表示視圖的基於主題的增強
JP6423435B2 (ja) 物理的光景を表すための方法および装置
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
US8593402B2 (en) Spatial-input-based cursor projection systems and methods
JP5592011B2 (ja) マルチスケール３次元配向
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
JP6458371B2 (ja) ３次元モデルのためのテクスチャデータを取得する方法、ポータブル電子デバイス、及びプログラム
JP2013037675A5 (ja)
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
CN109697002B (zh) 一种在虚拟现实中对象编辑的方法、相关设备及系统
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
CN104580967B (zh) 一种基于便携式投影仪的地图投影方法和用于投影的装置
US20140225886A1 (en) Mapping a vision system output to a digital graphics system input
EP2540090A2 (en) Projectors and depth cameras for deviceless augmented reality and interaction
US20230351706A1 (en) Scanning interface systems and methods for building a virtual representation of a location
Wesson et al. Evaluating organic 3D sculpting using natural user interfaces with the Kinect
Wesson et al. Evaluating 3d sculpting through natural user interfaces across multiple devices
Cham et al. Hand Gestures Based Interaction in Augmented Reality

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130712

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150520

R150 Certificate of patent or registration of utility model

Ref document number: 5752715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250