JP6704921B2 - バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化 - Google Patents

バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化 Download PDF

Info

Publication number
JP6704921B2
JP6704921B2 JP2017545583A JP2017545583A JP6704921B2 JP 6704921 B2 JP6704921 B2 JP 6704921B2 JP 2017545583 A JP2017545583 A JP 2017545583A JP 2017545583 A JP2017545583 A JP 2017545583A JP 6704921 B2 JP6704921 B2 JP 6704921B2
Authority
JP
Japan
Prior art keywords
tracked object
virtual
user
controller
movable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017545583A
Other languages
English (en)
Other versions
JP2018514836A (ja
Inventor
ソーヤー,デイビッド
レイドフォード,トリスタン
マライカ,ヤッサー
イエイツ,アラン
セラン,ジェレミー
Original Assignee
バルブ コーポレーション
バルブ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/937,844 external-priority patent/US10338186B2/en
Application filed by バルブ コーポレーション, バルブ コーポレーション filed Critical バルブ コーポレーション
Publication of JP2018514836A publication Critical patent/JP2018514836A/ja
Application granted granted Critical
Publication of JP6704921B2 publication Critical patent/JP6704921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703Details
    • G01S1/7032Transmitters
    • G01S1/7034Mounting or deployment thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703Details
    • G01S1/7032Transmitters
    • G01S1/7038Signal details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257Hybrid positioning
    • G01S5/0263Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Description

関連出願の相互参照
[0001] 本出願は、2015年2月27日付けで出願された仮出願第62/126,352号に基づく優先権を主張し、かつ、2014年11月10日付けで出願された仮出願第62/077,374号及び2015年2月27日付けで出願された第62/126,358号の優先権を主張する2015年11月10日付けで出願された特許出願第14/937,844号の一部継続出願である。これらの全ての出願の内容があらゆる目的のため参照によってここに組み込まれる。
[0003] 本開示は、概して、バーチャル/オーグメンテッドリアリティ環境におけるコントローラ可視化に関する。より詳しくは、本開示の態様は、バーチャル又はオーグメンテッドリアリティ環境における物理コントローラ装置の表現及び拡張のためのシステム及び方法に関する。
[0005] 様々なオーグメンテッド及び/又はバーチャルリアリティシステム、及び/又は、環境が知られている。1つの最新世代のデスクトップバーチャルリアリティ(「VR」)体験は、固定されたコンピュータ(例えば、パーソナルコンピュータ(「PC」)、ラップトップ、若しくはゲーム機など)に拘束される、又は自立型である可能性があるヘッド・マウント・ディスプレイ(「HMD」)を使用して作り出される。このようなデスクトップVR体験は、概して、完全に没入型であること、及び、ユーザを取り囲む環境からユーザの感覚を切り離すことを目指す。
[0006] バーチャル環境と相互に作用するために物理制御装置を利用するとき、バーチャル空間だけを表示するヘッド・マウント・ディスプレイを装着しているユーザは、制御装置に設けられた制御要素に気付き、制御要素と相互に作用する問題を体験することがある。このようなユーザは、制御装置上の、例えば、ボタンなどのインタラクティブ要素の機能が分かっていないこともある。
[0007] 作動空間内に存在する物理制御装置を使用してバーチャル空間内の模擬アイテムを作動させるのが典型的である。模擬アイテムは、制御装置にある程度類似するように成形される場合があり、逆の場合も同じであるが(例えば、銃の形をしたコントローラがバーチャル世界内の銃を作動させるが)、これらの解決策は、典型的に、かなり不正確であるか、又は、特定の制御装置を前提として変更できないようにされている。
[0008] 当該技術分野における現在の制限に対処することが望ましい。
[0009] 例として、次に、必ずしも正しい縮尺で描かれていない添付図面を参照する。
[0010]本発明のある実施形態の態様を実装するために使用され得るコンピューティング装置の例示的な図である。 [0011]本発明のある実施形態の態様を実装するために使用され得る光受信機及びセンサを備えるヘッド・マウント・バーチャルリアリティ装置を装着している人間であるユーザの例示的な図である。 [0012]本発明のある実施形態の態様を実装するために使用され得る光学位置追跡システム内の送信機/受信機構成の例示的な図である。 [0013]4台の光受信機を含んでいる本発明の態様によるヘッド・マウント・バーチャルリアリティ・ディスプレイの例示的な図である。 [0014]現実のゲームコントローラのバーチャル画像が視野内にある本発明のある実施形態によるバーチャルリアリティ環境内の例示的な表示を示す図である。 [0015]現実のゲームコントローラのバーチャル画像が視野内にあり、特定の時点に作動されるべき利用可能な特定のコントローラ機能性に関してユーザに指示を出すために例示的なフライオーバーテキストコールアウトが表示画像にさらに重ね合わされている、本発明のある実施形態によるバーチャルリアリティ環境内の例示的な表示を示す図である。
[0016] 当業者は、本発明の以下の説明が実例にすぎず、決して限定的ではないことを理解するであろう。かかる当業者は、本開示の利益を有する発明の他の実施形態に想到するものであり、本文書中に規定された一般的な原理は、本発明の趣旨及び範囲から逸脱することなく、他の実施形態及び応用にも当てはまってもよい。それ故に、本発明は、明らかにされた実施形態に限定されることが意図されることなく、本文書中に開示された原理及び特徴と一致している最も広い範囲が認められるべきである。添付図面において例として説明された通りの本発明の特定の実装を次に詳細に参照する。同一の符号が同一又は類似の部分を参照するために図面及び以下の説明を通じて使用されるであろう。
[0017] 本詳細な説明に記載されたデータ構造及びコードは、典型的に、コンピュータシステムによって用いられるコード及び/又はデータを記憶することができるいずれの装置又は媒体でもよいコンピュータ読み取り可能な記憶媒体に記憶される。これは、限定されることなく、例えば、ディスクドライブ、磁気テープ、CD(コンパクトディスク)及びDVD(デジタル多用途ディスク又はデジタルビデオディスク)などの磁気記憶装置及び光学記憶装置と、(変調される信号を運ぶ搬送波の有無にかかわらず)伝送媒体に具現化されたコンピュータ命令信号と、を含む。例えば、伝送媒体は、インターネットのような通信ネットワークを含んでもよい。
[0018] 図1は、本発明のある実施形態の態様を実装するために使用され得るコンピューティング装置100の例示的な図である。コンピューティング装置100は、バス101と、1台以上のプロセッサ105と、メインメモリ110と、リード・オンリ・メモリ(ROM)115と、記憶装置120と、1台以上の入力装置125と、1台以上の出力装置130と、通信インターフェース135と、を含んでもよい。バス101は、コンピューティング装置100のコンポーネント間で通信を可能にする1つ以上の導体を含んでもよい。プロセッサ105は、命令を解釈し実行するどんな種類の従来型プロセッサ、マイクロプロセッサ、又は処理論理回路でも含んでもよい。メインメモリ100は、プロセッサ105による実行のための情報及び命令を記憶するランダム・アクセス・メモリ(RAM)又は別の種類の動的記憶装置を含んでもよい。ROM 115は、プロセッサ105により用いられる静的情報及び命令を記憶する従来型のROM装置又は別の種類の静的記憶装置を含んでもよい。記憶装置120は、磁気及び/又は光学記録媒体と、その対応するドライブと、を含んでもよい。入力装置(群)125は、ユーザが情報をコンピューティング装置100に入力することを可能にする1つ以上の従来型のメカニズム、例えば、キーボード、マウス、ペン、スタイラス、手書き文字認識、音声認識、生体計測メカニズムなどを含んでもよい。出力装置(群)130は、情報をユーザに出力する1つ以上の従来型のメカニズム、例えば、ディスプレイ、プロジェクタ、A/V受信機、プリンタ、スピーカなどを含んでもよい。通信インターフェース135は、コンピューティング装置/サーバ100が他の装置及び/又はシステムと通信することを可能にするあらゆる送受信機のようなメカニズムを含んでもよい。コンピューティング装置100は、例えば、データ記憶装置120などの別の読み取り可能な媒体から、又は通信インターフェース135を介して別の装置からメモリ110に読み込まれ得るソフトウェア命令に基づいて演算を実行してもよい。メモリ100に含まれているソフトウェア命令は、後述されるプロセスをプロセッサ105に実行させる。代替的に、有線回路が本発明と一致するプロセスを実装するためにソフトウェア命令の代わりに、又はソフトウェア命令に加えて使用されてもよい。それ故に、様々な実装は、ハードウェア回路とソフトウェアとの何らかの特定の組み合わせに限定されるものではない。
[0019] ある実施形態では、メモリ100は、限定されることなく、高速ランダム・アクセス・メモリ、例えば、DRAM、SRAM、DDR RAM又は他のランダム・アクセス・ソリッド・ステート・メモリ装置などを含むことがあり、限定されることなく、不揮発性メモリ、例えば、1つ以上の磁気ディスク記憶装置、光学ディスク記憶装置、フラッシュメモリ装置、又は他の不揮発性ソリッド・ステート記憶装置などを含んでもよい。メモリ110は、任意選択的に、プロセッサ(群)105から遠隔に設置された1つ以上の記憶装置を含んでもよい。メモリ110、又はメモリ110内の記憶装置のうちの1つ以上(例えば、1つ以上の不揮発性記憶装置)は、コンピュータ読み取り可能な記憶媒体を含んでもよい。ある実施形態では、メモリ110又はメモリ110のコンピュータ読み取り可能な記憶媒体は、以下のプログラム、モジュール、及びデータ構造:様々な基本システムサービスに対処し、ハードウェア依存タスクを実行する手続を含むオペレーティングシステムと、1つ以上の通信ネットワークインターフェース、及び、インターネット、他のワイド・エリア・ネットワーク、ローカル・エリア・ネットワーク、メトロポリタン・エリア・ネットワークなどの1つ以上の通信ネットワークを介してコンピューティング装置110を他のコンピュータに接続するため使用されるネットワーク通信モジュールと、ユーザがコンピューティング装置100と相互に作用することを可能にし得るクライアントアプリケーションと、のうちの1つ以上を記憶してもよい。
[0020] 本発明のある実施形態は、作動空間内で少なくとも3自由度をもつ追跡可能なヘッド・マウント・ディスプレイ(「HMD」)220と、任意選択的に、少なくとも2自由度の位置追跡を伴う1台以上のセンサとを備える。図2は、本発明のある実施形態の態様を実装するために使用され得る光受信機及びセンサ(230a、230b、230cなど)を備えるヘッド・マウント・バーチャルリアリティ装置220を装着している人間であるユーザ210の例示的な図である。HMD及び光センサは、コントローラへの感覚入力を提供し、コントローラは、次に、HMD又は別の出力装置に感覚フィードバックを提供する。限定されることなく、HMDは、固定されたコンピュータ(例えば、パーソナルコンピュータ(「PC」)、ラップトップ、若しくはゲーム機など)に拘束される、又は、代替的に、自立型である(すなわち、一部若しくは全部の感覚入力、コントローラ/コンピュータ、及び出力の全部が単一のヘッド・マウント装置に収容されている)可能性がある。
[0021] 本発明の態様は、ユーザが利用できる物理コントローラを現実的な又は拡張された形態でバーチャルリアリティ環境の中に移すことにより当該技術分野における制限に対処する。本発明の態様は、ユーザによって保持された実際の装置又は、バーチャル環境に適合している、及び/又は、状況に固有の情報を提供するこれらの実際の装置の変形をシミュレーションすることによりある実施形態における既存の解決策を改良する。
[0022] 図3は、本発明のある実施形態の態様を実装するために使用され得る光学位置追跡システム内の送信機/受信機構成の例示的な図である。図3に描かれている通り、例示的な光学位置追跡システムは、追跡ボリュームの全域にわたって光信号310を掃引する基地局320を備える。個々の実装の要件に依存して、2つ以上の基地局が組み込まれることがあり、各基地局は、2つ以上の光信号を生成してもよい。例えば、単一の基地局は、典型的に、6自由度の追跡に十分であるが、一部の実施形態では、ヘッドセット及び周辺機器のためのロバストなルームスケール追跡を行うために複数の基地局が必要であってもよい。光受信機(例えば、330)は、ヘッド・マウント・バーチャルリアリティ装置(220)又はその他の被追跡物体の中に組み込まれている。ある実施形態では、光受信機は、低レイテンシのセンサフュージョンを支援するために各被追跡装置上で加速度計及びジャイロスコープ慣性測定ユニット(「IMU」)とペアになる。図21に表されている通り、標準12オンスソーダ又はビール缶330が縮尺の感覚を与えるために描かれている。
[0023] ある実施形態による各基地局320は、直交軸上でシーンの全域にわたって直線ビーム310を掃引する2台のロータを含んでいる。各掃引サイクルの開始時に、ある実施形態による基地局320は、全てのセンサで確認可能な無指向性光パルス(「同期信号」)を放射する。それ故に、各センサは、同期信号とビーム信号との間の時間間隔を測定することにより、掃引されたボリューム内で一意的な角位置を計算する。センサ距離及び方向は、単体の剛体に取り付けられた複数台のセンサを使用して求められる。
[0024] 図4は、本発明のある実施形態の態様を実装するために使用され得る4台の光受信機(230a、230b、230c、230d)を含むヘッド・マウント・バーチャルリアリティ・ディスプレイ220の例示的な図である。
[0025] ある実施形態では、例として説明されたボリュームは、反射物体及び反射面がほとんどない、と仮定される。反射は、センサシステムに対するスプリアス信号の原因になり得る。1次反射の影響は、ある実施形態では、基地局で円偏光放射線源及びセンサで適切な整合円偏光フィルタを使用することにより低減又は除去される可能性がある。
[0026] ある実施形態によるセンサは、ロータからの変調された光を検出する能力があるオプトエレクトロニクス装置を備える。可視又は近赤外(「NIR」)光に対して、ある実施形態では、シリコンフォトダイオード及び適切な増幅器/検出器回路が好ましい。環境は、基地局信号に類似した波長をもつ静的信号及び時変信号(光学的ノイズ)を含んでもよいので、あらゆる干渉信号から区別すること、及び/又は、基地局信号の放射線以外の放射線のあらゆる波長からセンサを取り出すことを容易にするように基地局信号を変調することが有用である。
[0027] ある実施形態では、発明は、(1)種々の物理制御装置の3次元バーチャル表現のデータベースと、(2)(a)ユーザによって操作される特定の種類の制御装置の識別、(b)任意選択的に、3次元空間内の制御装置の配置及び方向付け、(c)任意選択的に、制御装置が相互に作用するために使用されるバーチャルリアリティ環境状況に加えて、このようなバーチャル環境の内部の制御装置上のインタラクティブ要素に関連付けられた機能に関する情報の収集、及び、(d)任意選択的に、限定されることなく、ホストオペレーティングシステム又は携帯電話機などのその他の装置において発生するイベントに関する通知などの作動空間からの状況情報の収集を許すプログラミングインターフェースと、を含む。
[0028] 図5は、現実のゲームコントローラ520のバーチャル画像がコントローラ520を保持している人間であるユーザ510の視野内にあるバーチャルリアリティ環境540内の例示的な表示である。
[0029] ある実施形態におけるコントローラプログラムは、上記(2)(a)から(d)に従って入力を収集し、制御装置及びこれのインタラクティブ要素のバーチャル状況及び/又は機能を反映するために、現実的な、又は、拡張されたユーザの物理制御装置のバーチャル表現をユーザに提供する。
[0030] 個々の実装の具体的な要件に依存して、このような制御装置の拡張されたバーチャル表現は、限定されることなく、言葉による、及び/又は、アイコンに基づく、及び/又は、アニメーションに基づく制御装置のインタラクティブ要素(群)のラベリング、例えば、バーチャル環境内のインタラクティブ要素の機能に関する情報を提供するラベリングなどを含むことがあり得る。例えば、図6において、現実のゲームコントローラ520のバーチャル銃の動作を制御するボタンは、例えば、「発射」と書かれているフライアウトテキストのような行動ラベル(610、620、630など)、若しくは、銃の画像、又は、その他の行動ラベルでラベル付けされることがあり得る。
[0031] ある実施形態による拡張されたバーチャル表現は、インタラクティブ要素に関連付けられた機能の利用可能性、又は、バーチャル環境によってもたらされた状況に関する他の任意情報に基づいてさらに修正されることがあり得る。例えば、ある実施形態におけるバーチャルリアリティゲーム内の武器を操作することができない間、この武器に関連付けられたインタラクティブ要素は、暗赤色で描かれてもよいが、チャージされ、準備ができたとき、このインタラクティブ要素は、パルス状の緑色で描かれてもよい。代替的に、制御装置は、バーチャル環境のうちどの部分に注目されているかに依存して、スワップアウトする、又は、アニメートするバーチャルアタッチメントで描かれることがあり得る。
[0032] ある実施形態では、データベースに記憶され、バーチャルリアリティ環境内でユーザが利用することができるようにされた物理制御装置は、例えば、限定されることなく、ビデオゲームコントローラと、パーソナルコンピュータ、携帯電話機若しくはタブレットコンピュータ用のキーボード、トラックパッド、又は、その他の入力装置と、又は、音響/映像設備及びその他の電子用のリモコン装置などでもよい。このような制御装置に関連付けられたインタラクティブ要素は、例えば、限定されることなく、ボタン、ジョイスティック、指向性パッド、ソフトウェアボタン、タッチセンサー式入力装置、ダイヤル、引き金、取っ手、運動センサなどでもよい。
[0033] 物理制御装置のバーチャル表現は、ある実施形態では、バーチャル環境の状況に基づいて変更されてもよい。例えば、歴史的背景で行われるバーチャルリアリティゲームでは、制御装置は、時代的に適切な材料から作られているものとして表現されてもよい。代替的に、ユーザが装置を操作するゲームでは、このような装置のバーチャル表現は、ユーザのコントローラの表現に付随させられてもよい。
[0034] ある実施形態における物理制御装置のバーチャル表現は、作動空間の状況及び/又はバーチャル空間の外側で行われるイベントに基づいて変更されることもある。例えば、コントローラは、専用インターフェースを通じて電話の着信又は訪問者を知らせる通知を受け取るかもしれない。このようなシステムでは、制御装置のバーチャル外観及び機能は、インタラクティブ要素に適切な機能及び外観が割り当てられるように変更されてもよい。電話の着信又はその他の電距離通信の手段に対して、このような機能は、電話に出ていることであってもよいのに対して、訪問者に関する情報に対して、好ましい行動は、バーチャル体験を一時停止させることであってもよい。これらの実施例は、外部システムが配信することができる何らかの種類の通知及び望ましい応答によって置き換えられてもよい。
[0035] 情報の状況−及び機能−特有の表現は、ある実施形態では、連結されてもよい。例えば、バーチャルリアリティフィッシングゲームでは、制御装置のバーチャル表現は、釣り竿によって延長されてもよい。バーチャル環境内の釣り竿が機能しなくなる場合、この釣り竿のバーチャル描写は、破損しているとして表されてもよい。
[0036] 状況−又は機能−特有の拡張は、具体的な実施形態の要件に依存して、永続的であるか、又は、ユーザ入力に基づいてもよい。例えば、制御装置の表現は、ユーザが自分の注視を制御装置のバーチャル表現に向けるまで、現実世界内のこの制御装置の外観を反映することがあり、注視が向けられた時点で、制御装置の表現は、機能−又は状況−特有の情報によって拡張されてもよい。他の実施例では、このような情報は、ユーザが物理制御装置を自分の目の前に持ち上げたときに、又は、何らかの他の事前に定義された行動を起こしたときに、仮想的に表示されるかもしれない。
[0037] さらに、インタラクティブ要素の機能に関連している付加情報の表示は、ある実施形態では、例えば、特定の行動がバーチャル空間内のユーザから必要とされるとき、又は、ユーザが暫くの間動かず、期待される行動に関するリマインダを必要とすると考えられるときなどの状況に基づいて表示されてもよい。
[0038] ある実施形態は、3次元作動空間内の被追跡制御装置の配置及び方向付けを反映するので、制御装置のバーチャル表現がユーザの目に対して現れる位置は、物理制御装置がユーザの目に対して現れる位置と同じである。
[0039] 他の実施形態は、被追跡制御装置のバーチャルレンダリングを作動空間の一部のリアルタイム映像表現と組み合わせる。このため、作動空間を記録するカメラからの映像供給は、バーチャル空間の描写された幾何学的配置に投影された、ヘッド・マウント・ディスプレイ内で見える画像に直接的に、又は、バーチャル空間の一部として、若しくは、バーチャル空間の代わりにユーザに示された作動空間の3次元モデルに重ね合わされてもよい。このような実施形態の実施例は、制御装置の3次元幾何学的配置に位置付けられた、(例えば、ユーザのHMD上の前向きカメラによって見たときの)ユーザの手のライブ映像供給であろう。
[0040] ある実施形態においてこの目的で映像供給から抽出されるべき望ましい要素は、いくつもの既存の方法、例えば、限定されることなく、これらの要素の寸法をシステムに知らせるために、動き検出若しくは奥行き検知技術によって、又は、特殊なマーカー装置でこれらの要素にマークを付けることによって分離されてもよい。これらの技術は、当業者に知られている通り、どのような方法でも組み合わされてもよい。
[0041] ある実施形態では、ユーザは、一般に、機能的に同一であり得る2台のコントローラを持っている。本発明の態様によるシステムは、2台のコントローラのうちどちらが左手の中にあるか、及び、どちらが右手の中にあるかを判定するために、2台のコントローラに向かうユーザのHMDの位置から三角測量する。ユーザがコントローラを交換した場合、これらは、ある実施形態では、左手及び右手のため設計された方式でそれでもなお正しく機能する。
[0042] コントローラは、ある実施形態では、現実の世界に存在する形状でバーチャル/ゲーム環境内に表示されるので、ユーザは、HMDを装着している間にコントローラを見つけることができ、ユーザがコントローラを持ち上げたとき、ユーザは、現実の世界で予想される触感と同じ触感を得る。ある実施形態では、ユーザがコントローラを持ち上げ、正確に把持すると、コントローラは、コントローラが表現するどんな妥当なゲーム内アイテムにでも、例えば、魔法の杖、レーザー銃などに変形してもよい。
[0043] ゲーム内情報は別として、ある実施形態によるコントローラは、現実の世界からの通知を表示するように設定される可能性がある。このようにして、ある実施形態では、バーチャルリアリティ世界内のコントローラは、通知が表示されたとき、小さいライトを表示する。このような実施形態では、ユーザがゲーム内のコントローラを保持する手の向きを変えたとき、バーチャルディスプレイが、例えば、テキストメッセージを表示する、電話でユーザを呼び出している人の発信者番号を表示するなどのために、ユーザの前腕に表示される。ユーザは、このとき、コントローラを使用してバーチャルディスプレイを終わらせること、又は、バーチャルディスプレイと相互に作用してもよい。このような実施形態では、ユーザは、通知がいつ到着してもHMDを外す必要はない。個々の実装の要件に依存して、通知は、特定のバーチャル環境にカスタマイズされてもよい。例えば、サイエンスフィクションゲームは、光を放つLCDディスプレイを前腕に表示してもよいが、ファンタジーゲームは、羊皮紙の巻物を表示してもよい。
[0044] 上記説明は、多くの詳述を含み、ある例示的な実施形態が記載され、添付図面に表示されているが、このような実施形態は、前述の通り、当業者が様々な他の変更に想到し得るので、広範な発明の実例にすぎず、広範な発明を制限するものではないこと、及び、本発明は、表示され、記載された具体的な構造及び配置構成に限定されることがないことが理解されるべきである。発明は、本文書に開示された異なる種及び/又は実施形態からの要素のあらゆるコンビネーション又はサブコンビネーションを含む。

Claims (5)

  1. く取り付けられた1つ以上の光センサを備える、作動空間の内部に位置決め可能な可動被追跡物体と、
    送信機が、繰り返し掃引サイクルの間に直交軸上の追跡ボリュームの全域で2つの光ビームを掃引する2台のロータを備え、各送信機が、前記掃引サイクルのそれぞれの開始時に前記光センサによって検出可能である無指向性同期光パルスを放射する、前記作動空間の内部に位置決め可能な1つ以上の光送信機と
    前記1つ以上の光センサに動作可能に結合された制御回路であって、前記制御回路は、前記1つ以上の光センサのそれぞれについて、
    前記無指向性同期パルスの検出と前記光ビームの検出との間の経過時間を算出することによって前記追跡ボリュームの内部の角位置を計算し、
    前記1つ以上の光センサの特定された前記角位置に基づいて前記可動被追跡物体の位置及び方向を特定し、
    記作動空間内の前記可動被追跡物体の特定された前記位置及び方向に対応するバーチャルリアリティ環境の内部の位置及び方向を用いて、ディスプレイに、前記バーチャルリアリティ環境内に前記可動被追跡物体のバーチャル表現を表示さ
    前記バーチャルリアリティ環境の状況に基づいて前記可動被追跡物体のバーチャル表現を変更するように構成される、制御回路と、を備える光学追跡システム。
  2. 前記可動被追跡物体は慣性測定ユニットをさらに備え、前記慣性測定ユニットは、前記可動被追跡物体の位置及び方向に関連する情報を前記光学追跡システムに提供し、前記可動被追跡物体の前記バーチャル表現の表示は、前記情報を前記角位置の前記算出に組み合わせる、請求項1に記載の光学追跡システム。
  3. 前記可動被追跡物体の前記バーチャル表現は、前記作動空間の状況に基づいて変更される、請求項1又は2に記載の光学追跡システム。
  4. 前記可動被追跡物体の前記バーチャル表現は、ユーザの注視が前記可動被追跡物体の前記バーチャル表現に向けられていることを検出したことに基づいて変更される、請求項3に記載の光学追跡システム。
  5. 前記可動被追跡物体は、前記作動空間内でユーザの目に対する第1位置に配置され、前記可動被追跡物体の前記バーチャル表現は、前記バーチャルリアリティ環境内で前記第1位置に対応する第2位置に配置され、その結果、前記バーチャルリアリティ環境内の前記可動被追跡物体の配置及び方向付けは、前記可動被追跡物体が前記作動空間内で前記ユーザの目に対して現れる位置と、前記ユーザの目に対して実質的に同じ位置に現れる、請求項1〜4のいずれか1項に記載の光学追跡システム。
JP2017545583A 2015-02-27 2016-02-27 バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化 Active JP6704921B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562126352P 2015-02-27 2015-02-27
US62/126,352 2015-02-27
US14/937,844 2015-11-10
US14/937,844 US10338186B2 (en) 2014-11-10 2015-11-10 Positional tracking systems and methods
PCT/US2016/019993 WO2016138509A1 (en) 2015-02-27 2016-02-27 Controller visualization in virtual and augmented reality environments

Publications (2)

Publication Number Publication Date
JP2018514836A JP2018514836A (ja) 2018-06-07
JP6704921B2 true JP6704921B2 (ja) 2020-06-03

Family

ID=56789171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545583A Active JP6704921B2 (ja) 2015-02-27 2016-02-27 バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化

Country Status (5)

Country Link
EP (1) EP3262437B1 (ja)
JP (1) JP6704921B2 (ja)
KR (1) KR102561022B1 (ja)
CN (1) CN107710009B (ja)
WO (1) WO2016138509A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
CN106990851B (zh) * 2017-05-24 2023-04-25 北京无远弗届科技有限公司 虚拟现实手持组件及其制作方法、虚拟现实交互系统
US10540023B2 (en) 2017-09-26 2020-01-21 Yong Bum Kim User interface devices for virtual reality system
US10509489B2 (en) 2017-09-26 2019-12-17 Yong Bum Kim Systems and related methods for facilitating pen input in a virtual reality environment
KR20190080530A (ko) 2017-12-28 2019-07-08 단국대학교 산학협력단 가상현실 영화의 적극적 인터랙션 시스템 및 방법
US11270515B2 (en) * 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
KR20190119008A (ko) 2019-10-08 2019-10-21 단국대학교 산학협력단 가상현실 영화의 적극적 인터랙션 시스템 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729475A (en) * 1995-12-27 1998-03-17 Romanik, Jr.; Carl J. Optical system for accurate monitoring of the position and orientation of an object
US6191759B1 (en) * 1997-12-02 2001-02-20 Gregory J. Kintz Virtual reality system with a static light emitting surface and magnifying optical system
US6452668B1 (en) * 1998-10-13 2002-09-17 Arc Second, Inc. Rotating head optical transmitter for position measurement system
EP1166042B1 (en) * 1999-03-22 2007-03-07 Arc Second, Inc Calibration of optical transmitter for position measurement systems
US6630993B1 (en) * 1999-03-22 2003-10-07 Arc Second Inc. Method and optical receiver with easy setup means for use in position measurement systems
JP2004212058A (ja) * 2002-12-26 2004-07-29 Topcon Corp 作業位置測定装置
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20120213436A1 (en) * 2011-02-18 2012-08-23 Hexagon Technology Center Gmbh Fast Image Enhancement and Three-Dimensional Depth Calculation
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
JP6778205B2 (ja) * 2014-11-10 2020-10-28 バルブ コーポレーション 位置追跡システム及び方法

Also Published As

Publication number Publication date
EP3262437B1 (en) 2024-04-10
WO2016138509A1 (en) 2016-09-01
EP3262437A4 (en) 2018-10-24
KR20170120624A (ko) 2017-10-31
KR102561022B1 (ko) 2023-07-31
EP3262437A1 (en) 2018-01-03
JP2018514836A (ja) 2018-06-07
CN107710009B (zh) 2021-06-29
CN107710009A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
US11045725B1 (en) Controller visualization in virtual and augmented reality environments
JP6704921B2 (ja) バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化
US10748342B2 (en) Interaction system for augmented reality objects
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
CN105900041B (zh) 利用视线跟踪进行的目标定位
US9201243B2 (en) Executable virtual objects associated with real objects
US20160124502A1 (en) Sensory feedback systems and methods for guiding users in virtual reality environments
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
WO2019112815A1 (en) Digital project file presentation
EP3364272A1 (en) Automatic localized haptics generation system
US10152851B2 (en) Notification artifact display
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
KR20230022269A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
WO2019166005A1 (zh) 智能终端及其感控方法、具有存储功能的装置
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
JP7470226B2 (ja) Xrマルチウィンドウ制御
CN117234333A (zh) Vr物体选择方法、装置、电子设备及可读存储介质
Pargal SHMART-Simple Head-Mounted Mobile Augmented Reality Toolkit
WO2023028569A1 (en) Product comparison and upgrade in a virtual environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200513

R150 Certificate of patent or registration of utility model

Ref document number: 6704921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250