JP6690014B2 - ヘッドマウントディスプレイ追跡 - Google Patents

ヘッドマウントディスプレイ追跡 Download PDF

Info

Publication number
JP6690014B2
JP6690014B2 JP2018551817A JP2018551817A JP6690014B2 JP 6690014 B2 JP6690014 B2 JP 6690014B2 JP 2018551817 A JP2018551817 A JP 2018551817A JP 2018551817 A JP2018551817 A JP 2018551817A JP 6690014 B2 JP6690014 B2 JP 6690014B2
Authority
JP
Japan
Prior art keywords
hmd
data
virtual reality
mounted display
reality head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018551817A
Other languages
English (en)
Other versions
JP2019516174A (ja
Inventor
ブラック、グレン、ティー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2019516174A publication Critical patent/JP2019516174A/ja
Priority to JP2020029218A priority Critical patent/JP6979475B2/ja
Application granted granted Critical
Publication of JP6690014B2 publication Critical patent/JP6690014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)

Description

[関連出願の相互参照]
本出願は、2016年3月30日に出願された米国特許出願第15/085,887号に対する優先権を主張し、当出願の開示内容は、全ての目的でその全体が参照により本明細書に組み込まれるものとする。
仮想現実(VR)ヘッドマウントディスプレイ(HMD)は、様々な用途に使用される。例えば、ユーザは、VR HMDを装着し、操作して、VRコンテンツを見る。通常、VRコンテンツは、VR HMDの音声及び映像システムにて提示される。VRコンテンツには、ビデオゲーム、映画、仮想会議、または他のオンライン及びオフラインコンテンツが含まれる。
一般に、VR HMDは、時間の経過と共に、臨場感、視覚的魅力、及び複雑さが増した没入型ユーザ体験を可能にする。例えば、VR HMDは、ユーザが仮想ユーザとして表現される仮想世界へ、ユーザを送り込む。物理世界におけるユーザの動作は、仮想世界における仮想ユーザを動かす。動作に応じてVRコンテンツは更新され、没入型仮想世界体験が提供される。従って、仮想世界における没入感及び臨場感を与えるために、動作追跡は極めて重要である。
既存のVR動作追跡システムは、通常2つの手法のうちの1つに従う。基本的な手法では、VR HMDを操作するユーザの動作追跡は、VR HMDにより単独で行われる。この手法は、最小限のVR追跡設備を必要とし、容易に配置することができる。別の手法では、より複雑なシステムを伴う。このようなシステムは、物理環境で静止状態の動作追跡装置を含む。ユーザが物理環境を移動すると、動作追跡装置は、動作を検出し、関連情報をVR HMDへ送信する。動作追跡は非常に正確ではあるが、このようなシステムは、より複雑なVR追跡設備を必要とする。
しかしながら、より単純な設備に依存しながら、高い追跡精度(例えば複雑なシステムの精度と同様の精度またはほぼ近い精度)を達成する既存のVR動作追跡システムは存在しない。
概して、VR HMDが説明される。一実施例では、VR HMDは、他の構成要素の中でも慣性測定ユニット(IMU)、及び光学センサを含む。VR HMDは、IMU及び光学センサの能力に基づいて、第2のVR HMDの動作を追跡するように構成される。
さらに、コンピュータ実施方法及びVR追跡システムが説明される。一般に、VR HMDは、第2のVR HMDの動作を追跡するように作動する。一実施例では、動作は、3自由度(DOF)または6DOFの動作を含み、物理環境内の第2のVR HMDの3次元(3D)位置の経時的変化に基づいて追跡される。例えば、VR HMDは、慣性データなどの位置データを第2のVR HMDから受信する。VR HMDはまた、物理環境の画像も取り込む。画像内で、第2のVR HMDが特定される。画像及び位置データをさらに分析して、3D位置が特定され、経時的変化が追跡される。
さらに、複数のVR HMDから位置データを受信することができる。それに応じて、物理環境におけるそれぞれの3D位置が導出される。一実施例では、物理‐仮想空間マッピングに基づいて、3D位置は、仮想環境における3D仮想位置にマッピングされる。VR HMDで提示されるVRコンテンツは、部分的に、3D仮想位置に基づいて制御され得る。
コンピュータシステムは、コンピュータ実施方法を実行するように構成される。コンピュータシステムは、VR HMD、VR追跡システム、中央コンピュータの構成要素である、またはVR HMDと、VR追跡システムと、中央コンピュータとの間に分散される。
一実施例では、コンピュータ実施方法は、複数の動作を含む。一動作において、コンピュータシステムは、第1のVR HMDの位置データにアクセスする。位置データは、第1のVR HMDを含む物理環境の画像データに基づいて生成される。画像データは、第2のVR HMDの光学センサにより生成される。別の動作において、コンピュータシステムは、位置データに基づいて、物理環境内の第1のVR HMDの位置を特定する。さらに別の動作において、コンピュータシステムは、物理環境内の位置に基づいて、第1のVR HMDでVRコンテンツを提示させる。
一実施例では、別のコンピュータ実施方法も、複数の動作を含む。一動作において、コンピュータシステムは、物理環境内に位置するVR HMDの位置データにアクセスする。位置データは、慣性データ及び画像データに基づいて生成される。慣性データは、VR HMDから離れた光学センサの物理環境内の動きを示す。画像データは、光学センサにより生成され、物理環境におけるVR HMDの画像に対応する。別の動作において、コンピュータシステムは、位置データに基づいて、物理環境内のVR HMDの位置を特定する。さらに別の動作において、コンピュータシステムは、物理環境内の位置に基づいて、VR HMDで仮想現実コンテンツを提示させる。
一実施例では、別のコンピュータ実施方法も、複数の動作を含む。一動作において、コンピュータシステムは、物理環境内の第1のVR HMDの第1の位置を特定する。第1の位置は、第2のVR HMDの第2の光学センサを基に生成された第2の位置データに基づいて特定される。別の動作において、コンピュータシステムは、物理環境内の第2のVR HMDの第2の位置を特定する。第2の位置は、第1のVR HMDの第1の光学センサを基に生成された第1の位置データに基づいて特定される。さらに別の動作において、コンピュータシステムは、物理環境内の第1の位置及び第2の位置に基づいて、第1のVR HMD及び第2のVR HMDで、VRコンテンツを提示させる。
本明細書において開示及び提案される実施形態の性質及び利点をさらに理解することは、本明細書の残りの部分及び添付の図面を参照することで実現され得る。
本開示の実施形態による、多数のVR HMDを伴う例示的なVR動作追跡を示す。
本開示の実施形態による、物理環境内の追跡位置に基づいてVRコンテンツへのアクセスを容易にする物理‐仮想空間マッピングを示す。
本開示の実施形態による、VR HMDの例示的な構成要素を示す。
本開示の実施形態による、別のVR HMDの例示的な構成要素を示す。
本開示の実施形態による、VR HMDと、近接度装置と、ウェアラブルジェスチャ装置とを含む例示的なシステムを示す。
本開示の実施形態による、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。
本開示の実施形態による、第2のVR HMDにより行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。
本開示の実施形態による、第2のVR HMDから生成及び受信された画像データに基づいて、第1のVR HMDにより行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。
本開示の実施形態による、第2のVR HMDにより生成された画像データを基にした較正に基づいて、第1のVR HMDにより行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。
本開示の実施形態による、近接度装置及びジェスチャ装置から生成及び受信されたデータに部分的に基づいて行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。
本開示の実施形態による、VR HMDを操作するユーザの互いに対する位置追跡の例示的なフローを示す。
本開示の実施形態による、コンピュータシステムを実施するのに好適なハードウェアシステムの一実施例を示す。
概して、VR動作追跡のシステム及び方法が説明される。通常、ユーザは、VR HMDを操作して、VRコンテンツにアクセスする。アクセスは、物理環境内のユーザの動作により、少なくとも部分的に制御される。物理環境内の3次元(3D)位置により、物理動作は定義される。3D位置は、仮想環境内の3D位置にマッピングされる。仮想3D位置により、仮想環境内のユーザの仮想動作は定義される。仮想動作に基づいて、VRコンテンツへのアクセスは容易になる。例えば、ユーザが自身の頭部を左から左へ動かすと、VRコンテンツは、仮想環境内で同様の動作を模倣するように更新される。
一実施例では、VR動作追跡は、少なくとも2つのVR HMDを必要とする。例えば、2人のユーザが、物理環境内に共存するとする。第1のユーザは、第1のVR HMDを操作して、VRコンテンツにアクセスする。同様に、第2のユーザは、第2のVR HMDを操作して、同一または異なるVRコンテンツにアクセスする。VR HMDのそれぞれは、慣性測定ユニット(IMU)と、光学センサ(例えばVR HMDのカメラの構成要素)とを含む。従って、VR HMDのそれぞれは、IMU及び光学センサに基づいて、互いのVR HMDの動作追跡器として使用することができる。言い換えると、第1のVR HMDは、第2のVR HMDの動作を追跡し、当動作に関する情報を第2のVR HMDへ提供する。第2のVR HMDは、第1のVR HMDに関して同じことを実行することができる。
例えば、第1のVR HMDは一度に、慣性データなどの位置データを第2のVR HMDから受信する。この位置データは、第2のVR HMDのIMUにより取り込まれる。第1のVR HMDも、第1のVR HMDの光学センサに基づいて第2のVR HMDの画像データを取り込む。位置データ及び画像データに基づいて、第1のVR HMDは、第2のVR HMDの3D物理位置を導出する。この位置は、第2のVR HMDへ送信される。第2のVR HMDは、3D物理位置を3D仮想位置に変換する。3D物理位置は経時的に追跡され、これにより動作追跡が可能となる。
上記の実施例は、例示目的で提供されている。本開示の実施形態は、これらに限定されない。実施形態は、より多くのVR HMDに、VR HMD間で交換可能な異なる種類のデータに、VR HMD以外のモバイル追跡装置に、及び/または中央コンピュータシステムにおけるデータ処理に対し、同様に適用される。これら及び他の実施形態は、本明細書において以下にさらに説明される。
図1は、多数のVR HMDを伴う例示的なVR動作追跡を示す。一実施例では、ユーザ110は、VR HMD112を操作する。別のユーザ150も同様に、VR HMD152を操作する。2つのVR HMDが例示されるが、より多くのVR HMDを使用することもできる。さらに、説明を明瞭にするために、VR HMD152はユーザ110の動作を追跡するように構成されていることから、本明細書ではユーザ150を追跡者150、VR HMD152を追跡装置152と呼ぶことにする。
一般に、動作追跡は、VR HMD112の3D物理位置の変化を経時的に監視することを伴う。本明細書において、位置追跡は、VR HMD112の3D物理位置の経時的追跡を指すために使用される。追跡された3D物理位置の集合は、動作追跡を表す。通常、位置追跡(及び同様に動作追跡)は、位置データ及び画像データの処理を伴う。位置データは、3D物理位置を表すデータを指す。画像データは、物理環境の画像を表すデータを指す。
図1の説明的実施例において、追跡者152は、ユーザ110の頭部のようなユーザ110の3D物理位置180を追跡する。3D物理位置180はデータネットワークを介してVR HMD112へ送信され、VRコンテンツへのアクセスを制御する。VR HMD112が追跡装置152内の構成要素と同様の構成要素を含む場合、VR HMD112もまた、追跡者150の位置を追跡し提供することができる。データネットワークには、Bluetooth(登録商標)、WiFi(登録商標)、または他の無線技術を用いるネットワークなど、ピアツーピアデータ通信ネットワークが含まれる。ローカルエリアネットワーク(LAN)を使用するものなど、他の種類のデータネットワークも利用可能である。
一実施例では、VR HMD112は、追跡装置VR HMD152の位置データ120を生成するために、IMUと、信号プロセッサとを含む。位置データ120により、回転動作(例えばロール、ヨー、及びピッチ)などの3自由度(DOF)に沿った動作、または並進動作(例えばX、Y、Z軸に沿った動作)及び回転動作などの6DOFに沿った動作を、経時的に定義することができる。
例えば、IMUは、加速度計(複数可)、ジャイロスコープ(複数可)、及び磁力計(複数可)を含む。加速度計(複数可)は、X、Y、Z軸に沿った動きを測定する。一般に、ジャイロスコープ(複数可)は、360度の回転を測定する。磁力計(複数可)は、磁場に対する配向を特定する。よって、ユーザ110(例えばVR HMD112が装着されたユーザの頭部)の回転動作を示す慣性データは、これらのセンサの読み取り値から生成することができる。並進動作も、ユーザ110の頭部動作の速度及び時間にさらに基づいて、生成することができる。例えば、動きベクトルが定義される。速度は加速度から測定され、距離は速度と時間の関数として測定される。方向は、回転及び配向から導出される。動きベクトルにより、動作の距離及び方向が定義され、これにより、X、Y、Z軸に沿ったユーザ110の頭部の並進動作の追跡が可能になる。従って、動きベクトルにおいて慣性データ、距離、及び方向を定義することにより、ユーザ110の頭部の動作は、6DOFに沿って経時的に追跡することができる。3D物理位置180には、各時点が対応する。
追跡装置152もまた、追跡者150の位置データを生成するために、IMUと、信号プロセッサを含む。ここで同様に、位置データは、追跡者150の頭部の回転動作、並進動作、または回転動作及び並進動作の両方を表すことができる。
さらに、追跡装置152は、画像データを取り込むために(またはより一般的には画像を生成するために)、光学センサ(またはより一般的にはカメラ)を含む。画像データは、異なる近接度データと共に使用され、3D物理位置180を経時的に追跡することから、動作を追跡することとなる。異なる追跡技術が可能であり、本明細書では下記でさらに説明する。
例示的な追跡技術では、追跡装置152は、ユーザ110の頭部のようなユーザ110の位置の位置追跡160を実行するように構成される。この実施例では、追跡装置152は、異なる時間に(例えば数ミリ秒ごとに)、ユーザ110の慣性データのようなユーザ110の位置データ120を受信する。追跡装置152はまた、ユーザ110を含む物理環境の画像を表す画像データを生成する。画像データも、VR HMD112と追跡装置152との時間同期に基づいて、異なる時間に生成される。それぞれの時間のVR HMD112の3D物理位置180(従って経時的動作)が、近接度データ120及び画像データから特定される。さらに、追跡装置152も動き得るため(例えば追跡者150の動きに基づいて)、追跡装置152は、自身の慣性データにアクセスして、自身の動作を相殺し、位置追跡160の精度を向上させる。
この例示的な技術の説明では、追跡装置152は、画像データからVR HMD112を識別するために、パターン認識、エッジ検出、及び他の画像関連分析などの異なる画像処理技術を実施する。追跡装置152はまた、VR HMD112の3D物理位置180を経時的に特定するために、慣性データに基づいて画像データに対し幾何学的再構成を適用する。一般に、幾何学的再構成は、2つ以上の点の間(VR HMD112とVR HMD152をそれぞれ表す2つの点の間など)の距離、角度、方向、配向、及び/または他の幾何学的特性を特定することを含む。特性のうちのいくつかは、単一画像の分析から特定されるが、他の特性の分析は、複数の画像に及ぶ。
一例示では、VR HMD112の方向速度は、位置データ120の一部として受信される慣性データから特定される。同様に、追跡装置152の方向速度は、ローカル慣性データから特定される。オフセット方向速度は、2つの方向速度から特定される。2つの画像におけるVR HMD112の画素位置の変化、画像のタイミング、及びオフセット方向速度は、移動距離及び移動距離の方向を示す。移動距離は、画像画素の変化にマッピングされる。マッピングは、画素解像度尺度を表し、これは画像内の奥行き及び近接度を検出するのに使用可能である。各画像内のX、Y、及びZ軸に沿ったVR HMD112の3D物理位置180、並びに画像にわたる3D物理位置180のX、Y、Z及び回転変化を検出するために、奥行きが使用される。物理環境内の他の対象まで(例えば他の潜在的障害物まで、及び/または追跡装置152まで)のVR HMD112の近接程度(例えば距離及び方向)を検出するために、近接度が使用される。
別の例示的な追跡技術では、位置追跡160は、VR HMD112にオフロードされる。この実施例では、追跡装置152の慣性データ及び取り込まれた画像データが、VR HMD112へ送信される。今度はVR HMD112が、3D物理位置180を経時的に追跡するために、上記と同様に、画像処理技術及び幾何学的再構成を適用する。
さらに別の例示的な追跡技術では、位置追跡160は、追跡装置152とVR HMD112とに分散される。例えば、回転動作は、VR HMD112の慣性データを基に、VR HMD112にてローカルに追跡される。対照的に、並進動作は、取り込まれた画像データに基づいて、追跡装置152にて遠隔から追跡される。追跡装置152は、並進動作をVR HMD112へ送信し、これにより並進動作が補足され、よってVR HMD112は、6DOFに沿ったユーザ110の動作を特定することができる。
さらなる例示的な追跡技術では、3D物理位置180(追跡装置152またはVR HMD112のいずれによって生成されたかにかかわらず)は、較正に使用され、ローカル位置測定の忠実度及び精度を向上させる。例えば、VR HMD112は、ある時点における位置データ120を基に、自身の3D物理位置をローカルに測定する。その位置は、その時点の3D物理位置180(画像データに部分的に基づいて生成された3D物理位置180)と比較され、較正オフセットが特定される。VR HMD112は、較正オフセットを使用して、3D物理位置のその後のローカル測定値を補正し、これによりセンサドリフトが補正される。
本明細書の上記に説明されたように、潜在的障害物及び/または追跡装置152(例えば追跡者150)までのVR HMD112の近接度を検出するために、位置追跡160に加えて、位置データ120、取り込まれた画像データ、及び追跡装置152のローカルの慣性データが使用される。近接度データにより、ユーザ110は物理環境を認識することができ、よってユーザ110は対象(例えば潜在的障害物または追跡者150)との衝突を避けることができる。対象までの近接度が閾値を下回る場合、近接度指示が生成され、異なる提示様式(例えば触覚、聴覚、及び視覚提示)を用いて、VR HMD112にて提示される。対象に追跡者150が含まれる場合、近接度指示は、追跡装置152にも提示され得る。一実施例では、近接度指示は、対象までの距離及び方向を特定する。さらに、近接度指示は、対象との衝突を避ける動作を提案する。例えば、近接度指示は、ユーザ110の現在の動作とは反対方向の動作を提案する。
閾値を定義するのに、様々な技術がまた利用可能である。一実施例では、閾値は不変であり、例えば測定精度に基づいて定義される。別の実施例では、閾値は、ユーザ入力に基づいて定義される。例えば、ユーザ110は、対象からの閾値距離に関する嗜好を設定する。この嗜好は、VR HMD112のローカルのユーザプロファイル、またはVR HMD112により遠隔からアクセス可能なユーザプロファイルに、記憶され得る。さらに別の例示的な技術によれば、閾値は、VR HMD112の使用法、またはVRコンテンツの種類に基づいて、定義される。例えば、ビデオゲームまたはコンテンツ(例えばスポーツのビデオゲーム)は、より多くの動きを必要とする一方、特定のビデオゲームまたはコンテンツ(例えばチェスのビデオゲーム)は、ユーザ110の動きをほとんど必要としない。後者の場合、ユーザ110はあまり動かないと予想されるため、閾値には長い距離が定義され得る。前者の場合、ユーザ110はより大きい空間が必要であると予想されるため、閾値には短い距離が定義され得る。
図1では追跡装置152及びVR HMDが例示されるが、他の種類のモバイルコンピューティング装置も同様に使用することができる。例えば、追跡者150は、モバイル装置(例えばスマートフォン、タブレット、またはその他の携帯エンドユーザ装置)を操作する。モバイル装置がIMU及び光学センサなどの位置追跡構成要素を含む場合、上記の位置追跡160を実施することができる。例えば、実施態様では、ソフトウェアアプリケーションがモバイル装置に追加され、IMU及び光学センサに基づいて、位置データ及び画像データがそれぞれ生成され、これらのデータに基づいて位置追跡160が行われる。
さらに、図1ではVR HMD112と追跡装置152とのピアツーピア通信、及び2つの構成要素に分散されたデータ処理が例示されるが、中央コンピュータも使用することができる。一実施例では、VR HMD112及び追跡装置152は、中央コンピュータとデータ通信を行う。中央コンピュータは、VR HMD112及び追跡装置152を含む物理環境内に配置することができる(例えば中央コンピュータはデスクトップまたはビデオゲーム機)、または物理環境から遠隔に配置することができる(例えばクラウドベースコンピューティングサービスであり得る)。データ通信は、LAN、プライベートネットワーク(例えばイントラネット)、または公衆ネットワーク(インターネット)を介して行われる。一般に、中央コンピュータは、位置追跡を管理する。例えば、中央コンピュータは、VR HMD112及び/または追跡装置152から位置データを受信し、追跡装置152から画像データを受信し、3D物理位置180を経時的に追跡し、近接度を検出し、3D物理位置180及び近接度指示をVR HMD112へ送信し、及び/または3D物理位置180及び/または近接度指示に基づいて、VRコンテンツへのVR HMD112のアクセスを制御する。
2人以上のユーザが、物理環境内に同時に存在することもできる。1人のユーザの位置追跡は、他のユーザのVR HMDのうちの1つ以上のVR HMDにより、または該当する場合は、このようなVR HMDとデータ通信を行う中央コンピュータにより、実行され得る。他のそれぞれのVR HMDは、追跡装置152として構成され得る。一般に、ユーザの位置を経時的に追跡する追跡装置152の数が多いほど、追跡位置の精度は高くなる。
図2は、物理環境内の追跡位置基づいてVRコンテンツへのアクセスを容易にする物理‐仮想空間マッピングを示す。図示されるように、2人のユーザ210及び212が、物理環境内に存在する。各ユーザは、各自のVR HMDを操作する。図1に関連して説明された位置追跡と同様に、VR HMDは、物理環境内のユーザ210及び212の位置を追跡するように構成される。
具体的には、第1のユーザのVR HMDは、第2のユーザ212の3D物理位置216を追跡する。3D物理位置216は経時的に追跡され、例えば第2のVR HMDが装着された第2のユーザの頭部の並進及び/または回転動作を定義する。同様に、第2のユーザのVR HMDは、第1のユーザ210の3D物理位置214を経時的に追跡する。
一実施例では、物理‐仮想空間マッピング220を使用して、VR HMDのそれぞれにおけるVRコンテンツへのアクセスまたはVRコンテンツの提示が制御される。一般に、物理‐仮想空間マッピング220は、物理環境内の3D物理位置を、仮想空間内の3D仮想位置にマッピングする。よって、物理環境内の並進及び/または回転動作は、仮想環境内の動作にマッピングされ得る。
異なる種類の物理‐仮想空間マッピング220が利用可能である。一実施例では、1対1マッピングが使用され、この場合、方向に沿った並進動作は同様の仮想並進動作にマッピングされ、方向に沿った回転動作も同様の仮想回転動作にマッピングされる。よって、ユーザ210が物理環境内で自身の頭部を左から右へ動かすと、提示されるVRコンテンツはユーザ210に、VRコンテンツ(または同様に、ユーザ(仮想環境におけるユーザ、例えば各仮想ユーザ)の投影)も左から右へ動いている知覚を与える。このマッピングでは、尺度も使用され得る。例えば、物理環境内で起こるユーザ210の位置変化ごとに、仮想環境では、尺度変更された位置変化が提供される。例示するため、VRコンテンツが仮想の部屋を提示すると仮定する。物理環境内でユーザ210が前へ1歩進むたび、仮想ユーザは、仮想の部屋において10フィート前へ(またはその他の距離分)移動する。VRコンテンツに応じて、他の種類のマッピングも可能である。例えば、ある方向への並進動作を、別の方向への回転動作にマッピングすることができる。
さらに、物理‐仮想空間マッピング220は、必須ではないが、VRコンテンツに特有であり得る。従って、ユーザ210及び212が同一のVRコンテンツにアクセスしている場合、同一の物理‐仮想空間マッピング220が適用される。さらに、物理‐仮想空間マッピング220は、必須ではないが、各ユーザに特有であり得る。例えば、尺度は、ユーザの寸法及び/または嗜好によって変化する。上記の例示を続けると、仮想の部屋における10フィート前進は、物理環境におけるユーザ210の1歩に該当するが、この仮想距離は、別のユーザ212では2歩に該当する。
一実施例では、物理‐仮想空間マッピング220はまた、仮想環境において、互いに対するユーザ(例えば仮想環境内のそれぞれの仮想ユーザ)の3D仮想位置を特定する。この実施例では、第1のユーザ210がVRを見ている時、VRコンテンツは、第2の仮想ユーザの仮想位置(第2のユーザ212に対応)を第1のユーザ210に提示する。例えば、第2のユーザ212が第1のユーザ210の右側にいて、第1のユーザ210が自身の頭部を右に向けた場合、第1のユーザ210に提示されるVRコンテンツにおいて、第2の仮想ユーザ(または各自の仮想位置の指示)が第1仮想ユーザの右側に存在するように見ることができる。一実施例では、この相対位置特定は、マルチプレイヤービデオゲームの仮想環境において異なる場所に仮想プレイヤーが存在するマルチプレイヤービデオゲームを促進する。例えば、テニスのビデオゲームにおいて、2人の仮想プレイヤーは、2人のユーザ210及び212の3D物理位置214及び216に応じて、仮想テニスコート上に位置し移動することができる。
物理‐仮想空間マッピング220による相対位置特定は、推測航法またはグラウンドトルースに基づき得る。推定航法の実施例では、3D物理位置214及び216は、物理環境における基準点に依拠していない。対照的に、それぞれの3D仮想位置は、仮想環境におけるあるデフォルトの基準点(複数可)に初期設定される。3D物理位置214及び216が経時的に変化すると、3D仮想位置は、デフォルトの基準点(複数可)に対して移動される。
当実施例では、位置特定に加えて、近接度が特定され得る。例えば、仮想ユーザがデフォルトの基準点(複数可)から特定の距離離れて移動したこと、または互いに近づいたことを、3D仮想位置が示す場合、近接度警報が生成され得る。別の例示では、ユーザ210及び212のいずれかもしくは両者が物理空間内で移動した距離が長すぎる(例えば閾値を超える)こと、または2人のユーザ210及び212が衝突針路を進んでいることを、3D物理位置が示す場合にも、近接度警報がまた生成され得る。
一方で、グラウンドトルースにより、相対位置特定は、特定の基準点(複数可)に依拠することが可能になる。言い換えると、グラウンドトルースにより、物理環境に対するユーザ210及び212の3D物理位置214及び216の推定が提供される。図5にさらに例示されるように、近接度装置は、物理環境内に配置され、基準点として使用され得る。この基準点はまた、物理‐仮想空間マッピング220において、仮想環境内の基準点にマッピングされ得る。3D仮想位置は、この基準点に依拠し得る。例えば、テニスのビデオゲームの例示を続けると、近接度装置は、遊び部屋の中央(またはその他の物理位置)に配置され得る。物理‐仮想空間マッピング220は、この物理基準点を仮想テニスコートの中央にマッピングする。
グラウンドトルースの実施例では、近接度装置は、互いに対する、または障害物に対するユーザ210及び212の近接度を監視する。ユーザ210及び212に警告するために、適宜、近接度警報がVR HMDへ送信される。
図3は、VR HMD300の例示的な構成要素を示す。VR HMD300は、低度の構成要素統合による基本構成を表すにもかかわらず、位置追跡を容易にする。具体的には、VR HMD300は、筐体310と、筐体310から取り外し可能なモバイル装置320とを含む。
筐体310は、例えば厚紙またはプラスチックを含む様々な材料から作られ得る。レンズ及びストラップも、筐体310に含まれ得る。レンズは、モバイル装置320のディスプレイ上に表示されるコンテンツをVR類似モードで見ることができるように構成される。ストラップは、ユーザの頭部上に筐体310を固定するように構成される。
筐体310はまた、筐体310及びモバイル装置320を取り付けるように構成された機械的インターフェースなどのインターフェースを含む。一実施例では、機械的インターフェースは、モバイル装置320を配置できる囲い、開口部、キャビティである。
モバイル装置320は、スマートフォンなどの移動可能なエンドユーザ装置を表す。一実施例では、モバイル装置320は、カメラの光学センサ322を含む。モバイル装置320は、IMU324も含む。
図4は、VR HMD400の例示的な構成要素を示す。VR HMD300と対照的に、VR HMD400は、高度の構成要素統合を有する構成を表し、位置追跡を容易にする。具体的には、VR HMD400は、ディスプレイ、処理ユニット、メモリ、音声システム、入力/出力(I/O)ポート、グラフィック処理ユニット、並びに他の電子、電気、及び機械構成要素などのVR関連構成要素を統合する筐体410を含む。筐体410はさらに、位置追跡を行う付加構成要素が筐体410としっかり接続するように、付加構成要素を統合する(例えば収容、取り付け、または保持する)。これらの構成要素には、例えば、光学センサ412、IMU414、送受信ユニット416、及び反射ユニット418が含まれる。
一実施例では、光学センサ412は、カメラの一部であり得る。カメラの残りの構成要素は、筐体410内に収容され、VR HMD400の他の構成要素と接続される。一実施例では、光学センサ412は、可視スペクトルの画像データを取り込む。別の実施例では、光学センサ412は、赤外線(IR)センサである。
一実施例では、IMU414は、加速度計(複数可)、ジャイロスコープ(複数可)、及び磁力計(複数可)を含む。IMU414及び/またはVR HMD400の処理ユニット(例えば中央プロセッサ)は、このようなセンサにより感知されたデータから位置データを生成する。
画像データ及び位置データ(受信された別のVR HMDの位置データに加えて)は、位置追跡に使用される。例えば、中央プロセッサは、位置追跡を行う。
一実施例では、送受信器416は、VR HMD400を識別する信号を、別のVR HMDまたは近接度装置などの別のコンピューティング装置へ送信する。さらに、コンピューティング装置への近接度は、同じ信号または別の送信信号に基づいて、感知される。例えば、送受信器416は、音響信号を送信する。これに応じて、コンピューティング装置は、減衰した音響信号を受信する。音響減衰に基づいて、コンピューティング装置は、近接度を測定する。近接度は、コンピューティング装置から、データネットワークを介してVR HMD400へ送信される。この実施例では、送受信器416は、送信器としてのみ実施され得る。逆方向の近接度測定も可能である。具体的には、コンピューティング装置から送信された音響信号に応じて、送受信器416は減衰した音響信号を受信する。これに応じて、VR HMD400は、近接度を測定する。この実施例では、送受信器416は、受信器としてのみ実施され得る。
一実施例では、反射ユニット418は、可視スペクトルまたは不可視スペクトル(例えばIRスペクトル)の光を反射する。一般に、筐体410は、筐体410の外面上に、反射ユニット418を取り付ける。別のVR HMDまたは近接度装置などの別のコンピューティング装置のカメラ装置(すなわち光学センサ)は、反射ユニット418の画像を取り込む。画像は、位置及び/または近接度を特定するために分析される。
例えば、反射ユニット418は、2次元の機械可読を符号化するタグを表す(例えば2次元バーコード)。1次元に沿って、反射ユニット418はVR HMD400の識別子を符号化し、よってコンピューティング装置は、画像からVR HMDを識別することができる。他の次元に沿って、反射ユニット418はまた、尺度(例えば反射ユニット418の対角線など、反射ユニット418の比例寸法)を符号化する。よって、コンピューティング装置は、画像分析から尺度を特定する。尺度は、画素解像度尺度にマッピングされ、これにより、画像データに基づいた位置特定及び近接度追跡の幾何学的再構成が容易になる。反射ユニット418の他の実施例も可能であり、これには無線周波数識別(RFID)タグが含まれる。
図5は、VR HMD510と、近接度装置520と、ウェアラブルジェスチャ装置530とを含む例示的なシステム500を示す。異なる装置は、1つ以上のデータネットワーク及び他の通信ネットワークを介してデータを交換することができる。データは、グラウンドトルースに基づいて、位置追跡を支援する。データはまた、本明細書の下記にてさらに説明される近接度及びジェスチャ感知を支援する。
一実施例では、VR HMD510は、図4に関連して説明されたVR HMD400の構成要素の一部または全てを含む。例えば、VR HMD510は、光学センサ、IMU、送受信器、及び/または反射ユニットを含む。
近接度装置520は、グラウンドトルース及び近接度感知機能を提供するように構成される。例えば、近接度装置520は、物理環境内の特定の場所に配置される。この場所は、グラウンドトルースの基準点として使用される。さらに、近接度装置520は、基準点まで、及び/または物理環境内の領域の境界線までのVR HMD510の近接度(例えば距離及び方向)を測定する。この領域は、近接度装置520が近接度を監視している領域を表す。境界線への接近(例えば境界線から閾値距離だけ離れていること)は、近接度装置520に近接度警報を発生させる。
異なる構成の近接度装置520も可能である。例示的な構成は、本出願と同時に出願された「VIRTUAL REALITY PROXIMITY SENSORS」と題する同時係属中の米国特許出願第[](代理人整理番号:090619‐1005171‐009900US)において説明され、その全体は参照により本明細書に組み込まれるものとする。
一実施例では、近接度装置520は、能動装置として構成される。能動装置とは、別のデバイスとある程度の能動的対話を必要とすることを指す。例えば、近接度装置520は、減衰信号を受信する。減衰信号は、VR HMD510が送信し、物理環境内で減衰した信号を表す。近接度装置520は、減衰に基づいて、近接度装置520及び/または境界線までのVR HMD510の近接度を特定する。別の例示では、近接度装置520は、近接度装置520から送信された信号、及びVR HMD510のユーザから(すなわちVR HMD510から)反射された信号に基づいて近接度を測定する多数の近接度センサを含む。例えば、これらの信号には、無線周波数(RF)、IR、音響、またはLiDAR信号のうちのいずれかが含まれる。近接度は、信号の強度、飛行時間、及び/またはドップラー効果に基づいて特定される。
別の実施例では、近接度装置520は、受動装置として構成される。受動装置は、非能動装置を指す。例えば、近接度装置520は、尺度を符号化する反射ユニット(例えば図4の反射ユニット418と同様)を表す。この実施例では、VR HMD510は、近接度装置520を含む画像に適用された幾何学的再構成に基づいて、近接度を特定する。
一方、ウェアラブルジェスチャ装置530は、ジェスチャ感知機能を提供するように構成される。一実施例では、ウェアラブルジェスチャ装置530は、VR HMD510のユーザ上の特定の位置に配置される。例えば、ユーザは、ウェアラブルジェスチャ装置530を自身の手首または足首に装着する。この特定の位置におけるユーザジェスチャは、VR HMD510、近接度装置520、または別のユーザの別のVR HMDなどのコンピューティング装置により監視され、VR HMD510に中継される。
異なる構成のウェアラブルジェスチャ装置530も可能である。一実施例では、ウェアラブルジェスチャ装置530は、尺度を符号化する反射ユニット(例えば図4の反射ユニット418と同様)を含む。この実施例では、コンピューティング装置は、ウェアラブルジェスチャ装置530を含む画像に適用された幾何学的再構成に基づいて、ウェアラブルジェスチャ装置530の距離及び方向を特定する。距離及び方向は、動作ベクトルで経時的に追跡される。動作ベクトルは、ジェスチャデータ(例えば方向距離及び速度として定義される)データを定義する。
別の実施例では、ウェアラブルジェスチャ装置530は、信号を送信する能動装置である。コンピューティング装置は、それぞれの減衰信号を分析し、これに応じて動作ベクトルを経時的に生成する。
図6は、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。位置追跡は、ユーザの頭部などのユーザの3D物理位置を特定し、3D物理位置の変化を追跡して、並進動作及び/または回転動作を特定することを含む。並進及び/または回転動作に基づいて、第1のVR HMDにVRコンテンツが提示される。一般に、位置データ及び画像データが、位置追跡に使用される。少なくとも画像データは、光学センサ(またはより一般的にはカメラ)を含む別のコンピューティング装置により生成される。このコンピューティング装置は、第2のVR HMDまたはモバイル装置であり得る。位置追跡は、他のコンピューティング装置で、ユーザの第1のVR HMDでローカルに、第1のVR HMD及びコンピューティング装置とデータ通信を行う中央コンピュータで行われ得る、及び/またはこのような構成要素間に分散され得る。これに応じて、コンピュータシステムがフローの動作を実行する様子が例示される。
一実施例では、コンピュータシステムは、プロセッサと、プロセッサに接続されたメモリとを含む。プロセッサは、メモリに記憶されたコンピュータ可読命令を実行する。コンピュータ可読命令は、動作を実行するための命令を含む。一実施例では、コンピュータシステムは、コンピューティング装置、ユーザの第1のVR HMD、中央コンピュータの構成要素である、またはこれらの構成要素に分散される。
動作は特定の順序で示されるが、動作のうちのいくつかは、並び替えるまたは省略することができる。さらに、次の図面に関連して説明されるフローには、図6の例示的なフローのサブ動作として実施され得る例示的な動作が含まれる。説明を明瞭にするために、図面にわたる動作間の類似点は、本明細書では繰り返さない。
一実施例では、フローは、第1のVR HMDの位置データがアクセスされる動作602を含む。例えば、位置データは、ある時点の物理環境内の第1のVR HMDの3D物理位置を表す。コンピュータシステムは、ローカル近接度データに加えて、別のコンピューティング装置(例えば第2のVR HMD及び/またはモバイル装置)により取り込まれた画像データから、位置データを生成する。画像データは、物理環境の画像を表す。画像は、第1のVR HMDのスナップショットを含み得る。ローカル近接度データは、第1のVR HMD及びコンピューティング装置の慣性データといった近接度データを表す。コンピュータシステムは、画像処理技術、速度測定、速度オフセット、及び画像再構成技術を実施して、位置データを計算する。
一実施例では、フローは、位置データに基づいて第1のVR HMDの位置が生成される動作604を含む。例えば、位置データは3D空間にマッピングされ、第1のVR HMDの3D物理位置が定義される。グラウンドトルースが利用可能な場合(例えば近接度装置に基づいて)、3D物理位置はグラウンドトルースに相関し得る。そうでない場合、3D物理位置は、第1のHMDの前回追跡された位置に相関し得る、またはコンピューティング装置の3D物理位置に相関し得る。
一実施例では、フローは、位置に基づいて第1のVR HMDにVRコンテンツが提示される動作606を含む。例えば、コンピュータシステムは、物理‐仮想空間マッピングに基づいて、3D物理位置を3D仮想位置に変換する。第1のVR HMDにて提示されるVRコンテンツは、3D仮想位置に従ってアクセスまたは設定される。例えば、ユーザが直立して見ている場合、この直立位置に対応したVRコンテンツが提示される。
一実施例では、フローは、位置データの更新に基づいて経時的に位置が追跡される動作608を含む。例えば、コンピュータシステムは、動作602及び604を繰り返すことにより、経時的に変化を追跡する。追跡された3D物理位置は、並進及び/または回転動作といった物理空間内のユーザ(例えばユーザの頭部)の動作を表す。提示されるVRコンテンツが並進及び/または回転動作に対応するように、VRコンテンツの提示は更新される。
一実施例では、フローは、第1のVR HMDとコンピューティング装置との間に見通し線が存在するか否かに関して判定が行われる動作610を含む。見通し線が存在する場合、コンピューティング装置により生成される画像データは、第1のVR HMDを示す画像に対応する。従って、画像データに基づいた位置追跡が可能である。このような場合、画像データに基づいて位置を追跡し続けるため、通常、動作608が後に続く。しかし見通し線が存在しない場合、位置追跡が画像データに依存することはもうできない。この場合、通常、動作612が後に続く。
一実施例では、フローは、第1のVR HMDのローカル位置データに基づいて位置が追跡される動作612を含む。ローカル近接度データは、第1のVR HMDのIMU及び信号プロセッサにより生成された慣性データ及び/または動作ベクトルデータを含む。従って、コンピュータシステムは、画像データに基づいて3D物理位置(及び逆に動作も)の変化をもはや追跡しない。代わりに、ローカル近接度データから、3D物理位置(及び動作)が追跡される。再び見通し線が存在するようになるまで、動作612が繰り返され得る。
図7は、第2のVR HMDにより行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。第2のVR HMDを操作するユーザの同様の位置追跡が、第1のVR HMDでも可能である。さらに、説明を明瞭にするために、1つのVR HMDが1人のユーザ(すなわちユーザが操作する1つのVR HMD)の位置を追跡する様子が例示される。しかし例示的なフローは、より多くの数のVR HMDによって1人のユーザを追跡することにも、同様に適用することができる。
一実施例では、フローは、第1のVR HMDを含む環境の画像データが生成される動作702を含む。例えば、第2のVR HMDは、光学センサを含む。画像データは、光学センサにより生成される。第2のVR HMDはまた、画像データから画像を生成するように構成された信号プロセッサなど、カメラの他の構成要素も含む。画像は、物理環境内の第1のVR HMDを示す。
一実施例では、フローは、第1のVR HMDから第1の慣性データが受信される動作704を含む。第1の慣性データは、データ通信ネットワークを介して第1のVR HMDが第2のVR HMDへ送信するローカル位置データの一実施例である。第1の慣性データは、第1のVR HMDのIMU及び信号プロセッサにより生成され、例えばロール、ピッチ、ヨーを含む。第2のVR HMDが受信し得る他の可能性のあるローカル位置データには、第1のVR HMDのベクトル動作データまたは他のX、Y、Z位置が含まれる。
一実施例では、フローは、第2のVR HMDの第2の慣性データがアクセスされる動作706を含む。例えば、第2の慣性データは、第2のVR HMDのIMU及び信号プロセッサにより生成される。第2のVR HMDは、ローカルメモリからこのようなデータにアクセスする。
一実施例では、フローは、画像データ並びに第1及び第2の慣性データに基づいて第1のVR HMDの位置が生成される動作708を含む。例えば、第2のVR HMDは、第1の慣性データと第2の慣性データとの間のオフセットを決定する。第2のVR HMDはまた、画像処理技術を適用して、画像(すなわち画像データ)内の第1のVR HMDを特定する。幾何学的再構成が画像に適用され、オフセットに基づいて補正される。これに応じて、第2のVR HMDは、前回の画像の前回の位置に対して、第2のVR HMDに対して、またはグラウンドトルースが使用されている場合は基準点に対して、第1のVR HMDの現在の3D物理位置を認識する。画像にわたる3D物理位置の変化は、3D空間における第1のVR HMDの動作を示す。
一実施例では、フローは、第1のVR HMDへ位置が送信される動作710を含む。例えば、第2のVR HMDは、データ通信ネットワークを介して、位置を送信する。第1のVR HMDは、位置を受信し、3D仮想空間に位置をマッピングする。第1のVR HMDによりアクセス及び/または提示されるVRコンテンツは、3D仮想位置に依存する。
一実施例では、フローは、第2のVR HMDまで、または障害物までの第1のVR HMDの近接度が検出される動作712を含む。例えば、第2のVR HMDは、追加の画像データ及び慣性データに基づいて、第1のVR HMDの3D物理位置の変化を経時的に追跡する。この変化は、3D物理空間における第1のVR HMDの動作を表す。変化は、動作ベクトルで表され得る。追加の画像データに適用された画像処理技術及び幾何学的再構成に基づいて、第2のVR HMDは、動作ベクトルを更新し、第2のVR HMDまで、または障害物までの近接度を、第1のVR HMDとこれらの対象との相対距離及び方向に基づいて、検出する。距離が閾値を侵害する及び/または方向が潜在的衝突針路を示す場合、第2のVR HMDは、近接度指示を生成する。近接度指示は、相対距離及び方向を特定し、衝突の可能性を回避するための調整(例えば反対方向への動き)を提案し得る。
一実施例では、フローは、第1のVR HMDへ近接度指示が送信される動作714を含む。例えば、第2のVR HMDは、データ通信ネットワークを介して、近接度指示を送信する。第1のVR HMDは、近接度指示を受信し、異なる提示様式を用いて近接度指示を警報として提示する。第2のVR HMDまでの近接度である場合、第2のVR HMDも近接度指示を提示する。
図8は、第2のVR HMDから生成及び受信された画像データに基づいて、第1のVR HMDにより行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。第2のVR HMDを操作するユーザの同様の位置追跡が、第2のVR HMDでも可能である。さらに、説明を明瞭にするために、1つのVR HMDが1人のユーザ(すなわちユーザが操作する1つのVR HMD)の画像データを生成する様子が例示される。しかし例示的なフローは、より多くの数のVR HMDによって画像データを生成することにも、同様に適用することができる。
一実施例では、フローは、第1のVR HMDを含む環境の画像データが受信される動作802を含む。例えば、第2のVR HMDは、画像データ(すなわち対応する画像)を生成し、データネットワークを介して送信する。第1のVR HMDは、画像データを受信する。画像データは、第1のVR HMDを含む物理環境の画像を表す。
一実施例では、フローは、第2のVR HMDから第2の慣性データが受信される動作804を含む。例えば、第2のVR HMDは、第2の慣性データを生成し、データネットワークを介して送信する。第1のVR HMDは、第2の慣性データを受信する。
一実施例では、フローは、第1のVR HMDの第1の慣性データがアクセスされる動作806を含む。例えば、第1のVR HMDは、ローカルメモリからこのようなデータにアクセスする。
一実施例では、フローは、画像データ並びに第1及び第2の慣性データに基づいて第1のVR HMDの位置が生成される動作808を含む。例えば、第1のVR HMDは、第1の慣性データと第2の慣性データとの間のオフセットを決定する。第1のVR HMDはまた、画像処理技術を適用して、画像(すなわち画像データ)内の第1のVR HMDを特定する。幾何学的再構成が画像に適用され、オフセットに基づいて補正される。これに応じて、第1のVR HMDは、前回の画像の前回の位置に対して、第2のVR HMDに対して、またはグラウンドトルースが使用されている場合は基準点に対して、第1のVR HMDの現在の3D物理位置を認識する。画像にわたる3D物理位置の変化は、3D空間における第1のVR HMDの動作を示す。
一実施例では、フローは、第2のVR HMDまで、または障害物までの第1のVR HMDの近接度が検出される動作810を含む。例えば、第1のVR HMDは、第2のVR HMDから受信した追加の画像データ(すなわち画像)及び慣性データに基づいて、第1のVR HMDの3D物理位置の変化を経時的に追跡する。この変化は、3D物理空間における第1のVR HMDの動作を表す。変化は、動作ベクトルで表され得る。生成された追加の画像データに適用された画像処理技術及び幾何学的再構成に基づいて、第1のVR HMDは、動作ベクトルを更新し、第2のVR HMDまで、または障害物までの近接度を、第1のVR HMDとこれらの対象との相対距離及び方向に基づいて、検出する。
一実施例では、フローは、近接度に基づいて近接度指示が生成される動作812を含む。例えば、第1のVR HMDと対象のうちのいずれかとの距離が閾値を侵害する及び/または方向が潜在的衝突針路を示す場合、第1のVR HMDは、近接度指示を生成する。近接度指示は、相対距離及び方向を特定し、衝突の可能性を回避するための調整(例えば反対方向への動き)を提案し得る。
一実施例では、フローは、近接度指示が第1のVR HMDにて提示される動作814を含む。例えば、第1のVR HMDは、近接度指示を、異なる提示様式を用いて、警報として提示する。第2のVR HMDまでの近接度である場合、第1のVR HMDは、データ通信ネットワークを介して第2のVR HMDへ近接度指示を送信し、第2のVR HMDにて近接度指示を提示させる。
図9は、第2のVR HMDにより生成された画像データを基にした較正に基づいて、第1のVR HMDにより行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。第2のVR HMDを操作するユーザの同様の位置追跡が、第2のVR HMDでも可能である。さらに、説明を明瞭にするために、1つのVR HMDが1人のユーザ(すなわちユーザが操作する1つのVR HMD)の画像データを生成する様子が例示される。しかし例示的なフローは、より多くの数のVR HMDによって画像データを生成することにも、同様に適用することができる。
一実施例では、フローは、第2のVR HMDから位置データが受信される動作902を含む。例えば、第1のVR HMDは、データネットワークを介して、位置データを受信する。一例示では、位置データには、図7に関連して説明された第1のVR HMDの3D物理位置が含まれる。別の例示では、位置データには、図8に関連して説明された第2のVR HMDの画像データ及び慣性データが含まれる。
一実施例では、フローは、位置データから較正オフセットが生成される動作904を含む。例えば、第1のVR HMDは、第1のローカル位置データ(例えば第1のVR HMDのローカルの慣性データ及び/または動作ベクトルデータ)から、自身の3D物理位置(または異なる次元軸に沿った同等の位置データ)を計算する。第1のVR HMDは、この計算した3D物理位置(または同等の位置データ)を、受信した3D物理位置データ(または受信した位置データ)と比較して、較正オフセットを生成する。較正オフセットを使用して、第1のVR HMDのセンサにおけるドリフト、例えば第1のVR HMDのIMUのセンサにおけるドリフトを、補正することができる。
一実施例では、フローは、第2のローカル位置データがアクセスされる動作906を含む。例えば、第1のVR HMDは、第1のVR HMDのメモリから、第2のローカル位置データにアクセスする。この第2のローカル位置データは、動作904にて較正に使用された第1のローカル位置データに対して、第1のVR HMDの後続位置(例えば後続時間の位置)に該当することがある。このような場合、後続位置は、動作908にて生成される。あるいは、第2のローカル位置データは、第1のローカル位置データに該当する。この場合、動作904にて決定された位置の忠実度を精緻化する、または向上させるために、動作908が実行される。
一実施例では、フローは、ローカル位置データ及び較正オフセットに基づいて、第1のVR HMDの位置(第2のローカル位置データに応じて後続、現在、または前回の位置)が生成される動作908を含む。例えば、第1のVR HMDは、慣性データ及び/または動作ベクトルデータに基づいて、3D空間における3D物理位置を生成し、較正オフセットを適用することで自身の3D物理位置を精緻化する。
図10は、近接度装置及びジェスチャ装置から生成及び受信されたデータに部分的に基づいて行われる、第1のVR HMDを操作するユーザの位置追跡の例示的なフローを示す。第2のVR HMDを操作するユーザの同様の位置追跡が、第2のVR HMDでも可能である。さらに、説明を明瞭にするために、1つの近接度装置及び1つのジェスチャ装置が例示される。しかし例示的なフローは、より多くの数のこのような装置にも、同様に適用することができる。
一実施例では、フローは、近接度装置から近接度データが受信される動作1002を含む。例えば、近接度装置は、データネットワークを介して、近接度データを送信する。次に第1のVR HMDが、データネットワークを介して、近接度データを受信する。近接度データは、近接度装置までの第1のVR HMDの近接度を示す。近接度は、2つの装置間の距離及び方向として表され得る。一実施例では、近接度を測定するために、能動近接度装置が使用される。別の実施例では、受動近接度装置が使用される。この実施例では、近接度装置から近接度を受信するのではなく、第1のVR HMDは、画像を取り込む、または受動近接度装置上で符号化された機械可読コードを読み取る。取り込まれた画像データまたは読み取られた符号化データには、第1のVR HMDが近接度を測定すること(例えば幾何学的再構成に基づいて)を可能にする近接度関連データが含まれる。
一実施例では、フローは、近接度データに基づいて、基準点に対する第1のVR HMDの位置が生成される動作1004を含む。例えば、基準点は、物理環境内の近接度装置の3D位置を表す。図7、8、及び9のフローのうちのいずれかに説明されたように、相対的3D物理位置は、第1のVR HMDと第2のVR HMDとの対話に基づいて特定され得る。第1のVR HMD(または同様に、第2のVR HMD)は、近接度(例えば近接度装置までの距離及び方向)に基づいて、基準点に応じた3D物理位置基準に対する相対的3D物理位置をマッピングする。これは、3D物理位置にグラウンドトルースを適用することを表す。
一実施例では、フローは、近接度装置から追加の近接度データが受信される動作1006を含む。追加の近接度データは、近接度監視が行われている領域の境界線まで、潜在的障害物を示す物理的障害物まで、または第2のVR HMDまでといった、対象までの第1のVR HMDの近接度を示す。近接度データが許容できない近接度(例えば閾値未満の距離及び衝突針路を示す方向)を示す場合、第1のVR HMD(または同様に近接度装置)は、近接度指示を生成し得る。近接度指示は、対象までの近接度を特定し、衝突の可能性(または境界線を侵害する可能性)を回避する調整を提案し得る。
一実施例では、フローは、近接度指示が提示される動作1008を含む。例えば、第1のVR HMDは、近接度指示を、1つ以上の提示様式を用いて、警報として提示する。
一実施例では、フローは、第2のVR HMDからジェスチャデータが受信される動作1010を含む。例えば、第1のVR HMDのユーザが、ウェアラブルジェスチャ装置(能動または受動)を装着する。第2のVR HMDは、ウェアラブルジェスチャ装置の画像データ(及びウェアラブルジェスチャ装置、第1のVR HMD、及び/または第2のVR HMDからの任意の他の利用可能な位置データ)を取り込み、分析して、ジェスチャを特定する。第2のVR HMDは、これらのジェスチャに関するジェスチャデータを、データネットワークを介して第1のVR HMDへ送信する。
一実施例では、フローは、ジェスチャデータに基づいて、第1のVR HMDにVRコンテンツが提示される動作1012を含む。例えば、物理‐仮想空間ジェスチャマッピングのマッピングが維持され得る。ジェスチャデータ(すなわち物理環境におけるジェスチャ)は、仮想環境における仮想ジェスチャに変換される。VRコンテンツは、仮想ジェスチャに応じて、アクセスまたは提示される。例示としては、テニスラケットでテニスボールを打つ仮想ジェスチャの場合、VRコンテンツは、そのジェスチャが行われているように表示する。
図11は、VR HMDを操作するユーザの互いに対する位置追跡の例示的なフローを示す。説明を明瞭にするために、例示的なフローの動作は、第1のVR HMD及び第2のVR HMDに関連して説明される。しかし例示的なフローは、より多くの数のVR HMDにも、同様に適用することができる。さらに、コンピュータシステムが動作を実行する様子が例示される。コンピュータシステムの異なるアーキテクチャが可能である。例えば、コンピュータシステムは、第1のVR HMD、第2のVR HMD、中央コンピュータの構成要素である、またはこれらの構成要素に分散される。
一実施例では、フローは、第2のVR HMDの第2の位置データが受信される動作1102を含む。例えば、第2の位置データは、図6〜10に関連して説明された例示的なフローのうちのいずれかに基づいて、第1のVR HMDにより生成される。コンピュータシステムのアーキテクチャに応じて適用できる場合、第1のVR HMDは位置データを、データネットワークを介してコンピュータシステムへ送信する。
一実施例では、フローは、第2の位置データに基づいて、第2のVR HMDの物理環境内の第2の位置が特定される動作1104を含む。例えば、第2の位置データには、第2のVR HMDの3D物理位置(物理環境内の第1のVR HMDに対するまたは基準点に対する)が含まれる。従って、コンピュータシステムは、第2の位置データから3D物理位置を特定する。別の例示では、第2の位置データには、慣性データ、画像データ、及び/または近接度データが含まれる。この場合、コンピュータシステムは、このようなデータから3D物理位置を生成する。
一実施例では、フローは、第1のVR HMDの第1の位置データが受信される動作1106を含む。この動作は、動作1102に類似し得、第2のVR HMDが第1の位置データを生成し送信する。
一実施例では、フローは、第1の位置データに基づいて、第1のVR HMDの物理環境内の第1の位置が特定される動作1108を含む。この動作は、動作1104に類似し得、コンピュータシステムは、第1の位置データから、第1のVR HMDの3D物理位置を特定または生成する。
一実施例では、フローは、物理環境の第1の位置及び第2の位置が、仮想環境におけるそれぞれの仮想位置にマッピングされる動作1110を含む。例えば、コンピュータシステムは、第1の3D物理位置に物理‐仮想空間マッピングを適用して、第1のVR HMDの第1の3D仮想位置を生成する。同様に、コンピュータシステムは、同じまたは異なる物理‐仮想空間マッピングを適用し(例えばVRコンテンツ、ユーザ嗜好などに応じて)、第2のVR HMDの第2の仮想位置を生成する。2つの仮想位置は、互いの相対位置として表され得る。グラウンドトルースが使用される場合、2つの仮想位置は、付加的または代替的に、仮想環境における仮想基準点に相対して表され得る。
一実施例では、フローは、仮想位置に基づいて、第1のVR HMD及び第2のVR HMDで提示するVRコンテンツが提供される動作1112を含む。例えば、第1のVR HMDにて提示されるVRコンテンツは、指示を提示し得る、または第1のVR HMDの仮想視点に対する第2のVR HMDの第2の仮想位置を表示し得る。別の例示では、マルチプレイヤービデオゲームにおいて、各仮想プレイヤーには、他の仮想プレイヤーを識別、または他の仮想プレイヤーの位置を示すVRコンテンツの光景が表示され得る。
図12は、様々な実施形態による、コンピュータシステム1200を実施するのに好適なハードウェアシステムの一実施例を示す。コンピュータシステム1200は、例えばVR HMD、モバイル装置、近接度装置、ウェアラブルジェスチャ装置、及び/または中央コンピュータの構成要素を表す。コンピュータシステム1200は、ソフトウェアアプリケーションと任意でオペレーティングシステムとを作動させる中央処理装置(CPU)1205を含む。CPU1205は、1つ以上の同種または異種の処理コアで構成され得る。メモリ1210は、CPU1205が使用するアプリケーション及びデータを記憶する。ストレージ1215は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、ストレージ1215には、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリ装置、及びCD‐ROM、DVD‐ROM、Blu‐ray(登録商標)、HD‐DVD、または他の光学記憶装置、並びに信号伝送及び記憶媒体が含まれ得る。ユーザ入力装置1220は、1人または複数のユーザからのユーザ入力をコンピュータシステム1200へ伝達し、ユーザ入力装置1220の実施例としては、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルもしくはビデオカメラ、及び/またはマイクが挙げられ得る。ネットワークインターフェース1225は、コンピュータシステム1200が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークにわたる有線または無線通信を含み得る。音声プロセッサ1255は、CPU1205、メモリ1210、及び/またはストレージ1215により提供される命令及び/またはデータから、アナログまたはデジタル音声出力を生成するように適合される。CPU1205、メモリ1210、データストレージ1215、ユーザ入力装置1220、ネットワークインターフェース1225、及び音声プロセッサ1255を含むコンピュータシステム1200の構成要素は、1つ以上のデータバス1260を介して接続されている。
グラフィックサブシステム1230がさらに、データバス1260及びコンピュータシステム1200の構成要素と接続されている。グラフィックサブシステム1230は、グラフィック処理ユニット(GPU)1235と、グラフィックメモリ1240とを含む。グラフィックメモリ1240は、出力画像の各画素の画素データを記憶するために使用される表示メモリ(例えばフレームバッファ)を含む。グラフィックメモリ1240は、GPU1235と同じ装置に統合され、GPU1235と共に別個の装置として接続され、及び/またはメモリ1210内に実装され得る。画素データは、直接CPU1205からグラフィックメモリ1240へ提供され得る。あるいは、CPU1205は、所望の出力画像を定義するデータ及び/または命令をGPU1235に提供し、これによりGPU1235は、1つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び/または命令は、メモリ1210及び/またはグラフィックメモリ1240に記憶され得る。一実施形態において、GPU1235は、シーンの幾何学的構造、照明、陰影、質感、動き、及び/またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する3Dレンダリング能力を含む。GPU1235はさらに、シェーダプログラムを実行することできる1つ以上のプログラム可能実行ユニットを含み得る。
グラフィックサブシステム1230は、グラフィックメモリ1240から画像の画素データを定期的に出力して、ディスプレイ装置1250上に表示する。ディスプレイ装置1250は、コンピュータシステム1200からの信号に応じて視覚情報を表示することができる任意の装置であり得、これにはCRT、LCD、プラズマ、及びOLEDディスプレイが含まれる。コンピュータシステム1200は、ディスプレイ装置1250に、アナログまたはデジタル信号を提供することができる。
様々な実施形態によれば、CPU1205は、1つ以上の処理コアを有する1つ以上の汎用マイクロプロセッサである。メディア及び双方向エンターテインメントアプリケーションのような高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する1つ以上のCPU1205を用いて、更なる実施形態を実施することができる。
システムの構成要素はネットワークを介して接続され得、このネットワークは、インターネット、IPネットワーク、イントラネット、広域ネットワーク(「WAN」)、ローカルエリアネットワーク(「LAN」)、仮想プライベートネットワーク(「VPN」)、公衆交換電話網(「PSTN」)、または本明細書で異なる実施形態にて説明される装置間のデータ通信に対応する任意の他の種類のネットワーク、以上の任意の組み合わせであり得る。ネットワークは、光学リンクを含む有線及び無線接続の両方を含み得る。この開示を踏まえると、多くの他の実施例が可能であり、当業者には明らかである。本明細書の論述では、ネットワークは具体的に言及されてもよく、言及されなくてもよい。
上記の明細書では、本発明はその特定の実施形態を参照して説明されるが、本発明はそれに限定されないことが当業者には認識されよう。上記に説明された本発明の様々な特徴及び態様は、別々にまたは一緒に使用されてもよい。さらに、本発明は、本明細書のより広い趣旨及び範囲から逸脱することなく、本明細書に説明される環境及び用途を超える任意の数の環境及び用途において、利用することができる。従って、明細書及び図面は、限定的ではなく例示的なものとみなされるべきである。
上記に論述される方法、システム、及び装置は、単に実施例であるように意図されていることに留意されたい。様々な実施形態が、様々な手順または構成要素を適宜、省略、置換、または追加してもよいことを、強調したい。例えば、代替的な実施形態において、方法は、説明される順序とは異なる順序で行われてもよく、様々なステップの追加、省略、または組み合わせが行われてもよいことを理解されたい。また、特定の実施形態に関して説明される特徴は、様々な他の実施形態において組み合わせられてもよい。実施形態の異なる態様及び要素は、同様に組み合わせられてもよい。また、技術は進化するため、よって要素のうちの多くは実施例であり、本発明の範囲を限定するものとして解釈されるべきではないことを強調したい。
実施形態の完全な理解をもたらすために、具体的な詳細が説明される。しかしながら、これらの具体的な詳細がなくとも実施形態は実施でき得ることが、当業者には理解されよう。実施形態を不明瞭にすることを避けるために、例えば周知の回路、プロセス、アルゴリズム、構造、及び技術は、不必要な詳細抜きで示されている。
また、実施形態は、フロー図またはブロック図で描かれたプロセスとして説明されてもよいことに留意されたい。それぞれが動作を順次プロセスとして説明するが、動作のうちの多くは、並行してまたは同時に行うことができる。さらに、動作の順序は、並べ替えられてもよい。プロセスは、図に含まれていない追加ステップを有してもよい。
さらに、本明細書において開示されるように、「メモリ」または「メモリユニット」という用語は、読出専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気RAM、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置、または情報を記憶するための他のコンピュータ可読媒体を含む、データを記憶するための1つ以上の装置を表し得る。「コンピュータ可読媒体」という用語は、携帯または固定記憶装置、光学記憶装置、無線チャネル、SIMカード、他のスマートカード、及び命令またはデータを記憶、包含、または保有することができる様々な他の媒体を含むが、これらに限定されない。
さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組み合わせにより、実施されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される場合、必要なタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶されてもよい。プロセッサが、必要なタスクを実行してもよい。
特に記載がない限り、以下の特許請求補範囲を含む本明細書に明記される全ての測定、値、評定、位置、大きさ、寸法、及び他の仕様は、厳密ではなく、概算である。これらは、これらが関連する機能と、これらが属する技術分野の慣習的なものと一貫する合理的な範囲を有するように意図されている。「約」には、±0.01%、±0.1%、±1%、±2%、±3%、±4%、±5%、±8%、±10%、±15%、±20%、±25%の許容範囲内、または当技術分野で既知の他の許容範囲内が含まれる。「実質的に」とは、66%、75%、80%、90%、95%、99%、99.9%よりも多く、または、用語が実際現れる文脈に応じて当技術分野で既知の他の値よりも多くを指す。
いくつかの実施形態が説明されたが、本発明の趣旨から逸脱することなく、様々な変更、代替的構成、及び均等物を使用してもよいことが、当業者には認識されよう。例えば上記の要素は単に、他の規則が発明の適用よりも優先され得る、あるいは発明の適用を変更し得る、より大きいシステムの構成要素であってもよい。また、上記の要素が考察される前、間、または後に、多数のステップが実行されてもよい。従って、上記の説明は、本発明の範囲を限定するものとして理解されるべきではない。

Claims (8)

  1. コンピュータシステムにより、第1の仮想現実ヘッドマウントディスプレイの位置データにアクセスすることであって、前記位置データは、前記第1の仮想現実ヘッドマウントディスプレイを含む物理環境の画像データに基づいて生成され、前記画像データは、第2の仮想現実ヘッドマウントディスプレイの光学センサにより生成される、前記第1の仮想現実ヘッドマウントディスプレイの前記位置データにアクセスすることと、
    前記コンピュータシステムにより、前記位置データに基づいて、前記物理環境内の前記第1の仮想現実ヘッドマウントディスプレイの位置を特定することと、
    前記コンピュータシステムにより、前記物理環境内の前記位置に基づいて、前記第1の仮想現実ヘッドマウントディスプレイにて仮想現実コンテンツを提示させることと、
    を含む、コンピュータ実施方法。
  2. 前記第1の仮想現実ヘッドマウントディスプレイは前記コンピュータシステムを備え、前記位置データにアクセスすることは、ピアツーピアデータ通信ネットワークを介して前記第2の仮想現実ヘッドマウントディスプレイから前記位置データを受信することを含み、前記第1の仮想現実ヘッドマウントディスプレイの前記位置は、前記位置データの更新に基づいて経時的に追跡される、請求項1に記載のコンピュータ実施方法。
  3. 前記位置データはさらに、前記第1の仮想現実ヘッドマウントディスプレイの第1の慣性データに基づいて、及び前記第2の仮想現実ヘッドマウントディスプレイの第2の慣性データに基づいて生成され、前記第1の慣性データは、前記第1の仮想現実ヘッドマウントディスプレイとしっかり接続された第1の慣性測定ユニットにより生成され、前記第2の慣性データは、前記第2の仮想現実ヘッドマウントディスプレイとしっかり接続された第2の慣性測定ユニットにより生成される、請求項2に記載のコンピュータ実施方法。
  4. 前記第1の仮想現実ヘッドマウントディスプレイの動作は、前記位置の経時的な追跡に基づいて生成され、前記動作には並進動作及び回転動作が含まれ、前記仮想現実コンテンツは、前記並進動作及び前記回転動作に基づいて、前記第1の仮想現実ヘッドマウントディスプレイにて提示される、請求項1に記載のコンピュータ実施方法。
  5. 前記第1の仮想現実ヘッドマウントディスプレイは、前記第1の仮想現実ヘッドマウントディスプレイを識別し、かつ比例寸法を識別する2次元機械可読コードを含み、前記位置データは、前記画像データから前記比例寸法を識別することに基づいて、前記第2の仮想現実ヘッドマウントディスプレイにより生成される、請求項1に記載のコンピュータ実施方法。
  6. 前記位置データは前記位置を含み、前記第1の仮想現実ヘッドマウントディスプレイは前記コンピュータシステムを備え、前記位置データはさらに、前記第1の仮想現実ヘッドマウントディスプレイの慣性データに基づいて生成され、
    前記コンピュータシステムにより、前記慣性データを前記第2の仮想現実ヘッドマウントディスプレイへ送信することと、
    前記送信された慣性データに基づいて、前記第2の仮想現実ヘッドマウントディスプレイにより生成された前記位置を、前記コンピュータシステムにより受信することと、
    をさらに含む、請求項1に記載のコンピュータ実施方法。
  7. 前記第1の仮想現実ヘッドマウントディスプレイは前記コンピュータシステムを備え、
    前記コンピュータシステムにより、前記第2の仮想現実ヘッドマウントディスプレイから前記画像データを受信することと、
    前記コンピュータシステムにより、前記受信した画像データに基づいて、かつ前記第1の仮想現実ヘッドマウントディスプレイの慣性データに基づいて、前記位置データを生成することと、
    をさらに含む、請求項1に記載のコンピュータ実施方法。
  8. 前記第1の仮想現実ヘッドマウントディスプレイは前記コンピュータシステムと、前記コンピュータシステムと接続された慣性測定ユニットとを備え、前記位置を特定することは、
    前記慣性測定ユニットにより、前記第1の仮想現実ヘッドマウントディスプレイの慣性データを生成することと、
    前記コンピュータシステムにより、前記第2の仮想現実ヘッドマウントディスプレイから送信された前記位置データに基づいて、較正オフセットを生成することと、
    前記コンピュータシステムにより、前記第1の仮想現実ヘッドマウントディスプレイの前記慣性データと前記較正オフセットとに基づいて、前記位置を生成することと、
    を含む、請求項1に記載のコンピュータ実施方法。
JP2018551817A 2016-03-30 2017-02-28 ヘッドマウントディスプレイ追跡 Active JP6690014B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020029218A JP6979475B2 (ja) 2016-03-30 2020-02-25 ヘッドマウントディスプレイ追跡

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/085,887 2016-03-30
US15/085,887 US10099122B2 (en) 2016-03-30 2016-03-30 Head-mounted display tracking
PCT/US2017/020036 WO2017172193A1 (en) 2016-03-30 2017-02-28 Head-mounted display tracking

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020029218A Division JP6979475B2 (ja) 2016-03-30 2020-02-25 ヘッドマウントディスプレイ追跡

Publications (2)

Publication Number Publication Date
JP2019516174A JP2019516174A (ja) 2019-06-13
JP6690014B2 true JP6690014B2 (ja) 2020-04-28

Family

ID=59958984

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018551817A Active JP6690014B2 (ja) 2016-03-30 2017-02-28 ヘッドマウントディスプレイ追跡
JP2020029218A Active JP6979475B2 (ja) 2016-03-30 2020-02-25 ヘッドマウントディスプレイ追跡

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020029218A Active JP6979475B2 (ja) 2016-03-30 2020-02-25 ヘッドマウントディスプレイ追跡

Country Status (5)

Country Link
US (2) US10099122B2 (ja)
EP (1) EP3436867B1 (ja)
JP (2) JP6690014B2 (ja)
CN (1) CN109643014B (ja)
WO (1) WO2017172193A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10451719B2 (en) * 2016-06-22 2019-10-22 Loose Cannon Systems, Inc. System and method to indicate relative location of nodes in a group
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
US10296105B2 (en) * 2016-11-30 2019-05-21 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
US10713848B2 (en) * 2017-04-06 2020-07-14 Htc Corporation System and method for providing simulated environment
US20180314322A1 (en) * 2017-04-28 2018-11-01 Motive Force Technology Limited System and method for immersive cave application
DE102017208936A1 (de) * 2017-05-29 2018-11-29 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
KR102603712B1 (ko) 2017-11-03 2023-11-20 삼성전자주식회사 헤드 마운팅 장치
US10983589B2 (en) 2018-01-22 2021-04-20 MassVR, LLC Systems and methods for collision avoidance in virtual environments
JP7127138B2 (ja) * 2018-02-08 2022-08-29 ライン プラス コーポレーション チャットルームを3次元形態で提供する方法、システム、および非一時なコンピュータ読み取り可能な記録媒体
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
US11048464B2 (en) * 2018-07-31 2021-06-29 Dell Products, L.P. Synchronization and streaming of workspace contents with audio for collaborative virtual, augmented, and mixed reality (xR) applications
CN117572954A (zh) 2018-09-25 2024-02-20 奇跃公司 用于增强现实的系统和方法
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN113632030A (zh) * 2018-12-27 2021-11-09 奇跃公司 用于虚拟现实和增强现实的系统和方法
WO2020153946A1 (en) * 2019-01-22 2020-07-30 Hewlett-Packard Development Company, L.P. Mixed reality presentation
US10885710B2 (en) 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
JP7349256B2 (ja) * 2019-04-23 2023-09-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および情報提示方法
CN110124305B (zh) * 2019-05-15 2023-05-12 网易(杭州)网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
US11474610B2 (en) * 2019-05-20 2022-10-18 Meta Platforms Technologies, Llc Systems and methods for generating dynamic obstacle collision warnings for head-mounted displays
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
JP7392105B2 (ja) * 2019-07-28 2023-12-05 グーグル エルエルシー 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
WO2021077024A1 (en) 2019-10-18 2021-04-22 Magic Leap, Inc. Gravity estimation and bundle adjustment for visual-inertial odometry
US11743064B2 (en) * 2019-11-04 2023-08-29 Meta Platforms Technologies, Llc Private collaboration spaces for computing systems
US11209657B2 (en) * 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
CN115066281A (zh) * 2020-02-12 2022-09-16 Oppo广东移动通信有限公司 增强现实(ar)应用的姿势评估数据
US11777626B2 (en) 2020-12-09 2023-10-03 XRSpace CO., LTD. Method and apparatus related to multiple modes
EP4012535A1 (en) * 2020-12-10 2022-06-15 XRSpace CO., LTD. Method and apparatus related to multiple modes
JP2022108093A (ja) * 2021-01-12 2022-07-25 ソニーセミコンダクタソリューションズ株式会社 接近回避システム及び前庭電気刺激装置
US11558711B2 (en) * 2021-03-02 2023-01-17 Google Llc Precision 6-DoF tracking for wearable devices
KR20220136561A (ko) 2021-03-31 2022-10-11 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
CN113253840B (zh) * 2021-05-06 2023-03-10 青岛小鸟看看科技有限公司 多参与模式的人工现实系统
CN117441149A (zh) * 2021-06-18 2024-01-23 松下电器(美国)知识产权公司 信息处理方法、程序及信息处理系统
WO2023114891A2 (en) * 2021-12-17 2023-06-22 Objectvideo Labs, Llc Extended reality 3d space monitoring
US20240036656A1 (en) * 2022-07-27 2024-02-01 Htc Corporation Tracking system and tracking method
US20240087224A1 (en) * 2022-09-12 2024-03-14 Htc Corporation Remote-control system, remote-controller, and remote-control method
CN117180720B (zh) * 2023-11-07 2024-01-05 成都孚谦科技有限公司 一种基于体感追踪器技术的虚拟动作游戏交互系统及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
WO2015048890A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
KR20230044041A (ko) * 2013-03-11 2023-03-31 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN105359063B (zh) 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
WO2015066037A1 (en) 2013-10-28 2015-05-07 Brown University Virtual reality methods and systems
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
CN106104361B (zh) * 2014-02-18 2019-06-07 摩致实验室有限公司 与移动计算装置一起使用的头戴式显示器眼罩
US9996975B2 (en) * 2014-03-18 2018-06-12 Dreamworks Animation L.L.C. Interactive multi-rider virtual reality ride system
TW201537219A (zh) 2014-03-21 2015-10-01 Quanta Comp Inc 頭戴式顯示裝置
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
JP2016004493A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
US9406171B2 (en) * 2014-08-25 2016-08-02 Daqri, Llc Distributed aperture visual inertia navigation
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
JP6172233B2 (ja) * 2015-10-02 2017-08-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking

Also Published As

Publication number Publication date
EP3436867A4 (en) 2019-12-04
US20170282062A1 (en) 2017-10-05
JP2019516174A (ja) 2019-06-13
EP3436867B1 (en) 2021-12-22
CN109643014A (zh) 2019-04-16
US10099122B2 (en) 2018-10-16
JP2020102239A (ja) 2020-07-02
WO2017172193A1 (en) 2017-10-05
CN109643014B (zh) 2021-11-19
WO2017172193A8 (en) 2018-04-05
US20190046873A1 (en) 2019-02-14
US10905950B2 (en) 2021-02-02
JP6979475B2 (ja) 2021-12-15
EP3436867A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
JP6690014B2 (ja) ヘッドマウントディスプレイ追跡
JP7181316B2 (ja) Hmd環境での高速中心窩レンダリングのための予測及びgpuに対する最新の更新を伴う視線追跡
JP7164630B2 (ja) 予測サッカード着地点に基づく動的グラフィックスレンダリング
US10281978B2 (en) Perception based predictive tracking for head mounted displays
US10062213B2 (en) Augmented reality spaces with adaptive rules
KR102212250B1 (ko) 증강 현실 오브젝트의 신체 고정식 배치
CN102184009B (zh) 跟踪系统中的手位置后处理精炼
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
JP2022529245A (ja) 電磁追跡のためのセンサ融合
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
WO2016041088A1 (en) System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US11073902B1 (en) Using skeletal position to predict virtual boundary activation
JP2022524099A (ja) サーモパイルアレイフュージョントラッキング
Chen et al. The Body Sensor Suit with Mixed Reality Interactive Games

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200408

R150 Certificate of patent or registration of utility model

Ref document number: 6690014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250