JP2024042018A - 拡張現実のためのシステムおよび方法 - Google Patents

拡張現実のためのシステムおよび方法 Download PDF

Info

Publication number
JP2024042018A
JP2024042018A JP2024008629A JP2024008629A JP2024042018A JP 2024042018 A JP2024042018 A JP 2024042018A JP 2024008629 A JP2024008629 A JP 2024008629A JP 2024008629 A JP2024008629 A JP 2024008629A JP 2024042018 A JP2024042018 A JP 2024042018A
Authority
JP
Japan
Prior art keywords
user
virtual
environment
real
perspective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024008629A
Other languages
English (en)
Inventor
アラン マッコール マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2024042018A publication Critical patent/JP2024042018A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想コンテンツの視点のビューを共有するシステムおよび方法を提供する。【解決手段】仮想オブジェクト１１０２を、ディスプレイを介してユーザ＃１に提示するる方法であって、仮想オブジェクトの位置およびユーザ＃１の第１の位置に基づいている仮想オブジェクトの第１の視点のビューを決定することを含む。仮想オブジェクトは、ディスプレイを介してユーザ＃２に、第１の視点のビューにしたがって提示される。入力を、ユーザから受信し、第１のユーザからの入力に基づく仮想オブジェクトの第２の視点のビューを決定する。仮想オブジェクトを第２のユーザに提示することは、第１の視点のビューから第２の視点のビューへの移行を提示することである。【選択図】図１０Ｂ

Description

（関連出願への相互参照）
本願は、２０１８年９月２５日に出願された米国仮特許出願第６２／７３６，４３２号への優先権を主張し、その内容は、それら全体が参照によって本明細書中に援用される。
（分野）
本開示は、概して、視覚的信号を共有し、提示するシステムおよび方法に関しており、特に、複合現実環境におけるコンテンツに対応する視覚的信号を共有し提示するシステムおよび方法に関している。
（背景）
現代のコンピューティングテクノロジおよびディスプレイテクノロジは、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル方式で再現された画像またはそれらの一部は、それらが現実であるように見えるか、または現実として知覚され得る態様で、ユーザに提示される。仮想現実（すなわち「ＶＲ」）シナリオは、典型的に、他の実際の現実世界の視覚的入力に対する透明性のないデジタルまたは仮想画像情報の提示を伴う；拡張現実（すなわち「ＡＲ」）シナリオは、典型的に、ユーザの周りの実世界の視覚化への拡張として、デジタルまたは仮想画像情報の提示を伴う。
例えば、図１を参照すると、拡張現実シーン（４）が描写されており、ＡＲ技術のユーザは、人々、木、背景の建物、およびコンクリートのプラットフォーム（１１２０）を特徴とする現実世界の公園のような情景（６）を見ている。これらのアイテムに加え、ＡＲテクノロジのユーザは、現実世界のプラットフォーム（１１２０）上に建っているロボットの像（１１１０）、および飛んでいることによりマルハナバチの擬人化であるように見えるアニメのようなアバターキャラクター（２）も、これらの要素（２、１１１０）が現実世界には存在していないにもかかわらず、彼が「見ている」と知覚する。
本物のような拡張現実（または「複合現実」）のための現実世界におけるこの仮想画像の正しい配置は、一連の相互結合された座標フレームワークを必要とする。
人間の視覚的知覚システムは、非常に複雑であり、他の仮想世界画像要素または現実世界画像要素の中での快適で、自然で、豊かな仮想画像要素の提示を促進するＶＲまたはＡＲテクノロジを生み出すことは困難である。
例えば、頭部装着型ＡＲディスプレイ（またはヘルメット搭載型ディスプレイ、またはスマート眼鏡）は、典型的に、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動したとき、頭部装着型ＡＲディスプレイが移動する。頭部搭載型ディスプレイにおける接眼レンズ等のディスプレイコンポーネントは、ユーザの眼に非対称に位置付けられ得る。例えば、双眼システムは、１つの接眼レンズを（例えば、補足的接眼レンズおよび眼と比較して）より所与の眼に対してより近くに、またはより遠くに配置し得る。単眼システムでは、一体的な接眼レンズのアラインメントは、左眼／右眼がもう一方の眼に対して同様に位置付けられないように、ある角度をなし得る。
ユーザの頭部の運動、または、さもなければユーザの位置の変化が、上で説明されるような適合の変動を複雑にする。
例えば、頭部装着型ディスプレイを装着しているユーザが、ディスプレイ上の３次元（３Ｄ）オブジェクトの仮想表現を視認し、３Ｄオブジェクトが出現する領域を歩き回る場合、３Ｄオブジェクトは、各視認ポイントに関して再びレンダリングされ得、ユーザに、彼または彼女が実空間を占めるオブジェクトの周りを歩いているという知覚を与える。頭部装着型ディスプレイが仮想空間（例えば、豊かな仮想世界）内で複数のオブジェクトを提示するために用いられる場合、頭部姿勢の測定（すなわち、ユーザの頭部の場所および向き）は、動的に変化するユーザの頭部の場所および向きに合致するようにシーンを再びレンダリングし、仮想空間における増加した没入感を提供するために用いられ得る。
ＡＲシステムにおいて、頭部姿勢の検出または算出は、ディスプレイシステムが仮想オブジェクトをレンダリングし、それによって、仮想オブジェクトがユーザに理解される態様で現実世界における空間を占めるように出現することを促進し得る。
Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）等のいくつかの拡張現実テクノロジにおいて、仮想コンテンツは、定位置に表示される。そのような例では、デバイスの任意の運動が仮想コンテンツの位置を同様に変化させるように、仮想コンテンツおよびデバイスは、共通の座標フレームを共有する。
いくつかの拡張現実または複合現実システムでは、一連の座標フレームは、仮想コンテンツが、デバイス自体に固定されるのではなく、デバイスが存在する現実世界または環境に固定されて出現することを確実にする。
（概要）
本開示の例は、仮想コンテンツの視点のビューを共有するシステムおよび方法を説明している。例示的方法において、仮想オブジェクトが、ディスプレイを介して第１のユーザに提示される。仮想オブジェクトの第１の視点のビューが決定され、第１の視点のビューは、仮想オブジェクトの位置および第１のユーザの第１の位置に基づいている。仮想オブジェクトは、ディスプレイを介して第２のユーザに提示され、仮想オブジェクトは、第１の視点のビューにしたがって第２のユーザに提示される。入力が、第１のユーザから受信される。仮想オブジェクトの第２の視点のビューが決定され、第２の視点のビューは、第１のユーザからの入力に基づいている。仮想オブジェクトは、ディスプレイを介して第２のユーザに提示され、仮想オブジェクトを第２のユーザに提示することは、第１の視点のビューから第２の視点のビューへの移行を提示することを備えている。
本発明は、例えば、以下を提供する。
（項目１）
方法であって、前記方法は、
第１の頭部ウェアラブルデバイスのディスプレイを介して仮想オブジェクトを提示することと、
前記仮想オブジェクトの第１の視点のビューを決定することであって、前記第１の視点のビューは、前記仮想オブジェクトの位置および方向と、前記第１の頭部ウェアラブルデバイスの位置および方向とに基づいている、ことと、
前記第１の視点のビューにしたがって、第２の頭部ウェアラブルデバイスのディスプレイを介して前記仮想オブジェクトを提示することと、
前記第１の視点のビューにおける変化を示す入力を受信することと、
前記仮想オブジェクトの第２の視点のビューを決定することであって、前記第２の視点のビューは、前記第１の視点のビューにおける変化を示す前記入力に基づいている、ことと、
前記第２の視点のビューにしたがって、前記第２のウェアラブルデバイスの前記ディスプレイを介して前記仮想オブジェクトを提示することと
を含む、方法。
（項目２）
前記第１の視点のビューは、前記第１の頭部ウェアラブルデバイスに対して第１の角度で前記仮想オブジェクトを提示し、前記第２の視点のビューは、前記第１の頭部ウェアラブルデバイスに対して第２の角度で前記仮想オブジェクトを提示する、項目１に記載の方法。
（項目３）
前記第２の角度は、前記第１の角度と異なる、項目２に記載の方法。
（項目４）
前記第１の視点のビューは、第１のサイズで前記仮想オブジェクトを提示し、前記第２の視点のビューは、第２のサイズで前記仮想オブジェクトを提示する、項目１に記載の方法。
（項目５）
前記第２のサイズは、前記第１のサイズと異なる、項目４に記載の方法。
（項目６）
前記第１の視点のビューにおける変化を示す前記入力は、前記第１の頭部ウェアラブルデバイスが第１の位置から第２の位置に移動することを備えている、項目１に記載の方法。
（項目７）
前記第１の視点のビューにおける変化を示す前記入力は、前記仮想オブジェクトを第１の位置から第２の位置に移動させることを備えている、項目１に記載の方法。
（項目８）
前記第１の視点のビューにおける変化を示す前記入力は、前記第１の頭部ウェアラブルデバイスの視点における変化を備えている、項目１に記載の方法。
（項目９）
前記第２の視点のビューにしたがって、前記第２のウェアラブルデバイスの前記ディスプレイを介して前記仮想オブジェクトを提示することは、前記第１の視点のビューから前記第２の視点のビューへの移行を提示することを備えている、項目１に記載の方法。
（項目１０）
システムであって、前記システムは、
第１の頭部ウェアラブルデバイスと、
第２の頭部ウェアラブルデバイスと、
方法を実行するように構成されている１つ以上のプロセッサと
を備え、
前記方法は、
第１の頭部ウェアラブルデバイスのディスプレイを介して仮想オブジェクトを提示することと、
前記仮想オブジェクトの第１の視点のビューを決定することであって、前記第１の視点のビューは、前記仮想オブジェクトの位置および方向と、前記第１の頭部ウェアラブルデバイスの位置および方向とに基づいている、ことと、
前記第１の視点のビューにしたがって、第２の頭部ウェアラブルデバイスのディスプレイを介して前記仮想オブジェクトを提示することと、
前記第１の視点のビューにおける変化を示す入力を受信することと、
前記仮想オブジェクトの第２の視点のビューを決定することであって、前記第２の視点のビューは、前記第１の視点のビューにおける変化を示す前記入力に基づいている、ことと、
前記第２の視点のビューにしたがって、前記第２のウェアラブルデバイスの前記ディスプレイを介して前記仮想オブジェクトを提示することと
を含む、システム。
（項目１１）
前記第１の視点のビューは、前記第１の頭部ウェアラブルデバイスに対して第１の角度で前記仮想オブジェクトを提示し、前記第２の視点のビューは、前記第１の頭部ウェアラブルデバイスに対して第２の角度で前記仮想オブジェクトを提示する、項目１０に記載のシステム。
（項目１２）
前記第２の角度は、前記第１の角度と異なる、項目１１に記載のシステム。
（項目１３）
前記第１の視点のビューは、第１のサイズで前記仮想オブジェクトを提示し、前記第２の視点のビューは、第２のサイズで前記仮想オブジェクトを提示する、項目１０に記載のシステム。
（項目１４）
前記第２のサイズは、前記第１のサイズと異なる、項目１３に記載のシステム。
（項目１５）
前記第１の視点のビューにおける変化を示す前記入力は、前記第１の頭部ウェアラブルデバイスが第１の位置から第２の位置に移動することを備えている、項目１０に記載のシステム。
（項目１６）
前記第１の視点のビューにおける変化を示す前記入力は、前記仮想オブジェクトを第１の位置から第２の位置に移動させることを備えている、項目１０に記載のシステム。
（項目１７）
前記第１の視点のビューにおける変化を示す前記入力は、前記第１の頭部ウェアラブルデバイスの視点における変化を備えている、項目１０に記載のシステム。
（項目１８）
前記第２の視点のビューにしたがって、前記第２のウェアラブルデバイスの前記ディスプレイを介して前記仮想オブジェクトを提示することは、前記第１の視点のビューから前記第２の視点のビューへの移行を提示することを備えている、項目１０に記載のシステム。
（項目１９）
命令を記憶している非一過性のコンピュータ読み取り可能な媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに方法を実行させ、前記方法は、
第１の頭部ウェアラブルデバイスのディスプレイを介して仮想オブジェクトを提示することと、
前記仮想オブジェクトの第１の視点のビューを決定することであって、前記第１の視点のビューは、前記仮想オブジェクトの位置および方向、ならびに前記第１の頭部ウェアラブルデバイスの位置および方向に基づいている、ことと、
前記第１の視点のビューにしたがって、第２の頭部ウェアラブルデバイスのディスプレイを介して前記仮想オブジェクトを提示することと、
前記第１の視点のビューにおける変化を示す入力を受信することと、
前記仮想オブジェクトの第２の視点のビューを決定することであって、前記第２の視点のビューは、前記第１の視点のビューにおける変化を示す入力に基づいている、ことと、
前記第２の視点のビューにしたがって、前記第２のウェアラブルデバイスの前記ディスプレイを介して前記仮想オブジェクトを提示することと
を含む、非一過性のコンピュータ読み取り可能な媒体。
（項目２０）
前記第１の視点のビューは、前記第１の頭部ウェアラブルデバイスに対して第１の角度で前記仮想オブジェクトを提示し、前記第２の視点のビューは、前記第１の頭部ウェアラブルデバイスに対して第２の角度で前記仮想オブジェクトを提示する、項目１９に記載の非一過性のコンピュータ読み取り可能な媒体。
（項目２１）
前記第２の角度は、前記第１の角度と異なる、項目２０に記載の非一過性のコンピュータ読み取り可能な媒体。
（項目２２）
前記第１の視点のビューは、第１のサイズで前記仮想オブジェクトを提示し、前記第２の視点のビューは、第２のサイズで前記仮想オブジェクトを提示する、項目１９に記載の非一過性のコンピュータ読み取り可能な媒体。
（項目２３）
前記第２のサイズは、前記第１のサイズと異なる、項目２２に記載の非一過性のコンピュータ読み取り可能な媒体。
（項目２４）
前記第１の視点のビューにおける変化を示す前記入力は、前記第１の頭部ウェアラブルデバイスが第１の位置から第２の位置に移動することを備えている、項目１９に記載の非一過性のコンピュータ読み取り可能な媒体。
（項目２５）
前記第１の視点のビューにおける変化を示す前記入力は、前記仮想オブジェクトを第１の位置から第２の位置に移動させることを備えている、項目１９に記載の非一過性のコンピュータ読み取り可能な媒体。
（項目２６）
前記第１の視点のビューにおける変化を示す前記入力は、前記第１の頭部ウェアラブルデバイスの視点における変化を備えている、項目１９に記載の非一過性のコンピュータ読み取り可能な媒体。
（項目２７）
前記第２の視点のビューにしたがって、前記第２のウェアラブルデバイスの前記ディスプレイを介して前記仮想オブジェクトを提示することは、前記第１の視点のビューから前記第２の視点のビューへの移行を提示することを備えている、項目１９に記載の非一過性のコンピュータ読み取り可能な媒体。
図１は、いくつかの実施形態による特定の仮想現実オブジェクトを有する拡張現実シナリオを例証している。
図２Ａ－図２Ｃは、いくつかの実施形態による視覚表示システムを備えているコンポーネントの種々の構成を例証している。 図２Ａ－図２Ｃは、いくつかの実施形態による視覚表示システムを備えているコンポーネントの種々の構成を例証している。 図２Ａ－図２Ｃは、いくつかの実施形態による視覚表示システムを備えているコンポーネントの種々の構成を例証している。
図３は、いくつかの実施形態によるクラウドコンピューティングアセットとの遠隔相互作用を例証している。
図４は、いくつかの実施形態による単一ユーザ座標フレームシステムを仮想コンテンツと共に例証している。
図５は、いくつかの実施形態による双眼レンダリングカメラのためのユーザデバイス座標フレームを例証している。
図６は、いくつかの実施形態によるマルチユーザ座標フレームシステムを仮想コンテンツと共に例証している。
図７は、いくつかの実施形態によるマルチユーザ共有座標フレームシステムを仮想コンテンツと共に例証している。
図８Ａ－図８Ｃは、いくつかの実施形態によるユーザ間の世界フレーム選択プロトコルを例証している。 図８Ａ－図８Ｃは、いくつかの実施形態によるユーザ間の世界フレーム選択プロトコルを例証している。 図８Ａ－図８Ｃは、いくつかの実施形態によるユーザ間の世界フレーム選択プロトコルを例証している。
図９Ａ－図９Ｂは、いくつかの実施形態によるカメラフレーム変換オプションをレンダリングするためのデバイスを例証している。 図９Ａ－図９Ｂは、いくつかの実施形態によるカメラフレーム変換オプションをレンダリングするためのデバイスを例証している。
図１０Ａ－図１０Ｂは、いくつかの実施形態による、視認者と結果として生じる仮想コンテンツ表示との間の角度の関係を例証している。 図１０Ａ－図１０Ｂは、いくつかの実施形態による、視認者と結果として生じる仮想コンテンツ表示との間の角度の関係を例証している。
図１１Ａ－図１１Ｃは、いくつかの実施形態による、距離を変動させる視認者と結果として生じる仮想コンテンツ表示との間のさらなる角度の関係を例証している。 図１１Ａ－図１１Ｃは、いくつかの実施形態による、距離を変動させる視認者と結果として生じる仮想コンテンツ表示との間のさらなる角度の関係を例証している。 図１１Ａ－図１１Ｃは、いくつかの実施形態による、距離を変動させる視認者と合成仮想コンテンツ表示との間のさらなる角度の関係を例証している。
図１１Ｄ－図１１Ｅは、いくつかの実施形態によるユーザ間の角度差に基づく結果として生じる仮想コンテンツ知覚を例証している。 図１１Ｄ－図１１Ｅは、いくつかの実施形態によるユーザ間の角度差に基づく結果として生じる仮想コンテンツ知覚を例証している。
図１２Ａ－図１２Ｃは、例示的複合現実環境を例証している。 図１２Ａ－図１２Ｃは、例示的複合現実環境を例証している。 図１２Ａ－図１２Ｃは、例示的複合現実環境を例証している。
図１３Ａ－図１３Ｄは、複合現実環境を生成するために、およびそれと相互作用するために用いられ得る例示的複合現実システムのコンポーネントを例証している。 図１３Ａ－図１３Ｄは、複合現実環境を生成するために、およびそれと相互作用するために用いられ得る例示的複合現実システムのコンポーネントを例証している。 図１３Ａ－図１３Ｄは、複合現実環境を生成するために、およびそれと相互作用するために用いられ得る例示的複合現実システムのコンポーネントを例証している。 図１３Ａ－図１３Ｄは、複合現実環境を生成するために、およびそれと相互作用するために用いられ得る例示的複合現実システムのコンポーネントを例証している。
図１４Ａは、複合現実環境に入力を提供するために用いられ得る例示的複合現実ハンドヘルドコントローラを例証している。
図１４Ｂは、例示的複合現実システムにおいて用いられ得る例示的補助ユニットを例証している。
図１５は、例示的複合現実システムのための例示的機能的ブロック図を例証している。
（詳細な説明）
本発明は、仮想コンテンツ、少なくとも１人のユーザにＡＲコンテンツを提示するための頭部搭載型ディスプレイ（ＨＭＤ）、およびユーザの眼の位置の相対位置を決定するために複数の座標フレームを作り出すためのシステムおよび方法に関している。
追加の実施形態、利点、および詳細が、適切に図を具体的に参照して以下でより詳細に説明される。
複合現実環境
全ての人々と同様、複合現実システムのユーザは、現実環境、すなわち、「現実世界」の３次元部分の中に存在しており、そのコンテンツの全ては、ユーザによって知覚可能である。例えば、ユーザは、その通常の人間の感覚（眺め、音、触感、味、におい）を用いて現実環境を知覚し、現実環境において自身の身体を移動させることによって現実環境と相互作用する。現実環境における場所は、座標空間における座標（例えば、座標は、緯度、経度、および海面に対する標高を備え得る）、基準点からの３つの直交する次元における距離、または、他の適切な値として説明され得る。同様に、ベクトルが、座標空間における方向および大きさを有する量を説明し得る。
コンピューティングデバイスは、例えばデバイスに関連付けられたメモリ内に、仮想環境の表現を維持し得る。本明細書中で用いられる場合、仮想環境とは、３次元空間の計算的表現である。仮想環境は、その空間に関連付けられる任意のオブジェクト、行動、信号、パラメータ、座標、ベクトル、または他の特徴の表現を含み得る。いくつかの例では、コンピューティングデバイスの回路（例えば、プロセッサ）が、仮想環境の状態を維持し得る；つまり、プロセッサは、第１の時刻ｔ０において、仮想環境に関連付けられたデータおよび／またはユーザによって提供される入力に基づいて、第２の時刻ｔ１における仮想環境の状態を決定し得る。例えば、仮想環境におけるオブジェクトが時刻ｔ０において第１の座標に位置し、そのオブジェクトが特定のプログラムされた物理的パラメータ（例えば、質量、摩擦率）を有し；ユーザから受信された入力が方向ベクトルでオブジェクトに力が与えられるべきであることを示す場合；プロセッサは、運動学の法則を適用し、基本的メカニズムを用いて時刻ｔ１におけるオブジェクトの場所を決定し得る。プロセッサは、仮想環境に関する任意の適切な既知情報、および／または任意の適切な入力（例えば、現実世界パラメータ）を用い、時刻ｔ１における仮想環境の状態を決定し得る。仮想環境の状態を維持し、更新することにおいて、プロセッサは、仮想環境における仮想オブジェクトの創出および削除に関係するソフトウェア；仮想環境における仮想オブジェクトまたは仮想キャラクターの動作を定義するためのソフトウェア（例えば、スクリプト）；仮想環境における信号（例えば、音響信号）の動作を定義するためのソフトウェア；仮想環境に関連付けられるパラメータを創出し更新するためのソフトウェア；仮想環境における音響信号を生成するためのソフトウェア；入力および出力を扱うためのソフトウェア；ネットワーク運用を実装するためのソフトウェア；アセットデータ（例えば、経時的に仮想オブジェクトを移動させるためのアニメーションデータ）を適用するためのソフトウェア；または多くの他の可能なものを含む任意の適切なソフトウェアを実行し得る。
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかの側面または全ての側面をユーザに提示し得る。例えば、仮想環境は、ユーザに提示され得る仮想オブジェクト（無生物オブジェクト；人々；動物；光等の表現を含み得る）を含み得る。プロセッサは、仮想環境のビュー（例えば、原点座標、ビューの軸、および円錐台を有する「カメラ」に対応する）を決定し、ディスプレイにそのビューに対応する仮想環境の視認可能なシーンをレンダリングし得る。任意の適切なレンダリングテクノロジが、この目的のために用いられ得る。いくつかの例では、視認可能なシーンは、仮想環境にいくつかの仮想オブジェクトのみを含み得、特定の他の仮想オブジェクトを除外し得る。同様に、仮想環境は、１つ以上の音響信号としてユーザに提示され得る音響的側面を含み得る。例えば、仮想環境における仮想オブジェクトは、オブジェクトの位置座標から生ずる音を生成し得（例えば、仮想キャラクターが、話し、または音響効果を発生させ得る）；または仮想環境は、音楽キューまたは周囲の音に関連付けられ得、それらの音は、特定の場所に関連付けられていることも、関連付けられていないこともある。プロセッサは、「リスナー」座標に対応する音響信号（例えば、仮想環境における音の合成物に対応し、およびリスナー座標にいるリスナーに聞こえ得る音響信号を刺激するように混合させられ処理された音響信号）を決定し、１つ以上のスピーカを介してユーザに音響信号を提示し得る。
仮想環境は、計算的構造としてのみ存在するので、ユーザは、その通常の感覚を用いて仮想環境を直接知覚できない。その代わり、例えば、ディスプレイ、スピーカ、触覚出力デバイス等によってユーザに提示される場合、ユーザは、間接的にのみ仮想環境を知覚し得る。同様に、ユーザは、直接的に仮想環境に接触し、仮想環境を操作し、さもなければ仮想環境と相互作用することができないが、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを用いて仮想環境を更新し得るプロセッサに入力データを提供し得る。例えば、カメラセンサは、ユーザが仮想環境におけるオブジェクトを移動させようとしていることを示す光データを提供し得、プロセッサは、そのデータを用いて、仮想環境においてそれに従って応答することをオブジェクトに行わせ得る。
複合現実システムは、例えば、透過的ディスプレイおよび／または１つ以上のスピーカ（それらは、例えば、ウェアラブル頭部デバイスに組み込まれ得る）を用いて、現実環境の側面と仮想環境の側面とを組み合わせた複合現実（「ＭＲ」）環境をユーザに提示し得る。いくつかの実施形態では、１つ以上のスピーカは、頭部搭載型ウェアラブルユニットの外部にあり得る。本明細書中で用いられる場合、ＭＲ環境は、現実環境と対応する仮想環境との同時の表現である。いくつかの例では、対応する現実環境と仮想環境とは、単一の座標空間を共有する；いくつかの例では、現実座標空間および１つ以上の対応する仮想座標空間は、変換行列（または他の適切な表現）によって互いに関連付けられている。よって、いくつかの実施形態では、単一の座標が、（いくつかの例では、変換行列と一緒になって）現実環境における第１の場所を画定し、仮想環境における第２の対応する場所も画定し得る；その逆も然り。
ＭＲ環境において、（例えば、ＭＲ環境に関連付けられた仮想環境における）仮想オブジェクトは、（例えば、ＭＲ環境に関連付けられた現実環境における）現実オブジェクトに対応し得る。例えば、ＭＲ環境のうちの現実環境がある位置座標に現実の街灯（現実オブジェクト）を備えている場合、ＭＲ環境のうちの仮想環境は、対応する位置座標にある対応する仮想の街灯（仮想オブジェクト）を備え得る。本明細書中で用いられる場合、現実オブジェクトは、その対応する仮想オブジェクトと共同して、「複合現実オブジェクト」を一緒に構成する。仮想オブジェクトが、対応する現実オブジェクトに完璧に合致しているか、またはそれと位置が合っていることは、必要ではない。いくつかの例では、仮想オブジェクトは、対応する現実オブジェクトの簡略化されたバージョンであり得る。例えば、現実環境が、現実の街灯を含む場合、対応する仮想オブジェクトは、（街灯がおよそ円柱形状であり得ることを反映して）現実の街灯とおよそ同一の高さおよび半径の円柱を備え得る。この態様で仮想オブジェクトを簡略化することは、計算の効率化を可能にし得、そのような仮想オブジェクトにおいて実施されるべき計算を簡略化し得る。さらに、ＭＲ環境のいくつかの例では、現実環境における全ての現実オブジェクトが、対応する仮想オブジェクトに関連付けられているとは限らない。同様に、ＭＲ環境のいくつかの例では、仮想環境における全ての仮想オブジェクトが、対応する現実オブジェクトに関連付けられているとは限らない。つまり、いくつかの仮想オブジェクトは、いずれの現実世界の対応物も伴わず、ＭＲ環境のうちの仮想環境にのみあり得る。いくつかの例では、全ての現実オブジェクトが、対応する現実オブジェクトに関連付けられているとは限らない。
いくつかの例では、仮想オブジェクトは、対応する現実オブジェクトの特性と異なる（時には大きく異なる）特性を有し得る。例えば、ＭＲ環境における現実環境が、緑色の２アームのサボテン（棘のある無生物オブジェクト）を備え得る一方で、ＭＲ環境における対応する仮想オブジェクトは、人間の顔の特徴を有し無愛想な表情の緑色の２アームの仮想キャラクターの特性を有し得る。この例では、仮想オブジェクトは、特定の特性（色、アームの数）において、その対応する現実オブジェクトに似ているが、他の特性（顔の特徴、個性）において現実オブジェクトと異なる。このように、仮想オブジェクトは、創造的態様、抽象的態様、強調された態様、または空想的態様で、現実オブジェクトを表現する可能性を有し；または、別の無生物現実オブジェクトに振る舞い（例えば、人間の個性）を与える可能性を有する。いくつかの例では、仮想オブジェクトは、現実世界の対応物を有しない単なる空想上の創造物（例えば、おそらく現実環境における空白の空間に対応する場所にある仮想環境における仮想モンスター）であり得る。
現実環境を妨げて仮想環境をユーザに提示するＶＲシステムと対照的に、ＭＲ環境を提示する複合現実システムは、仮想環境が提示されながら現実環境が知覚可能であり続けるという利点をもたらす。よって、複合現実システムのユーザは、現実環境に関連付けられた視覚的キューおよび聴覚的キューを用いて、対応する仮想環境を体験し、それと相互作用することが可能である。例えば、上で指摘したように、ユーザは仮想環境を直接的に知覚し、またはそれと相互作用することができないので、ＶＲシステムのユーザは、仮想環境において表示される仮想オブジェクトを知覚し、またはそれと相互作用することに苦労する一方で、ＭＲシステムのユーザは、彼または彼女自身の現実環境における対応する現実オブジェクトを見ること、聞くこと、触れることによって、仮想オブジェクトと相互作用することが直感的であり自然なことであると感じ得る。このレベルの相互作用性は、ユーザの仮想環境への没入感、それとのつながり、およびそれとの関与を高め得る。同様に、現実環境と仮想環境とを同時に提示することによって、複合現実システムは、ＶＲシステムに関連するネガティブな心情（例えば、認知的不協和）およびネガティブな身体的感覚（例えば、乗り物酔い）を低減させ得る。複合現実システムは、現実世界の我々の体験を増大させ、またはそれを変更し得る用途のための多くの可能性をさらに提供する。
図１２Ａは、ユーザ１２１０が複合現実システム１２１２を用いる例示的現実環境１２００を例証している。複合現実システム１２１２は、例えば以下で説明されるように、ディスプレイ（例えば、透過性ディスプレイ）および１つ以上のスピーカと、１つ以上のセンサ（例えば、カメラ）とを備え得る。示されている現実環境１２００は、ユーザ１２１０が立っている長方形の部屋１２０４Ａと；現実オブジェクト１２２２Ａ（ランプ）、１２２４Ａ（テーブル）、１２２６Ａ（ソファー）、および１２２８Ａ（絵画）とを備えている。部屋１２０４Ａは、位置座標１２０６をさらに備え、位置座標１２０６は、現実環境１２００の原点とみなされ得る。図１２Ａに示されるように、点１２０６（世界座標）にその原点を有する（ｘ軸１２０８Ｘと、ｙ軸１２０８Ｙと、ｚ軸１２０８Ｚとを備えている）環境／世界座標系１２０８は、現実環境１２００のための座標空間を画定し得る。いくつかの実施形態では、環境／世界座標系１２０８の原点１２０６は、複合現実システム１２１２が電源を入れられた場所に対応し得る。いくつかの実施形態では、環境／世界座標系１２０８の原点１２０６は、動作中にリセットされ得る。いくつかの例では、ユーザ１２１０は、現実環境１２００における現実オブジェクトとみなされ得；同様に、ユーザ１２１０の身体部位（例えば、頭部、足）が、現実環境１２００における現実オブジェクトとみなされ得る。いくつかの例では、点１２１５（例えば、ユーザ／リスナー／頭部座標）を原点とする（ｘ軸１２１４Ｘと、ｙ軸１２１４Ｙと、ｚ軸１２１４Ｚとを備えている）ユーザ／リスナー／頭部座標系１２１４は、複合現実システム１２１２が位置するユーザ／リスナー／頭部のための座標空間を画定し得る。ユーザ／リスナー／頭部座標系１２１４の原点１２１５は、複合現実システム１２１２の１つ以上コンポーネントに対し画定され得る。例えば、ユーザ／リスナー／頭部座標系１２１４の原点１２１５は、例えば複合現実システム１２１２の初期キャリブレーション中に複合システム１２１２のディスプレイに対して画定され得る。行列（行列は、平行移動行列およびクォータニオン行列または他の回転行列を含み得る）、または他の適切な表現が、ユーザ／リスナー／頭部座標系１２１４空間と環境／世界座標系１２０８空間との間の変換を特徴付け得る。いくつかの実施形態では、左耳座標１２１６および右耳座標１２１７が、ユーザ／リスナー／頭部座標系１２１４の原点１２１５に対して画定され得る。行列（行列は、平行移動行列およびクォータニオン行列または他の回転行列を含み得る）、または他の適切な表現が、左耳座標１２１６および右耳座標１２１７と、ユーザ／リスナー／頭部座標系１２１４空間との間の変換を特徴付け得る。ユーザ／リスナー／頭部座標系１２１４は、ユーザの頭部に対する場所の表現、または頭部搭載型デバイスに対する（例えば、環境／世界座標系１２０８に対する）場所の表現を簡略化し得る。Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技術を用いて、ユーザ座標系１２１４と環境座標系１２０８との間の変換が、リアルタイムで決定され、更新され得る。
図１２Ｂは、現実環境１２００に対応する例示的仮想環境１２３０を例証している。示されている仮想環境１２３０は、現実の長方形の部屋１２０４Ａに対応する仮想の長方形の部屋１２０４Ｂと；現実オブジェクト１２２２Ａに対応する仮想オブジェクト１２２２Ｂと；現実オブジェクト１２２４Ａに対応する仮想オブジェクト１２２４Ｂと；現実オブジェクト１２２６Ａに対応する仮想オブジェクト１２２６Ｂとを備えている。仮想オブジェクト１２２２Ｂ、１２２４Ｂ、１２２６Ｂに関連付けられたメタデータは、対応する現実オブジェクト１２２２Ａ、１２２４Ａ、１２２６Ａに由来する情報を含み得る。仮想環境１２３０は、仮想モンスター１２３２をさらに備え、仮想モンスター１２３２は、現実環境１２００におけるどの現実オブジェクトにも対応していない。現実環境１２００における現実オブジェクト１２２８Ａは、仮想環境１２３０におけるどの仮想オブジェクトにも対応していない。点１２３４に原点を有する（ｘ軸１２３３Ｘと、ｙ軸１２３３Ｙと、ｚ軸１２３３Ｚとを備えている）持続座標系１２３３（持続座標）は、仮想コンテンツのための座標空間を画定し得る。持続座標系１２３３の原点１２３４は、現実オブジェクト１２２６Ａ等の１つ以上の現実オブジェクトに対して／関連して画定され得る。（平行移動行列およびクォータニオン行列または他の回転行列を含み得る）行列、または他の適切な表現が、持続座標系１２３３空間と環境／世界座標系１２０８空間との間の変換を特徴付け得る。いくつかの実施形態では、仮想オブジェクト１２２２Ｂ、１２２４Ｂ、１２２６Ｂ、および１２３２の各々が、持続座標系１２３３の原点１２３４に対するそれら自体の持続座標点を有し得る。いくつかの実施形態では、複数の持続座標系が存在し得、仮想オブジェクト１２２２Ｂ、１２２４Ｂ、１２２６Ｂ、および１２３２の各々は、１つ以上の持続座標系に対するそれら自体の持続座標点を有し得る。
図１２Ａおよび図１２Ｂに関して、環境／世界座標系１２０８は、現実環境１２００および仮想環境１２３０の両方のために共有座標空間を画定する。示されている例では、座標空間は、点１２０６にその原点を有する。さらに、座標空間は、同一の３つの直交軸（１２０８Ｘ、１２０８Ｙ、１２０８Ｚ）によって画定される。よって、現実環境１２００における第１の場所、および仮想環境１２３０における第２の対応する場所が、同一の座標空間で説明され得る。両方の場所を識別するために同一の座標系が用いられ得るので、このことは、現実環境および仮想環境における対応する場所を識別し表示することを簡略化する。しかしながら、いくつかの例では、対応する現実環境および仮想環境は、共有座標空間を用いる必要がない。例えば、いくつかの例（示されず）では、（平行移動行列およびクォータニオン行列または他の回転行列を含み得る）行列、または他の適切な表現が、現実環境座標空間と仮想環境座標空間との間の変換を特徴付け得る。
図１２Ｃは、複合現実システム１２１２を介して、現実環境１２００の側面と仮想環境１２３０の側面とを同時にユーザ１２１０に提示する例示的ＭＲ環境１２５０を例証している。示されている例では、ＭＲ環境１２５０は、（例えば、複合現実システム１２１２のディスプレイの透過的部分を介して）現実環境１２００からの現実オブジェクト１２２２Ａ、１２２４Ａ、１２２６Ａ、および１２２８Ａと、（例えば、複合現実システム１２１２のディスプレイのアクティブディスプレイ部分を介して）仮想環境１２３０からの仮想オブジェクト１２２２Ｂ、１２２４Ｂ、１２２６Ｂ、および１２３２とをユーザ１２１０に同時に提示する。上記のように、原点１２０６は、ＭＲ環境１２５０に対応する座標空間のための原点として機能し、座標系１２０８は、座標空間に関するｘ軸、ｙ軸、およびｚ軸を画定する。
示されている例において、複合現実オブジェクトは、現実オブジェクトおよび仮想オブジェクトの対応する対（すなわち、１２２２Ａ／１２２２Ｂ、１２２４Ａ／１２２４Ｂ、１２２６Ａ／１２２６Ｂ）を備え、それらは、座標空間１２０８における対応する場所を占めている。いくつかの例では、現実オブジェクトおよび仮想オブジェクトの両方が、同時にユーザ１２１０に視認可能であり得る。これは、例えば、仮想オブジェクトが対応する現実オブジェクトのビューを増加させるように設計された情報を提示する場合において（仮想オブジェクトが損傷した古代彫刻の欠損したピースを提示する博物館用途において等）所望され得る。いくつかの例では、仮想オブジェクト（１２２２Ｂ、１２２４Ｂ、および／または１２２６Ｂ）は、対応する現実オブジェクト（１２２２Ａ、１２２４Ａ、および／または１２２６Ａ）を塞ぐように（例えば、ピクセル化された遮蔽シャッターを用いたアクティブピクセル化遮蔽を介して）表示され得る。これは、例えば、仮想オブジェクトが対応する現実オブジェクトの視覚入れ替えとして機能する場合において（無生物の現実オブジェクトが「生きている」キャラクターになる相互作用可能な物語用途において等）所望され得る。
いくつかの例では、現実オブジェクト（例えば、１２２２Ａ、１２２４Ａ、１２２６Ａ）は、必ずしも仮想オブジェクトを構成しないこともある仮想コンテンツまたは補助データに関連付けられ得る。仮想コンテンツまたは補助データは、複合現実環境における仮想オブジェクトの処理または操作を促進し得る。例えば、そのような仮想コンテンツは、対応する現実オブジェクトの２次元表現；対応する現実オブジェクトに関連付けられたカスタムアセットタイプ；または対応する現実オブジェクトに関連付けられた統計データを含み得る。この情報は、不要な演算オーバーヘッドを招くことなく現実オブジェクトに関する計算を可能にし、またはそれを促進し得る。
いくつかの例では、上で説明される提示は、音響的側面も組み込み得る。例えば、ＭＲ環境１２５０において、仮想モンスター１２３２は、ＭＲ環境１２５０のまわりをモンスターが歩くときに生成される足音の効果等、１つ以上の音響信号に関連付けられ得る。以下でさらに説明されるように、複合現実システム１２１２のプロセッサは、ＭＲ環境１２５０における全てのそのような音の混合され処理された合成物に対応する音響信号を演算し、複合現実システム１２１２に含まれる１つ以上のスピーカ、および／または１つ以上の外部スピーカを介して音響信号をユーザ１２１０に音響信号を提示し得る。
例示的複合現実システム
図２Ａ－図２Ｄを参照すると、いくつかの概略的な構成要素のオプションが例証されている。図２Ａ－図２Ｄの議論に従う詳細な説明の部分において、ヒトのＶＲおよび／またはＡＲのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために、種々のシステム、サブシステム、およびコンポーネントが提示される。
図２Ａに示されるように、ＡＲシステムのユーザ（６０）は、ユーザの眼の前に位置付けられたディスプレイシステム（６２）に結合されたフレーム（６４）構造を特徴とする例示的頭部搭載型コンポーネント（５８）を装着して描写されている。スピーカ（６６）は、描写される構成においてフレーム（６４）に結合され、ユーザの外耳道に隣接して位置付けられ得る。（１つの実施形態では、別のスピーカ（示されず）が、ユーザのもう一方の外耳道に隣接して位置付けられることによって、ステレオサウンド制御／成形可能なサウンド制御を提供し得る）。ディスプレイ（６２）は、例えば有線または無線接続によって、ローカル処理およびデータモジュール（７０）に動作可能に結合され得（６８）、ローカル処理およびデータモジュール（７０）は、フレーム（６４）に固定的に取り付けられる構成、図２Ｂの実施形態に示されるようにヘルメットまたは帽子（８０）に固定的に取り付けられる構成、ヘットフォンとして組み込まれる構成、バックパック形式の構成でユーザ（６０）の胴に取り外し可能に取り付けられる構成、または図２Ｃの実施形態に示されるようにベルト結合形式の構成でユーザ（６０）の尻（８４）に取り外し可能に取り付けられる構成等、各種の構成で搭載され得る。
ローカル処理およびデータモジュール（７０）は、省電力プロセッサまたはコントローラのみならず、フラッシュメモリ等のデジタルメモリも備え得、それらの両方が、画像捕捉デバイス（カメラ等）、マイクロフォン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、ラジオデバイス、および／またはジャイロ等、フレーム（６４）に動作可能に結合され得るセンサから捕捉されたデータ；および／または、リモート処理モジュール（７２）および／またはリモートデータリポジトリ（７４）を用いて獲得されおよび／または処理されたデータの処理、キャッシング、および格納を（おそらく、そのような処理または回収の後、ディスプレイ（６２）への受け渡しのために）支援するために活用され得る。
ローカル処理およびデータモジュール（７０）は、例えば、有線または無線通信リンクを介してリモート処理モジュール（７２）およびリモートデータリポジトリ（７４）に動作可能に結合され得（７６，７８）、それによって、これらのリモートモジュール（７２，７４）は、互いに動作可能に結合され、ローカル処理およびデータモジュール（７０）へのリソースとして利用可能である。
１つの実施形態では、リモート処理モジュール（７２）は、データおよび／または画像情報を分析し、処理するように構成された１つ以上の比較的強力なプロセッサまたはコントローラを備え得る。１つの実施形態では、リモートデータリポジトリ（７４）は、比較的大規模なデジタルデータストレージファシリティを備え得、それは、「クラウド」リソース構成においてインターネットまたは他のネットワーク構成を通じて利用可能であり得る。１つの実施形態では、ローカル処理およびデータモジュールにおいて、全てのデータが記憶され得、全ての演算が実施され得、それによって、任意のリモートモジュールから完全に自律した使用を可能にする。
例示的複合現実システム
例示的複合現実システム１２１２（図２Ａ－図２Ｄに描写される例示的ＡＲシステムに対応し得る）は、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実頭部デバイス、またはウェアラブル複合現実頭部デバイス）を含み得、ウェアラブル頭部デバイスは、ディスプレイ（左および右の透過ディスプレイを含むこともあるし、耳近傍のディスプレイであることもあるし、ディスプレイからユーザの眼に光を結合するための関連コンポーネントであることもある）と；左および右のスピーカ（例えば、それぞれ、ユーザの左耳および右耳に隣接して位置付けられる）と；慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのテンプルアームに搭載される）と；直交コイル電磁気受信器（例えば、左のテンプルピースに搭載される）と；ユーザから離れて向けられた左および右のカメラ（例えば、深度（飛行時間）カメラ）と；（例えば、ユーザの眼の移動を検出するための）ユーザに向けられた左眼カメラおよび右眼カメラとを備えている。しかしながら、複合現実システム１２１２は、任意の適切なディスプレイテクノロジと、任意の適切なセンサ（例えば、光、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）とを組み込み得る。加えて、複合現実システム１２１２は、ネットワーク特徴（例えば、Ｗｉ－Ｆｉ性能）を組み込み、他の複合現実システムを含む他のデバイスおよびシステムと通信し得る。複合現実システム１２１２は、バッテリ（ユーザの腰のまわりに装着されるように設計されたベルトパック等、補助的ユニットとして搭載され得る）と、プロセッサと、メモリとをさらに含み得る。複合現実システム１２１２のウェアラブル頭部デバイスは、ＩＭＵまたは他の適切なセンサ等の追跡コンポーネントを含み得、追跡コンポーネントは、ユーザの環境に対するウェアラブル頭部デバイスの一連の座標を出力するように構成されている。いくつかの例では、追跡コンポーネントは、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施するプロセッサに入力を提供し得る。いくつかの例では、複合現実システム１２１２は、ハンドヘルドコントローラ１４００および／または補助ユニット１４２０も含み得、それらは、以下でさらに説明されるようなウェアラブルベルトパックであり得る。
図１３Ａ－図１３Ｄは、ＭＲＥ（ＭＲＥ１２５０に対応し得る）または他の仮想環境をユーザに提示するために用いられ得る例示的複合現実システム１３００（複合現実システム１３００は、複合現実システム１２１２に対応し得る）のコンポーネントを例証している。図１３Ａは、例示的複合現実システム１３００に含まれるウェアラブル頭部デバイス２１０２の透視図を例証している。図１３Ｂは、ユーザの頭部２２０２に装着されたウェアラブル頭部デバイス２１０２の上面図を例証している。図１３Ｃは、ウェアラブル頭部デバイス２１０２の前面図を例証している。図１３Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の側面図を例証している。図１３Ａ－図１３Ｃに示されているように、例示的ウェアラブル頭部デバイス２１０２は、例示的な左接眼レンズ（例えば、左透明導波路セット接眼レンズ）２１０８と、例示的な右接眼レンズ（例えば、右透明導波路セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、透過要素（それを通して現実環境が視認可能であり得る）のみならず、（例えば、画像変調光を介して）現実環境と重複する表示を提示するためのディスプレイ要素も含み得る。いくつかの例では、そのようなディスプレイ要素は、画像変調光の流れを制御するための表面回折光学素子を含み得る。例えば、左接眼レンズ２１０８は、左内部結合回折格子セット２１１２と、左直交瞳拡大（ＯＰＥ）回折格子セット２１２０と、左射出（出力）瞳拡大（ＥＰＥ）回折格子セット２１２２とを含み得る。同様に、右接眼レンズ２１１０は、右内部結合回折格子セット２１１８と、右ＯＰＥ回折格子セット２１１４と、右ＥＰＥ回折格子セット２１１６とを含み得る。画像変調光は、内部結合回折格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、ならびにＥＰＥ２１１６および２１２２を介してユーザの眼に伝送され得る。各内部結合回折格子セット２１１２、２１１８は、その対応するＯＰＥ回折格子セット２１２０、２１１４に向かって光を偏向させるように構成され得る。各ＯＰＥ回折格子セット２１２０、２１１４は、その関連するＥＰＥ２１２２、２１１６に向かって下方に光を増加的に偏向させるように設計され、それによって、形成された射出瞳を水平に伸ばし得る。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ回折格子セット２１２０、２１１４から受け取られた光の少なくとも一部を、接眼レンズ２１０８、２１１０の後方に画定されたユーザのアイボックス位置（示されず）に向かって外側に増加的に向け直すように構成され、アイボックスにおいて形成される射出瞳を鉛直方向に伸ばし得る。あるいは、内部結合回折格子セット２１１２および２１１８、ＯＰＥ回折格子セット２１１４および２１２０、ならびにＥＰＥ回折格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像変調光の結合を制御するための回折格子および／または屈折および反射特徴の他の配置を含み得る。
いくつかの例では、ウェアラブル頭部デバイス２１０２は、左テンプルアーム２１３０と右テンプルアーム２１３２とを含み得、左テンプルアーム２１３０は、左スピーカ２１３４を含み、右テンプルアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁気受信器２１３８は、左テンプルピースか、またはウェアラブル頭部ユニット２１０２内の別の適切な場所に位置し得る。慣性測定ユニット（ＩＭＵ）２１４０は、右テンプルアーム２１３２、またはウェアラブル頭部デバイス２１０２内の別の適切な場所に位置し得る。ウェアラブル頭部デバイス２１０２は、左深度（例えば、飛行時間）カメラ２１４２、および右深度カメラ２１４４も含み得る。深度カメラ２１４２、２１４４は、適切に異なる方向に向けられ、一緒になってより広い視野をカバーし得る。
図１３Ａ－図１３Ｄに示される例では、左画像変調光源２１２４が、左内部結合回折格子セット２１１２を通して左接眼レンズ２１０８に光結合され得、右画像変調光源２１２６は、右内部結合回折格子セット２１１８を通して右接眼レンズ２１１０に光結合され得る。画像変調光源２１２４、２１２６は、例えば、光ファイバスキャナ；デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子的光変調器を含むプロジェクタ；または、発光ディスプレイ（片面当たり１つ以上のレンズを用いて内部結合回折格子セット２１１２、２１１８に結合されたマイクロ発光ダイオード（μＬＥＤ）もしくはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等）を含み得る。入力カップリング回折格子セット２１１２、２１１８は、画像変調光源２１２４、２１２６からの光を接眼レンズ２１０８、２１１０に関する全内反射（ＴＩＲ）の臨界角より大きい角度に偏向させ得る。ＯＰＥ回折格子セット２１１４、２１２０は、ＴＩＲによって伝播している光をＥＰＥ回折格子セット２１１６、２１２２に向かって下方に増加的に偏向させる。ＥＰＥ回折格子セット２１１６、２１２２は、ユーザの眼の瞳を含むユーザの顔に向かって光を増加的に結合する。
いくつかの例では、図１３Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０の各々が、複数の導波路２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波路を含み得、各導波路は、それぞれの色チャンネル（例えば、赤、青および緑）専用である。いくつかの例では、各接眼レンズ２１０８、２１１０は、複数の組のそのような導波路を含み得、各組は、異なる波面曲率を発せられる光に与えるように構成されている。波面曲率は、ユーザの眼に対して凸であり、例えば、ユーザの前方のある距離に（例えば、各々の波面曲率の逆数に対応する距離だけ）位置付けられた仮想オブジェクトを提示し得る。いくつかの例では、ＥＰＥ回折格子セット２１１６、２１２２は、湾曲した回折溝を含み、各ＥＰＥを横断する射出光のポインティングベクトルを変更することによって凸波面曲率をもたらし得る。
いくつかの例では、表示されるコンテンツが３次元であることの知覚を創出するために、立体的に調節された左眼画像および右眼画像が、画像光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通してユーザに提示され得る。３次元仮想オブジェクトの提示の知覚される現実性は、立体的な左画像および右画像によって示される距離に近い距離で仮想オブジェクトが表示されるように導波路（および、したがって、波面曲率に対応する）を選択することによって高められ得る。この技術は、何人かのユーザによって体験される乗り物酔い（乗り物酔いは、立体的な左眼画像および右眼画像によって提供される深度知覚キューと、人間の眼の自律的遠近調節（例えば、オブジェクト距離依存フォーカス）との間の差異によって引き起こされ得る）も低減させ得る。
図１３Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上からの側面図を例証している。図１３Ｄに示されるように、複数の導波路２４０２は、３つの導波路の第１のサブセット２４０４と、３つの導波路の第２のサブセット２４０６とを含み得る。導波路の２つのサブセット２４０４、２４０６は、異なる回折線曲率を特徴とする異なるＥＰＥ回折格子によって区別され、射出光に異なる波面曲率を与え得る。導波路のサブセット２４０４、２４０６の各々内において、各導波路は、異なるスペクトルチャンネル（例えば、赤、緑および青スペクトルチャンネルのうちの１つ）をユーザの右眼２２０６に結合するために用いられ得る。（図１３Ｄに示されていないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似している。）
図１４Ａは、複合現実システム１３００の例示的ハンドヘルドコントローラコンポーネント１４００を例証している。いくつかの例では、ハンドヘルドコントローラ１４００は、グリップ部分１４４６と、頂面１４４８に沿って配置された１つ以上のボタン１４５０とを含む。いくつかの例では、ボタン１４５０は、カメラまたは他の光センサ（カメラまたは他の光センサは、複合現実システム１３００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）を伴う光追跡標的としての使用のために（例えば、ハンドヘルドコントローラ１４００の６自由度（６ＤＯＦ）の運動を追跡するために）構成され得る。いくつかの例では、ハンドヘルドコントローラ１４００は、位置または向き（ウェアラブル頭部デバイス２１０２に対する位置または向き等）を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の適切なセンサ）を含む。いくつかの例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ１４００のハンドル内に位置付けられ得、および／または、ハンドヘルドコントローラに機械的に結合され得る。ハンドヘルドコントローラ１４００は、ボタンの押下された状態のうちの１つ以上；または、（例えば、ＩＭＵによる）ハンドヘルドコントローラ１４００の位置、向き、および／または移動に対応する１つ以上の出力信号を提供するように構成され得る。そのような出力信号は、複合現実システム１３００のプロセッサへの入力として用いられ得る。そのような入力は、ハンドヘルドコントローラの位置、向きおよび／または移動（および、拡大して考えると、コントローラを保持するユーザの手の位置、向き、および／または移動）に対応し得る。そのような入力は、ユーザ押下ボタン１４５０にも対応し得る。
図１４Ｂは、複合現実システム１３００の例示的補助ユニット１４２０を例証している。補助ユニット１４２０は、システム１３００を動作させるためにエネルギーを提供するためのバッテリを含み得、補助ユニット１４２０は、システム１３００を動作させるためのプログラムを実行させるためのプロセッサを含み得る。示されているように、例示的補助ユニット１４２０は、補助ユニット１４２０をユーザのベルトに取り付けるため等のクリップ２１２８を含む。ユニットをユーザのベルトに搭載することを伴わないフォームファクタを含む他のフォームファクタが、補助ユニット１４２０に適しており、明らかであろう。いくつかの例では、補助ユニット１４２０は、複数のコンジットケーブルを通してウェアラブル頭部デバイス２１０２に結合され、複数導管ケーブルは、例えば、電気ワイヤおよびファイバオプティクスを含み得る。補助ユニット１４２０とウェアラブル頭部デバイス２１０２との間の無線接続も用いられ得る。
いくつかの例では、複合現実システム１３００は、音を検出して対応する信号を複合現実システムに提供するための１つ以上のマイクロフォンを含み得る。いくつかの例では、マイクロフォンは、ウェアラブル頭部デバイス２１０２に取り付けられ、またはそれと統合され得、マイクロフォンは、ユーザの声を検出するように構成され得る。いくつかの例では、マイクロフォンは、ハンドヘルドコントローラ１４００および／または補助ユニット１４２０に取り付けられ、またはそれと統合され得る。そのようなマイクロフォンは、環境音、周囲のノイズ、ユーザまたは第三者の声、または他の音を検出するように構成され得る。
例示的複合現実ネットワークアーキテクチャ
ここで図３を参照すると、概略図は、クラウドコンピューティングアセット（４６）とローカル処理アセットとの間の連携を例証しており、ローカル処理アセットは、例えば、ユーザの頭部（１２０）に結合されている頭部搭載型構成部品（５８）、ならびに、ユーザのベルト（３０８）に結合されているローカル処理およびデータモジュール（７０）内に存在し得る。コンポーネント７０は、「ベルトパック」７０とも称され得る。１つの実施形態では、１つ以上のサーバシステム（１１０）等のクラウド（４６）アセットは、例えば有線または無線のネットワーキング（無線は移動性のために好ましく、有線は所望され得る特定の高帯域幅または大データ量転送のために好ましい）を介して、上で説明されるようにユーザの頭部（１２０）およびベルト（３０８）に結合されているローカルコンピューティングアセット（プロセッサおよびメモリ構成等）のうちの一方または両方に直接的に（４０、４２）動作可能に結合され得る（１１５）。ユーザにローカルなこれらのコンピューティングアセットは、図８を参照して下記で議論される有線結合（６８）等の有線および／または無線の接続構成（４４）を介して、相互にも動作可能に結合され得る。１つの実施形態では、ユーザの頭部（１２０）に搭載されている低慣性かつ小型のサブシステムを維持するために、ユーザとクラウド（４６）との間の主な転送は、ベルト（３０８）に搭載されたサブシステムとクラウドとの間のリンクを介し得る。頭部搭載型（１２０）サブシステムは、主に、個人用コンピューティング周辺機器接続用途において現在採用され得る超広帯域幅（「ＵＷＢ」）接続等の無線の接続を用いて、ベルトベースの（３０８）サブシステムへデータテザリングされ得る。
効率的なローカルな処理とリモート処理との連携、および図２Ａに示されているユーザインタフェースもしくはユーザディスプレイシステム（６２）またはそれらの変形等のユーザのための適当なディスプレイデバイスによって、ユーザの現在の実際の場所または仮想の場所に適切な１つの世界の側面が、ユーザに転送または「渡され」、効率的な手法で更新され得る。つまり、世界のマップは、格納場所で継続的に更新され得、格納場所は、部分的にユーザのＡＲシステム上に存在し得、部分的にクラウドリソース内に存在し得る。マップ（「渡すことが可能な世界モデル」とも称される）は、現実世界に関するラスタ像と、３Ｄおよび２Ｄポイントと、パラメータ情報と、他の情報とを備えている大きなデータベースであり得る。ますます多くのＡＲユーザが彼らの現実環境についての情報を（例えばカメラ、センサ、ＩＭＵ等を通して）継続的に捕捉するにつれて、マップは、ますます正確かつ完璧になり得る。
クラウドコンピューティングリソース上に存在し得、そこから配布され得る１つの世界モデルが存在する上で説明されるような構成では、そのような世界は、リアルタイムのビデオデータ等を渡して回ることが好ましい比較的低い帯域幅の形式で１人以上のユーザに「渡すことが可能」であり得る。彫像の近くに立っている人の拡張体験（すなわち、図１で示されているような体験）は、クラウドベースの世界モデルによって情報を与えられ得、そのモデルのサブセットは、ビューを仕上げるために彼らおよび彼らのローカルディスプレイデバイスへ受け継がれ得る。机上に据え置かれているパーソナルコンピュータのように単純であり得るリモートディスプレイデバイスに向かって座っている人が、クラウドから情報の同一のセクションを効率的にダウンロードし得、それを彼らのディスプレイ上でレンダリングし得る。実際、公園内で彫像の近くに実際に存在する１人が、遠隔に位置する友人を連れてその公園内を散歩し、その友人は仮想現実および拡張現実を通して参加し得る。システムは、道がどこにあるか、木がどこにあるか、彫像がどこにあるかを知っている必要があり得る。いくつかの実施形態では、そのような情報はクラウド上に記憶されており、参加する友人は、シナリオの側面をクラウドからダウンロードし、そして、実際に公園内にいる人に対してローカルな拡張現実として歩行を開始する。
３Ｄポイントは、環境から捕捉され得、それらの画像またはポイントを捕捉するカメラの姿勢（すなわち、世界に対するベクトルおよび／または原点位置情報）が決定され得、それによって、これらのポイントまたは画像は、この姿勢情報で「タグ付け」され得るか、またはそれに関連付けられ得る。第２のカメラによって捕捉されたポイントが、第２のカメラの姿勢を決定するために活用され得る。つまり、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを向け、および／またはそれを位置決めし得る。（位置決めされている２つのカメラが周囲に存在するので）この知識は、現実世界のテクスチャを抽出し、マップを作成し、および仮想コピーを創出するために活用され得る。
そのため、ベースレベルにおいて、１つの実施形態では、人装着型システムが、３Ｄポイントと、ポイントを生み出す２Ｄ画像との両方を捕捉するために活用され得、これらのポイントおよび画像が、クラウドストレージおよび処理リソースに送信され得る。ポイントおよび画像は、組み込まれた姿勢情報と一緒にローカルにキャッシュされ得（すなわち、タグ付けされた画像をキャッシュする）；そのため、クラウドは、３Ｄポイントと一緒に、タグ付けされた（すなわち、３Ｄ姿勢でタグ付けされた）２Ｄ画像を準備のできた状態で有し得る（すなわち、利用可能なキャッシュ内にある）。ユーザが動的なものを観測している場合、運動に関係する追加の情報が、クラウドに送信され得る（例えば、別の人の顔を見ている場合、周囲の世界が別様に基本的に静的であっても、顔のテクスチャマップが撮影され得、最適化された頻度でプッシュアップされ得る）。オブジェクト認識部および渡すことが可能な世界モデルに関するより多くの情報は、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ａｕｇｍｅｎｔｅｄ ａｎｄ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ」と題された米国特許出願第１４／２０５，１２６号に見出され得、それは、その全体が参照によって本明細書中に援用される。
複合現実座標フレーム
図４は、「頭部」座標フレームを有するＨＭＤ ＡＲデバイスを装着するユーザの例示的環境を例証している。ＨＭＤは、例えば上で説明される渡すことが可能な世界創出およびマッピングによって「世界」座標フレームを創出し得、ユーザの頭部の位置および向きが、世界座標フレームに対して測定され得る。環境は、仮想コンテンツも備え得、仮想コンテンツはそれ自身の「ローカル」座標フレームを有し得る。仮想コンテンツの配置は、ローカルから世界座標フレームへの変換を適用することによってＨＭＤにより処理され得る。
ユーザの頭部であり得るような世界座標フレームに直接的に測定されるのでなく、仮想コンテンツにその固有の座標フレームを与えることによって、仮想コンテンツは、より永続的なフレーム位置を選択し得る。例えば、仮想ランプがテーブル上に配置されている場合、実質的に経時的に変化しない仮想ランプの相対的位置付けのための配置入力を提供するためのテーブル上の複数のデータポイントが存在し得る。対照的に、世界マップが特定の向きおよび位置の関数として創出され、ユーザがその位置または向きを変化させた場合、したがって新たな世界座標フレームを必要とする場合、仮想ランプは、ランプの出現においてジターまたは位置シフトを誘導し得る新たな世界フレームワークに調節するのでなく、同一のローカル座標フレームを活用し続け得る。
いくつかの実施形態では、座標フレームは、複合現実システム（例えば、複合現実システム１２１２または１３００）のセンサを用いることによって確立され得る。例えば、世界座標フレームは、深度センサ、飛行時間カメラ、ＬＩＤＡＲセンサ、および／またはＲＧＢカメラを用いて創出され、物理的オブジェクトの互いに対する配置を識別し得る。部屋の中で用いられる複合現実システムは、部屋の物理的特徴を識別し、それらの特徴の配置を識別し得る。例えば、複合現実システムは、壁に対するデスクの配置、床に対するデスクの配置、キャビネットに対するデスクの配置、椅子に対するデスクの配置を決定し得る。ユーザが部屋中を歩き回ると、世界座標フレームは、物理的オブジェクトが異なる角度および／または異なる距離から視認されるように洗練され、相対位置をより正確に決定し得る。複合現実システムは、世界座標フレームと比較してよりローカライズされた特徴を用いて、ローカル座標フレームも確立し得る。例えば、ローカル座標フレームは、机の特徴を識別し、それらの特徴の相対的配置を識別することによって机のために確立され得る。デスクの角が識別され、互いに対して配置され得、それによって、仮想オブジェクトは、現実オブジェクトであるかのようにデスク上に据え置かれているように表示され得る。仮想オブジェクトは、ローカル座標フレームを用いて配置され得る（例えば、仮想オブジェクトの位置は、デスクの角に対して決定される）。そして、（例えば、デスクの）ローカル座標フレームは、部屋内の他の物理的オブジェクトに対してデスクを配置することが可能な世界座標フレームに変換され得る。
図５は、頭部座標フレームといずれかのディスプレイユニット（ずなわち、双眼システムにおける左／右、または単眼視野での単一のシステム）のためのレンダリングカメラとの間のさらなる座標フレーム変換を描写している。ディスプレイ媒体は、ユーザの眼に対する位置が変動し得るので、仮想コンテンツがその位置に対してレンダリングされる場合、さらなる座標フレーム分析を必要とし得る。頭部座標フレームに対するレンダリングカメラの位置は、キャリブレーションレベルイントリンシクスによって提供され得る。コンテンツがレンダリングカメラと無関係にディスプレイに投影される場合、眼の位置の変化は、意図されたコンテンツの位置をワープし得る。レンダリングカメラ変換のさらなる議論が以下で提供される。
図６は、マルチユーザシステムを表示しており、ユーザ１およびユーザ２が同一の仮想コンテンツを観測している。描写されるように、世界座標フレームは、各ユーザ自身のデバイスに対して創出されていることもあり、仮想コンテンツは、ローカル座標フレームを有し得、そして、ローカル座標フレームは、いずれかの世界座標フレーム（例えば、世界１および世界２）に変化し得る。
いくつかの実施形態では、図７に示されるように、ユーザ１およびユーザ２は、世界座標フレームを共有し得る。これは、世界座標フレームの質の小さな変動を防ぎ、システムノイズが共通のコンテンツの異なるビューを与えることを防ぎ得る。
例えば、図８Ａにおいて、ユーザ１およびユーザ２は部屋内にいるが、ユーザ２は、左側の壁により近く、その結果、ユーザ２がその壁の近くのコンテンツの方を見ると、信頼性のある長期的世界座標フレームを収集し創出するためのより少ないデータポイントを有する。対照的に、ユーザ１が仮想コンテンツを見るとき、信頼性のある世界座標フレームを創出するために視線内により多くのオブジェクトが存在する。ユーザ２は、ユーザ１によって創出された世界座標フレームを活用し得る。マップの質の分析および世界座標フレームの適性は、米国特許出願第６２／７０２８２９号「Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓｅｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ ａｎｄ／ｏｒ Ｅｖａｌｕａｔｉｎｇ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍａｐｓ ｏｆ Ｈｅａｄ－Ｗｏｒｎ Ｉｍａｇｅ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅｓ」と併せてさらに可能となり、その内容は、その全体が参照によって本明細書中に援用される。
図８Ｂのようにユーザ２が壁のより近くに移動する場合、ユーザ１の世界座標フレームがもはやユーザ２によって視認されないことがあり得る。ユーザ２は、頭部姿勢を測定することが可能でないこともあり、したがって、仮想コンテンツは、ユーザ２の移動によって浮くかまたはシフトし始め得る。その代わり、世界におけるより低い信頼性ではあるが、図８Ｃに描写されるように、新たな世界２座標フレームが創出され得る。
いくつかの実施形態において、複合現実システム（例えば、複合現実システム１２１２または１３００）は、サーバから世界座標フレームを受信し得る。例えば、部屋は、以前の複合現実システムによってマッピングされていることもあり、確立された世界座標フレームがサーバにアップロードされ得る。新たなユーザが同一の部屋に入ると、複合現実システムは、部屋が既にマッピングされていることを認識し、サーバから適切な世界座標フレームを受信し得る。複合現実システムは、場所追跡（例えば、ＧＰＳ座標またはＷｉ－Ｆｉ三角測量）を用いて、および／またはコンピュータビジョン（例えば、部屋内の特徴を認識し、既にマッピングされた部屋の特徴にその特徴を合致させる）を用いて部屋を識別し得る。いくつかの実施形態では、サーバから受信された世界座標フレームは、ユーザ１またはユーザ２によって確立された世界座標フレームより信頼性が高くあり得る。例えば、部屋をマッピングする各複合現実システムは、追加情報をサーバにアップロードし、それによって、サーバ内に記憶されている蓄積的世界座標フレームの信頼性を増加させ得る。複合現実システムまたはサーバは、部屋が既に確立された世界座標フレームを有することを認識すると、いくつかの世界座標フレームのうちのどれがより信頼性が高いかを決定し得、複合現実システムは、最も信頼性の高い世界座標フレームを活用し得る。
図９Ａは、頭部座標からディスプレイユニットに変換するための第１のレンダリングカメラプロトコルを描写している。描写されているように、ユーザの片目の瞳が位置Ａから位置Ｂに移動する。光学的パワーを与えられると仮想オブジェクトを表示する光学的接眼レンズに関して、静止して見えるべき仮想オブジェクトは、瞳位置に基づいて２つの位置のうちの１つにおいて３Ｄで投影され得る（レンダリングカメラが座標フレームとして瞳を用いるように構成されていることを想定している）。つまり、頭部座標に変換された瞳座標を用いることは、ユーザの眼が移動するときに静止している仮想コンテンツにおいてジターを引き起こし得る。これは、ビュー依存型表示または投影システムと称される。
いくつかの実施形態では、図９Ｂに描写されるように、カメラレンダリングフレームは、全ての瞳位置を含むように、例えば、眼球の回転の中心に位置付けられている。オブジェクト投影ＣＲ領域は、瞳位置ＡおよびＢに無関係に一致し得る。頭部座標は、カメラレンダリングフレームに変化し得、それは、ビュー独立型表示または投影システムと称される。いくつかの実施形態では、画像のワープが、眼の位置の変化を説明するために仮想コンテンツに与えられるが、これが依然として同一の位置にレンダリングするので、ジターが最小化され得る。
同期型仮想コンテンツ
仮想コンテンツが共有され得る環境の場合、さらなる実施形態が、上で詳細に説明される座標フレームプロトコルによって可能とされる。
図１０Ａは、ユーザ１およびユーザ２の両方に表示される共有型仮想オブジェクト１１０２を例証している。ユーザ１およびユーザ２は、それぞれ、視認ベクトル１および２を有し得、視認ベクトル１および２は、仮想オブジェクト１１０２に対する例示的ｘ－ｙ－ｚ世界座標フレーム１１００で測定される。いくつかの実施形態では、角度差θＡが、２つのベクトル間で測定され得る。ベクトル１および２は、世界座標フレームにおける仮想コンテンツに対するユーザ角度位置に基づいて、ユーザから仮想コンテンツ１１０２まで測定され得るが、θＡは、絶対的測定値でなくベクトルの比較であり得るので、座標フレームにとらわれないこともある。つまり、ユーザ１およびユーザ２が異なる世界座標フレームを用いている場合、２つのフレーム間の変換は、角度差θＡを決定するためだけに必要とされ得るが、θＡ自体は、特定の世界座標フレームを用いることに依存しない。
いくつかの実施形態では、ローカル座標フレームに固定されたコンテンツで全ての視認者にコンテンツを表示するのではなく、全ての視認者の間の共有型相互作用を高めるために、提示は、指定されたユーザとの角度関係に基づいて作成され得る。
図１０Ｂは、ユーザ１とユーザ２との間の同期型ビューを例証しており、ユーザ１は、仮想コンテンツ１１０２を視認する視点を制御する「ディレクター」またはホストとして指定され、仮想コンテンツ１１０２を視認する全てのユーザの視点を制御し得る。ユーザ１がビューのディレクターとなっている時刻ｔＡにおいて、仮想コンテンツは、ユーザ１のそれに等しい視点で、ユーザ１が共に共有型コンテンツ視認モードにある全てのユーザに表示され得る。共有型ディレクタービューの視認者であるユーザ２は、仮想コンテンツ１１０２－Ａがユーザ２に表示され得、それは、時刻ｔＡにおいて角度差θＡで回転させられた仮想オブジェクト１１０２であり得る。
ユーザ間でのディレクターとしてのユーザ１の立場の持続時間の間、仮想コンテンツ１１０２は、所与の時刻におけるそれぞれの視認ユーザとディレクターユーザとの間の角度差を反映している角度回転θｎで時刻ｔｎにおいて複数のユーザに表示され得る。
図１１Ａ－Ｂは、これをさらに例証しており、ディレクターモードであるユーザ１は、時刻ｔＢにおいて仮想オブジェクト１１０２のまわりを移動し、（図１１Ａに示されるように）ユーザ２との角度差θＢを有する。図１１Ｂは、新たな角度回転を例証しており、ユーザ２に仮想コンテンツ１１０２－Ｂを表示する。ユーザ２に表示されるユーザ１の角度変化の蓄積効果は、ユーザ２が物理的に移動していないにもかかわらず、仮想コンテンツ１１０２がユーザ２に対して回転するように見えることがあり得る。
いくつかの実施形態では、ディレクタービューは、角度変化のみであり得、仮想コンテンツとのディレクターの相対的距離は、視認ユーザがどのように仮想コンテンツが彼らに表示されるかに影響を与えない。図１１Ｃは、ユーザ１（ディレクター）がユーザ２に対する角度差θＢを有する位置を移動したが、図１１Ａおよび図１１Ｂにおけるユーザ１の距離と比較して仮想コンテンツ１１０２との距離を減少させたシナリオを例証している。いくつかの実施形態では、これは、ユーザに対する角度回転のみを生成し得、それによって、回転のみさせられた仮想コンテンツ１１０２－Ｂが表示される。仮想コンテンツが、スケーリングされた仮想コンテンツ１１０２－１としてユーザ１に表示されるのに対し、ユーザ２は、１１０２－Ｂの同様にスケーリングされたバージョンを見ないこともある。いくつかの実施形態では、仮想コンテンツの表示は、仮想コンテンツ１１０２のためのローカル座標フレームに対するユーザ１の位置に対してスケーリングし得るが、共有型視点のビューのこの実施形態は角度差を考慮するので、そのような距離スケーリングは、共有視認者に表示されないこともある。
図１１Ｄ－図１１Ｅは、仮想コンテンツがユーザ１とユーザ１をディレクターとするユーザ２とにどのように表示され得るかに関するこの関係を例証している。図１１Ｄは、ユーザ１の視野１１０４－１を例証しており、その視野を通じて、仮想コンテンツ１１０２－１は、角度および距離位置の両方の関数として仮想コンテンツ１１０２に対するユーザ１の位置に従って表示され得る。図１１Ｅは、ユーザ２の視野１１０４－２を例証しており、その視野を通じて、仮想コンテンツ１１０２－Ｂは、ユーザ１に対するユーザ２の角度差に従うが、仮想コンテンツ１１０２からのユーザ２の距離には従わずに表示され得る。
いくつかの実施形態において、同期型視認モードで表示される仮想コンテンツは、専らホスティングユーザの視点から１人以上の視認ユーザに表示され得る。例えば、ホスティングユーザ（ディレクターであり得る）は、仮想コンテンツを選択し、同期型視認モードで表示し得る。そして、１人以上の視認ユーザは、選択された仮想コンテンツをホスティングユーザの視点から視認し得る。いくつかの実施形態では、同期型仮想コンテンツは、視認ユーザの座標フレームと無関係に表示され得る。例えば、１人以上の視認ユーザは、視認ユーザの視野の中心において同期型仮想コンテンツを視認し得る。視認ユーザの座標フレームと無関係に表示される同期型仮想コンテンツは、視認ユーザの頭部姿勢および／または場所に対して固定されていないこともある仮想コンテンツを表示し得る。例えば、視認ユーザは、複合現実システム（複合現実システム１２１２または１３００に対応し得る）を装着している間、異なる方向に動き回り、異なる方向を見得るが、同期型仮想コンテンツは、ホスティングユーザの視点から視認ユーザに表示され続け得る。
いくつかの実施形態では、同期型仮想コンテンツは、視認ユーザの１つ以上の座標フレームを用いて１人以上の視認ユーザに表示され得る。例えば、同期型仮想コンテンツは、世界座標フレームおよびローカル座標フレームを用いて視認ユーザに表示され得る。仮想コンテンツの中心は、ローカル座標フレーム内の座標に固定され得、ローカル座標フレームは、世界座標フレーム（または他の座標フレーム）に変換され得る。仮想コンテンツの中心は、座標フレームに固定され得るが、同期型仮想コンテンツの視点は、ホスティングユーザの視点に同期させられ得る。例えば、ホスティングユーザが同期型仮想コンテンツの周りを歩き回ると、同期型仮想コンテンツは、同期型仮想コンテンツを見ている視認ユーザに対して回転して表示され得、それによって、視認ユーザはホスティングユーザと視点を共有する。いくつかの実施形態では、ホスティングユーザが同期型仮想コンテンツのより近くに移動するか、またはそれからより遠くに離れて移動すると、視認ユーザに表示される同期型仮想コンテンツは、そのサイズが視認ユーザとホスティングユーザとの両方に同じに見えるようにスケーリングし得る。いくつかの実施形態では、ホスティングユーザが同期型仮想コンテンツのより近くに移動するか、またはそれからより遠くに離れて移動すると、視認ユーザに表示される同期型仮想コンテンツは、スケーリングしないこともある（例えば、ホストユーザがより近くに移動すると、視認ユーザに表示される同期型仮想コンテンツは、より大きいサイズに見えない）。視認ユーザが視点をシフトし、同期型仮想コンテンツから目を背ける場合、同期型仮想コンテンツは、もはや視認ユーザに表示されないこともあり、同期型仮想コンテンツは、座標フレーム内の定位置に中心を置かれたままであり得る。いくつかの実施形態では、ホスティングユーザおよび視認ユーザは、座標フレーム（例えば、世界座標フレームおよび／またはローカル座標フレーム）を共有し、同期型仮想コンテンツの配置の一貫性を維持し得る。
いくつかの実施形態では、ホスティングユーザが、視認ユーザに表示され得る同期型仮想コンテンツを操作し得る。例えば、ホスティングユーザは、同期型仮想コンテンツをより大きいサイズまたはより小さいサイズにサイズ変更し得る。ホスティングユーザは、ホスティングユーザの同期型仮想コンテンツの視点を物理的に移動させることなく、およびそれをシフトすることなく、同期型仮想コンテンツを回転させることも可能である。ホスティングユーザは、同期型仮想コンテンツを異なる場所に位置変更することも可能であり、位置変更は、座標フレームおよび／または変換行列を用いて確立され得る。ホスティングユーザが、視認ユーザがホスティングユーザと同一の同期型仮想コンテンツの視点を維持するように同期型仮想コンテンツを操作している間、視認ユーザは、同期仮想コンテンツを視認し得る。いくつかの実施形態では、ホスティングユーザは、複合現実システム（例えば、複合現実システム１２１２または１３００）を用いるユーザであり得る。他の実施形態では、ホスティングユーザは、２Ｄスクリーンを有し得るコンピュータまたはモバイルデバイスを用いて同期型仮想コンテンツを操作し、またはそれを視認し得る。
本発明の種々の例示的実施形態が、本明細書中で説明される。非限定的意味でこれらの例の言及がなされる。それらの例は、本発明のより広範に適用可能な側面を例証するために提供される。本発明の真の意図および範囲から逸脱することなく、種々の変更が説明された発明になされ得、同等物が代用され得る。加えて、本発明の特定の状態、材料、合成物、プロセス、プロセスアクト（単数または複数）もしくはステップ（単数または複数）を本発明の目的（単数または複数）、意図、または範囲に適合させるために、多くの修正がなされ得る。さらに、当業者によって認識されるように、本発明の範囲または意図から逸脱することなく、本明細書中で説明され例証される個々のバリエーションの各々が個別のコンポーネントおよび特徴を有し、それらは、他の多くの実施形態のうちのいずれかの特徴から容易に分離され、またはそれと組み合わせられ得る。全てのそのような修正は、この開示に関連付けられる請求項の範囲内において意図される。
本発明は、本デバイスを用いて実施され得る方法を含む。方法は、そのような適切なデバイスを提供する行為を含み得る。そのような提供は、エンドユーザによって実施され得る。つまり、「提供する」行為は、単に、本方法における必須のデバイスを提供するために、エンドユーザが、取得し、アクセスし、接近し、位置付け、設定し、作動させ、起動し、さもなければ作用することを必要とするに過ぎない。本明細書中に記載される方法は、論理的に可能である記載されたイベントの任意の順序で実行されるのみならず、イベントの記載された順序で実行され得る。
本発明の例示的な側面が、材料選択および製造に関する詳細と一緒に上述された。本発明の他の詳細について、これらは、上で言及される特許および刊行物のみならず、当業者によって一般的に知られており、または認識されている特許および刊行物とも関連して理解され得る。同じことが、一般的または論理的に採用される追加の行為の観点から、本発明の方法ベースの側面について当てはまり得る。
加えて、本発明は種々の特徴を随意に組み込んだいくつかの例に言及して説明されたが、本発明は、本発明の各バリエーションに関して想定されるものとして説明されまたは示されるものに限定されるべきではない。本発明の真の意図および範囲から逸脱することなく、種々の変更が、説明される発明になされ、（本明細書中に記載されているか、または簡潔さのために含まれていないかに関わらず）同等物が代用され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、および任意の他の記載される値または介在値が本発明のうちに含まれることが理解される。
同様に、説明される本発明のバリエーションの任意の随意的特徴が、独立して、または本明細書で説明される特徴のうちの任意の１つまたは複数と組み合わせて述べられ請求され得ることが想定される。単数形のアイテムへの言及は、複数形の同一のアイテムが存在する可能性を含む。特に、本明細書およびそれに関連する請求項において用いられる場合、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、そうでないことが具体的に記載されていない限り、複数形の言及を含む。つまり、冠詞の使用は、上の説明のみならず本開示に関連付けられた請求項においても、本アイテムのうちの「少なくとも１つ」を可能にする。そのような請求項は、任意の随意的要素を排除するようにドラフトされ得ることが留意される。そのため、この陳述は、請求要素の記載と関連した「ｓｏｌｅｌｙ」、「ｏｎｌｙ」の類のそのような排除的用語の使用、または「ネガティブな」限定の使用のための先行する根拠として機能することを意図されている。
そのような排除的用語の使用なく、本開示に関連付けられた請求項中の用語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加がそのような請求項で述べられる要素の性質を変形しているとみなされ得るかに関わらず、任意の追加の要素の包含を可能にするものとする。本明細書において具体的に定義される場合を除き、本明細書で用いられる全ての技術的用語および科学的用語は、請求項の有効性を維持しながら、可能な限り広く一般的に理解される意味として与えられるべきである。
本発明の幅は、提供される例および／または本明細書に限定されるべきではないが、本開示に関連付けられた請求項の言葉の範囲によってのみ限定されるべきである。

Claims (1)

  1. 本願明細書に記載の発明。
JP2024008629A 2018-09-25 2024-01-24 拡張現実のためのシステムおよび方法 Pending JP2024042018A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862736432P 2018-09-25 2018-09-25
US62/736,432 2018-09-25
PCT/US2019/052992 WO2020069006A1 (en) 2018-09-25 2019-09-25 Systems and methods for augmented reality
JP2021540396A JP7316360B2 (ja) 2018-09-25 2019-09-25 拡張現実のためのシステムおよび方法
JP2022141180A JP7445720B2 (ja) 2018-09-25 2022-09-06 拡張現実のためのシステムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022141180A Division JP7445720B2 (ja) 2018-09-25 2022-09-06 拡張現実のためのシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2024042018A true JP2024042018A (ja) 2024-03-27

Family

ID=69884956

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021540396A Active JP7316360B2 (ja) 2018-09-25 2019-09-25 拡張現実のためのシステムおよび方法
JP2022141180A Active JP7445720B2 (ja) 2018-09-25 2022-09-06 拡張現実のためのシステムおよび方法
JP2024008629A Pending JP2024042018A (ja) 2018-09-25 2024-01-24 拡張現実のためのシステムおよび方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2021540396A Active JP7316360B2 (ja) 2018-09-25 2019-09-25 拡張現実のためのシステムおよび方法
JP2022141180A Active JP7445720B2 (ja) 2018-09-25 2022-09-06 拡張現実のためのシステムおよび方法

Country Status (5)

Country Link
US (3) US11094127B2 (ja)
EP (1) EP3857291A4 (ja)
JP (3) JP7316360B2 (ja)
CN (2) CN113168007B (ja)
WO (1) WO2020069006A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168007B (zh) 2018-09-25 2023-09-15 奇跃公司 用于增强现实的系统和方法
CN111523474B (zh) * 2020-04-23 2023-09-26 维沃移动通信有限公司 目标对象追踪方法及电子设备
GB2596588B (en) * 2020-07-03 2022-10-26 Sony Interactive Entertainment Inc Data processing apparatus and method
US11756225B2 (en) 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US11176756B1 (en) 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
USD1024198S1 (en) 2022-03-10 2024-04-23 Campfire 3D, Inc. Augmented reality console
USD1014499S1 (en) 2022-03-10 2024-02-13 Campfire 3D, Inc. Augmented reality headset
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11704864B1 (en) * 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
WO2024026245A2 (en) * 2022-07-28 2024-02-01 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US20240073402A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Multi-perspective augmented reality experience
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment
CN117170504B (zh) * 2023-11-01 2024-01-19 南京维赛客网络科技有限公司 在虚拟人物交互场景中带人观看的方法、系统及存储介质
CN117893692A (zh) * 2024-03-12 2024-04-16 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP2001022958A (ja) 1999-07-06 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間システムにおけるオブジェクト表示方法およびオブジェクト表示プログラムを記録した記録媒体
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
CA2967756C (en) 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20080211771A1 (en) * 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
JP5337915B2 (ja) * 2010-09-30 2013-11-06 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130077147A1 (en) 2011-09-22 2013-03-28 Los Alamos National Security, Llc Method for producing a partially coherent beam with fast pattern update rates
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
JP2016071900A (ja) 2014-09-30 2016-05-09 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム
EP3281403A4 (en) * 2015-04-06 2018-03-07 Scope Technologies US Inc. Methods and apparatus for augmented reality applications
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
CN109478342B (zh) 2016-07-15 2020-03-10 纳维株式会社 图像显示装置及图像显示系统
US10482665B2 (en) * 2016-12-16 2019-11-19 Microsoft Technology Licensing, Llc Synching and desyncing a shared view in a multiuser scenario
US10685489B2 (en) * 2017-03-02 2020-06-16 Daqri, Llc System and method for authoring and sharing content in augmented reality
JP6509938B2 (ja) * 2017-05-02 2019-05-08 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor
US20200021668A1 (en) * 2018-07-13 2020-01-16 Merge Labs, Inc. Dynamic augmented reality collaboration system using a trackable three-dimensional object
WO2020015611A1 (zh) * 2018-07-20 2020-01-23 广东虚拟现实科技有限公司 虚拟内容的交互显示方法、终端设备及存储介质
CN112639664B (zh) 2018-07-24 2023-03-24 奇跃公司 用于确定和/或评价图像显示设备的定位地图的方法和装置
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
CN113168007B (zh) 2018-09-25 2023-09-15 奇跃公司 用于增强现实的系统和方法

Also Published As

Publication number Publication date
EP3857291A1 (en) 2021-08-04
US20220005282A1 (en) 2022-01-06
US11928784B2 (en) 2024-03-12
JP2022168029A (ja) 2022-11-04
CN113168007B (zh) 2023-09-15
JP2022502800A (ja) 2022-01-11
CN117572954A (zh) 2024-02-20
US11094127B2 (en) 2021-08-17
JP7316360B2 (ja) 2023-07-27
US11651565B2 (en) 2023-05-16
CN113168007A (zh) 2021-07-23
EP3857291A4 (en) 2021-11-24
US20200098191A1 (en) 2020-03-26
WO2020069006A1 (en) 2020-04-02
JP7445720B2 (ja) 2024-03-07
US20230162454A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
JP7445720B2 (ja) 拡張現実のためのシステムおよび方法
US10643394B2 (en) Augmented reality
US20170053445A1 (en) Augmented Reality
CN115516364B (zh) 工具桥
JP7369212B2 (ja) 空間コンピューティングのための写実的キャラクタ構成
JP2023513250A (ja) 仮想コンテンツの動的併置
JP2023130426A (ja) 複合現実における空間命令およびガイド
US11561613B2 (en) Determining angular acceleration
US11961194B2 (en) Non-uniform stereo rendering

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240124