JP7257960B2 - 複合現実ビューアシステムおよび方法 - Google Patents

複合現実ビューアシステムおよび方法 Download PDF

Info

Publication number
JP7257960B2
JP7257960B2 JP2019548722A JP2019548722A JP7257960B2 JP 7257960 B2 JP7257960 B2 JP 7257960B2 JP 2019548722 A JP2019548722 A JP 2019548722A JP 2019548722 A JP2019548722 A JP 2019548722A JP 7257960 B2 JP7257960 B2 JP 7257960B2
Authority
JP
Japan
Prior art keywords
real
viewer
streaming media
user
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019548722A
Other languages
English (en)
Other versions
JP2020514900A5 (ja
JP2020514900A (ja
Inventor
トラビス コセアート
ウェイ イエ
Original Assignee
ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー filed Critical ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Publication of JP2020514900A publication Critical patent/JP2020514900A/ja
Publication of JP2020514900A5 publication Critical patent/JP2020514900A5/ja
Application granted granted Critical
Publication of JP7257960B2 publication Critical patent/JP7257960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/837Shooting of targets
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/843Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G21/00Chutes; Helter-skelters
    • A63G21/04Chutes; Helter-skelters with fixed rails
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G21/00Chutes; Helter-skelters
    • A63G21/06Chutes; Helter-skelters with passing arrangements for cars
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G27/00Russian swings; Great wheels, e.g. Ferris wheels
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • A63G31/16Amusement arrangements creating illusions of travel
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G7/00Up-and-down hill tracks; Switchbacks
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0145Head-up displays characterised by optical features creating an intermediate image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024Multi-user, collaborative environment

Description

[関連出願の相互参照]
本出願は、2017年3月6日に出願された「SYSTEMS AND METHODS FOR DIGITAL OVERLAY IN AN AMUSEMENT PARK ENVIRONMENT」と題する米国仮特許出願第62/467,817号に基づく優先権および利益を主張するものであり、その全体が参照により本明細書に組み入れられる。
本明細書で開示される主題はアミューズメントパークのアトラクションに関し、より具体的には、アミューズメントパークのアトラクションにおいて拡張現実体験および仮想現実体験を提供することに関する。
アミューズメントパークまたはテーマパークはアミューズメントパークのゲスト(例えば、家族および/またはあらゆる年齢の人々)に楽しみを提供する様々なエンターテイメントアトラクションを含み得る。伝統的に、アトラクションは道具、家具、建物のレイアウト、小道具、装飾等を使用して構築され得るテーマ環境を含み得る。テーマ環境の複雑さによってはこのためにテーマ環境を作り上げることおよび替えることが非常に難しく時間のかかるものであることが判明することがある。加えて、全てのゲストを楽しませるテーマ環境を作り上げることは非常に難しいものであり得る。実際に、同一のテーマ環境が魅力的であるゲストもいるが、他のゲストに対してはそうではない可能性もある。したがって、現在は従来技術に対して柔軟で効果的な方法でそのようなアトラクションにおいてアトラクションのテーマを変更することが可能であり得るアトラクションを含むこと、または所定のテーマの特徴を含むかまたは取り除くことが望ましいと認識されている。それらのアトラクションに対してゲストが没入できる体験を高めること、およびゲストに対してよりパーソナライズまたはカスタマイズされた体験を提供することが望ましいことも現在は認識されている。
本開示の範囲に相応する所定の実施形態を以下に要約する。これらの実施形態は本開示の範囲を限定することを意図したものではなく、むしろこれらの実施形態は本実施形態の可能な形態の簡潔な概要を提供することのみを意図したものである。実際に、本実施形態は以下で述べられる実施形態と類似するかまたは異なる様々な形態を包含し得る。
一つの実施形態では、複合現実ビューイングシステムは安定したプラットフォームに固定され、ビューアを通してテーマ(theme)を見るためにユーザによって操作可能に構成されるビューアを含む。ビューアはディプレイデバイス、ズーム制御部を備えるユーザインタフェース、および少なくとも一つのセンサを含み、少なくとも一つのセンサは少なくとも一つのカメラを備える。複合現実ビューイングシステムはまたビューアに通信可能に結合されたコンピュータグラフィック生成システムを含む。コンピュータグラフィック生成システムはビューアの少なくとも一つのカメラを介してキャプチャされた画像データに基づいて現実世界環境のストリーミングメディアを生成し、拡張現実グラフィック、仮想現実グラフィック、またはその両方を生成し、現実世界環境のストリーミングメディア上にスーパーインポーズされ、ビューアのディスプレイデバイスに表示されるスーパーインポーズされた拡張現実グラフィック、仮想現実グラフィック、またはその両方と併せて現実世界環境のストリーミングメディアを送信するように構成される。
別の実施形態では、定位置ビューアはユーザにストリーミングメディアを表示するように構成されたディスプレイを含み、表示されるストリーミングメディアは拡張現実(AR)グラフィック、仮想現実(VR)グラフィック、またはその両方を含む複合現実(MR)を含む。定位置ビューアは定位置ビューア周辺の現実世界環境の画像データをキャプチャするように構成されたカメラを含む。定位置ビューアはまたストリーミングメディアの生成に関連する情報を収集するように構成された少なくとも一つのセンサを含む。
別の実施形態では、方法はコンピュータグラフィック生成システムを介してリアルタイムデータを受信し、分析することを含み、リアルタイムデータを受信することはコンピュータグラフィック生成システムを介して定位置ビューアの少なくとも一つのセンサおよびユーザインタフェースからデータを受信することを含む。方法は、コンピュータグラフィック生成システムを介して受信したリアルタイムデータに基づいてゲーミング効果を生成することを含み、ゲーミング効果は拡張現実(AR)グラフィック、仮想現実(VR)グラフィック、またはその両方を含む。方法は、複合現実ビジュアリゼーションを生成するためにコンピュータグラフィック生成システムを介して現実世界環境のビジュアリゼーション上に生成されたゲーミング効果をオーバーレイすることを含む。方法はまた、コンピュータグラフィック生成システムを介して定位置ビューアへ複合現実ビジュアリゼーションを送信すること、およびコンピュータグラフィック生成システムを介して定位置ビューアのディスプレイに複合現実ビジュアリゼーションを表示することを含む。
これらおよび他の特徴、態様、および利点は、図面を通して同様の数字が同様の部分を表す添付図面を参照して以下の詳細な説明を読まれた場合により理解されるであろう。
本実施形態に基づく、一または二以上の定位置AR/VRビューアを含む拡張現実および/または仮想現実(AR/VR)システムによって高められたテーマアトラクションを有するアミューズメントパークの実施形態を示している。 本実施形態に基づく、図1の定位置AR/VRビューアの一実施形態の斜視図を示している。 本実施形態に基づく、図1のAR/VRシステム一実施形態のブロックダイアグラムを示している。 本実施形態に基づく、図1のAR/VRシステムによってレンダリングされたAR環境とVR環境との間の遷移を概略的に示している。 本実施形態に基づく、複数の定位置AR/VRビューアのために図1のAR/VRシステムによってレンダリングされた例示的なAR/VR環境を概略的に示している。 本実施形態に基づく、図1のAR/VRシステムを使用してAR/VR体験を創造するためのプロセスを示すフローダイアグラムである。
本開示の一または二以上の固有の実施形態を以下で詳細に説明する。これらの実施形態の簡潔な説明を提供するために、実際の実装の特徴の全てを本明細書において説明しない場合もある。そのような実際の実装の開発において、あらゆるエンジニアリングまたは設計プロジェクトにおいてはシステム関連およびビジネス関連の制約を順守すること等の開発者に固有の目標を達成するために、多くの実装に固有の決定をしなければならず、この決定は実装によって異なり得るものであることを理解されたい。さらに、そのような開発努力は時間のかかるものであり得るが、それにもかかわらず本開示の利益を有する当業者にとっては設計、製作、および製造の日常的な業務であることを理解されたい。
本実施形態は、アミューズメントパークまたはテーマパークのアトラクションの一部として拡張現実(AR)体験、仮想現実(VR)体験、複合現実(例えば、ARとVRとの組み合わせ)体験、またはそれらの組み合わせを提供するためのシステムおよび方法に関する。特には、ARおよび/またはVR(AR/VR)システムはアミューズメントパークのゲストにAR/VR体験を提供するための一または二以上のビューアを含み得る。例えば、ゲストはビューアを通して景色を見ることができ、ビューアによりAR体験、VR体験、または両方の体験の組み合わせが容易になり得る。一つの実施形態では、ビューアは定位置ビューア(例えば、安定したプラットフォームまたは地面に固定された双眼鏡、ファインダ、または望遠鏡)であり得る。したがって、ビューアは定位置AR/VRビューアと呼ぶことができる。定位置AR/VRビューアは現実世界環境(例えば、物理的なアミューズメントパークの側面)のリアルタイム画像データ(例えば、ライブ使用中にキャプチャされ、実質的にリアルタイムに送信される写真および/またはビデオ)をキャプチャするために使用され得る少なくとも一つのカメラを含み得る。定位置AR/VRビューアはディスプレイを含み得る。例えば、定位置AR/VRビューアは定位置AR/VRビューアを使用しているユーザの画角にそれぞれ対応する少なくとも二つのディスプレイを含み得る。定位置AR/VRビューアはユーザが画角を変更したり、景色を見回したりする等のことができるように回転し、傾斜するように設計され得る。
AR/VRシステムは定位置AR/VRビューアからリアルタイム画像データ(例えば、ライブ使用中にキャプチャされ、実質的にリアルタイムに送信される写真および/またはビデオ)を受信するコンピュータグラフィック生成システムを含んでもよく、定位置AR/VRビューアのディスプレイに様々なAR、VR、またはARとVRとの組み合わせ(AR/VR)グラフィック画像と併せて現実世界環境のビデオストリームをレンダリングしてもよい。一つの実施形態では、定位置AR/VRビューアはAR/VR環境の所定のエリアにズームインおよびズームアウトし、AR環境とVR環境との間を遷移するように操作可能であり得る。特には、ユーザはAR環境内のあるエリア(例えば、特徴、オブジェクト)にズームインすることができ、ユーザがズームインし続けるとビデオストリームはVR環境に遷移する。一つの実施形態では、定位置AR/VRビューアはAR/VR環境内の特徴またはオブジェクトと連動またはやり取りするためにユーザインタフェース(例えば、一または二以上のプッシュボタン、ジョイスティック)を介して操作され得る。さらに、AR/VRシステムの所定の実施形態は例えば一連のネットワーク接続された定位置AR/VRビューアを使用する複数のユーザに類似の体験を提供し得る。
本実施形態は様々な設定で実装され得るが、本開示の特徴を有するアミューズメントパーク10の一例が図1に描写されている。図示されるように、アミューズメントパーク10はテーマアトラクション12を含み得る。テーマアトラクション12はテーマに対応する固定器具、建物のレイアウト、小道具、装飾等を含む物理的構造物14を含み得る。図示されている例では、テーマアトラクション12は農場/納屋のように装飾されている。テーマアトラクション12はアミューズメントパーク10のゲストに対してより没入感のある、パーソナライズされた、および/またはインタラクティブな体験を創造するために、一または二以上の定位置AR/VRビューア16を含むAR/VRシステム15を含み得る。特には、ゲストまたはユーザは高められたビューイング体験のための定位置AR/VRビューア16を通してテーマアトラクション12を見回すことができる。定位置AR/VRビューア16は安定したプラットフォームまたは地面18に固定され、またユーザ20は定位置AR/VRビューア16に接近し、定位置AR/VRビューア16を使用してテーマアトラクション12を見回すことができる。
定位置AR/VRビューア16は典型的な双眼鏡またはファインダが有するであろう機能を有し得る。例えば、定位置AR/VRビューア16はテーマアトラクション12の異なるエリアを見るためにユーザ20によって回転されるかまたは傾斜させられ得る。例えば、定位置AR/VRビューア16はユーザ20がテーマアトラクション12のエリアにズームインまたはズームアウトすることができるようにズーミング効果を有し得る。加えて、定位置AR/VRビューア16によりAR体験、VR体験、または両方の体験が容易になり得る。特には、定位置AR/VRビューア16はディスプレイ24にAR/VR22をレンダリングしてもよく、AR/VR環境22はAR/VRグラフィック26を含んでもよい。図示されている例では、定位置AR/VRビューア16を使用せずにテーマアトラクション12を見ているゲストには納屋のみが見え得る。しかしながら、定位置AR/VRビューア16を使用しているユーザは納屋28だけでなく納屋28の前にいる二頭の馬30等のAR/VRグラフィックが見え得る。
定位置AR/VRビューア16の一実施形態の斜視図が図2に示されている。示されているように、定位置AR/VRビューア16は安定したプラットフォームまたは地面18に固定され得る。定位置AR/VRビューア16はディスプレイ24を含むビューア部40、および定位置AR/VRビューア16を安定したプラットフォームまたは地面18に固定する固定部42を含み得る。ユーザ20は定位置AR/VRビューア16のディスプレイ24をのぞき込むためにビューイングエリア44に立つことができる。ディスプレイ24は一つまたはそれよりも多くのディスプレイ(例えば、ユーザ20の各目にそれぞれ対応する二つのディスプレイ46)を含み得る。ディスプレイ46は円形、正方形、長方形、楕円形等のような任意の好適な形状を有し得る。ディスプレイ46は特徴的な寸法48を有し得る。いくつかの実施形態では、ディスプレイ24はユーザ20の近くにいるゲストもユーザ20に示されているものを見ることができるような方法で構成され得る。例えば、ユーザ20の後ろまたは隣にいるゲストがディスプレイ46に表示されているものを見ることができるようにディスプレイ46の特徴的な寸法48は十分に大きい。
定位置AR/VRビューア16は画角49を有する。一つの実施形態では、ユーザ20は(例えば、安定したプラットフォームまたは地面18に実質的に平行な)回転方向50に沿って、(例えば、回転方向50に実質的に平行な)回転方向52に沿って、またはそれらの組み合わせでビューア部40を回転または傾斜させることによって画角49を変更することができる。一つの実施形態では、ユーザ20は方向54(例えば、安定したプラットフォームまたは地面18に垂直な方向)に沿ってビューア部40を上昇または下降させることによって画角49を変更することができる。理解されるように、定位置AR/VRビューア16は図3において論じられるような他のハードウェアおよび/またはソフトウェア構成要素を含み得る。
図3はAR/VRシステム15の様々な構成要素のブロックダイアグラムである。図示されている実施形態では、AR/VRシステム15は通信ネットワーク62を介して(例えば、アミューズメントパーク10内の)コンピュータグラフィック生成システム60に通信可能かつ操作可能に結合される。通信ネットワーク62は無線ローカルエリアネットワーク、広域無線ネットワーク、近距離無線通信、および/またはイーサネット(登録商標)ケーブル、ファイバ等を介した有線ネットワークを含み得る。一または二以上の定位置AR/VRビューア16はAR/VR環境22(例えば、一または二以上の定位置AR/VRビューア16を介して示されるAR/VRグラフィック26および/または音響効果)を創造するためにコンピュータグラフィック生成システム60に信号またはデータを送信し、またそこから信号またはデータを受信することができる。コンピュータグラフィック生成システム60は通信ネットワーク62を介してデータサーバ64に通信可能に結合され得る。データサーバ64はユーザ20のユーザ情報を格納および/または処理し得るリモートまたはオンサイトデータサーバであり得る。ユーザ情報は支払い情報、メンバシップ情報、個人情報(例えば、年齢、身長、特別なニーズ等)、ゲーミング情報(例えば、テーマアトラクション12に関連付けられたビデオゲームに関する情報、ユーザ20がそのビデオゲームにおいて関連付けられている特定のキャラクタに関する情報、ユーザ20のゲーム履歴に関する情報)等のような、ユーザ20によって提供されるかまたは権限を与えられた任意の好適な情報を含み得る。
図3に示されているように、定位置AR/VRビューア16はセンサ66、ユーザインタフェース68、プレゼンテーションデバイス70、ならびにセンサ66およびユーザインタフェース68に通信可能に結合されたデータエンコーダ72を含み得る。データエンコーダ72はセンサ66およびユーザインタフェース68によって提供されたデータまたは信号を受信および/または処理(例えば、エンコード)し得る。例えば、エンコーダ72はセンサ66およびユーザインタフェース68によって提供されるストリーミング可能なデータを収集し、エンコードされたデータを生成するために固有のアルゴリズムに従い得る一または二以上のプロセッサとして実装され得る。エンコーダ72は(センサ66およびユーザインタフェース68からのデータおよび信号に対応する)エンコードされたデータをストリーミングするために、例えば、通信ネットワーク62を介してコンピュータグラフィック生成システム60に通信可能に結合され得る。エンコーダ72は実質的にリアルタイム、および/またはコンピュータグラフィック生成システム60からの命令を受信する際に、エンコードされたデータをコンピュータグラフィック生成システム60にストリーミングし得る。
センサ66は一または二以上のカメラ74、一または二以上の向きおよび位置センサ76(例えば、加速度計、磁力計、ジャイロスコープ、全地球測位システム(GPS)受信機、一または二以上の他自由度(NDOF)慣性測定ユニット(IMU)等)、一または二以上の光センサ78、一または二以上の存否センサ80(例えば、モーションセンサ、超音波センサ、反射率センサ、ブレークビームセンサ等)、および一または二以上のアンテナ82を含み得る。
一または二以上のカメラ74はユーザ20のライブ使用中に現実世界画像(例えば、テーマアトラクション12のような現実世界環境の画像および/またはリアルタイムビデオデータ)をキャプチャし得る。一または二以上のカメラ74はキャプチャした現実世界画像を実質的にリアルタイムに送信し得る。一つの実施形態では、定位置AR/VRビューア16は少なくとも二つのカメラ74を含むことができ、この二つのカメラ74はユーザ20の(例えば、左右の視界の)各視点にそれぞれ対応し得る。一つの実施形態では、一または二以上のカメラ74は高解像度および/またはハイスピードカメラであり得る。例えば、一または二以上のカメラ74は(例えば、毎秒約60フレームを超えるフレームレートおよび約4000画素オーダーの水平解像度の)4K解像度デジタルハイスピードカメラであり得る。一または二以上のカメラ74(例えば、一または二以上のカメラ74は定位置AR/VRビューア16上に配置される)は高速かつ高解像度の能力を有するため、キャプチャされた現実世界画像は高解像度および高三次元(3D)深さを有する可能性があり、これは高いレベルの現実感を有するAR/VRグラフィックの生成を支援し得る。一または二以上の向きおよび位置センサ76は定位置AR/VRビューア16の画角を示すデータをキャプチャし得る。一または二以上の光センサ78は周囲の光レベル(例えば、どれほど明るい/暗いか)を検出するための任意の好適な光センサであり得る。
一または二以上の存否センサ80は定位置AR/VRビューア16の画角49を遮るかまたはそこに入ってくる可能性のあるオブジェクト(例えば、現実世界のオブジェクト、人間)の存在を示すデータをキャプチャし得る。一または二以上の存否センサ80はユーザ20の存在を示すデータをキャプチャし得る。一つの実施形態では、定位置AR/VRビューア16は一または二以上の存否センサ80によってキャプチャされたデータに基づいて(例えば、プロセッサ90を介して)作動および停止され得る。例えば、定位置AR/VRビューア16は定位置AR/VRビューア16が使用されていない(例えば、ユーザ20の存在が検出されない)場合に停止させてスリープモードまたはスタンバイモードにし、定位置AR/VRビューア16はユーザ20の存在を検出したことに応答してスリープモードまたはスタンバイモードから作動され得る。一つの実施形態では、一または二以上の存否センサ80はゲスト側(ユーザ20の隣のゲスト)に配置することができ、定位置AR/VRビューア16に(例えば、有線または無線接続を介して)通信可能に結合される。一または二以上のアンテナ82はユーザ20を識別するために使用される無線周波数識別(RFID)アンテナ82であり得る。
ユーザインタフェース68(例えば、ゲーム制御部)はユーザ20が定位置AR/VRビューア16の動作に関する命令を提供することが可能になるように任意の好適な入力デバイス(例えば、プッシュボタン、ジョイスティック、スピナ、ノブ)を含み得る。例えば、ユーザインタフェース68はユーザ20がディスプレイ24に表示されている特徴(例えば、現実世界の特徴、AR/VRグラフィック26)にズームインおよびズームアウトすることが可能になるように構成されたズーム制御部84(例えば、スピナ、ノブ)を含み得る。ユーザインタフェース68はAR/VR環境22に適用される種々のアクションおよび/または効果が可能になるように構成され得るプッシュボタン86もまた含み得る。例えば、プッシュボタン86によりユーザ20がAR/VR環境22内でAR/VRグラフィック26のキャラクタまたはオブジェクトを異なる方向(例えば、上、下、左、右)に動かすことが可能になり得る。例えば、プッシュボタン86によりユーザ20がAR/VR環境22内でAR/VRグラフィック26のオブジェクトを選択することまたは掴む/放すことが可能になり得る。所定の実施形態では、一または二以上の向きおよび位置センサ76によってキャプチャされたデータおよび/またはユーザインタフェース68の使用法はユーザ20がどのアトラクションの特徴(例えば、現実世界のオブジェクト、AR/VRグラフィック26)を見ることおよび/またはそれとやり取りすることに最も長い時間をかけているかを分析するために使用され得る。
プレゼンテーションデバイス70はプレゼンテーションコンテンツに対応する信号またはデータを受信するために通信ネットワーク62を介してコンピュータグラフィック生成システム60に通信可能かつ操作可能に結合することができ、AR/VR環境22を創造するためにプレゼンテーションコンテンツ(例えば、AR/VRグラフィック画像またはビデオストリーム、AR/VRグラフィック26)を表示する。プレゼンテーションデバイス70はディスプレイ24およびオーディオトランスデューサ88(例えば、スピーカー)を含み得る。前述のように、ディスプレイ24は一または二以上のディスプレイ46、例えば定位置AR/VRビューア16を使用しているユーザの各目にそれぞれ対応する二つのディスプレイ46を含み得る。ディスプレイ24はユーザ20の隣のゲストが、ディスプレイ24上のユーザ20に対して表示されているものを見ることができるように構成され得る。一つの実施形態では、ディスプレイ24は4K高解像度ディスプレイ(400画素オーダーの水平解像度)であり得る。オーディオトランスデューサ88は音響効果を示すために一または二以上のスピーカー等の任意の好適なデバイスを含み得る。
AR/VR環境22の創造をサポートするために、コンピュータグラフィック生成システム60はプロセッサ90およびメモリ92等のプロセッシング回路を含み得る。プロセッサ90はユーザ20のAR/VR体験を高めるためにAR/VRグラフィック26に融合されているキャプチャされた現実世界画像を生成するための本開示技術を実施するための命令を実行するためのメモリ92に操作可能に結合され得る。これらの命令はメモリ92および/または他のストレージのような有形で非一過性のコンピュータ読み取り可能な媒体に格納されたプログラムまたはコードにおいてエンコードされ得る。プロセッサ90は汎用プロセッサ、システムオンチップ(SoC)デバイス、特定用途向け集積回路(ASIC)、またはいくつかの他の類似のプロセッサ構成であり得る。
コンピュータグラフィック生成システム60は好適なAR/VRプラットフォームを可能にする任意の好適なハードウェア、ソフトウェア(例えば、ゲームエンジン)、およびアルゴリズムを含み得る。例えば、コンピュータグラフィック生成システム60はテーマアトラクション12のモデル(例えば、空間的な情報、コンピュータ支援設計(CAD)ファイル)および定位置AR/VRビューア16の位置をメモリ92に格納するか、またはデータサーバ64にアクセスし得る。特には、モデルは現実世界周辺環境(例えば、テーマアトラクション12)に対する定位置AR/VRビューア16の位置情報を含み得る。モデルはプレゼンテーションデバイス70に信号を供給するためにデータエンコーダ72からの他の入力(例えば、定位置AR/VRビューア16のセンサ66およびユーザインタフェース68からのエンコードされたデータ)と共に使用され得る。特には、コンピュータグラフィック生成システム60はユーザ20がAR/VR環境22を創造するためにキャプチャされた現実世界画像上にスーパーインポーズされたAR/VRグラフィック26を生成およびレンダリングするために定位置AR/VRビューア16を操作する(例えば、画角49を変更する、ズームインおよびズームアウトする、プッシュボタン86を使用する)ように動的にアップデートされる。
理解されるように、テーマアトラクション12および定位置AR/VRビューア16の位置がモデリングされており、そのモデルがコンピュータグラフィック生成システム60に格納されているかまたはそれによってアクセス可能であるため、コンピュータグラフィック生成システム60はユーザ20がどこを見ているのかを決定し、AR/VRグラフィックおよびキャプチャされた現実世界画像の好適な重ね合わせを決定するために定位置AR/VRビューア16の画角49を決定することのみが必要であり得る。したがって、AR/VR環境22を生成するためにコンピュータグラフィック生成システム60はより効率的に(例えば、より少ない計算能力を使用して)AR/VRグラフィック26とキャプチャされた現実世界画像とを組み合わせ得る。特には、コンピュータグラフィック生成システム60はAR/VRグラフィック26が通常の条件下と同じように振る舞うことを可能にするためにAR/VRグラフィック26および現実世界画像を高いレベルの現実感で整列されるように、キャプチャされた現実世界画像上にAR/VRグラフィック26を効率的に生成およびスーパーインポーズする。例えば、AR/VRグラフィック26を定位置AR/VRビューア16の画角49に応じて任意の現実世界のオブジェクト(例えば、現実世界中の物理的構造物14、ゲスト、建物、オブジェクト)によって完全にまたは部分的に塞ぐ必要がある場合、コンピュータグラフィック生成システム60は透明なAR/VRグラフィック26を完全にまたは部分的に生成し得る。例えば、コンピュータグラフィック生成システム60は現実世界のオブジェクトがもはや存在しないかまたは削除されたかのように見えるように(例えば、現実世界のオブジェクトは完全にまたは部分的にAR/VRグラフィック26で塞がれる)、現実世界のオブジェクトにオーバーレイするためのAR/VRグラフィック26を生成し得る。
さらに、AR/VRグラフィック26は現実世界画像がキャプチャされると実質的にリアルタイムにキャプチャされた現実世界画像上に生成およびオーバーレイされるため、AR/VRグラフィック26の現実感が高められ得る。例えば、ユーザ20がAR/VR環境22内のズーム制御部を介してズームインすると、コンピュータグラフィック生成システム60はAR/VRグラフィック26がより現実味を帯びて見えるように、一または二以上のカメラ74によって実質的にリアルタイムにキャプチャされた光学的にズームインされた画像に基づいてAR/VRグラフィック26を生成またはアップロードする。所定の実施形態では、AR/VRグラフィック26はまたユーザ20が所定のゲームオプションを選択する(例えば、AR/VR環境22内のゲームに対応するキャラクタを選択する、チームメンバを選択する、道具/実用品を選択する)ように促すため、またはユーザ20のゲームのヒント(例えば、どこを探検するか、どの要素を収集するかに関するヒント等)を提供するために生成され得る。コンピュータグラフィック生成システム60はまたAR/VR環境22におけるユーザの体験を高めるためにオーディオトランスデューサ88を介して音響効果を生成およびレンダリングし得る。
一つの実施形態では、コンピュータグラフィック生成システム60は(例えば、一または二以上のアンテナ82を介して送信されたおよび/またはデータサーバ64に格納された)ユーザ20に関する情報に基づいてAR/VR環境22を生成し得る。例えば、コンピュータグラフィック生成システム60はユーザのプレイ履歴、ゲームステータス、メンバシップステータス等に従ってAR/VR環境22内に所定のキャラクタ、道具/実用品、および/またはゲームシナリオを表示し得る。一つの実施形態では、コンピュータグラフィック生成システム60は(例えば、ズーム制御部84および/またはプッシュボタン86からの信号に基づいて)ユーザ入力に基づいてAR/VRグラフィック26を生成およびレンダリングし得る。例えば、コンピュータグラフィック生成システム60はズーム制御部84を介してユーザ20によって適用されたズーミング効果の程度に応じてAR/VR環境22内のズームインまたはズームアウトされた画像を表示し得る。一つの例では、コンピュータグラフィック生成システム60はプッシュボタン86を介してユーザ20によって適用されたゲーム操作を反映するためにAR/VRグラフィック26を表示し得る。例えば、AR/VRグラフィック26は移動する機能または掴む機能に対応して、ユーザ20によって適用されているプッシュボタン86に応答して移動しているかまたは掴まれているオブジェクトを表示し得る。理解されるように、ズーム制御部84およびプッシュボタン86はゲーム制御部またはジョイスティックとして機能し得る。
所定の実施形態では、生成された環境の現実感を高めるためにコンピュータグラフィック生成システム60は現実世界の物理的環境(例えば、一または二以上の光センサ78を介して検出された照明情報、一または二以上の存否センサ80を介して検出された情報)に基づいてAR/VRグラフィック26を生成し得る。例えば、一または二以上の光センサ78によって収集されたデータに基づいて、コンピュータグラフィック生成システム60は現実世界の物理的環境が暗いこと(例えば、夜であること)を決定し得る。この決定に応答して、コンピュータグラフィック生成システム60はAR/VR環境22が好適な明るさでユーザ20に示されるように生成されたAR/VRグラフィック26の明るさを減少させ得る。例えば、一または二以上の光センサ78によって収集されたデータに基づいて、コンピュータグラフィック生成システム60は現実世界の物理的環境が暗すぎることを決定し得る。この決定に応答して、コンピュータグラフィック生成システム60はAR/VR環境22が好適な明るさでユーザ20に示されるようにAR/VRグラフィック26と組み合わせる前にキャプチャされた現実世界画像の明るさを増加させ得る。例えば、コンピュータグラフィック生成システム60は一または二以上の存否センサ80からのエンコードされたデータを処理し、定位置AR/VRビューア16の画角49が遮られるかまたは制限され得る(例えば、現実世界のオブジェクト、人間によって遮られる)ことを決定し得る。画角49が遮られるかまたは制限され得るという決定に応答して、コンピュータグラフィック生成システム60はAR/VR環境22を生成するための一または二以上のカメラ74からのキャプチャされた現実世界画像を使用することを一時的に停止し、その代わりに一または二以上のカメラ74から前もって得た現実世界画像が使用され得る。
所定の実施形態では、生成された環境の現実感を高めるためにコンピュータグラフィック生成システム60はリアルタイムデジタルシャドウを含むARグラフィック(例えば、AR/VRグラフィック26)を生成し得る。コンピュータグラフィック生成システム60は現実世界のオブジェクトおよび現実世界の照明情報(例えば、一または二以上の光センサ78を介して検出される照明情報、一または二以上の存否センサ80を介して検出される情報、コンピュータグラフィック生成システム60のカレンダーの内部時計によって示される一日のうちの時刻および/または一年のうちの日)に関連する各画角49に基づいて、デジタルオブジェクトおよびARオブジェクトのリアルタイムデジタルシャドウを生成し得る。例えば、納屋28および二頭の馬30のデジタルシャドウは太陽および現実世界の照明要素等の、現実世界の光源の入射角に基づいて決定される好適な形状および明るさで生成され、斜視的な画角49に関して、光が現世界およびまたは人々によって遮られているかどうかに基づいている。
さらに、コンピュータグラフィック生成システム60は通信ネットワーク62を介して一または二以上のリモートビューイングデバイス65に通信可能かつ操作可能に結合され得る。一または二以上のリモートビューイングデバイス65は任意の好適なディスプレイ(例えば、ビデオおよび/またはオーディオディスプレイ、コンピュータ)を含み得る。一または二以上のリモートビューイングデバイス65はモバイルデバイス(例えば、携帯電話、スマートフォン、およびタブレット)であり得る。コンピュータグラフィック生成システム60は一または二以上のリモートビューイングデバイス65を見ているユーザが定位置AR/VRビューア16のユーザ20と同じAR/VRグラフィック26を見ることおよび/または同じ音響効果を聴くことが可能になるように一または二以上のリモートビューイングデバイス65に生成されたAR/VRグラフィック26および/または音響効果をストリーミングし得る。
さらに、コンピュータグラフィック生成システム60はズーム制御部84のユーザ操作に基づいてAR/VR環境22内のAR環境とVR環境との間で切り替え得る。図4は本開示の態様に基づくAR環境とVR環境との間の遷移の例を概略的に示している。示されている実施形態では、ディスプレイ24を通してテーマアトラクション12を見ているユーザ20はARグラフィック23のみを含むAR/VRグラフィック26を見得る。ステップ100に示されるように、ユーザ20はAR特徴25の細部を見るためにAR特徴25のうちの一つ(例えば、馬)にズームインするため、(例えば、ズーム制御部84を介して)定位置AR/VRビューア16を操作し得る。さらにステップ102および104に示されるように、ユーザ20はAR特徴25のより詳細な拡大図を見るためにズームインし得る。理解されるように、ユーザ20はAR特徴25からズームアウトするために逆方向にズーム制御部84を操作し得る。別の実施形態では、ステップ106に描写されているように、ユーザ20はAR特徴27のうちの別のAR特徴(例えば、納屋のドア)の拡大された細部を見るためにAR特徴27にズームインするため、(例えば、ズーム制御部84を介して)定位置AR/VRビューア16を操作し得る。ステップ108に示されるように、ユーザ20はAR特徴27のさらに拡大された図を見るためにズームインし得る。ステップ110に示されるように、ユーザ20がズームインし続けるとコンピュータグラフィック生成システム60はAR体験からVR体験へとユーザの体験が遷移するようにVRグラフィック29を生成し得る。例えば、ステップ110では、ユーザの体験はVR環境へと遷移し、ユーザ20はまるでユーザ20が家畜に囲まれた納屋の中にいるかのようにVRグラフィック29を楽しみ得る。理解されるように、ユーザ20はVR体験からAR体験へと戻るように遷移するため、AR特徴27にズームアウトするため、または任意のAR特徴にズームアウトするためにズーム制御部84を逆方向に操作し得る。
一つの実施形態では、コンピュータグラフィック生成システム60は複数のユーザ20が同じゲームに取り組むこと、および/または他のユーザ20によって適用されたアクションを見ることが可能になるように複数の定位置AR/VRビューア16に通信可能かつ操作可能に結合され得る。図5は本開示の態様に基づくAR/VR環境22内の複数の定位置AR/VRビューア16間のそのような接続性/取り組みの例を概略的に示している。示されている例では、コンピュータグラフィック生成システム60は第一のユーザ122によって操作される第一の定位置AR/VRビューア120および第二のユーザ126によって操作される第二の定位置AR/VRビューア124に通信可能かつ操作可能に結合されている。第一および第二のユーザ122および126の両方がそれぞれのディスプレイ24に表示された同じAR/VR特徴128を見ることができるが、異なる視点からである。さらに、第一および第二のユーザ122および126の両方がそれぞれのディスプレイ24上の、第一および第二のユーザ122および126のいずれかによって適用されたアクション129(例えば、AR/VR環境22内のアクション)を見得る。示されている例では、エリア134に示されているように、第一のユーザ122は家畜132に与えるために水タンク130を満たすようなアクション129を実行するために第一の定位置AR/VRビューア120を操作する。例えば、第一の122は水タンク130を狙うために画角49を調整し、水タンク130にズームインまたはズームアウトするためにズーム制御部84を使用し、水タンク130を満たし始めるためにプッシュボタン86のうちの一つを押すことができる。それに対応して、第二のユーザ126はそれぞれのディスプレイ24から第一のユーザ122によって適用されたアクション129を見ることができる。一つの実施形態では、コンピュータグラフィック生成システム60は第二のユーザ126もまたエリア134を見ている(例えば、第二の定位置AR/VRビューア124の各画角49がエリア134の一部に重なっている)ことを決定することができ、この決定に応答して、コンピュータグラフィック生成システム60は第一および第二の定位置AR/VRビューア120および124の各ディスプレイ24にアクション129の結果を含む同じAR/VR特徴128を表示し得る。別の実施形態では、コンピュータグラフィック生成システム60は第二のユーザ126が第一のユーザ122と同じゲームに取り組んでいることを決定する(例えば、第二のユーザ126は第一のユーザ122とゲームに参加することに同意するためにユーザインタフェース68を使用して指示を提供し得る)ことができ、この決定に応答して、コンピュータグラフィック生成システム60は第一および第二の定位置AR/VRビューア120および124の各ディスプレイ24にアクション129の結果を含む同じAR/VR特徴128を表示し得る。
図6はAR/VRシステム15を使用してAR体験、VR体験、および/または他のコンピュータ媒介体験を創造するための方法140の一実施形態のプロセスフローダイアグラムを示している。方法140は非一過性のコンピュータ読み取り可能な媒体(例えば、メモリ92)に格納され、例えばコンピュータグラフィック生成システム60のプロセッサ90によって実行される代表的な開始コードまたは命令であり得る。生成されたAR体験、VR体験および/または他のコンピュータ媒介体験は一または二以上の定位置AR/VRビューア16ならびに一または二以上のリモートビューイングデバイス65を使用して一または二以上のユーザ20および/または他のゲストが楽しむことができる。方法140は一または二以上の定位置AR/VRビューア16の各々のセンサ66およびユーザインタフェース68からリアルタイムデータを受信し、分析する(ブロック142)プロセッサ90を用いて開始し得る。リアルタイムデータは一または二以上のカメラ74によってキャプチャされた写真および/またはビデオ、一または二以上の向きおよび位置センサ76によって検出された向きおよび/もしくは位置情報ならびに/または画角49、一または二以上の光センサ78によって検出された照明情報、一または二以上の存否センサ80によって検出された定位置AR/VRビューア16の近くのオブジェクトまたはユーザの存在を示す情報、一または二以上のアンテナ82によって受信されたユーザの身元を示す情報等を含み得る。
方法140は次にプロセッサ90を用いてゲーミング効果の生成(ブロック144)を継続し得る。一つの実施形態では、ゲーミング効果は受信され、分析されたリアルタイムデータに基づいて生成されたAR/VR画像データおよび音響データを含み得る。例えば、ゲーミング効果はユーザに関連付けられたゲームキャラクタに関する特定のAR/VR画像データを含む。例えば、ゲーミング効果は(例えば、ユーザ20の注目/見ている関心に応じて)ユーザ20によって調整された定位置AR/VRビューア16の画角49に応じて所定のAR/VR特徴を含む。例えば、ゲーミング効果はユーザ20によって適用されたズーム効果(例えば、AR環境からVR環境への遷移に対する所定の閾値を超えたズームイン)に応じてAR環境とVR環境との間の遷移を含み得る。さらなる例として、ゲーミング効果は複数のユーザ20が同じゲーミング体験を共有し得る方法で複数の定位置AR/VRビューア16に合わせて調整されたAR/VR画像データを含み得る。ゲーミング効果はまたAR/VR画像データに対応する音響データを含み得る。
方法140は次にプロセッサ90を用いて生成画像ビジュアリゼーション上への生成されたゲーミング効果のオーバーレイ(ブロック146)またはスーパーインポーズを継続し得る。プロセッサ90は現実世界画像(例えば、図1に示されている物理的構造物14、納屋28)のビデオデータストリームを生成し、一または二以上のビデオマージ技術および/または光学マージ技術を使用して現実世界画像上にAR/VRグラフィック26(例えば、図1に示されている二頭の馬30)をレンダリングし得る。一例として、グラフィック生成システム60のプロセッサ90は(例えば、画角49に基づいて)所定の特徴を見るために定位置AR/VRビューア16のユーザ20の操作と共同して、または予め決められた時間の経過後に、AR/VRグラフィック26をレンダリングし得る。グラフィック生成システム60は画角49およびいつAR/VRグラフィック26を導入するかを決定するために一または二以上のカメラ74を介してキャプチャされたビデオまたは画像データに一または二以上の幾何学的および測光的認識アルゴリズムを実行し得る。グラフィック生成システム60はユーザインタフェース68を介してユーザ20によって提供された入力に基づいていつAR/VRグラフィック26を導入するかを決定し得る。
方法140は次にプロセッサ90を用いてゲーミング効果(例えば、現実世界環境データおよび/または音響効果と併せてオーバーレイされたAR/VRグラフィック26)を送信すること(ブロック148)ならびに一または二以上の定位置AR/VRビューア16の各々のディスプレイ24上および/または一または二以上のリモートビューイングデバイス65に表示すること(ブロック150)を終了させ得る。
本実施形態の所定の特徴のみが本明細書において示され、説明されてきたが、当業者においては多くの修正および変更が発生するであろう。したがって、添付の特許請求の範囲は本開示の真の精神の範囲に含まれるこのような全ての修正および変更を網羅することを意図したものであることを理解されたい。さらに、本開示の実施形態の所定の要素は別の要素と組み合わせられ、または交換される可能性があることを理解されたい。

Claims (21)

  1. 複合現実ビューイングシステムであって、
    ビューアを通してテーマを見るために安定したプラットフォームに固定されユーザによって操作可能なように構成された前記ビューアであって、
    ディスプレイデバイスと、
    ズーム制御部および入力デバイスを備えるユーザインタフェースと、
    少なくとも一つのカメラを含む少なくとも一つのセンサであって、前記少なくとも一つのカメラは前記ビューア周辺の現実世界環境のリアルタイム画像データをキャプチャするように構成された、少なくとも一つのセンサと、
    を備える前記ビューアと、
    前記ビューアに通信可能に結合されたコンピュータグラフィック生成システムであって、
    前記ズーム制御部の倍率を決定し、
    前記ズーム制御部が予め決められた閾値倍率を超えない第一の倍率でズームされているとの決定に応答して、前記入力デバイスを介して入力された第一のユーザ入力に基づいて前記現実世界環境の前記リアルタイム画像データにスーパーインポーズされる拡張現実グラフィックを含むストリーミングメディアをリアルタイムに生成し、
    前記ストリーミングメディアを生成することに応答して前記ストリーミングメディアをリアルタイムに送信し、
    送信された前記ストリーミングメディアを前記ビューアの前記ディスプレイデバイスにリアルタイムに表示し、
    前記ズーム制御部が前記予め決められた閾値倍率を超える第二の倍率でズームされているとの決定に応答して、前記入力デバイスを介して入力された第二のユーザ入力に基づいて仮想現実環境のさらなるストリーミングメディアをリアルタイムに生成し、
    前記さらなるストリーミングメディアを生成することに応答して前記さらなるストリーミングメディアをリアルタイムに送信し、
    送信された前記さらなるストリーミングメディアを前記ビューアの前記ディスプレイデバイスにリアルタイムに表示し、
    前記ズーム制御部のズーム倍率が前記第一の倍率から前記第二の倍率に変化したことに応答して前記さらなるストリーミングメディアをリアルタイムに表示することにより、拡張現実環境から仮想現実環境へと遷移する
    ように構成された前記コンピュータグラフィック生成システムと、
    を備え、
    前記第一のユーザ入力および前記第二のユーザ入力は、前記ユーザにより前記ビューアの動作に関する命令を提供するために前記入力デバイスを介して入力され、前記拡張現実環境および/または前記仮想現実環境に適用されるアクションおよび/または効果を可能にする、
    複合現実ビューイングシステム。
  2. 前記ビューアが、
    前記ディスプレイデバイスおよび前記ユーザインタフェースを備えるビューア部であって、前記ビューア部が画角を調整するために前記ユーザによって回転可能である、前記ビューア部と、
    前記ビューア部に回転可能に結合され、前記ビューアを前記安定したプラットフォームに固定して結合する固定部と、
    を備える、請求項1に記載の複合現実ビューイングシステム。
  3. 前記ビューアの前記ディスプレイデバイスが第一のディスプレイおよび第二のディスプレイを備え、前記第一のディスプレイが前記ユーザの第一の目に前記ストリーミングメディアまたは前記さらなるストリーミングメディアを表示するように構成され、前記第二のディスプレイが前記ユーザの第二の目に前記ストリーミングメディアまたは前記さらなるストリーミングメディアを表示するように構成される、請求項1に記載の複合現実ビューイングシステム。
  4. 前記第一のディスプレイおよび前記第二のディスプレイが前記ユーザ以外のゲストにも前記第一のディスプレイ上、前記第二のディスプレイ上、またはその両方の前記ストリーミングメディアまたは前記さらなるストリーミングメディアが見えるようにする各特徴的な寸法を含む、請求項に記載の複合現実ビューイングシステム。
  5. 前記ビューアがスピーカーを備える、請求項1に記載の複合現実ビューイングシステム。
  6. 前記ビューアの前記少なくとも一つのカメラの各カメラが少なくとも毎秒60フレームのフレームレートおよび少なくとも4000画素の水平解像度を有するデジタルハイスピードカメラを備える、請求項1に記載の複合現実ビューイングシステム。
  7. 前記少なくとも一つのセンサが一または二以上の向きおよび位置センサ、一または二以上の多自由度慣性測定ユニット、一または二以上の光センサ、一または二以上の存否センサ、一または二以上のアンテナ、またはそれらの組み合わせを備える、請求項1に記載の複合現実ビューイングシステム。
  8. リモートディスプレイデバイスを備え、前記コンピュータグラフィック生成システムが前記リモートディスプレイデバイスに表示される前記ストリーミングメディアまたは前記さらなるストリーミングメディアを送信するように構成される、請求項1に記載の複合現実ビューイングシステム。
  9. 前記コンピュータグラフィック生成システムが前記ビューア周辺の前記現実世界環境のモデルを有し、前記モデルが前記現実世界環境に対する前記ビューアの空間的な情報を備える、請求項1に記載の複合現実ビューイングシステム。
  10. 定位置ビューアであって、
    ユーザに拡張現実グラフィックを含むストリーミングメディアおよび仮想現実環境のさらなるストリーミングメディアを表示するように構成されたディスプレイと、
    前記定位置ビューア周辺の現実世界環境のリアルタイム画像データをキャプチャするように構成された少なくとも一つのカメラと、
    前記ストリーミングメディアおよび前記さらなるストリーミングメディアの生成のためのリアルタイムセンサ情報を収集するように構成された少なくとも一つのセンサと、
    前記ユーザが前記ディスプレイに表示される前記ストリーミングメディアおよび前記さらなるストリーミングメディアにズームインおよびズームアウトすることが可能になるように構成されたズーム制御部および入力デバイスを備えるユーザインタフェースと、
    コンピュータグラフィック生成システムであって、
    前記現実世界環境の前記リアルタイム画像データおよび前記少なくとも一つのセンサによって収集された前記リアルタイムセンサ情報を受信し、
    少なくとも前記リアルタイム画像データおよび前記リアルタイムセンサ情報を分析し、
    前記ズーム制御部の倍率を決定し、
    前記ズーム制御部が予め決められた閾値倍率を超えない第一の倍率でズームされているとの決定に応答して、前記リアルタイム画像データおよび前記リアルタイムセンサ情報ならびに前記入力デバイスを介して入力された第一のユーザ入力に基づいて前記ストリーミングメディアをリアルタイムにレンダリングし、
    前記ストリーミングメディアをレンダリングすることに応答して前記ストリーミングメディアをリアルタイムに送信し、
    送信された前記ストリーミングメディアを前記ビューアの前記ディスプレイにリアルタイムに表示し、
    前記ズーム制御部が前記予め決められた閾値倍率を超える第二の倍率でズームされているとの決定に応答して、前記リアルタイム画像データおよび前記リアルタイムセンサ情報ならびに前記入力デバイスを介して入力された第二のユーザ入力に基づいて前記さらなるストリーミングメディアをリアルタイムにレンダリングし、
    前記さらなるストリーミングメディアをレンダリングすることに応答して前記さらなるストリーミングメディアをリアルタイムに送信し、
    送信された前記さらなるストリーミングメディアを前記ビューアの前記ディスプレイにリアルタイムに表示し、
    前記ズーム制御部のズーム倍率が前記第一の倍率から前記第二の倍率に変化したことに応答して前記さらなるストリーミングメディアをリアルタイムに表示することにより、拡張現実環境から仮想現実環境へと遷移する
    ように構成される、コンピュータグラフィック生成システムと、
    を備え、
    前記第一のユーザ入力および前記第二のユーザ入力は、前記ユーザにより前記ビューアの動作に関する命令を提供するために前記入力デバイスを介して入力され、前記拡張現実環境および/または前記仮想現実環境に適用されるアクションおよび/または効果を可能にする、
    定位置ビューア。
  11. 前記少なくとも一つのカメラが毎秒少なくとも60フレームのフレームレートおよび少なくとも4000画素の水平解像度を有するデジタルハイスピードカメラを備える、請求項10に記載の定位置ビューア。
  12. 前記ディスプレイに表示される前記ストリーミングメディアに対応するオーディオ効果を提供するように構成された一または二以上のスピーカーを備える、請求項10に記載の定位置ビューア。
  13. 前記少なくとも一つのセンサが一または二以上の向きおよび位置センサ、一または二以上の多自由度慣性測定ユニット、一または二以上の光センサ、一または二以上の存否センサ、一または二以上のアンテナ、またはそれらの組み合わせを備える、請求項10に記載の定位置ビューア。
  14. 前記ディスプレイが前記定位置ビューアの前記ユーザ以外の一または二以上のゲストにも前記ディスプレイ上の前記ストリーミングメディアが見えるようにする特徴的な寸法を含む、請求項10に記載の定位置ビューア。
  15. 前記少なくとも一つのセンサによって収集された前記リアルタイムセンサ情報がユーザ情報を備え、前記ディスプレイに表示される前記ストリーミングメディアの少なくともいくつかのコンテンツが前記ユーザ情報に基づいて前記ユーザに対してカスタマイズされる、請求項10に記載の定位置ビューア。
  16. 方法であって、
    定位置ビューアの少なくとも一つのセンサおよびユーザインタフェースからリアルタイムデータを受信することと、
    コンピュータグラフィック生成システムを介して前記リアルタイムデータを分析することと、
    前記リアルタイムデータに基づいて、前記コンピュータグラフィック生成システムを介してゲーミング効果を生成することであって、前記コンピュータグラフィック生成システムを介して前記ゲーミング効果を生成することは、
    前記ユーザインタフェースのズーム制御部の倍率を決定することと、
    前記ズーム制御部が予め決められた閾値倍率を超えない第一の倍率でズームされているとの決定に応答して、前記ユーザインタフェースの入力デバイスを介して入力された第一のユーザ入力に基づいて現実世界環境のビジュアリゼーションにオーバーレイされる拡張現実グラフィックを含むストリーミングメディアをリアルタイムに生成することと、
    前記ユーザインタフェースの前記ズーム制御部が前記予め決められた閾値倍率を超える第二の倍率でズームされているとの決定に応答して、前記ユーザインタフェースの前記入力デバイスを介して入力された第二のユーザ入力に基づいて前記現実世界環境の前記ビジュアリゼーションを置き換える仮想現実グラフィックを含むさらなるストリーミングメディアをリアルタイムに生成することと、
    を含む、ゲーミング効果を生成することと、
    前記ゲーミング効果を送信することであって、
    前記ストリーミングメディアを生成することに応答して前記コンピュータグラフィック生成システムを介して前記ストリーミングメディアを含む前記ゲーミング効果を前記定位置ビューアにリアルタイムに送信することと、
    前記さらなるストリーミングメディアを生成することに応答して前記コンピュータグラフィック生成システムを介して前記さらなるストリーミングメディアを含む前記ゲーミング効果を前記定位置ビューアにリアルタイムに送信することと、
    を含む、前記ゲーミング効果を送信することと、
    前記ゲーミング効果を表示することであって、
    送信された前記ストリーミングメディアを前記コンピュータグラフィック生成システムを介して前記定位置ビューアのディスプレイにリアルタイムに表示することと、
    送信された前記さらなるストリーミングメディアを前記コンピュータグラフィック生成システムを介して前記定位置ビューアのディスプレイにリアルタイムに表示することと、
    を含む、前記ゲーミング効果を表示することと、
    を含
    前記ズーム制御部のズーム倍率が前記第一の倍率から前記第二の倍率に変化したことに応答して前記さらなるストリーミングメディアをリアルタイムに表示することにより、拡張現実環境から仮想現実環境へと遷移し、
    前記第一のユーザ入力および前記第二のユーザ入力は、前記ユーザにより前記ビューアの動作に関する命令を提供するために前記入力デバイスを介して入力され、前記拡張現実環境および/または前記仮想現実環境に適用されるアクションおよび/または効果を可能にする、
    方法。
  17. 前記リアルタイムデータを受信することが、前記定位置ビューアの一または二以上の向きおよび位置センサ、一または二以上の多自由度慣性測定ユニット、一または二以上の光センサ、一または二以上の存否センサ、または一または二以上のアンテナを少なくとも介して収集されたデータを前記コンピュータグラフィック生成システムを介して受信することを含む、請求項16に記載の方法。
  18. 前記コンピュータグラフィック生成システムを介して予備のストリーミングメディアまたは予備のさらなるストリーミングメディアをさらなる定位置ビューアに送信することであって、前記予備のストリーミングメディアおよび前記予備のさらなるストリーミングメディアが前記さらなる定位置ビューアの視点からの前記定位置ビューアに表示される前記ストリーミングメディアおよび前記さらなるストリーミングメディアにそれぞれ対応するビジュアリゼーションコンテンツを備える、送信することと、
    前記コンピュータグラフィック生成システムを介して前記さらなる定位置ビューアの各ディスプレイに前記予備のストリーミングメディアまたは前記予備のさらなるストリーミングメディアを表示することと、
    を含む、請求項16に記載の方法。
  19. 前記少なくとも一つのセンサが一または二以上の存否センサを備え、
    前記コンピュータグラフィック生成システムが、
    前記一または二以上の存否センサからのデータを処理することによって前記ビューアの画角が現実世界のオブジェクトによって遮られるかまたは制限されることを決定し、
    前記ビューアの前記画角が遮られるかまたは制限されるとの決定に応答して、前記少なくとも一つのカメラによりキャプチャされた前記現実世界環境の前記リアルタイム画像データを使用することを一時的に停止し、代わりに前もって得た現実世界環境の画像データを使用する、
    ように構成される、
    請求項1~のいずれか1項に記載の複合現実ビューイングシステム。
  20. 前記少なくとも一つのセンサが一または二以上の存否センサを備え、
    前記コンピュータグラフィック生成システムが、
    前記一または二以上の存否センサからのデータを処理することによって前記定位置ビューアの画角が現実世界のオブジェクトによって遮られるかまたは制限されることを決定し、
    前記定位置ビューアの前記画角が遮られるかまたは制限されるとの決定に応答して、前記少なくとも一つのカメラによりキャプチャされた前記現実世界環境の前記リアルタイム画像データを使用することを一時的に停止し、代わりに前もって得た現実世界環境の画像データを使用する、
    ように構成される、
    請求項1015のいずれか1項に記載の定位置ビューア。
  21. 前記少なくとも一つのセンサが一または二以上の存否センサを備え、
    前記コンピュータグラフィック生成システムが、
    前記一または二以上の存否センサからのデータを処理することによって前記定位置ビューアの画角が現実世界のオブジェクトによって遮られるかまたは制限されることを決定し、
    前記定位置ビューアの前記画角が遮られるかまたは制限されるとの決定に応答して、前記現実世界環境の前記ビジュアリゼーションを使用することを一時的に停止し、代わりに前もって得た現実世界環境の画像データを使用する、
    ように構成される、
    請求項1618のいずれか1項に記載の方法。
JP2019548722A 2017-03-06 2018-03-05 複合現実ビューアシステムおよび方法 Active JP7257960B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762467817P 2017-03-06 2017-03-06
US62/467,817 2017-03-06
US15/818,463 US10572000B2 (en) 2017-03-06 2017-11-20 Mixed reality viewer system and method
US15/818,463 2017-11-20
PCT/US2018/020951 WO2018165041A1 (en) 2017-03-06 2018-03-05 Mixed reality viewer system and method

Publications (3)

Publication Number Publication Date
JP2020514900A JP2020514900A (ja) 2020-05-21
JP2020514900A5 JP2020514900A5 (ja) 2021-04-15
JP7257960B2 true JP7257960B2 (ja) 2023-04-14

Family

ID=63355058

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2019548722A Active JP7257960B2 (ja) 2017-03-06 2018-03-05 複合現実ビューアシステムおよび方法
JP2019548441A Pending JP2020513956A (ja) 2017-03-06 2018-03-05 遊園地環境における層状仮想特徴のためのシステム及び方法
JP2019548473A Active JP7198213B2 (ja) 2017-03-06 2018-03-06 拡張乗り物システム及び方法
JP2019548559A Active JP6756052B2 (ja) 2017-03-06 2018-03-06 ゲームプレー型乗り物車両システム及び方法
JP2022147654A Pending JP2022188084A (ja) 2017-03-06 2022-09-16 遊園地環境における層状仮想特徴のためのシステム及び方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2019548441A Pending JP2020513956A (ja) 2017-03-06 2018-03-05 遊園地環境における層状仮想特徴のためのシステム及び方法
JP2019548473A Active JP7198213B2 (ja) 2017-03-06 2018-03-06 拡張乗り物システム及び方法
JP2019548559A Active JP6756052B2 (ja) 2017-03-06 2018-03-06 ゲームプレー型乗り物車両システム及び方法
JP2022147654A Pending JP2022188084A (ja) 2017-03-06 2022-09-16 遊園地環境における層状仮想特徴のためのシステム及び方法

Country Status (11)

Country Link
US (4) US20180255285A1 (ja)
EP (4) EP3592442B1 (ja)
JP (5) JP7257960B2 (ja)
KR (5) KR20240042176A (ja)
CN (5) CN110382066B (ja)
CA (4) CA3054333A1 (ja)
ES (2) ES2951475T3 (ja)
MY (2) MY196303A (ja)
RU (4) RU2754991C2 (ja)
SG (4) SG11201907294PA (ja)
WO (4) WO2018165041A1 (ja)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11960637B2 (en) 2013-11-11 2024-04-16 Whitewater West Ltd. Interactive amusement attraction system
US11487349B2 (en) * 2013-11-11 2022-11-01 Whitewater West Industries, Ltd. Interactive amusement attraction system and method
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10639557B2 (en) * 2017-06-22 2020-05-05 Jntvr Llc Synchronized motion simulation for virtual reality
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10675766B1 (en) 2017-08-28 2020-06-09 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
US10362299B1 (en) * 2017-08-28 2019-07-23 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
US11389719B2 (en) * 2017-11-10 2022-07-19 Whitewater West Industries Ltd. Water ride attraction incorporating interactive game play
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
AU2018392482A1 (en) 2017-12-20 2020-07-02 Magic Leap, Inc. Insert for augmented reality viewing device
US10695682B1 (en) * 2017-12-27 2020-06-30 Disney Enterprises Inc. Automated dynamic adaptive controls
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US10369483B1 (en) 2018-01-23 2019-08-06 Universal City Studios Llc Interactive tower attraction systems and methods
US10398989B2 (en) 2018-01-29 2019-09-03 Universal City Studios Llc Ride with rotating lift
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
WO2019228468A1 (en) 2018-05-30 2019-12-05 Ke.Com (Beijing) Technology Co., Ltd. Systems and methods for providing an audio-guided virtual reality tour
JP2021525902A (ja) 2018-05-30 2021-09-27 マジック リープ, インコーポレイテッドMagic Leap,Inc. 小型の可変焦点構成
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
WO2019237099A1 (en) 2018-06-08 2019-12-12 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7426982B2 (ja) 2018-07-24 2024-02-02 マジック リープ, インコーポレイテッド 移動検出デバイスの温度依存較正
US11201953B2 (en) 2018-07-24 2021-12-14 Magic Leap, Inc. Application sharing
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
JP7438188B2 (ja) 2018-08-03 2024-02-26 マジック リープ, インコーポレイテッド ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
DE102018213556A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und System zum Betreiben von zumindest zwei von jeweiligen Fahrzeuginsassen am Kopf getragenen Anzeigeeinrichtungen
US11583781B2 (en) 2018-09-17 2023-02-21 Universal City Studios Llc Systems and methods for actuating a show element on a ride vehicle
US10636218B2 (en) * 2018-09-24 2020-04-28 Universal City Studios Llc Augmented reality for an amusement ride
US11562539B2 (en) 2018-09-25 2023-01-24 Universal City Studios Llc Modular augmented and virtual reality ride attraction
US11212331B1 (en) * 2018-10-26 2021-12-28 Snap Inc. Triggering changes to real-time special effects included in a live streaming video
US10914949B2 (en) 2018-11-16 2021-02-09 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
CN109725717A (zh) * 2018-11-30 2019-05-07 成都理想境界科技有限公司 应用于ar设备的图像处理方法及ar设备
KR102203371B1 (ko) * 2018-11-30 2021-01-15 삼성물산 주식회사 놀이공원에서 놀이기구를 가동하는 동안 이미지를 시각화하는 장치, 방법 및 이미지 시각화 장치를 관리하는 장치 및 방법
US10692294B1 (en) * 2018-12-17 2020-06-23 Universal City Studios Llc Systems and methods for mediated augmented physical interaction
US11340758B1 (en) * 2018-12-27 2022-05-24 Meta Platforms, Inc. Systems and methods for distributing content
US11318607B2 (en) * 2019-01-04 2022-05-03 Universal City Studios Llc Extended reality ride test assembly for amusement park system
US10839607B2 (en) * 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
US10780359B2 (en) 2019-01-08 2020-09-22 Universal City Studios Llc Systems and methods for a connected augmented environment
US10807531B2 (en) * 2019-01-14 2020-10-20 Universal City Studios Llc Augmented reality system for an amusement ride
CN113518961A (zh) 2019-02-06 2021-10-19 奇跃公司 限制由多个处理器产生的总热量的基于目标意图的时钟速度确定和调整
CN113544766A (zh) 2019-03-12 2021-10-22 奇跃公司 在第一和第二增强现实观看器之间配准本地内容
KR102424311B1 (ko) * 2019-03-27 2022-07-22 다보(주) 모바일 기기가 구비된 망원경형 증강현실 관람장치
US10816813B1 (en) * 2019-04-05 2020-10-27 Disney Enterprises, Inc. Systems and methods for enhancing accuracy of spatial location and rotational orientation determination of wearable head-mounted display device
CN110013668B (zh) * 2019-04-24 2020-09-11 重庆城市管理职业学院 基于vr技术的模拟飞行体验娱乐设施热力转盘
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
GB201906340D0 (en) * 2019-05-04 2019-06-19 Studio Go Go Ltd A method and system for providing a virtual reality experience
US11483486B1 (en) * 2019-05-23 2022-10-25 Disney Enterprises, Inc. Virtual experience imaging products
US11391257B2 (en) * 2019-07-23 2022-07-19 Ford Global Technologies, Llc Power supply during vehicle startup
US11529886B2 (en) 2019-07-23 2022-12-20 Ford Global Technologies, Llc Power supply during vehicle off state
CN114174895A (zh) * 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
KR20210014813A (ko) 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시장치
US11481980B2 (en) * 2019-08-20 2022-10-25 The Calany Holding S.Á´ R.L. Transitioning from public to personal digital reality experience
US10976818B2 (en) * 2019-08-21 2021-04-13 Universal City Studios Llc Interactive attraction system and method for object and user association
US11442533B2 (en) * 2019-09-13 2022-09-13 iPMachine, LLC System for mixed reality experiences
KR102324845B1 (ko) * 2019-10-02 2021-11-11 (주)케이시크 사용자 게임 연계 자율주행 방법 및 시스템
CN214384648U (zh) 2019-11-11 2021-10-12 斯平玛斯特有限公司 增强现实系统
US11377039B2 (en) * 2019-11-13 2022-07-05 Universal City Studios Llc Systems and methods to hold and charge a personal electronic device on a ride vehicle
US11830460B2 (en) * 2019-11-14 2023-11-28 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
US11145117B2 (en) 2019-12-02 2021-10-12 At&T Intellectual Property I, L.P. System and method for preserving a configurable augmented reality experience
KR102307463B1 (ko) 2020-02-05 2021-09-29 이근호 사파리 투어 시스템 및 그 시스템의 구동방법
CN115398316A (zh) 2020-02-14 2022-11-25 奇跃公司 3d对象注释
EP4103999A4 (en) 2020-02-14 2023-08-02 Magic Leap, Inc. SESSION MANAGER
EP4104000A4 (en) 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
US11474602B2 (en) * 2020-02-26 2022-10-18 Disney Enterprises, Inc. Gameplay system with play augmented by merchandise
US20210271881A1 (en) * 2020-02-27 2021-09-02 Universal City Studios Llc Augmented reality guest recognition systems and methods
US11207606B2 (en) * 2020-03-02 2021-12-28 Universal City Studios Llc Systems and methods for reactive projection-mapped show robot
JP2021140085A (ja) * 2020-03-06 2021-09-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11196944B2 (en) * 2020-05-06 2021-12-07 At&T Intellectual Property I, L.P. System for infinite windows with optical disparity and depth resolution
CN113694531B (zh) * 2020-05-21 2024-01-19 抖音视界有限公司 游戏特效的生成方法、装置、电子设备及计算机可读介质
US11774770B2 (en) 2020-06-03 2023-10-03 Universal City Studios Llc Interface device with three-dimensional (3-D) viewing functionality
CN111694430A (zh) * 2020-06-10 2020-09-22 浙江商汤科技开发有限公司 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111603766B (zh) * 2020-06-29 2024-01-09 上海完美时空软件有限公司 虚拟载具的控制方法及装置、存储介质、电子装置
CN111857138A (zh) * 2020-07-03 2020-10-30 深圳怡丰自动化科技有限公司 载人自动导引车的控制方法及其应用以及相关装置
CN112130660B (zh) * 2020-08-14 2024-03-15 青岛小鸟看看科技有限公司 一种基于虚拟现实一体机的交互方法和系统
JP2023538019A (ja) * 2020-08-19 2023-09-06 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー アトラクションシステムの動作を調整するためのシステム及び方法
US11561611B2 (en) 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input
KR102420089B1 (ko) * 2020-11-30 2022-07-13 방성환 이미지 인식 기반의 증강현실 컨텐츠 제공 장치 및 방법
WO2022200249A1 (de) * 2021-03-22 2022-09-29 Manfred Weigl Vorrichtung zur ansteuerung von aktuatoren
EP4323827A1 (en) * 2021-04-15 2024-02-21 Niantic, Inc. Augmented reality hat
DE102021111457A1 (de) * 2021-05-04 2022-11-10 Vr Coaster Gmbh & Co. Kg Verfahren zum Betreiben eines Fahrgeschäfts sowie Fahrgeschäft
CA3215111A1 (en) * 2021-05-06 2022-11-10 Ron BESSEMS Systems and methods for layered data reporting in an attraction
US20220358687A1 (en) * 2021-05-10 2022-11-10 Cerence Operating Company Touring circuitry for an immersive tour through a touring theater
JP7216940B2 (ja) * 2021-06-02 2023-02-02 株式会社Nttコノキュー 通信システム、通信方法及び通信プログラム
JP7352598B2 (ja) * 2021-07-01 2023-09-28 本田技研工業株式会社 仮想体験提供システム、及びプログラム
WO2023021592A1 (ja) 2021-08-18 2023-02-23 株式会社ハシラス Vrアミューズメントプログラムおよび装置
WO2023048605A1 (en) * 2021-09-22 2023-03-30 Telefonaktiebolaget Lm Ericsson (Publ) Virtual reality game experience in self-driving vehicle
CN113908552A (zh) * 2021-09-29 2022-01-11 东北电力大学 一种虚拟现实结合的闯关式冰雪娱乐系统
EP4180100A1 (en) * 2021-11-11 2023-05-17 Playoke GmbH System for providing a single- or multi- player game experience
WO2023107542A1 (en) * 2021-12-09 2023-06-15 Universal City Studios Llc Amusement content processing systems and methods
WO2023133149A1 (en) * 2022-01-04 2023-07-13 Universal City Studios Llc Facial activity detection for virtual reality systems and methods
CN114460749A (zh) * 2022-01-29 2022-05-10 杭州灵伴科技有限公司 头戴式显示装置和载人装置
WO2023192517A1 (en) * 2022-03-31 2023-10-05 Universal City Studios Llc Show effect system for amusement park attraction system
US20230341928A1 (en) * 2022-04-21 2023-10-26 Universal City Studios Llc Artificial intelligence (ai)-assisted and dynamic ride profile head tracking systems and methods
USD1023209S1 (en) 2022-05-26 2024-04-16 Sally Industries, Inc. Indoor amusement ride
WO2024030444A1 (en) * 2022-08-03 2024-02-08 Universal City Studios Llc Systems and methods for operating an amusement park system
WO2024039679A1 (en) * 2022-08-15 2024-02-22 Universal City Studios Llc Show effect system for amusement park attraction system
WO2024054502A1 (en) * 2022-09-06 2024-03-14 Universal City Studios Llc Tangible/virtual design systems and methods for amusement park attraction design
KR20240037662A (ko) 2022-09-15 2024-03-22 배재대학교 산학협력단 가상 현실 기반 관광지 액티비티 체험 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143478A (ja) 2001-10-31 2003-05-16 Canon Inc 映像合成装置および情報処理方法
JP2005020559A (ja) 2003-06-27 2005-01-20 Univ Waseda 立体映像呈示装置
JP2006293604A (ja) 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2007052484A (ja) 2005-08-15 2007-03-01 Dainippon Printing Co Ltd 画像処理装置、画像処理方法及び画像処理用プログラム並びに情報記録媒体
JP2012514391A (ja) 2008-12-29 2012-06-21 レッド.コム,インコーポレイテッド モジュール式のデジタルカメラ
JP2016057947A (ja) 2014-09-11 2016-04-21 株式会社パスコ 仮想空間表示装置、仮想空間表示方法及びプログラム

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5790187A (en) 1980-11-27 1982-06-04 Matsushita Electric Works Ltd Multiaction type electronic digital timer
CA2105669A1 (en) * 1992-02-24 1993-08-25 Albert F. Harvard Virtual image entertainment
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
JP3491327B2 (ja) * 1994-04-13 2004-01-26 株式会社セガ 遊戯装置
JPH08160349A (ja) * 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
GB9506861D0 (en) 1995-04-03 1995-05-24 Zeneca Ltd Method of coating optical fibres
US6227121B1 (en) 1995-11-03 2001-05-08 Metero Amusement Corporation Modularized amusement ride and training simulation device
US5716281A (en) * 1995-11-27 1998-02-10 Sega Enterprises, Ltd. Game apparatus using a vehicle with an optical image synthesizing system
JPH1015252A (ja) * 1996-07-04 1998-01-20 Sega Enterp Ltd ゲームシステムおよびゲーム用車両
US5785592A (en) * 1996-08-12 1998-07-28 Sarcos, Inc. Interactive target game system
JP3651204B2 (ja) * 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
WO1998031444A1 (en) 1997-01-16 1998-07-23 Fiske Orlo J Amusement vehicle
JPH10309381A (ja) 1997-05-13 1998-11-24 Yoshimasa Tanaka 移動体用遊戯装置
US6220965B1 (en) 1998-07-08 2001-04-24 Universal City Studios Inc. Amusement system
WO2000035200A1 (en) 1998-12-07 2000-06-15 Universal City Studios, Inc. Image correction method to compensate for point of view image distortion
JP2001062154A (ja) * 1999-08-23 2001-03-13 Kazuo Sawatake 稼動式遊戯乗り物用視覚効果及び音響効果機能ヘルメット。
JP3273038B2 (ja) * 1999-11-17 2002-04-08 株式会社ナムコ 仮想体験型ゲーム装置
US6533670B1 (en) 2000-08-14 2003-03-18 Universal City Studio, Inc. Amusement ride with pivotable motion base
US6796908B2 (en) 2001-06-14 2004-09-28 Creative Kingdoms, Llc Interactive dark ride
WO2003082421A2 (en) 2002-03-22 2003-10-09 Threlkel David V Amusement ride
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
RU2293587C2 (ru) * 2003-08-06 2007-02-20 Владимир Алексеевич Гнездилов Аттракцион (варианты)
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US7955168B2 (en) 2005-06-24 2011-06-07 Disney Enterprises, Inc. Amusement ride and video game
US20070106484A1 (en) * 2005-11-04 2007-05-10 Triverity Corporation Entertainment ride experience enhancement system
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
ES2300204B1 (es) * 2006-11-16 2009-05-01 The Movie Virtual, S.L. Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada.
FR2911463B1 (fr) * 2007-01-12 2009-10-30 Total Immersion Sa Dispositif d'observation de realite augmentee temps reel et procede de mise en oeuvre d'un dispositif
US20080188318A1 (en) 2007-02-01 2008-08-07 Piccionelli Gregory A Ride system with motion simulation and video stream
AU2009206514A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US8025581B2 (en) 2008-05-09 2011-09-27 Disney Enterprises, Inc. Interactive interface mounting assembly for amusement and theme park rides
JP2012530317A (ja) * 2008-06-17 2012-11-29 ディジゲイジ リミテッド バーチャルビューを変更するシステム
EP2138213B1 (de) 2008-06-26 2012-01-18 Maurer Söhne GmbH & Co. KG Fahrgeschäft, insbesondere Achterbahn
US20100131865A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
US8303406B2 (en) * 2008-11-24 2012-11-06 Disney Enterprises, Inc. System and method for providing an augmented reality experience
US20110025584A1 (en) * 2009-07-29 2011-02-03 Gm Global Technology Operations, Inc. Light-emitting diode heads-up display for a vehicle
RU2433487C2 (ru) * 2009-08-04 2011-11-10 Леонид Михайлович Файнштейн Способ проецирования изображения на поверхности реальных объектов
US20110141246A1 (en) 2009-12-15 2011-06-16 Justin Michael Schwartz System and Method for Producing Stereoscopic Images
US9901828B2 (en) 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP5704931B2 (ja) * 2011-01-18 2015-04-22 株式会社三共 遊技機
WO2012118507A1 (en) * 2011-03-03 2012-09-07 Research In Motion Limited Methods and apparatus to generate virtual-world environments
JP5790187B2 (ja) 2011-06-16 2015-10-07 ソニー株式会社 表示装置
US8810482B2 (en) 2011-06-29 2014-08-19 Recon Instruments Inc. Modular heads-up display systems
US8491403B2 (en) 2011-07-08 2013-07-23 Nathan Schreibfeder Amusement ride system
US8963957B2 (en) * 2011-07-15 2015-02-24 Mark Skarulis Systems and methods for an augmented reality platform
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
JP2013027479A (ja) * 2011-07-27 2013-02-07 Kunio Goto 映像投影施設
US9352225B2 (en) * 2011-08-18 2016-05-31 Game Nation, Inc. System and method for providing a multi-player game experience
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9285871B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
CN103959134B (zh) 2011-11-24 2017-05-10 松下知识产权经营株式会社 头戴式显示器装置
US20130137076A1 (en) 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8705177B1 (en) 2011-12-05 2014-04-22 Google Inc. Integrated near-to-eye display module
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
CN102402005B (zh) 2011-12-06 2015-11-25 北京理工大学 自由曲面双焦面单目立体头盔显示器装置
US20150312561A1 (en) 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
US20130032053A1 (en) * 2012-01-09 2013-02-07 Daniel James Stoker Hybrid Motion Ride and Ride Simulator Vehicle
US9092953B1 (en) 2012-01-24 2015-07-28 Bruce J. P. Mortimer System and method for providing a remote haptic stimulus
US8727896B2 (en) * 2012-03-14 2014-05-20 Anton Frolov Underground and underwater amusement attractions
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9210413B2 (en) * 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US9253524B2 (en) 2012-07-20 2016-02-02 Intel Corporation Selective post-processing of decoded video frames based on focus point determination
US10073201B2 (en) 2012-10-26 2018-09-11 Qualcomm Incorporated See through near-eye display
US9619911B2 (en) * 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
US8867139B2 (en) 2012-11-30 2014-10-21 Google Inc. Dual axis internal optical beam tilt for eyepiece of an HMD
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US9582922B2 (en) 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
JP6237000B2 (ja) 2013-08-29 2017-11-29 セイコーエプソン株式会社 頭部装着型表示装置
CA2865343C (en) 2013-09-30 2018-03-13 Rick A. Briggs Interactive play center
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
WO2015051660A1 (zh) 2013-10-13 2015-04-16 北京蚁视科技有限公司 头戴式立体显示器
WO2015074086A2 (en) 2013-11-18 2015-05-21 Raven Sun Creative, Inc. Tower ride
US9463379B1 (en) * 2013-12-17 2016-10-11 Thinkwell Group Ride vehicle mounted interactive game system
US9569886B2 (en) 2013-12-19 2017-02-14 Intel Corporation Variable shading
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
CN106233189B (zh) * 2014-01-31 2020-06-26 奇跃公司 多焦点显示系统和方法
US9389423B2 (en) 2014-03-11 2016-07-12 Google Inc. Head wearable display with adjustable transparency
CN103977559B (zh) * 2014-05-23 2017-10-17 北京智谷睿拓技术服务有限公司 交互方法及交互装置
US9155971B1 (en) 2014-05-28 2015-10-13 Disney Enterprises, Inc. Selective illumination of physical scenery in amusement park rides
JP2015228050A (ja) 2014-05-30 2015-12-17 ソニー株式会社 情報処理装置および情報処理方法
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
GB2527503A (en) 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
RU2592458C2 (ru) * 2014-06-26 2016-07-20 Общество с ограниченной ответственностью "АВИАРЕАЛ" Способ формирования изображения дополненной реальности, обеспечивающий корректное восприятие удаления виртуальных объектов
JP6361327B2 (ja) * 2014-07-02 2018-07-25 セイコーエプソン株式会社 電気光学装置、及び電子機器
CN104102412B (zh) * 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
AU2015303267A1 (en) 2014-08-11 2016-07-07 Vr Coaster Gmbh & Co. Kg Method for operating a device, in particular an amusement ride, transport means, a fitness device or similar
US9690375B2 (en) 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
KR102230076B1 (ko) 2014-09-01 2021-03-19 삼성전자 주식회사 헤드 마운트 디스플레이 장치
US10261579B2 (en) 2014-09-01 2019-04-16 Samsung Electronics Co., Ltd. Head-mounted display apparatus
US10238979B2 (en) * 2014-09-26 2019-03-26 Universal City Sudios LLC Video game ride
US20160097929A1 (en) 2014-10-01 2016-04-07 Dawson Yee See-through display optic structure
US20160097930A1 (en) 2014-10-06 2016-04-07 Steven John Robbins Microdisplay optical system having two microlens arrays
JP6363928B2 (ja) * 2014-10-10 2018-07-25 泉陽興業株式会社 遊戯施設
WO2016064435A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
CN107003523B (zh) 2014-10-24 2019-05-14 埃马金公司 基于微显示器的沉浸式头戴视图器
CN106999768A (zh) * 2014-11-16 2017-08-01 盖·芬夫特 用于提供替代现实搭乘体验的系统和方法
WO2016105285A1 (en) 2014-12-26 2016-06-30 Koc University Near-to-eye display device with variable resolution
US10108832B2 (en) 2014-12-30 2018-10-23 Hand Held Products, Inc. Augmented reality vision barcode scanning system and method
WO2016112017A2 (en) 2015-01-05 2016-07-14 Worcester Polytechnic Institute System and method for controlling immersiveness of head-worn displays
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
CN104627078B (zh) * 2015-02-04 2017-03-08 上海咔酷咔新能源科技有限公司 基于柔性透明oled的汽车驾驶虚拟系统及其控制方法
DE112016000728T5 (de) 2015-02-12 2017-10-26 Google Inc. Kombinieren eines Displays mit engem Blickfeld und hoher Auflösung und eines Weitwinkeldisplays mit mittlerer Auflösung
TWI567670B (zh) * 2015-02-26 2017-01-21 宅妝股份有限公司 切換虛擬實境模式與擴增實境模式的管理方法以及系統
US9358473B2 (en) 2015-03-24 2016-06-07 Anthony Frolov Interactive amusement attraction
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
US20160314624A1 (en) * 2015-04-24 2016-10-27 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US20160343173A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality
US20160349509A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Mixed-reality headset
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US20170363949A1 (en) 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US9942539B2 (en) * 2015-06-01 2018-04-10 Disney Enterprises, Inc. Scanning laser-based three dimensional (3D) display systems for viewers wearing 3D glasses
US10366534B2 (en) 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
US9638921B2 (en) 2015-06-11 2017-05-02 Oculus Vr, Llc Strap system for head-mounted displays
US9977493B2 (en) 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
GB2553236A (en) 2015-06-23 2018-02-28 Google Llc Head mounted display device with dual curved displays
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
WO2017004695A1 (en) 2015-07-06 2017-01-12 Frank Jones Methods and devices for demountable head mounted displays
US9606362B2 (en) 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
US20170039986A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Mixed Reality Social Interactions
US9454010B1 (en) 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US20170053445A1 (en) 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Augmented Reality
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US9571741B1 (en) 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
WO2017061677A1 (en) 2015-10-08 2017-04-13 Lg Electronics Inc. Head mount display device
US10724874B2 (en) * 2015-10-13 2020-07-28 Here Global B.V. Virtual reality environment responsive to predictive route navigation
US20170116950A1 (en) 2015-10-22 2017-04-27 Google Inc. Liquid crystal display with variable drive voltage
US9741125B2 (en) 2015-10-28 2017-08-22 Intel Corporation Method and system of background-foreground segmentation for image processing
US10001683B2 (en) 2015-11-06 2018-06-19 Microsoft Technology Licensing, Llc Low-profile microdisplay module
US9763342B2 (en) 2015-12-09 2017-09-12 Oculus Vr, Llc Cable retention assembly for a head mounted display
US10147235B2 (en) 2015-12-10 2018-12-04 Microsoft Technology Licensing, Llc AR display with adjustable stereo overlap zone
US20170176747A1 (en) 2015-12-21 2017-06-22 Tuomas Heikki Sakari Vallius Multi-Pupil Display System for Head-Mounted Display Device
US10229540B2 (en) 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
EP3347811A1 (en) 2016-01-21 2018-07-18 Google LLC Global command interface for a hybrid display, corresponding method, and head mounted display
US10229541B2 (en) 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US10209785B2 (en) 2016-02-02 2019-02-19 Microsoft Technology Licensing, Llc Volatility based cursor tethering
US20170225084A1 (en) * 2016-02-05 2017-08-10 S&S Worldwide, Inc. Immersive mobile theater
US11112266B2 (en) 2016-02-12 2021-09-07 Disney Enterprises, Inc. Method for motion-synchronized AR or VR entertainment experience
US10169922B2 (en) 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
US10473933B2 (en) 2016-02-19 2019-11-12 Microsoft Technology Licensing, Llc Waveguide pupil relay
US9778467B1 (en) 2016-03-01 2017-10-03 Daryl White Head mounted display
US9933624B1 (en) 2016-03-01 2018-04-03 Daryl White System and method for providing individualized virtual reality for an amusement attraction
US9964767B2 (en) 2016-03-03 2018-05-08 Google Llc Display with reflected LED micro-display panels
KR102448919B1 (ko) 2016-03-16 2022-10-04 삼성디스플레이 주식회사 표시 장치
US10133345B2 (en) 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10175487B2 (en) 2016-03-29 2019-01-08 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device
US9946074B2 (en) 2016-04-07 2018-04-17 Google Llc See-through curved eyepiece with patterned optical combiner
US9965899B2 (en) 2016-04-28 2018-05-08 Verizon Patent And Licensing Inc. Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration
US20170323482A1 (en) 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
US20170323416A1 (en) 2016-05-09 2017-11-09 Intel Corporation Processing image fragments from one frame in separate image processing pipes based on image analysis
US10496156B2 (en) 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
US10502363B2 (en) 2016-05-17 2019-12-10 Occipital, Inc. Self-contained mixed reality head mounted display
US10151927B2 (en) 2016-05-31 2018-12-11 Falcon's Treehouse, Llc Virtual reality and augmented reality head set for ride vehicle
US9858848B1 (en) * 2016-06-09 2018-01-02 International Business Machines Corporation Dynamic display adjustment on a transparent flexible display
EP3484343B1 (en) 2016-07-14 2024-01-10 Magic Leap, Inc. Iris boundary estimation using cornea curvature
CN106019597A (zh) 2016-07-27 2016-10-12 北京小米移动软件有限公司 虚拟现实眼镜
US9922466B2 (en) * 2016-08-05 2018-03-20 Uber Technologies, Inc. Virtual reality experience for a vehicle
CN106154555B (zh) 2016-08-24 2020-08-21 北京小米移动软件有限公司 虚拟现实眼镜
TWI622803B (zh) 2016-08-30 2018-05-01 廣達電腦股份有限公司 頭戴式顯示裝置
DE202017105948U1 (de) 2016-10-03 2018-03-07 Google LLC (n.d.Ges.d. Staates Delaware) Augmented-Reality- und/oder Virtual-Reality-Headset
US10459236B2 (en) 2016-12-09 2019-10-29 Lg Electronics Inc. Head-mounted display device with earbud holder
US20180196262A1 (en) 2017-01-12 2018-07-12 Artavious Cage Virtual reality system
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143478A (ja) 2001-10-31 2003-05-16 Canon Inc 映像合成装置および情報処理方法
JP2005020559A (ja) 2003-06-27 2005-01-20 Univ Waseda 立体映像呈示装置
JP2006293604A (ja) 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2007052484A (ja) 2005-08-15 2007-03-01 Dainippon Printing Co Ltd 画像処理装置、画像処理方法及び画像処理用プログラム並びに情報記録媒体
JP2012514391A (ja) 2008-12-29 2012-06-21 レッド.コム,インコーポレイテッド モジュール式のデジタルカメラ
JP2016057947A (ja) 2014-09-11 2016-04-21 株式会社パスコ 仮想空間表示装置、仮想空間表示方法及びプログラム

Also Published As

Publication number Publication date
KR102181793B1 (ko) 2020-11-25
CN110382066A (zh) 2019-10-25
SG11201907294PA (en) 2019-09-27
RU2019131371A3 (ja) 2021-04-07
SG11201907293SA (en) 2019-09-27
JP7198213B2 (ja) 2022-12-28
RU2019131372A (ru) 2021-04-07
US10289194B2 (en) 2019-05-14
KR20190124766A (ko) 2019-11-05
CA3054671A1 (en) 2018-09-13
CA3054963A1 (en) 2018-09-13
MY195166A (en) 2023-01-11
RU2019131372A3 (ja) 2021-07-06
CN116474381A (zh) 2023-07-25
ES2951475T3 (es) 2023-10-23
EP3592444A1 (en) 2020-01-15
US20180255285A1 (en) 2018-09-06
CN110382066B (zh) 2023-10-13
WO2018165041A8 (en) 2019-04-18
RU2754992C2 (ru) 2021-09-08
JP2022188084A (ja) 2022-12-20
US20180253141A1 (en) 2018-09-06
JP6756052B2 (ja) 2020-09-16
CN110352085B (zh) 2023-10-27
EP3592442B1 (en) 2023-05-10
KR20190123311A (ko) 2019-10-31
CA3054336A1 (en) 2018-09-13
CA3054963C (en) 2020-11-03
WO2018165165A3 (en) 2018-11-01
JP2020511218A (ja) 2020-04-16
SG11201907990YA (en) 2019-09-27
RU2754991C2 (ru) 2021-09-08
RU2019131365A3 (ja) 2021-04-07
RU2771098C2 (ru) 2022-04-26
CN110352086A (zh) 2019-10-18
MY196303A (en) 2023-03-24
KR102145140B1 (ko) 2020-08-18
RU2019131365A (ru) 2021-04-07
JP2020513957A (ja) 2020-05-21
WO2018165165A2 (en) 2018-09-13
WO2018165041A1 (en) 2018-09-13
KR20190117024A (ko) 2019-10-15
ES2965043T3 (es) 2024-04-10
CA3054333A1 (en) 2018-09-13
JP2020513956A (ja) 2020-05-21
EP3592443A2 (en) 2020-01-15
US10572000B2 (en) 2020-02-25
CN110352085A (zh) 2019-10-18
SG11201907988QA (en) 2019-09-27
WO2018165039A1 (en) 2018-09-13
WO2018165170A1 (en) 2018-09-13
CN110352086B (zh) 2024-03-12
JP2020514900A (ja) 2020-05-21
US20180253905A1 (en) 2018-09-06
US20180250589A1 (en) 2018-09-06
KR102145702B1 (ko) 2020-08-19
US10528123B2 (en) 2020-01-07
RU2719237C1 (ru) 2020-04-17
KR20190123314A (ko) 2019-10-31
CN110352087A (zh) 2019-10-18
KR20240042176A (ko) 2024-04-01
EP3592442A1 (en) 2020-01-15
EP3592443B1 (en) 2023-09-06
EP3592445B1 (en) 2024-01-31
RU2019131371A (ru) 2021-04-07
EP3592445A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
JP7257960B2 (ja) 複合現実ビューアシステムおよび方法
US10845942B2 (en) Information processing device and information processing method
JP7187446B2 (ja) 拡張された仮想現実
KR101986329B1 (ko) 범용의 구형 캡처 방법들
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
US8670046B2 (en) Image data creation support device and image data creation support method
US20170289221A1 (en) Methods and Systems for Efficient Distribution of Virtual Reality Media Content
US11562531B1 (en) Cascading shadow maps in areas of a three-dimensional environment
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
US11711494B1 (en) Automatic instancing for efficient rendering of three-dimensional virtual environment
US11593989B1 (en) Efficient shadows for alpha-mapped models
US20240037837A1 (en) Automatic graphics quality downgrading in a three-dimensional virtual environment
WO2022209129A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Trapp et al. Communication of digital cultural heritage in public spaces by the example of roman cologne
US11682175B2 (en) Previsualization devices and systems for the film industry
US11704864B1 (en) Static rendering for a combination of background and foreground objects
US11776203B1 (en) Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11956571B2 (en) Scene freezing and unfreezing
US11682164B1 (en) Sampling shadow maps at an offset
US20240040085A1 (en) Optimizing physics for static objects in a three-dimensional virtual environment
WO2022220306A1 (ja) 映像表示システム、情報処理装置、情報処理方法、及び、プログラム
WO2024026245A2 (en) Static rendering for a combination of background and foreground objects
Michelsen et al. Novel Interface Design for Augmented and Virtual Reality Binoculars for Outdoor Exhibitions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230112

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230123

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R150 Certificate of patent or registration of utility model

Ref document number: 7257960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150