RU2621633C2 - Система и способ для дополненной и виртуальной реальности - Google Patents

Система и способ для дополненной и виртуальной реальности Download PDF

Info

Publication number
RU2621633C2
RU2621633C2 RU2014121402A RU2014121402A RU2621633C2 RU 2621633 C2 RU2621633 C2 RU 2621633C2 RU 2014121402 A RU2014121402 A RU 2014121402A RU 2014121402 A RU2014121402 A RU 2014121402A RU 2621633 C2 RU2621633 C2 RU 2621633C2
Authority
RU
Russia
Prior art keywords
user
virtual
data
virtual world
world
Prior art date
Application number
RU2014121402A
Other languages
English (en)
Other versions
RU2014121402A (ru
Inventor
Самуэль А. МИЛЛЕР
Original Assignee
Мэджик Лип, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Мэджик Лип, Инк. filed Critical Мэджик Лип, Инк.
Publication of RU2014121402A publication Critical patent/RU2014121402A/ru
Application granted granted Critical
Publication of RU2621633C2 publication Critical patent/RU2621633C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/577—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player for watching a game played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Stereophonic System (AREA)

Abstract

Изобретение относится к дополненной и виртуальной реальности. Техническим результатом является обеспечение передачи виртуальных данных, воспроизводимых с наблюдаемых физических объектов. Система, содержит: компьютерную сеть, содержащую вычислительные устройства; первое вычислительное устройство, имеющее компонент в виде носимого пользовательского дисплея, первое вычислительное устройство подсоединено с возможностью взаимодействия к компьютерной сети; первая часть данных виртуального мира содержит виртуальный объект, воспроизводимый в качестве реакции на физический объект, являющийся локальным по отношению к полю обзора первого пользователя, ассоциированного с первым вычислительным устройством, и компьютерная сеть приспособлена для передачи этой первой части данных виртуального мира во второе вычислительное устройство, ассоциированное со вторым пользователем, компонент в виде носимого пользовательского дисплея визуальным образом отображает виртуальный объект второму пользователю, виртуальное представление физического объекта, являющегося локальным по отношению к полю обзора первого пользователя, визуальным образом представляется второму пользователю в местоположении второго пользователя. 17 з.п. ф-лы, 17 ил.

Description

СВЕДЕНИЯ О РОДСТВЕННОЙ ЗАЯВКЕ
По настоящей заявке в соответствии с § 119 Раздела 35 Кодекса законов США испрашивается приоритет Предварительной Заявки США Серийный № 61/552,941, поданной 28 октября 2011 г. Вышеназванная заявка посредством этого во всей своей полноте включена в настоящую заявку посредством ссылки.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение в целом относится к системам и способам, выполненным с возможностью обеспечения интерактивных сред виртуальной или дополненной реальности для одного или более пользователей.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
Среды виртуальной и дополненной реальности генерируются посредством компьютеров, используя, частично, данные, которые описывают среду. Эти данные могут описывать, например, различные объекты, которые может фиксировать и с которыми может взаимодействовать пользователь. Примеры таких объектов включают в себя: объекты, которые формируются посредством рендеринга и отображаются пользователю для просмотра; аудио, которое воспроизводится пользователю для прослушивания; и тактильную (или осязательную) обратную связь для пользователя, которую он чувствует. Пользователь может фиксировать и взаимодействовать со средами виртуальной и дополненной реальности посредством разнообразных визуальных, аудиальных и тактильных средств.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Один вариант осуществления направлен на систему для предоставления двум или более пользователям возможности взаимодействия внутри виртуального мира, содержащего данные виртуального мира, содержащую: компьютерную сеть, содержащую одно или более вычислительных устройств, при этом одно или более вычислительных устройств содержат память, схему обработки, и программное обеспечение, хранящееся, по меньшей мере, частично, в памяти и исполняемое схемой обработки для обработки, по меньшей мере, части данных виртуального мира; при этом, по меньшей мере, первая часть данных виртуального мира происходит из виртуального мира первого пользователя, локального для первого пользователя, и при этом компьютерная сеть работает для передачи этой первой части устройству пользователя для представления второму пользователю, с тем, чтобы второй пользователь мог воспринимать данную первую часть из местоположения второго пользователя, так что аспекты виртуального мира первого пользователя эффективно перенаправляются второму пользователю. Первый и второй пользователи могут находиться в разных физических местоположениях или, по существу, в одном и том же физическом местоположении. По меньшей мере, часть виртуального мира может быть выполнена с возможностью изменения в ответ на изменение данных виртуального мира. По меньшей мере, часть виртуального мира может быть выполнена с возможностью изменения в ответ на физический объект, который фиксирует устройство пользователя. Изменение данных виртуального мира может представлять собой виртуальный объект с предварительно определенной зависимостью с физическим объектом. Изменение данных виртуального мира может быть представлено устройству второго пользователя для представления второму пользователю в соответствии с предварительно определенной зависимостью. Виртуальный мир может быть приспособлен так чтобы его представление формировалось посредством, по меньшей мере, одного из компьютерных серверов и устройства пользователя. Виртуальный мир может быть представлен в двумерном формате. Виртуальный мир может быть представлен в трехмерном формате. Устройство пользователя может быть таким, которое работает для предоставления интерфейса, обеспечивающего взаимодействие между пользователем и виртуальным миром в режиме дополненной реальности. Устройство пользователя может быть таким, которое работает для предоставления интерфейса, обеспечивающего взаимодействие между пользователем и виртуальным миром в режиме виртуальной реальности. Устройство пользователя может быть таким, которое работает для предоставления интерфейса, обеспечивающего взаимодействие между пользователем и виртуальным миром в режиме сочетания дополненной и виртуальной реальности. Данные виртуального мира могут быть переданы по сети передачи данных. Компьютерная сеть может быть такой, которая работает для приема, по меньшей мере, части данных виртуального мира от устройства пользователя. По меньшей мере, часть данных виртуального мира, передаваемая устройству пользователя, может содержать инструкции для генерирования, по меньшей мере, части виртуального мира. По меньшей мере, часть данных виртуального мира может быть передана шлюзу, по меньшей мере, для одного из обработки и распространения. По меньшей мере, один из одного или более компьютерных серверов может быть таким, который работает для обработки данных виртуального мира, распространяемых шлюзом.
Другой вариант осуществления направлен на систему для виртуального и/или дополненного восприятия пользователя, в которой удаленные аватары анимируются на основании, по меньшей мере, частично, данных с носимого устройства с опциональным вводом через программное обеспечение с распознаванием интонации голоса и распознаванием лиц.
Другой вариант осуществления направлен на систему для виртуального и/или дополненного восприятия пользователя, в которой ориентация камеры или позиция и вектор точки обзора могут быть помещены где угодно в секторе мира.
Другой вариант осуществления направлен на систему для виртуального и/или дополненного восприятия пользователя, в которой представления миров или их частей могут формироваться для наблюдения пользователями при разнообразных или выбираемых масштабах.
Другой вариант осуществления направлен на систему для виртуального и/или дополненного восприятия пользователя, в которой свойства, такие как точки или параметрические линии, в дополнение к изображениям с размеченной ориентацией, могут быть использованы в качестве базовых данных для модели мира, из которых роботы программного обеспечения, или распознаватели объекта, могут быть использованы для создания параметрических представления объектов реального мира, размечая исходные свойства для взаимного включения в вычлененные объекты и модель мира.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 иллюстрирует типичный вариант осуществления раскрываемой системы, выполненной с возможностью обеспечения интерактивных сред виртуальной или дополненной реальности для нескольких пользователей.
Фиг. 2 иллюстрирует пример устройства пользователя для взаимодействия с системой, проиллюстрированной на Фиг. 1.
Фиг. 3 иллюстрирует пример варианта осуществления мобильного, носимого устройства пользователя.
Фиг. 4 иллюстрирует пример объектов, которые видит пользователь, когда мобильное, носимое устройство пользователя с Фиг. 3 работает в дополненном режиме.
Фиг. 5 иллюстрирует пример объектов, которые видит пользователь, когда мобильное, носимое устройство пользователя с Фиг. 3 работает в виртуальном режиме.
Фиг. 6 иллюстрирует пример объектов, которые видит пользователь, когда мобильное, носимое устройство пользователя с Фиг. 3 работает в режиме смешанного виртуального интерфейса.
Фиг. 7 иллюстрирует вариант осуществления, в котором два пользователя, находящиеся в разных географических местоположения, каждый взаимодействует с другим пользователем и общим виртуальным миром посредством их соответствующих устройств пользователя.
Фиг. 8 иллюстрирует вариант осуществления, в котором вариант осуществления с Фиг. 7 расширяется как включающий в себя использование осязательного устройства.
Фиг. 9A иллюстрирует пример взаимодействия в комбинированном режиме, при котором первый пользователь взаимодействует с цифровым миром в режиме смешанного виртуального интерфейса, а второй пользователь взаимодействует с тем же самым цифровым миром в режиме виртуальной реальности.
Фиг. 9B иллюстрирует другой пример взаимодействия в комбинированном режиме, при котором первый пользователь взаимодействует с цифровым миром в режиме смешанного виртуального интерфейса, а второй пользователь взаимодействует с тем же самым цифровым миром в режиме дополненной реальности.
Фиг. 10 иллюстрирует примерную иллюстрацию обзора со стороны пользователя при взаимодействии с системой в режиме дополненной реальности.
Фиг. 11 иллюстрирует примерную иллюстрацию обзора со стороны пользователя, где показан виртуальный объект, инициируемый физическим объектом, когда пользователь взаимодействует с системой в режиме дополненной реальности.
Фиг. 12 иллюстрирует один вариант осуществления конфигурации интеграции дополненной и виртуальной реальности, в котором один пользователь с восприятием в режиме дополненной реальности визуализирует присутствие другого пользователя с восприятием в режиме виртуальной реальности.
Фиг. 13 иллюстрирует один вариант осуществления временного и/или ограничивающего события на основании конфигурации восприятия в режиме дополненной реальности.
Фиг. 14 иллюстрирует один вариант осуществления конфигурации отображения пользователя, пригодного для восприятий в режимах виртуальной и/или дополненной реальности.
Фиг. 15 иллюстрирует один вариант осуществления локальной и основанной на облаке координации вычислений.
Фиг. 16 иллюстрирует различные аспекты конфигураций регистрации.
ПОДРОБНОЕ ОПИСАНИЕ
Обращаясь к Фиг. 1, система 100 является типичным аппаратным обеспечением для реализации описываемых ниже процессов. Данная типичная система содержит вычислительную сеть 105, состоящую из одного или более компьютерных серверов 110, соединенных посредством одного или более интерфейсов 115 с высокой полосой пропускания. Серверы в вычислительной сети не обязательно должны размещаться в одном месте. Один или более серверов 110 каждый содержит один или более процессоров для исполнения программных инструкций. Серверы также могут включать в себя память для хранения программных инструкций и данных, которые используются и/или генерируются посредством процессов, выполняемых серверами под управлением программных инструкций.
Вычислительная сеть 105 обеспечивает связь для передачи данных между серверами 110 и между серверами и одним или более устройствами 120 пользователя через одно или более соединений 130 сети передачи данных. Примеры таких сетей передачи данных включают в себя, без ограничения, любые и все типы открытых и частных сетей передачи данных, как мобильные, так и проводные, включая, например, взаимное соединение множества таких сетей, обычно называемое как Интернет. На фигуре не подразумевается какой-либо конкретно используемой среды, топологии или протокола.
Устройства пользователя выполнены с возможностью осуществления связи непосредственно с вычислительной сетью 105, или любым из серверов 110. В качестве альтернативы, устройства 120 пользователя осуществляют связь с удаленными серверами 110, и, в необязательном порядке, с другими устройствами пользователя локально, посредством специально запрограммированного локального шлюза 140 для обработки данных и/или для осуществления связи для передачи данных между сетью 105 и одним или более локальными устройствами 120 пользователя.
Как иллюстрируется, шлюз 140 реализован в качестве отдельного компонента аппаратного обеспечения, который включает в себя процессор для исполнения инструкций программного обеспечения и память для хранения инструкций программного обеспечения и данных. Шлюз имеет свое собственное проводное и/или беспроводное соединение с сетями передачи данных для осуществления связи с серверами 110, составляющими вычислительную сеть 105. В качестве альтернативы, шлюз 140 может быть интегрирован в устройство 120 пользователя, которое носит с собой или переносит пользователь. Например, шлюз 140 может быть реализован в качестве загружаемого приложения программного обеспечения, установленного и работающего на процессоре, который включен в устройство 120 пользователя. Шлюз 140 обеспечивает, в одном варианте осуществления, доступ одного или более пользователей к вычислительной сети 105 через сеть 130 передачи данных.
Серверы 110 каждый включает в себя, например, рабочую память и хранилище для хранения данных и программ программного обеспечения, микропроцессоры для исполнения программных инструкций, графические процессоры и прочие специализированные процессоры рендеринга и генерирования графики, изображений, видео, аудио и мультимедийных файлов. Вычислительная сеть 105 также может содержать устройства для хранения данных, доступ к которым получают, используют или создают посредством серверов 110.
Программы программного обеспечения, работающие на серверах и, в необязательном порядке, устройствах 120 пользователя и шлюзах 140, используются для генерирования цифровых миров (также именуемых здесь как виртуальные миры), с которыми пользователи взаимодействуют с помощью устройств 120 пользователя. Цифровой мир представлен данными и процессами, которые описывают и/или определяют виртуальные, не существующие субъекты, среды и условия, которые могут быть представлены пользователю посредством устройства 120 пользователя для того, чтобы пользователь воспринимал и взаимодействовал с ними. Например, некоторый тип объекта, субъекты или элемента, который будет появляться как физически представляемый при воплощении в сцене, которая просматривается и воспринимается пользователем, может включать в себя описание его внешнего вида, его поведения, то, каким образом пользователю разрешено с ним взаимодействовать, и прочие характеристики. Данные, используемые для создания среды виртуального мира (включая виртуальные объекты), могут включать в себя, например, атмосферные данные, данные местности, погодные данные, температурные данные, данные местоположения и прочие данные, используемые для определения и/или описания виртуальной среды. Дополнительно, данные, определяющие различные условия, которые обуславливают функционирование виртуального мира, могут включать в себя, например, физические законы, время, пространственные зависимости и прочие данные, которые могут быть использованы для определения и/или создания различных условий, которые обуславливают функционирование виртуального мира (включая виртуальные объекты).
Субъект, объект, условие, характеристика, поведение или другое свойство цифрового мира, в общем, будет именоваться здесь, до тех пор, пока контекст не указывает обратное, как «объект» (например, цифровой объект, виртуальный объект, визуализируемый посредством рендеринга физический объект, и т.д.). Объекты могут быть любого типа анимированным или не анимированным объектом, включая, но не ограничиваясь, здания, растения, транспортные средства, людей, животных, созданий, машины, данные, видео, текст, картинки и прочих пользователей. Объекты также могут быть определены в цифровом виде для хранения информации об элементах, поведениях или условиях, которые фактически присутствуют в физическом мире. Данные, которые описывают или определяют субъект, объект или элемент, или которые хранят его текущее состояние, в целом именуются здесь данными объекта. Эти данные обрабатываются серверами 110 или, в зависимости от реализации, шлюзом 140 или устройством 120 пользователя, для того чтобы создать экземпляр (инстанцировать) объекта и сформировать представление объекта соответствующим образом, чтобы пользователь воспринимал его посредством устройства пользователя.
Программисты, которые разрабатывают и/или курируют цифровой мир, создают или определяют объекты и условия, при которых они инстанцируются. Тем не менее, цифровой мир может позволять другим создавать или модифицировать объекты. Как только объект инстанцирован, может быть разрешено изменение, управление или манипулирование состоянием объекта со стороны одного или более пользователей, воспринимающих цифровой мир.
Например, в одном варианте осуществления, разработка, создание и администрирование цифрового мира в целом обеспечивается одним или более администрирующими систему программистами. В некоторых вариантах осуществления, это может включать в себя разработку, проектирование и/или исполнение сюжетной линии, тем и событий в цифровых мирах, как впрочем, и распределение изложений посредством различных форм событий и средств, таких как, например, фильм, цифровая сеть, мобильная сеть, дополненная реальность и развлечения в режиме реального времени. Администрирующие систему программисты также могут осуществлять техническое администрирование, регулирование и курирование цифровых миров и сообществ пользователей, с ними связанных, как впрочем, и другие задачи, которые, как правило, выполняются администрирующим сеть персоналом.
Пользователи взаимодействуют с одним или более цифровыми мирами при помощи некоторого типа локального вычислительного устройства, которое в целом обозначено как устройство 120 пользователя. Примеры таких устройств пользователя включают в себя, но не ограничиваются, интеллектуальный телефон (смартфон), планшетное устройство, дисплей головного монтажа (HUD), игровую консоль или любое другое устройство, выполненное с возможностью осуществления передачи данных и предоставления интерфейса или отображения пользователю, как впрочем, и сочетания таких устройств. В некоторых вариантах осуществления, устройство 120 пользователя может включать в себя, или осуществлять связь с, локальные периферийные устройства или компоненты ввода/вывода, такие как, например, клавиатура, манипулятор типа мышь, игровой манипулятор, игровой контроллер, устройство осязательного интерфейса, контроллер захвата движения, устройство оптического отслеживания, такое как те, что предоставляет Leap Motion, Inc., или те, что предоставляет Microsoft под торговой маркой Kinect (RTM), аудио оборудование, голосовое оборудование, проекционная система, 3D дисплей и голографические 3D контактные линзы.
Пример устройства 120 пользователя для взаимодействия с системой 100 иллюстрируется на Фиг. 2. В примерном варианте осуществления, показанном на Фиг. 2, пользователь 120 может взаимодействовать с одним или более цифровыми мирами посредством интеллектуального телефона 220. Шлюз реализуется посредством приложения 230 программного обеспечения, хранящегося и работающего на интеллектуальном телефоне 220. В данном конкретном примере, сеть 130 передачи данных включает в себя беспроводную мобильную сеть, соединяющую устройство пользователя (например, интеллектуальный телефон 220) с компьютерной сетью 105.
В одной реализации предпочтительного варианта осуществления, система 100 выполнена с возможностью одновременной поддержки большого количества пользователей (например, миллионов пользователей), каждый из которых взаимодействует с одним и тем же цифровым миром или с несколькими цифровыми мирами, используя некоторый тип устройства 120 пользователя.
Устройство пользователя предоставляет пользователю интерфейс, чтобы обеспечить визуальное, слышимое и/или физическое взаимодействие между пользователем и цифровым миром, генерируемым серверами 110, включающим в себя других пользователей и объекты (реальные или виртуальные), представленные пользователю. Интерфейс предоставляет пользователю сформированную сцену, которая может быть просмотрена, прослушана или иным образом зафиксирована, и возможность взаимодействия со сценой в режиме реального времени. Способ, посредством которого пользователь взаимодействует со сформированной сценой, может быть продиктован способностями устройства пользователя. Например, если устройством пользователя является интеллектуальный телефон, то взаимодействие пользователя может быть реализовано посредством того, что пользователь контактирует с сенсорным экраном. В другом примере, если устройство пользователя является компьютером или игровой консолью, то взаимодействие пользователя может быть реализовано при помощи клавиатуры или игрового контроллера. Устройства пользователя могут включать в себя дополнительные компоненты, которые обеспечивают пользователю возможность взаимодействия, такие как датчики, при этом объекты и информация (включая жесты), обнаруживаемая датчиками, может быть предоставлена в качестве ввода, представляющего взаимодействие пользователя с виртуальным миром при помощи устройства пользователя.
Сформированная сцена может быть представлена в различных форматах, таких как, например, двумерное или трехмерное визуальные отображения (включая проекции), звук и осязаемая или тактильная обратная связь. Пользователь может взаимодействовать со сформированной сценой при помощи одного или более режимов, включая, например, дополненную реальность, виртуальную реальность и их сочетание. Формат сформированной сцены, а также режимы интерфейса могут быть продиктованы одним или более из следующего: устройством пользователя, способностями по обработке данных, возможностями обеспечения соединения устройства пользователя, емкостью сети и рабочей нагрузкой системы. Наличие большого количества пользователей, одновременно взаимодействующих с цифровыми мирами, и обмен данными в режиме реального времени обеспечивается вычислительной сетью 105, серверами 110, компонентом 140 шлюза (опционально) и устройством 120 пользователя.
В одном варианте осуществления, вычислительная сеть 105 состоит из большой вычислительной системы с одноядерными и/или многоядерными серверами (т.е. серверами 110), соединенными посредством высокоскоростных соединений (например, интерфейсов 115 с высокой пропускной способностью). Вычислительная сеть 105 может образовывать облачную сеть или сеть с топологией решетки. Каждый из серверов включает в себя память, или соединен с машиночитаемой памятью для хранения программного обеспечения для реализации данных для создания, проектирования, изменения или обработки объектов цифрового мира. Эти объекты и их экземпляры могут быть динамическими, начинать и прекращать существование, меняться со временем и меняться в ответ на другие условия. Примеры динамических способностей объекта в целом рассматриваются здесь применительно к различным вариантам осуществления. В некоторых вариантах осуществления, каждый пользователь, взаимодействующий с системой 100, также может быть представлен в качестве объекта и/или совокупности объектов внутри одного или более цифровых миров.
Серверы 110 внутри вычислительной сети 105 также хранят данные вычисленного состояния для каждого из цифровых миров. Данные вычисленного состояния (также именуемые здесь данными состояния) могут быть компонентом данных объекта и в целом определяют состояние экземпляра объекта в заданный момент времени. Таким образом, данные вычисленного состояния могут меняться со временем и могут быть подвержены воздействию посредством действий одного или более пользователей и/или программистов, обслуживающих систему 100. По мере того, как пользователь оказывает воздействие на данные вычисленного состояния (или другие данные, которые содержатся в цифровых мирах), пользователь непосредственно изменяет или иным образом манипулирует цифровым миром. Если цифровой мир совместно используется с, или взаимодействует с, другими пользователями, то действия пользователя могут оказывать влияние на то, что воспринимается другими пользователями, взаимодействующими с цифровым миром. Таким образом, в некоторых вариантах осуществления, изменения в цифровом мире, выполненные пользователем, будут фиксироваться другими пользователями, взаимодействующими с системой 100.
Данные, которые хранятся на одном или более серверах 110 внутри вычислительной сети 105, в одном варианте осуществления, передаются или размещаются с высокой скоростью, и с низкой задержкой, на одном или более устройствах 120 пользователя и/или компоненте 140 шлюза. В одном варианте осуществления, данные объекта, совместно используемые серверами, могут быть полными или могут быть сжаты и могут содержать инструкции для восстановления полных данных объекта на стороне пользователя, их представление может формироваться и визуализироваться локальным вычислительным устройством пользователя (например, шлюзом 140 и/или устройством 120 пользователя). Программное обеспечение, работающее на серверах 110 вычислительной сети 105, может, в некоторых вариантах осуществления, использовать данные, которые оно генерирует, и отправлять конкретному устройству 120 пользователя применительно к объектам внутри цифрового мира (или любые другие данные, обмен которыми осуществляется посредством вычислительной сети 105), в зависимости от конкретного устройства пользователя и ширины полосы пропускания. Например, когда пользователь взаимодействует с цифровым миром посредством устройства 120 пользователя, сервер 110 может распознать конкретный тип устройства, используемого пользователем, возможности соединения устройства и/или доступную полосу пропускания между устройством пользователя и сервером, и соответствующим образом изменить размер и сбалансировать данные, доставляемые устройству, чтобы оптимизировать взаимодействие пользователя. Пример этого может включать в себя сокращение размера передаваемых данных до качества с низким разрешением, с тем чтобы данные могли быть отображены на конкретном устройстве пользователя с дисплеем с низким разрешением. В предпочтительном варианте осуществления, вычислительная сеть 105 и/или компонент 140 шлюза доставляет данные устройству 120 пользователя на скорости, достаточной для представления интерфейса, работающего при 15 кадрах в секунду и выше, и с разрешением, которое соответствует качеству высокой четкости или выше.
Шлюз 140 обеспечивает локальное соединение с вычислительной сетью 105 для одного или более пользователей. В некоторых вариантах осуществления он может быть реализован посредством скачиваемого приложения программного обеспечения, которое работает на устройстве 120 пользователя или другом локальном устройстве, таком как то, что показано на Фиг. 2. В других вариантах осуществления, он может быть реализован посредством компонента аппаратного обеспечения (с соответствующим программным обеспечением/встроенным программным обеспечением (firmvare), хранящимся в компоненте, оснащенном процессором), который либо осуществляет связь с, но не встроен в или не прикреплен к, устройством 120 пользователя, либо встроен в устройство 120 пользователя. Шлюз 140 осуществляет связь с вычислительной сетью 105 через сеть 130 передачи данных и обеспечивает обмен данными между вычислительной сетью 105 и одним или более локальными устройствами 120 пользователя. Как рассматривается более подробно ниже, компонент 140 шлюза может включать в себя программное обеспечение, встроенное программное обеспечение, память и процессорную схему (схему обработки данных), и может быть выполнен с возможностью обработки данных, которые передаются между сетью 105 и одним или более локальными устройствами 120 пользователя.
В некоторых вариантах осуществления, компонент 140 шлюза наблюдает и регулирует скорость обмена данными между устройством 120 пользователя и вычислительной сетью 105 для обеспечения оптимальных способностей обработки данных для конкретного устройства пользователя 120. Например, в некоторых вариантах осуществления, шлюз 140 буферизует и загружает как статические, так и динамические аспекты цифрового мира, даже те, которые находятся за пределами обзора, представляемого пользователю посредством интерфейса, соединенного с устройством пользователя. В таких вариантах осуществления, экземпляры статических объектов (структурированные данные, реализованные в программном обеспечении методы, или оба их этого) могут быть сохранены в памяти (локальной по отношению к компоненту 140 шлюза, устройству 120 пользователя или им обоим), и они привязаны к локальной текущей позиции пользователя, как указывается данными, предоставляемыми вычислительной сетью 105 и/или устройством 120 пользователя. Экземпляры динамических объектов, которые могут включать в себя, например, агенты интеллектного программного обеспечения и объекты, которые управляются другими пользователями и/или локальным пользователем, хранятся в буфере высокоскоростной памяти. Динамические объекты, представляющие собой двумерный или трехмерный объект внутри сцены, представляемой пользователю, могут быть, например, разбиты на составляющие формы, такие как статическая форма, которая перемещается, но не меняется, и динамическая форма, которая меняется. Часть динамического объекта, которая меняется, может обновляться в режиме реального времени посредством цепочечного высокоприоритетного потока данных от сервера 110, через вычислительную сеть 105, который управляется компонентом 140 шлюза. В качестве одного примера приоритетного цепочечного потока данных, данным, которые находятся в диапазоне 60-градусного поля обзора глаза пользователя, может быть назначен более высокий приоритет в сравнении с данными, которые являются периферийными. Другой пример включает в себя назначение более высокого приоритета динамическим персонажам и/или объектам в диапазоне поля обзора пользователя, чем статическим объектам на заднем плане.
В дополнение к управлению информационным соединением между вычислительной сетью 105 и устройством 120 пользователя, компонент 140 шлюза может хранить и/или обрабатывать данные, которые могут быть представлены устройству 120 пользователя. Например, компонент 140 шлюза может, в некоторых вариантах осуществления, принимать сжатые данные, описывающие, например, графические объекты, представление которых должно быть сформировано для просмотра пользователем, от вычислительной сети 105, и выполнять усовершенствованные методики рендеринга с тем, чтобы смягчить нагрузку, связанную с данными, передаваемыми устройству 120 пользователя от вычислительной сети 105. В другом примере, в котором шлюз 140 является отдельным устройством, шлюз 140 может сохранять и/или обрабатывать данные для локального экземпляра объекта, вместо передачи данных в вычислительную сеть 105 для обработки.
Теперь, опять же обращаясь к Фиг. 3, цифровые миры могут восприниматься одним или более пользователями в различных форматах, которые могут зависеть от функциональных способностей устройства пользователя. В некоторых вариантах осуществления, устройство 120 пользователя может включать в себя, например, интеллектуальный телефон, планшетное устройство, дисплей головного монтажа (HUD), игровую консоль или носимое устройство. В целом, устройство пользователя будет включать в себя процессор для исполнения программного кода, хранящегося в памяти в устройстве, соединенной с дисплеем, и интерфейсом связи. Примерный вариант осуществления устройства пользователя иллюстрируется на Фиг. 3, при этом устройство пользователя выполнено в виде мобильного, носимого устройства, а именно системы 300 головного монтажа. В соответствии с вариантом осуществления настоящего изобретения, система 300 головного монтажа включает в себя интерфейс 302 пользователя, систему 304 фиксации пользователя, систему 306 фиксации среды и процессор 308. Несмотря на то, что процессор 308 показан на Фиг. 3 в качестве изолированного компонента, отдельно от системы 300 головного монтажа, в альтернативном варианте осуществления процессор 308 может быть объединен с одним или более компонентами системы 300 головного монтажа или может быть интегрирован в другие компоненты системы 100, такие как, например, шлюз 140.
Устройство пользователя представляет пользователю интерфейс 302 для обеспечения взаимодействия и восприятия цифрового мира. Такое взаимодействие может быть связано с пользователем и цифровым миром, одним или более другими пользователями, взаимодействующими с системой 100, и объектами внутри цифрового мира. Интерфейс 302 главным образом обеспечивает сенсорный ввод посредством изображения и/или аудио (и в некоторых вариантах осуществления, физический сенсорный ввод) пользователю. Таким образом, интерфейс 302 может включать в себя громкоговорители (не показаны) и компонент 303 отображения, выполненный с возможностью, в некоторых вариантах осуществления, обеспечения стереоскопического 3D просмотра и/или 3D просмотра, который воплощает более естественные характеристики зрительной системы человека. В некоторых вариантах осуществления, компонент 303 отображения может быть выполнен в виде прозрачного интерфейса (такого как прозрачный OLED), который, при настройке «выключен», обеспечивает оптически правильный обзор физической среды вокруг пользователя с небольшим до отсутствующего оптическим искажением или компьютерным наложением. Как более подробно рассматривается ниже, интерфейс 302 может включать в себя дополнительные настройки, которые обеспечивают многообразие вариантов работы визуального представления/интерфейса и функциональных возможностей.
Система 304 фиксации пользователя может включать в себя, в некоторых вариантах осуществления, один или более датчиков 310, которые работают для обнаружения некоторых свойств, характеристик или информации, связанной с отдельным пользователем, который носит систему 300. Например, в некоторых вариантах осуществления, датчики 310 могут включать в себя камеру или схему оптического обнаружения/сканирования, выполненную с возможностью обнаружения в режиме реального времени оптических характеристик/измерения пользователя, таких как, например, одно или более из следующего: сужение/расширение зрачка, измерение/позиционирование по углу каждого зрачка, сферичность, форму глаза (по мере того как форма глаза меняется со временем) и другие анатомические данные. Эти данные могут предоставлять, или могут быть использованы для вычисления, информацию (например, точку визуального фокуса пользователя), которая может быть использована системой 300 головного монтажа и/или системой 100 интерфейса для оптимизации восприятия пользователя от просмотра. Например, в одном варианте осуществления, каждый из датчиков 310 может измерять скорость сокращения зрачка для каждого из глаз пользователя. Эти данные могут быть переданы процессору 308 (или компоненту 140 шлюза или серверу 110), при этом данные используются для определения, например, реакции пользователя на настройки яркости компонента 303 отображения. Интерфейс 302 может быть отрегулирован в соответствии с реакцией пользователя посредством, например, уменьшения силы света компонента 303 отображения, если реакция пользователя указывает на то, что уровень яркости компонента 303 отображения слишком высокий. Система 304 фиксации пользователя может включать в себя другие компоненты, отличные от тех, что рассматривались выше или иллюстрируются на Фиг. 3. Например, в некоторых вариантах осуществления система 304 фиксации пользователя может включать в себя микрофон для приема голосового ввода от пользователя. Система фиксации пользователя также может включать в себя один или более датчиков инфракрасной камеры, один или более датчиков камеры видимого спектра, излучатели и/или датчики структурированного света, излучатели инфракрасного света, излучатели и/или датчики когерентного света, гироскоп, датчики ускорения, магнитометры, датчики близости, датчики GPS, ультразвуковые излучатели и детекторы и осязательные интерфейсы.
Система 306 фиксации среды включает в себя один или более датчиков 312 для получения данных из физической среды вокруг пользователя. Объекты или информация, которая обнаруживается датчиками, могут предоставляться в качестве ввода устройству пользователя. В некоторых вариантах осуществления, этот ввод может представлять собой взаимодействие пользователя с виртуальным миром. Например, пользователь, просматривающий виртуальную клавиатуру на столе, может жестикулировать с помощью его пальцев, как если бы он печатал на виртуальной клавиатуре. Движение перемещающихся пальцев может быть захвачено датчиками 312 и предоставлено устройству пользователя или системе в качестве ввода, при этом ввод может быть использован для изменения виртуального мира или для создания новых виртуальных объектов. Например, движение пальцев может быть распознано (при помощи программы программного обеспечения) в качестве печати, и распознанный жест печати может быть объединен с известным местоположением виртуальных клавиш на виртуальной клавиатуре. Затем система может формировать виртуальный монитор, отображаемый пользователю (или другим пользователям, взаимодействующим с системой), при этом виртуальный монитор отображает текст, который напечатал пользователь.
Датчики 312 могут включать в себя, например, как правило, направленную наружу камеру или сканер для интерпретации информации сцены, например, посредством непрерывно и/или периодически проецируемого инфракрасного структурированного света. Система 306 фиксации среды может быть использована для построения карты соответствий применительно к одному или более элементам физической среды вокруг пользователя посредством обнаружения и регистрации локальной среды, включая статические объекты, динамические объекты, людей, жесты и различные условия освещения, атмосферные и акустические условия. Таким образом, в некоторых вариантах осуществления система 306 фиксации среды может включать в себя программное обеспечение 3D реконструкции на основе изображения, которое встроено в локальную вычислительную систему (например, компонент 140 шлюза или процессор 308) и которое работает для реконструкции цифровым образом одного или более объектов или информации, обнаруженных датчиками 312. В одном примерном варианте осуществления, система 306 фиксации среды обеспечивает одно или более из следующего: данные захвата движения (включая распознавание жестов), зондирование глубины, распознавание лиц, распознавание объектов, распознавание уникального свойства объекта, распознавание и обработку голоса/аудио, определение местоположения акустического источника, шумоподавление, инфракрасное или подобное лазерное проецирование, а также и монохромные или цветные CMOS датчики (или другие подобные датчики), датчики поля обзора и многообразие других оптико-усиливающих датчиков. Следует иметь в виду, что система 306 фиксации среды может включать в себя другие компоненты, отличные от тех, что рассмотрены выше или проиллюстрированы на Фиг. 3. Например, в некоторых вариантах осуществления система 306 фиксации среды может включать в себя микрофон для приема аудио от локальной среды. Система фиксации пользователя также может включать в себя один или более датчиков инфракрасной камеры, либо один или более датчиков камеры видимого спектра, излучателей и/или датчиков структурированного света, излучателей инфракрасного света, излучателей и/или датчиков когерентного света, гироскопов, датчиков ускорения, магнетометров, датчиков близости, датчиков GPS, ультразвуковых излучателей и детекторов и осязательных интерфейсов.
Как упомянуто выше, процессор 308 может, в некоторых вариантах осуществления, быть объединен с другими компонентами системы 300 головного монтажа, объединен с другими компонентами системы 100 интерфейса, или может быть изолированным устройством (носимым или отдельным от пользователя), как показано на Фиг. 3. Процессор 308 может быть соединен с различными компонентами системы 300 головного монтажа и/или компонентами системы 100 интерфейса посредством физического, проводного соединения, или посредством беспроводного соединения, такого как, например, соединения мобильной сети (включая сотовый телефон и сети передачи данных), Wi-Fi или Bluetooth. Процессор 308 может включать в себя модуль памяти, интегрированный и/или дополнительный блок обработки графики, средства беспроводной и/или проводной связи с интернет, кодек и/или встроенное программное обеспечение, выполненное с возможностью преобразования данных от источника (например, вычислительной сети 105, системы 304 фиксации пользователя, системы 306 фиксации среды, или компонента 140 шлюза) в аудиоданные и данные изображения, при этом изображения/видео и аудио могут быть представлены пользователю через интерфейс 302.
Процессор 308 осуществляет обработку данных для различных компонентов системы 300 головного монтажа, как, впрочем, и данных, обмен которыми осуществляется между системой 300 головного монтажа и компонентом 140 шлюза и, в некоторых вариантах осуществления, вычислительной сетью 105. Например, процессор 308 может быть использован для буферизации и обработки данных, потоковая передача которых осуществляется между пользователем и вычислительной сетью 105, тем самым обеспечивая гладкое, непрерывное и с высокой точностью воспроизведения восприятие пользователя. В некоторых вариантах осуществления, процессор 308 может обрабатывать данные на скорости, достаточной для получения везде от 8 кадров в секунду при разрешении 320×240 до 24 кадров в секунду при разрешении высокой четкости (1280×720) или выше, как например, 60-120 кадров в секунду при разрешении 4k и выше (10k+ разрешение и 50000 кадров в секунду). Дополнительно, процессор 308 может сохранять и/или обрабатывать данные, которые могут быть представлены пользователю, вместо их потоковой передачи в реальном времени из вычислительной сети 105. Например, процессор 308 может, в некоторых вариантах осуществления, принимать сжатые данные от вычислительной сети 105 и выполнять усовершенствованные методики рендеринга (такие как подсветка и затенение) для облегчения нагрузки, связанной с данными, передаваемыми устройству 120 пользователя от вычислительной сети 105. В другом примере, процессор 308 может сохранять и/или обрабатывать локальные данные объекта вместо передачи данных компоненту 140 шлюза или вычислительной сети 105.
Система 300 головного монтажа может, в некоторых вариантах осуществления, включать в себя различные настройки или режимы которые обеспечивают многообразие вариантов работы визуального представления/интерфейса и функциональных возможностей. Режимы могут быть выбраны вручную пользователем либо автоматически компонентами системы 300 головного монтажа или компонента 140 шлюза. Как упоминалось ранее, один пример системы 300 головного монтажа включает в себя «выключенный» режим, при этом интерфейс 302, по существу, не предоставляет цифрового или виртуального контента. В выключенном режиме компонент 303 отображения может быть прозрачным, тем самым обеспечивая оптически правильный обзор физической среды вокруг пользователя с небольшим, вплоть до отсутствующего, оптическим искажением или компьютерным наложением.
В одном примерном варианте осуществления, система 300 головного монтажа включает в себя «дополненный» режим, при этом интерфейс 302 предоставляет интерфейс дополненной реальности. В дополненном режиме компонент 303 отображения может быть, по существу, прозрачным, тем самым позволяя пользователю видеть локальную физическую среду. В то же самое время, данные виртуального объекта, предоставляемые вычислительной сетью 105, процессором 308 и/или компонентом 140 шлюза, представляются на компоненте 303 отображения в сочетании с физической локальной средой.
Фиг. 4 иллюстрирует примерный вариант осуществления объектов, которые просматриваются пользователем, когда интерфейс 302 работает в дополненном режиме. Как показано на Фиг. 4, интерфейс 302 представляет физический объект 402 и виртуальный объект 404. В варианте осуществления, иллюстрируемом на Фиг. 4, физический объект 402 является реальным физическим объектом, существующим в локальной среде пользователя, тогда как виртуальный объект 404 является объектом, созданным системой 100 и отображаемым через интерфейс 302 пользователя. В некоторых вариантах осуществления, виртуальный объект 404 может отображаться в закрепленной позиции или местоположении в пределах физической среды (например, виртуальная обезьяна, стоящая рядом с конкретной уличной вывеской, расположенной в физической среде), или может отображаться пользователю в качестве объекта, расположенного в позиции относительно интерфейса пользователя/компонента 303 отображения (например, виртуальные часы или термометр, видимые в верхнем левом углу компонента 303 отображения).
В некоторых вариантах осуществления виртуальные объекты могут быть выполнены таким образом, чтобы им подавался сигнал от, или они инициировались посредством, объекта, физически присутствующего внутри или вне поля обзора пользователя. Виртуальному объекту 404 подается сигнал от, или он инициируется посредством, физического объекта 402. Например, физический объект 402 фактически может быть стулом, и виртуальный объект 404 может отображаться пользователю (и, в некоторых вариантах осуществления, другим пользователям, взаимодействующим с системой 100) в качестве виртуального животного, стоящего на стуле. В таком варианте осуществления, система 306 фиксации среды может использовать программное обеспечение и/или встроенное программное обеспечение, хранящееся, например, в процессоре 308, для распознавания различных свойств и/или шаблонов формы (которые захватываются датчиками 312) для идентификации физического объекта 402 в качестве стула. Эти распознанные шаблоны формы, такие как, например, верхняя часть стула, могут быть использованы для инициирования размещения виртуального объекта 404. Другие примеры включают в себя стены, столы, мебель, автомобили, здания, людей, полы, растения, животных - любой объект, который виден, может быть использован для инициирования восприятия в режиме дополненной реальности с некоторой зависимостью в отношении объекта или объектов.
В некоторых вариантах осуществления конкретный виртуальный объект 404, которой инициируется, может быть выбран пользователем или автоматически выбран другими компонентами системы 300 головного монтажа или системы 100 интерфейса. Дополнительно, в вариантах осуществления, в которых виртуальный объект 404 инициируется автоматически, конкретный виртуальный объект 404 может быть выбран на основании конкретного физического объекта 402 (или его свойства), посредством которого виртуальному объекту подается сигнал или посредством которого он инициируется. Например, если физический объект идентифицирован в качестве трамплина для прыжков в воду над бассейном, то инициируемый виртуальный объект может быть создан с трубкой для подводного плавания, в купальном костюме, с устройством, обеспечивающем плавучесть, или другими соответствующими элементами.
В другом примерном варианте осуществления, система 300 головного монтажа может включать в себя «виртуальный» режим, при этом интерфейс 302 предоставляет интерфейс виртуальной реальности. В виртуальном режиме, физическая среда исключается из компонента 303 отображения, и данные виртуального объекта, предоставляемые вычислительной сетью 105, процессором 308 и/или компонентом 140 шлюза, представляются на компоненте 303 отображения. Исключение физической среды может быть выполнено посредством физической визуальной блокировки компонента 303 отображения (например, посредством крышки) или посредством свойства интерфейса 302, при этом компонент 303 отображения переходит к настройке непрозрачности. В виртуальном режиме, живые и/или хранящиеся визуальные и аудио фиксации могут быть представлены пользователю посредством интерфейса 302, и пользователь воспринимает и взаимодействует с цифровым миром (цифровыми объектами, другими пользователями и т.д.) через виртуальный режим интерфейса 302. Таким образом, интерфейс, предоставляемый пользователю в виртуальном режиме, состоит из данных виртуального объекта, содержащих виртуальный, цифровой мир.
Фиг. 5 иллюстрирует примерный вариант осуществления интерфейса пользователя, когда интерфейс 302 головного монтажа работает в виртуальном режиме. Как показано на Фиг. 5, интерфейс пользователя представляет виртуальный мир 500, состоящий из цифровых объектов 510, при этом цифровые объекты 510 могут включать в себя атмосферу, погоду, местность, здания и людей. Несмотря на то, что не проиллюстрировано на Фиг. 5, цифровые объекты также могут включать в себя, например, растения, транспортные средства, животных, создания, машины, искусственный интеллект, информацию о местоположении и любой другой объект или информацию, определяющую виртуальный мир 500.
В другом примерном варианте осуществления, система 300 головного монтажа может включать в себя «смешанный» режим, при этом различные свойства системы 300 головного монтажа (как, впрочем, и свойства виртуального и дополненного режимов) могут быть объединены для создания одного или более режимов пользовательского интерфейса. В одном примерном режиме пользовательского интерфейса, физическая среда исключается из компонента 303 отображения, а данные виртуального объекта представляются на компоненте 303 отображения образом, подобным тому, что используется в виртуальном режиме. Тем не менее, в данном примерном режиме пользовательского интерфейса, виртуальные объекты могут быть полностью виртуальными (т.е. они не существуют в локальной физической среде) или они могут быть реальными локальными физическими объектами, изображение которых сформированы в качестве виртуального объекта в интерфейсе 302 вместо физического объекта. Таким образом, в данном конкретном пользовательском режиме (именуемом здесь как режим смешанного виртуального интерфейса) живые и/или сохраненные визуальные и аудио фиксации могут быть представлены пользователю посредством интерфейса 302, и пользователь воспринимает и взаимодействует с цифровым миром, который содержит полностью виртуальные объекты и сформированные физические объекты.
Фиг. 6 иллюстрирует примерный вариант осуществления интерфейса пользователя, работающего в соответствии с режимом смешанного виртуального интерфейса. Как показано на Фиг. 6, интерфейс пользователя представляет виртуальный мир 600 состоящий из полностью виртуальных объектов 610 и визуализированных физических объектов 620 (сформированных представления объектов, которые физически присутствуют в сцене). В соответствии с примером, иллюстрируемым на Фиг. 6, сформированные представления физических объектов 620 включают в себя здание 620A, землю 620B и платформу 620C, и показаны с помощью полужирного контура 630, чтобы указать пользователю на то, что объекты сформированы посредством рендеринга. Дополнительно, полностью виртуальные объекты 610 включают в себя дополнительного пользователя 610A, облака 610B, солнце 610C и языки 610D пламени на верхней части платформы 620C. Следует иметь в виду, что полностью виртуальные объекты 610 могут включать в себя, например, атмосферу, погоду, местность, здания, людей, растения, транспортные средства, животных, созданий, машины, искусственный интеллект, информацию о местоположении и любой другой объект или информацию, определяющую виртуальный мир 600, и они не сформированные из объектов, существующих в локальной физической среде. И наоборот, визуализированные физические объекты 620 являются реальными локальными физическими объектами, представление которых сформировано в качестве виртуального объекта в интерфейсе 302. Полужирный контур 630 представляет собой один пример для указания пользователю визуализированного физического объекта. При этом визуализированный физический объект может быть указан, как таковой, при помощи способов, отличных от тех, что здесь описываются.
В некоторых вариантах осуществления, визуализируемые физические объекты 620 могут быть обнаружены при помощи датчиков 312 системы 306 фиксации среды (или при помощи других устройств, таких как система захвата движения или изображения) и преобразованы в данные цифрового объекта посредством программного обеспечения и/или встроенного программного обеспечения, хранящегося, например, в схеме 308 обработки. Таким образом, когда пользователь взаимодействует с системой 100 в режиме смешанного виртуального интерфейса, различные физические объекты могут отображаться пользователю в качестве визуализированных физических объектов. Это может быть, в частности, полезно для того, чтобы предоставить пользователю возможность взаимодействия с системой 100, при этом обеспечивая способность безопасной навигации в локальной физической среде. В некоторых вариантах осуществления пользователь может иметь возможность выборочного удаления или добавления сформированных представлений физических объектов на компонент 303 отображения.
В другом примерном пользовательском режиме интерфейса, компонент 303 отображения может быть, по существу, прозрачным, тем самым позволяя пользователю видеть локальную физическую среду, тогда как различные локальные физические объекты отображаются пользователю в качестве сформированных представлений физических объектов. Данный примерный пользовательский режим интерфейса аналогичен дополненному режиму, за исключением того, что один или более из виртуальных объектов могут быть сформированными представлениями физических объектов, как рассматривалось выше применительно к предыдущему примеру.
Вышеприведенные примерные пользовательские режимов интерфейса представляют собой несколько примерных вариантов осуществления различных пользовательских режимов интерфейса, которые могут быть обеспечены посредством смешанного режима системы 300 головного монтажа. Соответственно, различные другие пользовательские режимы интерфейса могут быть созданы из различных сочетаний свойств и функциональных возможностей, которые предоставляются компонентами системы 300 головного монтажа, и различных режимов, рассмотренных выше, не отступая от объема настоящего изобретения.
Рассматриваемые здесь варианты осуществления описывают несколько примеров для предоставления интерфейса, работающего в выключенном, дополненном, виртуальном или смешанном режиме, и не предназначены ограничить объем или содержимое соответствующих режимов интерфейса или функциональные возможности компонентов системы 300 головного монтажа. Например, в некоторых вариантах осуществления виртуальные объекты могут включать в себя данные, отображаемые пользователю (время, температуру, высоту и т.д.), объекты, созданные и/или выбранные системой 100, объекты, созданные и/или выбранные пользователем, или даже объекты, представляющие других пользователей, взаимодействующих с системой 100. Дополнительно, виртуальные объекты могут включать в себя расширение физических объектов (например, виртуальную скульптуру, вырастающую их физической платформы) и могут быть визуально соединены, или разъединены, с физическим объектом.
Виртуальные объекты также могут быть динамическими и меняться во времени, меняться в соответствии с различными зависимостями (например, местоположением, расстоянием и т.д.) между пользователем или другими пользователями, физическими объектами и другими виртуальными объектами, и/или меняться в соответствии с другими переменными, указанными в программном обеспечении и/или встроенном программном обеспечении системы 300 головного монтажа, компонента 140 шлюза и серверов 110. Например, в некоторых вариантах осуществления виртуальный объект может реагировать на устройство пользователя или его компонент (например, виртуальный мяч перемещается, когда осязательное устройство помещается рядом с ним), физическое или вербальное взаимодействие пользователя (например, виртуальное существо убегает, когда к нему приближается пользователь, или разговаривает, когда пользователь с ним говорит), в виртуальное существо кидают стул и существо уворачивается от стула, другие виртуальные объекты (например, первое виртуальное существо реагирует, когда оно видит второе виртуальное существо), физические переменные, такие как местоположение, расстояние, температура, время и т.д., или другие физические объекты в среде пользователя (например, виртуальное существо, показанное стоящим на физической улице, становится плоским, когда проезжает физический автомобиль).
Различные рассмотренные здесь режимы могут быть применены к устройствам пользователя, отличным от системы 300 головного монтажа. Например, интерфейс дополненной реальности может быть обеспечен через мобильный телефон или планшетное устройство. В таком варианте осуществления, телефон или планшет может использовать камеру для захвата физической среды вокруг пользователя, и виртуальные объекты могут накладываться на экран отображения телефона/планшета. Дополнительно, виртуальный режим может быть предоставлен посредством отображения цифрового мира на экране отображения телефона/планшета. Соответственно, эти режимы могут быть смешаны таким образом, чтобы создавать различные пользовательские режимы интерфейса, как описано выше, при помощи рассматриваемых здесь компонентов телефона/планшета, как впрочем, и других компонентов, соединенных с, или используемых в сочетании с, устройством пользователя. Например, режим смешанного виртуального интерфейса может быть обеспечен посредством компьютерного монитора, телевизионного экрана или другого устройства без камеры, работающего в сочетании с системой захвата движения или изображения. В данном примерном варианте осуществления, виртуальный мир может просматриваться через монитор/экран, а обнаружение и рендеринг объекта может выполняться системой захвата движения или изображения.
Фиг. 7 иллюстрирует примерный вариант осуществления настоящего изобретения, при этом каждый из двух пользователей, находящихся в разных географических местоположениях, взаимодействует с другим пользователем и общим виртуальным миром посредством их соответствующих устройств пользователя. В данном варианте осуществления, два пользователя 701 и 702 бросают виртуальный мяч 703 (тип виртуального объекта) туда и обратно, при этом каждый пользователь имеет возможность наблюдать за воздействием другого пользователя на виртуальный мир (например, каждый пользователь наблюдает виртуальный мяч, который меняет направления, который ловит другой пользователь и т.д.). Поскольку перемещение и местоположение виртуальных объектов (т.е. виртуального мяча 703) отслеживается серверами 110 в вычислительной сети 105, то система 100 может, в некоторых вариантах осуществления, сообщать пользователям 701 и 702 точное местоположение и временную привязку прибытия мяча 703 по отношению к каждому пользователю. Например, если первый пользователь 701 находится в Лондоне, то пользователь 701 может кидать мяч 703 второму пользователю 702, который находится в Лос-Анджелесе, со скоростью, которая вычисляется системой 100. Соответственно, система 100 может сообщать второму пользователю 702 (например, посредством электронной почты, текстового сообщения, мгновенного сообщения и т.д.) точное время и местоположение прибытия мяча. По существу, второй пользователь 702 может использовать свое устройство для того, чтобы видеть мяч 703, прибывающий в указанное время и местоположение. Один или более пользователей также могут использовать картографическое программное обеспечение геолокации (или ему подобное) для отслеживания одного или более виртуальных объектов по мере их виртуального путешествия по всему миру. Примером этого может быть пользователь с 3D дисплеем головного монтажа, который смотрит в небо и видит летящий над головой виртуальный самолет, наложенный на реальный мир. Виртуальный самолет может быть поднят пользователем, посредством агентов интеллектуального программного обеспечения (программного обеспечения, работающего на устройстве пользователя или шлюзе), другими пользователями, которые могут быть локальными и/или удаленными, и/или любыми их сочетаниями.
Как упоминалось ранее, устройство пользователя может включать в себя устройство осязательного интерфейса, при этом устройство осязательного интерфейса обеспечивает обратную связь (например, сопротивление, вибрацию, световую сигнализацию, звук и т.д.) пользователю, когда системой 100 определяется, что осязательное устройство находится в физическом пространственном местоположении по отношению к виртуальному объекту. Например, вариант осуществления, описанный выше в отношении Фиг. 7, может быть расширен для того, чтобы включать в себя использование осязательного устройства 802, как показано на Фиг. 8.
В данном примерном варианте осуществления, осязательное устройство 802 может отображаться в виртуальном мире в качестве бейсбольной биты. Когда мяч 703 прибывает, пользователь 702 может ударять осязательным устройством 802 по виртуальному мячу 703. Если система 100 определяет, что виртуальная бита, обеспечиваемая осязательным устройством 802, «контактирует» с мячом 703, тогда осязательное устройство 802 может вибрировать или обеспечивать другую обратную связь для пользователя 702, и виртуальный мяч 703 может отскакивать от виртуальной биты в направлении, вычисленном системой 100 в соответствии с обнаруженной скоростью, направлением и временной привязкой контакта мяч-бита.
Раскрываемая система 100 может, в некоторых вариантах осуществления, способствовать взаимодействию в комбинированном режиме, при этом несколько пользователей может взаимодействовать с общим виртуальным миром (и виртуальными объектами, которые содержаться в нем), используя разные режимы интерфейса (например, дополненный, виртуальный, смешанный и т.д.). Например, первый пользователь, взаимодействующий с конкретным виртуальным миром в режиме виртуального интерфейса, может взаимодействовать со вторым пользователем, который взаимодействует с тем же самым виртуальным миром в режиме дополненной реальности.
Фиг. 9A иллюстрирует пример, в котором первый пользователь 901 (взаимодействующий с цифровым миром системы 100 в режиме смешанного виртуального интерфейса) и первый объект 902 предстают в качестве виртуальных объектов перед вторым пользователем 922, взаимодействующим с тем же самым цифровым миром системы 100 в режиме полной виртуальной реальности. Как описано выше, при взаимодействии с цифровым миром в режиме смешанного виртуального интерфейса, локальные, физические объекты (например, первый пользователь 901 и первый объект 902) могут быть просканированы и визуализированы в качестве виртуальных объектов в виртуальном мире. Первый пользователь 901 может быть просканирован, например, посредством системы захвата движения или аналогичного устройства, и его предоставление может быть сформирован в виртуальном мире (посредством программного обеспечения/встроенного программного обеспечения, хранящегося в системе захвата движения, компоненте 140 шлюза, устройстве 120 пользователя, серверах 110 системы, или других устройствах) в качестве первого визуализированного физического объекта 931. Аналогичным образом, первый объект 902 может быть просканирован, например, посредством системы 306 фиксации среды интерфейса 300 головного монтажа, и его предоставление может быть сформировано в виртуальном мире (посредством программного обеспечения/встроенного программного обеспечения, хранящегося в процессоре 308, компоненте 140 шлюза, устройстве 120 пользователя, серверах 110 системы, или других устройствах) в качестве второго визуализированного физического объекта 932. Первый пользователь 901 и первый объект 902 показаны в первой части 910 Фиг. 9A в качестве физических объектов в физическом мире. Во второй части 920 Фиг. 9A первый пользователь 901 и первый объект 902 показаны так, как они предстают перед вторым пользователем 922, взаимодействующий с тем же самым цифровым миром системы 100 в режиме полной виртуальной реальности: в качестве первого визуализированного физического объекта 931 и второго визуализированного физического объекта 932.
Фиг. 9B иллюстрирует другой примерный вариант осуществления комбинированного режима взаимодействия, в котором первый пользователь 901 взаимодействует с цифровым миром в режиме смешанного виртуального интерфейса, как рассматривалось выше, а второй пользователь 922 взаимодействует с тем же самым цифровым миром (и физической локальной средой 925 второго пользователя) в режиме дополненной реальности. В варианте осуществления на Фиг. 9B первый пользователь 901 и первый объект 902 находятся в первом физическом местоположении 915, а второй пользователь 922 находится в другом втором физическом местоположении 925, отделенном некоторым расстоянием от первого местоположения 915. В данном варианте осуществления виртуальные объекты 931 и 932 могут транспортироваться в режиме реального времени (или близко к реальному времени) в местоположение внутри виртуального мира, соответствующее второму местоположению 925. Таким образом, второй пользователь 922 может наблюдать и взаимодействовать, в физической локальной среде 925 второго пользователя, со визуализированными физическими объектами 931 и 932, представляющими собой первого пользователя 901 и первый объект 902, соответственно.
Фиг. 10 иллюстрирует примерную иллюстрацию обзора со стороны пользователя при взаимодействии с системой 100 в режиме дополненной реальности. Как показано на Фиг. 10, пользователь видит локальную физическую среду (т.е. город с несколькими зданиями), а также и виртуального персонажа 1010 (т.е. виртуальный объект). Позиция виртуального персонажа 1010 может быть инициирована 2D визуальной целью (например, афишей, открыткой или журналом) и/или одним или более 3D опорными кадрами, такими как здания, автомобили, люди, животные, самолеты, части зданий, и/или любым 3D физическим объектом, виртуальным объектом, и/или их сочетаниями. В примере, иллюстрируемом на Фиг. 10, известная позиция зданий в городе может обеспечивать регистрационные реперы и/или информацию и ключевые свойства для рендеринга виртуального персонажа 1010. Дополнительно, картографическое местоположение пользователя (например, предоставленное посредством GPS, датчиков положения в пространстве/позиции и т.д.) или мобильное местоположение относительно зданий, может содержать данные, используемые для отображения виртуального персонажа(ей) 1010. В некоторых вариантах осуществления, данные, используемые для отображения виртуального персонажа 1010, могут содержать визуализируемого персонажа 1010 и/или инструкции (которые должны быть выполнены компонентом 140 шлюза и/или устройством 120 пользователя) для рендеринга виртуального персонажа 1010 или его частей. В некоторых вариантах осуществления, если картографическое местоположение пользователя недоступно или неизвестно, сервер 1010, компонент 140 шлюза и/или устройство 120 пользователя все же может отображать виртуальный объект 1010, используя алгоритм оценки, который оценивает, где могут находиться конкретные виртуальные объекты и/или физические объекты, используя последнюю известную позицию пользователя в зависимости от времени и/или других параметров. Это также может быть использовано для определения позиции любых виртуальных объектов всякий раз, когда возникает препятствие перед датчиками пользователя и/или они работают неисправно.
В некоторых вариантах осуществления, виртуальные персонажи или виртуальные объекты могут быть выполнены в виде статуи, при этом рендеринг виртуальной статуи инициируется посредством физического объекта. Например, теперь обращаясь к Фиг. 11, виртуальная статуя 1110 может быть инициирована реальной физической платформой 1120. Инициирование статуи 1110 может быть выполнено в ответ на визуальный объект или свойство (например, реперы, конструктивные свойства, геометрию, шаблоны, физическое местоположение, высоту и т.д.), которые обнаруживаются устройством пользователя или другими компонентами системы 100. Когда пользователь просматривает платформу 1120 без устройства пользователя, пользователь видит платформу 1120 с отсутствующей статуей 1110. Тем не менее, когда пользователь просматривает платформу 1120 через устройство пользователя, то пользователь видит статую 1110 на платформе 1120, как показано на Фиг. 11. Статуя 1110 является виртуальным объектом и, вследствие этого, может быть стационарной, анимированной, меняться со временем или в отношении позиции просмотра пользователя, или даже меняться в зависимости от того, какой конкретно пользователь просматривает статую 1110. Например, если пользователем является маленький ребенок, то статуей может быть собака; однако, если зрителем является взрослый мужчина, то статуя может быть большим роботом, как показано на Фиг. 11. Это примеры зависимого от пользователя и/или зависимого от состояния восприятий. Это позволит одному или более пользователям воспринимать один или более виртуальных объектов отдельно и/или в сочетании с физическими объектами и воспринимать пользовательские или персонифицированные версии виртуальных объектов. Представление статуи 1110 (или ее частей) может формироваться различными компонентами системы, включая, например, программное обеспечение/встроенное программное обеспечение, установленное на устройстве пользователя. Используя данные, указывающие местоположение и положение устройства пользователя, в сочетании со свойствами регистрации виртуального объекта (т.е. статуи 1110), виртуальный объект (т.е. статуя 1110) образует зависимость с физическим объектом (т.е. платформой 1120). Например, зависимостью одного или более виртуальных объектов от одного или более физических объектов может быть функция расстояния, позиционирования, времени, геолокации, близости к одному или более другим виртуальным объектам и/или любая другая зависимость, которая включает в себя виртуальные и/или физические данные любого рода. В некоторых вариантах осуществления, программное обеспечение распознавания изображения в устройстве пользователя может дополнительно усиливать взаимосвязь между цифровым и физическим объектами.
Интерактивный интерфейс, который обеспечивается раскрываемой системой и способом, может быть реализован для того, чтобы способствовать различным видам деятельности, таким как, например, взаимодействие с одной или более виртуальными средами и объектами, взаимодействие с другими пользователями, а также восприятие различных форм мультимедийного контента, включая рекламные объявления, музыкальные концерты и фильмы. Соответственно, раскрываемая система обеспечивает взаимодействие пользователя таким образом, что пользователь не только просматривает или прослушивает мультимедийный контент, а скорее, активно участвует в и воспринимает мультимедийный контент. В некоторых вариантах осуществления, участие пользователя может включать в себя изменение существующего контента или создание нового контента, который должен быть сформирован в одном или более виртуальных мирах. В некоторых вариантах осуществления мультимедийный контент и/или пользователи, создающие контент, могут быть тематически объединены вокруг творения мифов одного или более виртуальных миров.
В одном примере, музыканты (или другие пользователи) могут создавать музыкальный контент, который должен воспроизводиться для пользователей, взаимодействующих с конкретным виртуальным миром. Музыкальный контент может включать в себя, например, различные синглы, Долгоиграющие Пластинки, альбомы, видео, короткие фильмы и концертные выступления. В одном примере, большое количество пользователей может взаимодействовать с системой 100 для одновременного восприятия виртуального концерта, организованного музыкантами.
В некоторых вариантах осуществления создаваемый мультимедийный контент может содержать код уникального идентификатора, связанный с конкретным субъектом (например, музыкальной группой, артистом, пользователем и т.д.). Код может быть выполнен в виде набора буквенно-цифровых знаков, кодов UPC, кодов QR, 2D изображений-триггеров, триггеров в виде 3D свойства физического объекта или другой цифровой метки, как впрочем, и звука, изображения и/или их обоих. В некоторых вариантах осуществления код также может быть встроен в цифровой мультимедийный контент, с которым можно взаимодействовать при помощи системы 100. Пользователь может получать код (например, посредством уплаты вознаграждения) и выкупать код для доступа к мультимедийному контенту, созданному субъектом, связанным с кодом идентификатора. Мультимедийный контент может быть добавлен или удален из интерфейса пользователя.
В одном варианте осуществления, для того чтобы избежать ограничений по вычислениям и полосе пропускания при прохождении видеоданных в режиме реального времени или в режиме, близком к реальному времени, от одной вычислительной системы к другой с низкой задержкой, как например, от облачной вычислительной системы к локальному процессору, связанному с пользователем, для определения поверхностей может переноситься и использоваться параметрическая информация, касающаяся различных форм и геометрий, при этом текстуры могут переноситься и добавляться к этим поверхностям для обеспечения статических и динамических деталей, таких как основанные на битовых картах видео детали лица человека, соотнесенные с параметрически воссозданной геометрией лица. В качестве другого примера, если система выполнена с возможностью распознавания лица человека и знает, что аватар человека находится в дополненном мире, то система может быть выполнена с возможностью перенаправления релевантной информации мира и информации аватара человека в одной относительно большой настроечной пересылке, после чего оставшиеся пересылки локальной вычислительной системе, такой как 308, изображенная на Фиг. 1, для локального рендеринга, могут быть ограничены обновлениями параметров и текстур, как например, параметров движения скелетной структуры человека и движущихся битовых карт лица человека - причем прядок величины полосы пропускания всех пересылок меньше в сравнение с исходной настроечной пересылкой или перенаправлением видео в режиме реального времени. Таким образом, облачные и локальные вычислительные средства могут быть использованы комплексно, с облачной обработкой вычислений, которые не требуют относительно низкой задержки, и локальными средствами обработки, которые обрабатывают задачи, в которых низкая задержка находится на первом месте, и в таком случае, вид данных, переносимых в локальные системы, предпочтительно переправляется с относительно низкой нагрузкой на полосу пропускания из-за объема таких данных (т.е. параметрическая информация, текстуры и т.д. в сравнение с видео данными всего в режиме реального времени).
Обратимся вперед к Фиг. 15, где схематично иллюстрируется координация между облачными вычислительными средствами (46) и локальными средствами (308, 120) обработки. В одном варианте осуществления, облачные средства (46) функционально связаны, как например, посредством проводной или беспроводной связи (причем беспроводной способ предпочтителен для мобильности, тогда как проводной предпочтителен для создания пересылок с высокой пропускной способностью или большим объемом данных, которые могут потребоваться), непосредственно с (40, 42) одним или обоими локальными вычислительными средствами (120, 308), такими как конфигурации процессора и памяти, которые могут быть размещены в структуре, выполненной с возможностью соединения с головой (120) или поясом (308) пользователя. Эти вычислительные средства, локальные по отношению к пользователю, могут быть также функционально связаны друг с другом, через конфигурации (44) проводной и/или беспроводной связи. В одном варианте осуществления, для сохранения малоинерционной и малогабаритной системы (120) головного монтажа, главная пересылка между пользователем и облаком (46) может осуществляться через связь между поясной подсистемой (308) и облаком, при этом система (120) головного монтажа главным образом связана передачей данных с поясной подсистемой (308), используя беспроводную связь, такую как ультраширокополосная («UWB») связь, что используется в настоящий момент, например, в приложениях связи с персональными вычислительными периферийными устройствами.
С помощью эффективной координации локальной и удаленной обработки и соответствующего устройства отображения для пользователя, такого как интерфейс 302 пользователя или «устройство отображения» пользователя, показанное на Фиг. 3, устройство 14 отображения, описываемое ниже со ссылкой на Фиг. 14, или его вариации, аспекты одного мира, релевантные для текущего фактического или виртуального местоположения пользователя, могут эффективным образом пересылаться или «переправляться» пользователю и обновляться. Конечно, в одном варианте осуществления, когда один человек использует систему виртуальной реальности («VRS») в режиме дополненной реальности, а другой человек использует VRS в полностью виртуальном режиме для исследования одного и того же мира, локального для первого человека, два пользователя могут воспринимать друг друга в этом мире различным образом. Например, обращаясь к Фиг. 12, изображен сценарий, аналогичный тому, что описан со ссылкой на Фиг. 11, с добавлением визуализации аватара 2 второго пользователя, который летит сквозь изображенный мир дополненной реальности из сценария полностью виртуальной реальности. Другими словами, сцена, изображенная на Фиг. 12, может восприниматься и отображаться в дополненной реальности для первого пользователя - с двумя элементами дополненной реальности (статуей 1110 и аватаром 2 второго человека в виде летящего шмеля), которые отображаются в дополнение к фактическим физическим элементам поблизости от локального мира в сцене, такого как земля, здания на земле, платформы 1120 статуи. Может быть использовано динамическое обновление, чтобы обеспечить первому человеку визуализацию продвижения аватара 2 второго человека, по мере того как аватар 2 летит через локальный мир первого человека.
Опять же, при описанной выше конфигурации, в которой существует одна модель мира, которая может находиться на облачных вычислительных ресурсах и распространяться от них, такой мир может быть «перенаправляемым» одному или более пользователям в форме с относительно низкой нагрузкой на полосу пропускания, которая предпочтительнее перенаправления видеоданных в режиме реального времени или подобного. Дополненное восприятие человека, стоящего рядом со статуей (т.е. как показано на Фиг. 12), может быть проинформировано посредством облачной модели мира, подмножество которого может быть перенаправлено ему и его локальному устройству отображения для завершения обзора. Человек, сидящий за удаленным устройством отображения, которое может быть настолько простым, как персональный компьютер, стоящий на столе, может эффективно загружать тот же самый раздел информации из облака и формировать его представление на своем устройстве отображения. Конечно, один человек, который фактически присутствует в парке рядом со статуей, может взять удалено находящегося друга на прогулку в парк, при этом друг присоединяется посредством виртуальной и дополненной реальности. Системе потребуется знать, где находится улица, где находятся деревья, где находится статуя однако, при наличии этой информации в облаке, присоединяющийся друг может загружать из облака аспекты сценария, и затем начинать прогулку в качестве дополненной реальности, которая локальна по отношению к человеку, который фактически находится в парке.
Обращаясь к Фиг. 13, где изображен вариант осуществления, основанный на времени и/или другом ограничивающем параметре, при этом человек, контактирующий с интерфейсом виртуальной и/или дополненной реальности, таким как интерфейс 302 пользователя или устройством отображения пользователя, показанным на Фиг. 3, устройством 14 отображения, описываемым ниже со ссылкой на Фиг. 14, или его вариациями, использует систему (4) и входит в кофейное заведение, чтобы заказать чашку кофе (6). VRS может быть выполнена с возможностью использования способностей фиксации и сбора данных, локально и/или удаленно, для обеспечения расширенных возможностей отображения в дополненной и/или виртуальной реальности для человека, таких как выделение местоположений дверей в кофейном заведении или формирования окон в виде пузыря из релевантного меню (8) кафе. Когда пользователь получает чашку кофе, которую он заказал, или при обнаружении системой некоторого другого релевантного параметра, система может быть выполнена с возможностью отображения (10) одного или более основанных на времени изображений, видео и/или звука дополненной или виртуальной реальности в локальной среде при помощи устройства отображения, таких как сцены джунглей Мадагаскара по стенам и потолку, сопровождая или нет звуками джунглей и другими эффектами, либо статическими, либо динамическими. Такое представление пользователю может быть прекращено на основании параметра времени (т.е. через 5 минут после того, как была распознана и передана пользователю полная чашка кофе; через 10 минут после того, как система распознала то, что пользователь прошел через входную дверь заведения, и т.д.) или другого параметра, такого как распознавание системой того, что пользователь закончил пить кофе, отметив перевернутую ориентацию чашки кофе, когда пользователь делает последний глоток кофе из чашки - или распознавания системой того, что пользователь выходит через входную дверь заведения (12).
Обратимся к Фиг. 14, где показан один вариант осуществления пригодного устройства (14) отображения пользователя, содержащего линзу (82) отображения, которая может быть смонтирована на голове или глазах пользователя посредством корпуса или рамы (84). Линза (82) отображения может содержать одно или более прозрачных зеркал, расположенных посредством корпуса (84) перед глазами (20) пользователя, и может быть выполнена с возможностью отбрасывания проецируемого света (38) на глаза (2) и обеспечения формирования луча, при этом также обеспечивая передачу, по меньшей мере, некоторого света из локальной среды в конфигурации дополненной реальности (в конфигурации виртуальной реальности, может быть желательным, чтобы система 14 отображения была выполнена с возможностью блокировки, по существу, всего света от локальной среды, как, например, посредством затемняющего козырька, блокирующей шторки, полностью черного режима LCD панели или подобного). В изображенном варианте осуществления, две камеры (16) машинного зрения с широким полем обзора соединены с корпусом (84), для формирования изображения среды вокруг пользователя; в одном варианте осуществления эти камеры (16) являются камерами видимого света/инфракрасного света с двойным захватом. Изображенный вариант осуществления также содержит пару модулей светового проектора со сканирующим лазером и профилированным волновым фронтом (т.е. для глубины) с зеркалами и оптикой отображения, выполненными для проецирования света (38) на глаза (20), как показано. Изображенный вариант осуществления также содержит две миниатюрных инфракрасных камеры (24), сдвоенных с источниками (26, такими как светодиоды «LED») инфракрасного света, которые выполнены с возможностью отслеживания глаз (20) пользователя для обеспечения рендеринга и ввода пользователя. Система (14) дополнительно содержит комплект (39) датчиков, который может содержать способности датчика ускорения по осям X, Y, и Z, а также магнитного компаса, и способности гироскопа по осям X, Y, и Z, предпочтительно предоставляя данные с относительно высокой частотой, такой как 200 Гц. Изображенная система (14) также содержит процессор (36) ориентации головы, такой как ASIC (специализированная интегральная микросхема), FPGA (программируемая вентильная матрица) и/или ARM процессор (машина с усовершенствованным сокращенным набором инструкций), который может быть выполнен с возможностью вычисления в реальном времени или близко к реальному времени ориентации головы пользователя по информации изображения с широким полем обзора, которая выдается устройствами (16) захвата. Также показан другой процессор (32), выполненный с возможностью исполнения цифровой и/или аналоговой обработки для получения ориентации из данных гироскопа, компаса и/или датчика ускорения от комплекта (39) датчиков. Изображенный вариант осуществления также содержит подсистему (37, глобального спутникового позиционирования) GPS, чтобы помочь с ориентацией и позиционированием. В заключении, изображенный вариант осуществления содержит машину (34) рендеринга, которая может содержать аппаратное обеспечение, на котором работает программа программного обеспечения, выполненная с возможностью предоставления информации рендеринга, локальной для пользователя, для того чтобы способствовать работе сканеров и формированию изображения в глазах пользователя, применительно к обзору пользователем мира. Машина (34) рендеринга функционально связана (81, 70, 76/78, 80; т.е. посредством проводной или беспроводной связи) с процессором (32) ориентации датчика, процессором (36) ориентации изображения, камерами (24) отслеживания глаза, и системой (18) проецирования таким образом, что свет сформированных посредством рендеринга объектов дополненной и/или виртуальной реальности проецируется, используя компоновку (18) сканирующего лазера образом, аналогичным сканирующему сетчатку отображению. Волновой фронт проецируемого луча (38) света может быть искривлен или сфокусирован, чтобы совпадать с требуемым фокусным расстоянием объекта дополненной и/или виртуальной реальности. Мини инфракрасные камеры (24) могут быть использованы для отслеживания глаз, чтобы обеспечивать рендеринг и ввод пользователя (т.е. куда пользователь смотрит, на какой глубине он фокусируется; как рассматривается ниже, схождение глаза может быть использовано для оценки глубины фокуса). GPS (37), гироскопы, компас и датчики (39) ускорения могут быть использованы для предоставления курса и/или быстрой оценки ориентации. Изображения и ориентация камеры (16), совместно с данными от связанного ресурса облачных вычислений, могут быть использованы для построения карты соответствий в отношении локального мира и совместного использования обзоров пользователя с сообществом виртуальной или дополненной реальности. Несмотря на то, что большая часть аппаратного обеспечения в системе (14) отображения, показанной на Фиг. 14, изображенная непосредственно соединенной с корпусом (84), который расположен рядом с линзой (82) отображения и глазами (20) пользователя, изображенные компоненты аппаратного обеспечения могут быть смонтированы в или размещены внутри других компонентов, таких как поясной компонент, как показано, например, на Фиг. 3. В одном варианте осуществления, все компоненты системы (14), показанной на Фиг. 14, непосредственно соединены с корпусом (84) дисплея, за исключением процессора (36) ориентации изображения, процессора (32) ориентации датчика и машины (34) рендеринга, а связь между последними тремя и оставшимися компонентами системы (14) может осуществляться посредством беспроводной связи, такой как ультраширокополосная, или проводной связи. Изображенный корпус (84) предпочтительно является головным монтажом и носимым пользователем. Он также может включать в себя громкоговорители, такие как те, которые могут быть вставлены в уши пользователя и использованы для предоставления звука пользователю, который может быть уместен для восприятия дополненной или виртуальной реальности, такого как звуки джунглей, упоминаемые со ссылкой на Фиг. 13, и микрофоны, которые могут быть использованы для захвата звуков, локальных для пользователя.
Что касается проецирования света (38) в глаза (20) пользователя, то в одном варианте осуществления мини камеры (24) могут быть использованы для измерения того, где геометрически сходятся центры глаз (20) пользователя, что, в общем, совпадает с позицией фокуса, или «глубиной фокуса», глаз (20). Трехмерная поверхность всех точек, на которых сходятся глаза, именуется «гороптером». Фокусное расстояние может иметь место на конечном количестве глубин, или может быть бесконечно меняющимся. Свет, проецируемый с расстояния сходимости, кажется сфокусированным для глаза (20) субъекта, тогда как свет до или за расстоянием сходимости - размыт. Кроме того, было исследовано, что пространственно когерентный свет с диаметром луча менее примерно 0.7 миллиметра корректно разрешается глазом пользователя независимо от того, на чем сфокусирован глаз; учитывая это понимание, для создания иллюзии правильной фокусной глубины, сходимость глаз может отслеживаться с помощью мини камер (24), и машина (34) рендеринга и подсистема (18) проецирования могут быть использованы для формирования представлений всех объектов, находящихся в и близких к гороптеру в фокусе, а всех других объектов с разной степенью расфокусировки (т.е. используя умышлено созданное размытие). Прозрачный светопроводящий оптический элемент, сконфигурированный для проецирования когерентного света на глаз, может быть предоставлен поставщиками, такими как Lumus, Inc. Предпочтительно, система (14) выполняет рендеринг для пользователя с частотой кадров около 60 кадров в секунду или выше. Как описано выше, предпочтительно мини камеры (24) могут быть использованы для отслеживания глаза, а программное обеспечение может быть выполнено с возможностью сбора не только геометрии сходимости, но также меток местоположения фокуса, чтобы они служили в качестве вводов пользователя. Предпочтительно, такая система выполнена с возможностью обеспечения яркости и контрастности, подходящих для дневного или ночного использования. В одном варианте осуществления такая система предпочтительно обладает задержкой менее чем 20 миллисекунд для визуального выравнивания объекта, угловым выравниванием менее 0,1 градуса и разрешением около 1 минуты, что является приблизительно пределом человеческого глаза. Система (14) отображения может быть интегрирована с системой локализации, которая может задействовать элемент GPS, оптическое отслеживание, компас, датчик ускорения и/или другие источники данных, для помощи при определении позиции и ориентации; информация локализации может быть использована, чтобы обеспечивать точный рендеринг обзора пользователем релевантного мира (т.е. такая информация будет способствовать тому, чтобы очки знали, где они находятся, по отношению к реальному миру).
Другое подходящее устройство отображения включает в себя, но не ограничивается, настольный и мобильный компьютеры, интеллектуальные телефоны, интеллектуальные телефоны, которые могут быть дополнительно расширены с помощью свойств программного или аппаратного обеспечения, чтобы обеспечивать или имитировать 3-D просмотр в перспективе (например, в одном варианте осуществления рама может быть с возможностью разъединения соединена с интеллектуальным телефоном, при этом рама с подгруппой из 200 Гц гироскопа и датчика ускорения, двух камер машинного зрения с линзами широкого поля обзора, и ARM процессором - для имитации некоторых из функциональных возможностей конфигурации, изображенной на Фиг. 14), планшетные компьютеры, которые могут быть расширены как описано выше для интеллектуальных телефонов, планшетные компьютеры, расширенные с помощью дополнительного аппаратного обеспечения для обработки и фиксации, системы головного монтажа, которые используют интеллектуальные телефоны и/или планшеты для отображения дополненных и виртуальных точек зрения (аккомодация зрения через увеличивающую оптику, зеркала, контактные линзы, или элементы структурирующие свет), непрозрачные устройства отображения из светоизлучающих элементов (LCD, OLED, лазеры поверхностного излучения с вертикальным резонатором, направленные лазерные лучи, и т.д.), прозрачные устройства отображения, которые одновременно позволяют людям видеть естественный мир и искусственно сгенерированные изображения (например, светопроводящие оптические элементы, прозрачные или поляризованные OLED, которые святят на близкофокусные контактные линзы, направленные лазерные лучи, и т.д.), контактные линзы со светоизлучающими элементами (такие как те, что поставляются Innovega, Inc, из Беллвью, штат Вашингтон, под коммерческим названием Ioptik RTM; они могут быть объединены со специализированными дополнительными компонентами очков), имплантируемые устройства со светоизлучающими элементами, и имплантируемыми устройствами, которые имитируют оптические рецепторы человеческого мозга.
С помощью системы, такой как та, что изображена на Фиг. 3 и 14, 3-D точки могут быть захвачены из среды и может быть определена ориентация (т.е. вектор и/или информация об исходной позиции относительно мира) камер, которые захватывают эти изображения или точки, так что эти точки или изображения могут быть «размечены», или связаны с, данной информацией ориентации. Точки, захваченные второй камерой, могут быть использованы для определения ориентации второй камеры. Другими словами, можно задавать направление и/или локализовать вторую камеру на основании сравнения с размеченными изображениями от первой камеры. Затем эти знания могут быть использованы для извлечения текстур, построения карты соответствий и создания виртуальной копии реального мира (поскольку тогда присутствует две камеры вокруг, которые зарегистрированы), так что на основном уровне, в одном варианте осуществления, у вас есть носимая человеком система, которая может быть использована для захвата как 3-D точек, так и 2-D изображений, которые создают точки, и эти точки и изображения могут быть отправлены в облачное хранилище и ресурс обработки. Они также могут локально кэшироваться со встроенной информацией ориентации (т.е. кэшировать размеченные изображения); так что облако может иметь готовые (т.е. в доступном кэше) размеченные 2-D изображения (т.е. размеченные с помощью 3-D ориентации), вместе с 3-D точками. Если пользователь наблюдает нечто динамичное, он также может отправлять в облако дополнительную информацию, релевантную движению (например, если пользователь смотрит на лицо другого человека, то он может брать текстурную карту лица и передавать ее с оптимизированной частотой, даже несмотря на то, что окружающий мир главным образом статичен).
Облачная система может быть выполнена с возможностью сохранения некоторых точек в качестве реперов только для ориентации, для сокращения суммарных вычислений отслеживания ориентации. Как правило, может быт желательным иметь некоторые свойства контура, чтобы иметь возможность отслеживания основных элементов в среде пользователя, таких как стены, стол и т.д., по мере того как пользователь перемещается по комнате, и пользователь может желать иметь возможность «совместного использования» мира и чтобы некий другой пользователь прогуливался по этой комнате и также видел эти точки. Такие полезные и ключевые точки могут именоваться «реперами», поскольку они объективно полезны в качестве точек отсчета - они связаны со свойствами, которые могут быть распознаны машинным зрением и которые могут быть извлечены из мира единообразно и неоднократно на разных образцах аппаратного обеспечения пользователя. Таким образом, эти реперы предпочтительно могут быть сохранены на облаке для дальнейшего использования.
В одном варианте осуществления, предпочтительным является относительно ровное распределение реперов по всему релевантному миру, так как они являются своего рода элементами, которые камеры могут легко использовать для распознавания местоположения.
В одном варианте осуществления, релевантная конфигурация облачных вычислений может быть сконфигурирована для периодического обслуживания базы данных 3-D точек и любых связанных с ними метаданных для использования наилучших данных от различных пользователей, как для уточнения реперов, так и создания мира. Другими словами, система может быть выполнена для выбора наилучшего набора данных посредством использования входных данных от различных пользователей, которые смотрят и функционируют внутри релевантного мира. В одном варианте осуществления база данных является, по сути, фракталом - по мере того как пользователи приближаются к объектам, облако переправляет таким пользователям информацию более высокого разрешения. По мере того, как пользователи строят более точную карту соответствий объекта, эти данные отправляются в облако, и облако может добавлять новые 3-D точки и основанные на изображении текстурные карты в базу данных, если они лучше, чем те, что были ранее сохранены в базе данных. Может быть сконфигурировано, чтобы все из этого происходило одновременного применительно к множеству пользователей.
Как описано выше, восприятие дополненной или виртуальной реальности может быть основано на распознавании некоторых типов объектов. Например, может быт важно понимать, что конкретный объект имеет глубину, для того чтобы распознать и понять такой объект. Программное обеспечение распознавания объектов («распознаватели») может быть развернуто в облаке или локальных ресурсах, чтобы специально помогать с распознаванием различных объектов на любых или обеих платформах, по мере того как пользователь перемещается по данным в мире. Например, если система обладает данными для модели мира, содержащей облака 3-D точек и изображения с размеченной ориентацией, и присутствует стол с пучком точек на нем, а также изображение стола, то может отсутствовать определение того, что наблюдаемым является, конечно, стол, поскольку люди будут знать это. Другими словами, некоторых 3-D точек в пространстве и изображения с некоторого места в пространстве, которое показывает большую часть стола, может быть недостаточно для того, чтобы немедленно распознать то, что наблюдается стол. Для того чтобы помочь в данной идентификации, может быть создан распознаватель конкретного объекта, который обращается к облаку необработанных 3-D точек, вычленяет набор точек и, например, извлекает плоскость верхней поверхности стола. Аналогичным образом, может быть создан распознаватель для вычленения стены из 3-D точек, так что пользователь может менять обои или удалять часть стены в виртуальной или дополненной реальности и иметь портал в другую комнату, который в действительности отсутствует в реальном мире. Такие распознаватели работают в рамках данной модели мира и могут рассматриваться в качестве «роботов» программного обеспечения, которые сканируют модель мира и наполняют эту модель мира семантической информацией или онтологией того, что, как полагают, существует среди точек в пространстве. Такие распознаватели или роботы программного обеспечения могут быть выполнены таким образом, что все их существование заключается в обходе релевантного мира данных и обнаружении вещей, которые, как полагают, являются стенами, или стульями, или другими элементами. Они могут быть выполнены с возможностью разметки набора точек с помощью функционального эквивалента в виде «данный набор точек принадлежит стене» и могут содержать сочетание основанного на точках алгоритма и анализа изображения с размеченной ориентацией для взаимного информирования системы в отношении того, что заключено в точках.
Распознаватели объектов могут быть созданы для множества целей разнообразной полезности, в зависимости от ракурса. Например, в одном варианте осуществления, поставщик кофе, такой как Starbucks, может инвестировать средства в создание точного распознавателя кофейных чашек Starbucks внутри релевантных миров данных. Такой распознаватель может быть выполнен с возможностью сканирования миров больших и малых данных в поиске кофейных чашек Starbucks, с тем, чтобы они могли быть вычленены и идентифицированы для пользователя, при функционировании в релевантном близлежащем пространстве (т.е. возможно предложить пользователю кофе в торговой точке Starbucks непосредственно за углом, когда пользователь смотрит на свою чашку Starbucks в течение некоторого периода времени). С помощью вычлененной чашки можно быстро распознать, когда пользователь перемещает ее на его стол. Такие распознаватели могут быть выполнены для работы или функционирования не только в ресурсах и данных облачных вычислений, но также в локальных ресурсах и данных, или как облачных, так и локальных, в зависимости от доступных вычислительных ресурсов. В одном варианте осуществления существует глобальная копия модели мира в облаке с миллионами пользователей, которые вносят свой вклад в данную глобальную модель, но для небольших миров или суб-миров, подобных офису конкретного индивидуума в конкретном небольшом городе, большая часть глобального мира не будет нести в себе то, как выглядит этот офис, так что система может быть выполнена с возможностью обслуживания данных и перемещения в локальный кэш информации, которая, как полагается, является наиболее локально релевантной для заданного пользователя. В одном варианте осуществления, например, когда пользователь подходит к столу, ассоциированная информация (такая как вычленение конкретной чашки на его столе) может быть сконфигурирована для размещения только в его локальных вычислительных ресурсах, а не в облаке, так как объекты, которые идентифицированы как те, что часто перемещаются, такие как чашки на столах, не должны нагружать облачную модель и вызывать нагрузку в виде передачи между облаком и локальными ресурсами. Таким образом, ресурс облачных вычислений может быть выполнен с возможностью вычленения 3-D точек и изображений, тем самым отделяя постоянные (т.е. главным образом не перемещающиеся) объекты от перемещающихся, и это может повлиять на то, где должны оставаться ассоциированные данные, где они должны обрабатываться, снимая нагрузку обработки с носимой/локальной системы применительно к некоторым данным, которые являются релевантными для более постоянных объектов, обеспечивая своевременную обработку местоположения, которое затем может совместно использоваться с неограниченным количеством других пользователей, обеспечивая несколько источников данных для одновременного построения базы данных из фиксированных и перемещающихся объектов в конкретном физическом местоположении, и вычленения объектов из фона для создания реперов для конкретных объектов и текстурных карт.
В одном варианте осуществления, система может быть выполнена с возможностью запрашивания пользователя в отношении ввода данных об идентичности некоторых объектов (например, система может представить пользователю такой вопрос, как «Это кофейная чашка Starbucks?»), так что пользователь может обучать систему и позволять системе связывать семантическую информацию с объектами в реальном мире. Онтология может обеспечивать руководство, которое относится к тому, что объекты, вычлененные из мира, могут делать, каким образом они себя ведут, и т.д. В одном варианте осуществления система может представлять виртуальную или фактическую клавишную панель, такую как соединенную беспроводным образом клавишную панель, связь с клавишной панелью интеллектуального телефона или подобное, чтобы обеспечивать осуществление ввода некоторым пользователем в систему.
Система может быть выполнена с возможностью совместного использования основных элементов (стен, окон, геометрии стола и т.д.) с любым другим пользователем, который входит в комнату в виртуальной или дополненной реальности, и в одном варианте осуществления эта система человека будет выполнена с возможностью формирования изображений с его конкретного ракурса и выгрузки их в облако. Затем облако наполняется старыми и новыми наборами данных и может запускать подпрограммы оптимизации и устанавливать реперы, которые присутствуют на отдельных объектах.
GPS и другая информация локализации может быть использована в качестве входных данных для такой обработки. Кроме того, другие вычислительные системы и данные, такие как чей-то онлайновый календарь или информация учетной записи в FaceBook, могут быть использованы в качестве входных данных (например, в одном варианте осуществления, облако и/или локальная система может быть выполнена с возможностью анализа содержимого календаря пользователя в отношении авиабилетов, дат и пунктов назначения, так, чтобы с течением времени информация могла быть перемещена из облака в локальные системы пользователя, чтобы быть готовой к моменту прибытия пользователя в заданный пункт назначения).
В одном варианте осуществления, метки, такие как коды QR и подобное, могут быть вставлены в мир для использования при вычислении нестатистической ориентации, управлении безопасностью/доступом, сообщении особой информации, пространственном обмене сообщениями, распознавании нестатистических объектов и т.д.
В одном варианте осуществления, облачные ресурсы могут быть выполнены с возможностью пересылки цифровых моделей реальных и виртуальных миров между пользователями, как описано выше со ссылкой на «перенаправляемые миры», при этом модели формируются отдельными пользователями на основании параметров и текстур. Данное сокращение нагрузки на полосу пропускания по отношению к пересылке видео в режиме реального времени обеспечивает рендеринг виртуальных точек зрения сцены и позволяет миллионам или более пользователей участвовать в одном виртуальном собрании, не отправляя каждому из них данные, которые они должны видеть (таких как видео), потому что их обзоры формируются их локальными вычислительными ресурсами.
Система виртуальной реальности («VRS») может быть выполнена для регистрации местоположения пользователя и поля обзора (вместе известные как «ориентация») посредством одного или более из следующего: метрик компьютерного зрения в режиме реального времени, при помощи камер, методик одновременной локализации и построения карты соответствий, карт и данных от датчиков, таких как гироскопы, датчики ускорения, компас, барометр, GPS, триангуляции силы радиосигнала, анализа времени прохождения сигнала, измерения расстояния посредством LIDAR, измерения расстояния посредством RADAR, одометра, и измерения расстояния посредством сонара. Система носимого устройства может быть выполнена с возможностью одновременного построения карты соответствий и задания направлений. Например, в неизвестных средах, VRS может быть выполнена с возможностью сбора информации о среде, выявления реперов, пригодных для вычислений ориентации пользователя, других точек для моделирования мира, изображений для обеспечения текстурных карт мира. Реперы могут быть использованы для оптического вычисления ориентации. По мере того как карта соответствий мира строится с большей точностью, может вычленяться больше объектов, и они могут получать свои собственные текстурные карты, но все же предпочтительно, чтобы мир представлялся с низким пространственным разрешением с простыми многоугольниками с низким разрешением текстурных карт. Другие датчики, такие как те, что рассматривались выше, могут быть использованы для поддержки данных усилий моделирования. Мир может быть, по существу, фрактальным в том, что перемещение или иной поиск лучшего обзора (посредством точек зрения, режимов «надзора», изменения масштаба и т.д.) требует информации с высоким разрешением от облачных ресурсов. Приближение к объектам обеспечивает захват данных с более высоким разрешением, и это может быть отправлено в облако, которое может вычислять и/или вставлять новые данные в промежуточные места в модели мира.
Обращаясь к Фиг. 16, носимая система может быть выполнена с возможностью захвата информации изображения и извлечения реперов и распознанных точек (52). Носимая локальная система может вычислять ориентацию, используя одну из упомянутых ниже методик вычисления ориентации. Облако (54) может быть выполнено с возможностью использования изображений и реперов для вычленения 3-D объектов из более статичных 3-D фонов; изображения обеспечивают текстурные карты для объектов и мира (текстуры могут быть элементами видео в режиме реального времени). Облачные ресурсы (56) могут быть выполнены с возможностью сохранения и предоставления статичных реперов и текстур для регистрации мира. Облачные ресурсы могут быть выполнены с возможностью обслуживания облака точек применительно к оптимальной плотности точек для регистрации. Облачные ресурсы (60) могут хранить и предоставлять доступ к реперам объекта и текстурам для регистрации и манипуляции объектом; облако может обслуживать облака точек применительно к оптимальной плотности для регистрации. Облачный ресурс может быть выполнен (62) с возможностью использования всех действительных точек и текстур для генерирования фрактальных твердотельных моделей объектов; облако может обслуживать информацию облака точек в отношении оптимальной плотности реперов. Облачный ресурс (64) может быть выполнен с возможностью запроса у пользователей обучения в отношении идентичности вычлененных объектов и мира; база данных онтологии может использовать ответы для насыщения объекта и мира воспринимающими действие качествами.
Следующие конкретные режимы регистрации и построения карты соответствий содержат понятия: «O-ориентация», которое представляет собой ориентацию, которая определяется с помощью оптической системы или системы камер; «S-ориентация», которая представляет собой ориентацию, которая определяется с помощью датчиков (т.е. таких как сочетание данных GPS, гироскопа, компаса, датчика ускорения и т.д., как рассматривалось выше); и «MLC», которое представляет собой ресурс облачных вычислений и управления данными.
1. Задание направления: создают основную карту новой среды
Цель: установить ориентацию, если для среды не построена карта соответствий или (эквивалент), если отсутствует соединение с MLC.
- Извлекают точки из изображения, покадрово отслеживают, выполняют триангуляцию реперов при помощи S-ориентации.
- Используют S-ориентацию, так как отсутствуют реперы.
- Отфильтровывают плохие реперы на основании постоянства.
- Это самый основной режим: он всегда будет работать для ориентации с низкой точностью. При небольшом времени и некотором относительном движении он будет устанавливать минимальный набор реперов для O-ориентации и/или построения карты соответствий.
- Выходят из этого режима, как только становится надежным O-ориентация.
2. Построение карты соответствий и O-ориентация: строят карту соответствий среды
Цель: установить ориентацию с высокой точностью, построить карту соответствий для среды и предоставить карту (с изображениями) в MLC.
- Вычисляют O-ориентацию по сформировавшимся реперам мира. Используют S-ориентацию в качестве проверки решения O-ориентации и для ускорения вычисления (O-ориентация является нелинейным градиентным поиском).
- Сформировавшиеся реперы могут исходить от MLC, или быть теми, что определены локально.
- Извлекают точки из изображения, покадрово отслеживают, выполняют триангуляцию реперов при помощи O-ориентации.
- Отфильтровывают плохие реперы на основании постоянства.
- Предоставляют в MLC реперы и изображения с размеченной ориентацией.
- Последние три этапа не обязательно должны выполняться в режиме реального времени.
3. O-ориентация: определяют ориентацию
Цель: установить ориентацию с высокой точностью в среде с уже построенной картой соответствий, используя минимальную мощность обработки.
- Используют историческую S- и O-ориентацию (n-1, n-2, n-3, и т.д.) для оценки ориентации в n.
- Используют ориентацию в n для проецирования реперов на изображения, захваченное в n, затем создают маску изображения из проекции.
- Извлекают точки из маскированных областей (загруженность обработки сильно сокращается посредством лишь поиска/извлечения точек из маскированных подмножеств изображения).
- Вычисляют O-ориентацию из извлеченных точек и сформировавшихся реперов мира.
Используют S- и O-ориентацию в n для оценки ориентации в n+1.
- Опция: предоставляют изображения/видео размеченной ориентацией облаку MLC.
4. Супер Разрешение: определяют группу изображений и реперов с супер разрешением
Цель: создать группу изображений и реперов с супер разрешением.
- Составляют изображения с размеченной ориентацией для создания изображений с супер разрешением
- Используют изображения с супер разрешением для улучшения оценки позиции репера.
- Выполняют итерацию оценок O-ориентации из реперов с супер разрешением и группы изображений.
- Опция: Циклически повторяют вышеприведенные этапы на носимом устройстве (в режиме реального времени) или MLC (для улучшения мира).
В одном варианте осуществления, система VLS может быть выполнена с наличием некоторых базовых функциональных возможностей, а также функциональных возможностей, которые обеспечиваются приложениями («apps»), которые могут распространяться посредством VLS для обеспечения некоторых специализированных функциональных возможностей. Например, следующие приложения могут быть установлены в требующуюся VLS для обеспечения специализированных функциональных возможностей:
Приложение художественного рендеринга. Художники создают преобразования изображения, которые представляют мир, так как они его видят. Пользователи активируют отображение этих преобразований, тем самым смотря на мир глазами художников.
Приложение настольного моделирования. Пользователи «строят» объекты из физических объектов, поставленных на стол.
Приложение виртуального присутствия. Пользователь переправляет виртуальную модель пространства другому пользователю, который затем перемещается по пространству, используя виртуальный аватар.
Приложение эмоций аватара. Измерения тонких голосовых интонаций, незначительных перемещений головы, температуры тела, частоты сердцебиения и т.д., анимируют тонкие эффекты аватаров виртуального присутствия. Оцифровка информации о состоянии человека и переправка ее удаленному аватару использует меньше полосы пропускания, чем видео. Дополнительно, такие данные являются выполненными с возможностью наложения на аватары не виде человека, с возможностями эмоций. Например, аватар собаки может показывать возбуждение посредством виляния хвостом на основании голосовых интонаций, демонстрирующих восхищение.
Для перемещения данных предпочтительной может быть эффективная сеть ячеистого типа, в противоположность отправке всего обратно серверу. Тем не менее, многие ячеистые сети имеют неоптимальную производительность, поскольку позиционная информация и топология не очень хорошо характеризируются. В одном варианте осуществления, система может быть использована для определения местоположения всех пользователей с относительно высокой точностью, и, таким образом, для высокой производительности может быть использована конфигурация ячеистой сети.
В одном варианте осуществления система может использоваться для поиска. С помощью дополненной реальности, например, пользователь будет генерировать и оставлять контент, связанный со многими аспектами физического мира. Большая часть данного контента не является текстом и, следовательно, не может быть легко найдена обычными способами. Система может быть выполнена с возможностью обеспечения отслеживания контента персональной и социальной сети для поиска и в целях организации ссылки.
В одном варианте осуществления, если устройство отображения отслеживает 2-D точки на протяжении последовательных кадров, затем накладывает векторнозначную функцию для временной оценки этих точек, то существует возможность попробовать векторнозначную функцию в любой момент времени (например, между кадрами) или в некоторой точке в ближайшем будущем (посредством проецирования векторнозначной функции вперед по времени). Это предоставляет возможность создания постобработки с высоким разрешением и предсказания будущей ориентации до того, как будет фактически захвачено следующее изображение (например, удвоение скорости регистрации возможно без удвоения частоты кадров камеры).
Применительно к рендерингу, связанному с телом (в противоположность рендерингу, связанному с головой и связанному с миром), требуется точный вид тела. Вместо измерения тела, в одном варианте осуществления существует возможность получения его местоположения посредством усреднения позиции головы пользователя. Если лицевые точки пользователя пересылаются большую часть времени, то средняя за несколько дней позиция головы будет отражать это направление. Совместно с вектором силы тяжести, это обеспечивает разумную стабильную систему координат для рендеринга, связанного с телом. Использование текущих измерений позиции головы по отношению к данной длительной системе координат обеспечивает возможность непротиворечивого рендеринга объектов на/вокруг тела пользователя - при отсутствии дополнительных инструментов. Для реализации данного варианта осуществления, может быть запущен один регистр, усредняющий вектор направления головы, и текущая сумма данных, деленная на дельта-t, будет давать текущую усредненную позицию головы. Ведение пяти или около того регистров, запущенных в день n-5, день n-4, день n-3, день n-2, день n-1, позволяет использовать скользящее среднее только по «n» прошлым дням.
В одном варианте осуществления сцена может быть уменьшена в масштабе и представлена пользователю в меньшем, чем фактическое, пространстве. Например, в ситуации, в которой присутствует сцена, представление которой должно быть сформировано в огромном пространстве (т.е. таком как футбольный стадион), может отсутствовать эквивалентное огромное пространство или такое большое пространство может быть неудобно для пользователя. В одном варианте осуществления система может быть выполнена с возможностью уменьшения масштаба сцены таким образом, что пользователь может видеть ее в миниатюре. Например, у кого-то может быть видео игра с режимом отображения «божий глаз», или игра чемпионата мира по футболу, воспроизводимая на немасштабированном поле - или уменьшена в масштабе и представлена на полу гостиной. Система может быть выполнена с возможностью простого переключения ракурса, масштаба и соответствующего расстояния согласования рендеринга.
Система также может быть выполнена с возможностью привлечения внимания пользователя к конкретным элементам внутри представленной сцены посредством манипулирования фокусом объектов виртуальной или дополненной реальности, посредством выделения их, изменения контрастности, яркости, масштаба и т.д.
Предпочтительно система может быть выполнена с возможностью реализации следующих режимов:
Рендеринг открытого пространства:
- Захватывают ключевые точки из структурированной среды, затем заполняют пространство между ними с помощью ML рендеринга.
- Потенциальные места проведения мероприятий: сцены, пространства вывода, большие закрытые пространства (стадионы).
Заключение объекта в оболочку:
- Распознают 3D объект в реальном мире и затем дополняют его
- Здесь под «распознаванием» понимается идентификация 3D большого двоичного объекта с достаточно высокой точностью для того, чтобы прикрепить к нему группу изображений.
- Существует два типа распознавания: 1) Классификация типа объекта (например, «лицо»); 2) классификация конкретного экземпляра объекта (например, Джо, человек).
- Строят распознаватели объектов программного обеспечения для различных вещей: стен, потолков, полов, лиц, дорог, неба, небоскребов, одноэтажных домов, столов, стульев, автомобилей, дорожных знаков, вывесок, дверей, окон, книжных полок и т.д.
- Некоторые распознаватели относятся к Типу I и имеют общие функциональные возможности, например «поместить мое видео на эту стену», «это собака».
- Другие распознаватели относятся к Типу II и имеют конкретные функциональные возможности, например «мой ТВ находится на стене в _моей_ гостиной на расстояние 3.2 фута от потолка», «Это Фидо» (это версия обычного распознавателя с большими возможностями).
- Распознаватель зданий в качестве объектов программного обеспечения обеспечивает возможность контролированного выпуска функциональных возможностей, и более тонкого управления восприятием.
Центрированный на теле рендеринг
- Формируют посредством рендеринга виртуальные объекты, закрепленные на теле пользователя.
- Некоторые вещи должны плавать вокруг тела пользователя, подобно цифровому поясу с инструментами.
- Это требует знаний о том, где находится тело, а не только голова. Могут достаточно точно получать позицию тела с помощью усредненного в течение длительного времени значения позиции головы пользователя (головы обычно направлены вперед параллельно земле).
- Тривиальным случаем являются объекты, плавающие вокруг головы.
Прозрачность/отображение в разрезе
- Для распознанных объектов Типа II, показывают разрезы
- Связывают распознанные объекты Типа II с онлайновой базой данных 3D моделей.
- Должны начинать с объектов, которые имеют общедоступные 3D модели, таких как автомобили и коммунальные сооружения.
Виртуальное присутствие
- Рисуют аватары удаленных людей в открытом пространстве
- Подмножество «рендеринга открытого пространства» (выше).
- Пользователи создают грубую геометрию локальной среды и многократно отправляют как геометрию, так и текстурные карты другим.
- Пользователи должны предоставлять разрешения другим для входа в их среду.
- Тонкие голосовые очереди, отслеживание руки, и движение головой отправляются удаленному аватару. Аватар анимируется посредством этих нечетких вводов.
- Вышеприведенное минимизирует нагрузку на полосу пропускания.
- Делают стену «порталом» в другую комнату
- Как и с другим способом, переправляют геометрию и текстурную карту.
- Вместо показа аватара в локальной комнате, назначают распознанный объект (например, стену) в качестве портала в другую среду. Таким образом, несколько человек может сидеть в своих собственных комнатах, смотря «сквозь» стену на среды других.
Виртуальные точки зрения
- Плотная цифровая модель зоны создается, когда группа камер (людей) смотрит на сцену с разных ракурсов. Эта насыщенная цифровая модель может быть сформирована посредством рендеринга с любой выгодной точки, с которой может видеть, по меньшей мере, одна камера.
- Пример. Люди на свадьбе. Сцена совместно моделируется всеми присутствующими. Распознаватели различают и накладывают текстурные карты на стационарные объекта по-другому, чем на движущиеся (например, стены обладают стабильной текстурной картой, люди имеют подвижные текстурные карты с более высокой частотой).
- С помощью насышенной цифровой модели, которая обновляется в режиме реального времени, сцена может быть сформирована посредством рендеринга с любого ракурса. Присутствующие, которые находятся сзади, могут по воздуху перенестись в передний ряд, для лучшего обзора.
- Присутствующие могут показывать их движущийся аватар или могут скрыть свой ракурс.
- Присутствующие за пределами площадки могут найти «место» либо с их аватаром или, если организаторы разрешают, невидимым образом.
- Вероятно, требует значительно высокой полосы пропускания. Теоретически, высокочастотные данные потоковым образом передаются через толпу по высокоскоростной локальной беспроводной связи. Низкочастотные данные приходят от MLC.
- Поскольку все присутствующие обладают информацией позиции с высокой точностью, создание оптимального пути маршрутизации для локальной сети является тривиальной задачей.
Обмен сообщениями
- Может быть желательным простой тихий обмен сообщениями.
- Применительно к данному и прочим приложениям, может быть желательным наличие пальцевой аккордовой клавиатуры.
- Решения с тактильной перчаткой могут обеспечить повышенную производительность.
Полная Виртуальная Реальность (VR)
- При затемненной зрительной системе, показывают вид, не накладывающийся на реальный мир.
- Система регистрации все же необходима для отслеживания позиции головы.
- «Диванный режим» позволяет пользователю летать.
- «Режим прогулки» повторно формирует посредством рендеринга объекты в реальном мире в качестве виртуальных, так что пользователь не сталкивается в реальным миром.
- Рендеринг частей тела имеет большое значение для сдерживания неверия. Это предполагает наличие способа для отслеживания и рендеринга частей тела в FOV. Невозможность наблюдения сквозь козырек является видом VR с множеством преимуществ улучшения изображения, которые невозможны при непосредственном наложении.
- Широкое FOV, возможно даже способность смотреть назад.
- Различные виды «супер зрения»: телескоп, возможность видеть насквозь, инфракрасное зрение, глаз Бога и т.д.
В одном варианте осуществления система для виртуального и/или дополненного восприятия пользователя выполнена таким образом, что удаленные аватары, связанные с пользователями, могут анимироваться на основании, по меньшей мере, частично данных на носимом устройстве с вводом от источников, таких как анализ интонации голоса и анализ распознавания лиц, которые проводятся релевантными модулями программного обеспечения. Например, вновь обращаясь к Фиг. 12, аватар (2) пчелы может анимироваться с дружественной улыбкой на основании распознавания улыбки на лице пользователя посредством распознавания лиц, либо на основании дружественного тона голоса или разговора, как определяется программным обеспечением, выполненным с возможностью анализа голосовых вводов в микрофоны, которые могут захватывать голосовые образцы локально от пользователя. Кроме того, персонаж аватара может быть анимирован таким образом, при котором аватар, насколько это возможно, выражает некоторые эмоции. Например, в одном варианте осуществления, в котором аватаром является собака, довольная улыбка или тон, обнаруженные системой, которая является локальной по отношению к пользователю-человеку, может быть выражена аватаром как виляние хвостом аватара-собаки.
Различные примерные варианты осуществления изобретения описываются ниже. Ссылка на эти варианты осуществления сделана в духе, который не накладывает ограничений. Они предоставлены для иллюстрации более широко применимых аспектов изобретения. Различные изменения могут быть выполнены в отношении описанного изобретения, и вместо могут быть использованы эквиваленты, не отступая от истинной сущности и объема изобретения. В дополнение, множество модификаций может быть выполнено для адаптации к конкретной ситуации, материалу, композиции предметов, процессу, действию(ям) или этапу(ам) процесса, в отношении целей, сущности или объема настоящего изобретения. Кроме того, как следует понимать специалистам в соответствующей области техники, каждая из отдельных вариаций, здесь описанных и проиллюстрированных, обладает отдельными компонентами и признаками, которые могут быть легко отделены или объединены с признаками любого из других нескольких вариантов осуществления, не отступая от объема и сущности настоящего изобретения. Все такие модификации рассматриваются как находящиеся в рамках объема, определяемого формулой изобретения, которая связана с данным изобретением.
Изобретение включает в себя способы, которые могут быть выполнены, используя соответственные устройства. Способы могут содержать действие по предоставлению такого соответственного устройства. Такое предоставление может выполняться конечным пользователем. Другими словами, действие по «предоставлению» требует от конечного пользователя лишь получения, доступа, приближения, позиционирования, настройки, активации, подачи питания или иного действия для предоставления необходимого устройства в подчиненном способе. Излагаемые здесь способы могут выполняться в любой очередности изложенных событий, которая логически возможна, как впрочем, и в изложенной очередности событий.
Примерные аспекты изобретения, совместно с подробностями, которые касаются выбора материала и изготовления, были изложены выше. Что касается других подробностей настоящего изобретения, они могут быть оценены в связи с вышеупомянутыми патентами и публикациями, как впрочем, они могут быть общеизвестны и подразумеваться специалистами в соответствующей области. То же самое может быть справедливо в отношении основанных на способе аспектов изобретения с точки зрения дополнительных действий, как обычно или логически используемых.
В дополнение, несмотря на то, что изобретение было описано со ссылкой на несколько примеров, опционально включающих в себя различные признаки, изобретение не должно ограничиваться тем, что описано или указано как предусмотренное в отношении каждой вариации изобретения. Различные изменения могут быть выполнены в отношении описанного изобретения, и вместо могут быть использованы эквиваленты (изложенные ли здесь, или не включенные для краткости), не отступая от истинной сущности и объема изобретения. В дополнение, там, где представлен диапазон значений, понимается, что каждое промежуточное значение, между верхним и нижним пределом диапазона, и любое другое объявленное или промежуточное значение в объявленном диапазоне, заключено в рамках изобретения.
Также предполагается, что любой опциональный признак описанных изобретательных вариаций может быть изложен и заявлен независимо, или в сочетании с любым одним или более описанными здесь признаками. Ссылка на единичный элемент включает в себя возможность того, что присутствует множество таких элементов. В частности, как используется здесь и в связанной формуле изобретения, формы единственного числа и «упомянутый» включают в себя множественные числа, если конкретно не указано обратное. Другими словами, упоминание в единственном числе подразумевает «по меньшей мере один» касаемо рассматриваемого элемента в описании выше, как, впрочем, и формуле изобретения, связанной с данным изобретением. Также отмечается, что такая формула изобретения может быть составлена таким образом, чтобы исключать любой опциональный элемент. Раз так, то данное утверждение предназначено служить в качестве предшествующей основы для использования такой исключающей терминологии, как «единственно», «только» и подобной, в связи с изложением элементов формулы изобретения или использованием «негативного» ограничения.
Без использования такой исключающей терминологии, понятие «содержащий» в формуле изобретения, связанной с данным изобретением, должно обеспечивать включение любого дополнительного элемента - независимо от того, перечислено ли заданное количество элементов в такой формуле изобретения, или добавление признака может рассматриваться как трансформация природы элемента, изложенного в такой формуле изобретения. За исключением специально здесь определенных, все используемые здесь технические и научные понятия должны быть даны настолько широко, на сколько это позволяет их обычно понимаемое значение, при условии сохранения действительности пункта формулы изобретения.
Объем настоящего изобретения не должен ограничиваться предоставленными примерами и/или техническим описанием предмета, а наоборот ограничиваться лишь объемом, определяемым формулой изобретения, связанной с данным изобретением.

Claims (22)

1. Система для предоставления двум или более пользователям возможности взаимодействия внутри виртуального мира, содержащего данные виртуального мира, содержащая:
компьютерную сеть, содержащую одно или более вычислительных устройств, каковые одно или более вычислительных устройств содержат память, процессорную схему и программное обеспечение, хранящееся, по меньшей мере отчасти, в памяти и исполняемое процессорной схемой для обработки, по меньшей мере, части данных виртуального мира;
первое вычислительное устройство, имеющее компонент в виде носимого пользовательского дисплея, при этом первое вычислительное устройство подсоединено с возможностью взаимодействия к компьютерной сети;
при этом, по меньшей мере, первая часть данных виртуального мира содержит виртуальный объект, воспроизводимый в качестве реакции на физический объект, являющийся локальным по отношению к полю обзора первого пользователя, ассоциированного с первым вычислительным устройством, и при этом компьютерная сеть приспособлена для передачи этой первой части данных виртуального мира во второе вычислительное устройство, ассоциированное со вторым пользователем,
при этом компонент в виде носимого пользовательского дисплея визуальным образом отображает виртуальный объект второму пользователю, так что виртуальное представление физического объекта, являющегося локальным по отношению к полю обзора первого пользователя, визуальным образом представляется второму пользователю в местоположении второго пользователя.
2. Система по п. 1, в которой первый и второй пользователи находятся в разных физических местоположениях.
3. Система по п. 1, в которой первый и второй пользователи находятся в одном и том же физическом местоположении.
4. Система по п. 1, в которой, по меньшей мере, часть виртуального мира меняется в качестве реакции на изменение в данных виртуального мира.
5. Система по п. 1, в которой, по меньшей мере, часть виртуального мира меняется в качестве реакции на изменение в физическом объекте, являющемся локальным по отношению к полю обзора первого пользователя.
6. Система по п. 5, в которой изменение в упомянутой части виртуального мира представляет то, что виртуальный объект имеет предварительно определенную взаимосвязь с физическим объектом, являющимся локальным по отношению к полю обзора первого пользователя.
7. Система по п. 6, в которой изменение в упомянутой части виртуального мира представляется второму вычислительному устройству для представления второму пользователю в соответствии с упомянутой предварительно определенной взаимосвязью.
8. Система по п. 1, в которой виртуальный мир приспособлен для его воспроизведения посредством по меньшей мере одного из компьютерного сервера и вычислительного устройства.
9. Система по п. 1, в которой виртуальный мир представляется в двумерном формате.
10. Система по п. 1, в которой виртуальный мир представляется в трехмерном формате.
11. Система по п. 1, в которой первое или второе вычислительное устройство выполнено с возможностью предоставления интерфейса для обеспечения взаимодействия между пользователем и виртуальным миром в режиме дополненной реальности.
12. Система по п. 1, в которой первое или второе вычислительное устройство выполнено с возможностью предоставления интерфейса для обеспечения взаимодействия между пользователем и виртуальным миром в режиме виртуальной реальности.
13. Система по п. 1, в которой первое или второе вычислительное устройство выполнено с возможностью предоставления интерфейса для обеспечения взаимодействия между пользователем и виртуальным миром в режиме сочетания дополненной и виртуальной реальности.
14. Система по п. 1, в которой данные виртуального мира передаются по сети передачи данных.
15. Система по п. 1, в которой компьютерная сеть приспособлена для приема, по меньшей мере, части данных виртуального мира от первого или второго вычислительного устройства.
16. Система по п. 1, в которой, по меньшей мере, часть данных виртуального мира передается в первое или второе вычислительное устройство и содержит инструкции для генерирования, по меньшей мере, части виртуального мира.
17. Система по п. 1, в которой, по меньшей мере, часть данных виртуального мира передается в шлюз для по меньшей мере одного из обработки и распространения.
18. Система по п. 17, в которой по меньшей мере одно из одного или более первых или вторых вычислительных устройств выполнено с возможностью обработки данных виртуального мира, распространяемых шлюзом.
RU2014121402A 2011-10-28 2012-10-29 Система и способ для дополненной и виртуальной реальности RU2621633C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161552941P 2011-10-28 2011-10-28
US61/552,941 2011-10-28
PCT/US2012/062500 WO2013085639A1 (en) 2011-10-28 2012-10-29 System and method for augmented and virtual reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2017115669A Division RU2017115669A (ru) 2011-10-28 2012-10-29 Система и способ для дополненной и виртуальной реальности

Publications (2)

Publication Number Publication Date
RU2014121402A RU2014121402A (ru) 2015-12-10
RU2621633C2 true RU2621633C2 (ru) 2017-06-06

Family

ID=48224484

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2017115669A RU2017115669A (ru) 2011-10-28 2012-10-29 Система и способ для дополненной и виртуальной реальности
RU2014121402A RU2621633C2 (ru) 2011-10-28 2012-10-29 Система и способ для дополненной и виртуальной реальности

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2017115669A RU2017115669A (ru) 2011-10-28 2012-10-29 Система и способ для дополненной и виртуальной реальности

Country Status (12)

Country Link
US (14) US9215293B2 (ru)
EP (6) EP2771877B1 (ru)
JP (7) JP6110866B2 (ru)
KR (4) KR101944846B1 (ru)
CN (2) CN106484115B (ru)
AU (6) AU2012348348B2 (ru)
BR (1) BR112014010230A8 (ru)
CA (4) CA3207408A1 (ru)
IL (5) IL232281B (ru)
IN (1) IN2014CN03300A (ru)
RU (2) RU2017115669A (ru)
WO (1) WO2013085639A1 (ru)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2682014C1 (ru) * 2017-06-29 2019-03-14 Дмитрий Сергеевич Шаньгин Система виртуальной реальности
RU2691842C1 (ru) * 2017-07-19 2019-06-18 Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд. Линия подачи данных для очков виртуальной реальности
RU2712417C1 (ru) * 2019-02-28 2020-01-28 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система распознавания лиц и построения маршрута с помощью средства дополненной реальности
RU201742U1 (ru) * 2020-07-22 2020-12-30 Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" Очки дополненной реальности, ориентированные на применение в условиях опасного производства
RU2750505C1 (ru) * 2017-10-12 2021-06-29 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Оптимизация доставки звука для приложений виртуальной реальности
RU2760179C1 (ru) * 2021-01-20 2021-11-22 Виктор Александрович Епифанов Система дополненной реальности
RU2762123C2 (ru) * 2017-03-27 2021-12-15 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Избирательное применение обработки репроекции на подобластях слоя для оптимизации мощности репроекции поздней стадии
RU211700U1 (ru) * 2021-10-12 2022-06-17 Общество с ограниченной ответственностью "Хайтек-Склад" Шлем формирования смешанной реальности (MR-шлем)
US11554320B2 (en) 2020-09-17 2023-01-17 Bogie Inc. System and method for an interactive controller

Families Citing this family (763)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9658473B2 (en) * 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP2995986B1 (en) 2011-08-24 2017-04-12 Rockwell Collins, Inc. Data display
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
US8692840B2 (en) * 2012-02-05 2014-04-08 Mitsubishi Electric Research Laboratories, Inc. Method for modeling and estimating rendering errors in virtual images
EP2817920A4 (en) 2012-02-23 2015-09-02 Tyco Electronics Ltd Uk OVERLAY-BASED FACILITY REPORTING AND IDENTIFICATION SYSTEM
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9129404B1 (en) * 2012-09-13 2015-09-08 Amazon Technologies, Inc. Measuring physical objects and presenting virtual articles
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
US8764532B1 (en) 2012-11-07 2014-07-01 Bertec Corporation System and method for fall and/or concussion prediction
US11270498B2 (en) * 2012-11-12 2022-03-08 Sony Interactive Entertainment Inc. Real world acoustic and lighting modeling for improved immersion in virtual reality and augmented reality environments
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
US9526443B1 (en) * 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US8704855B1 (en) * 2013-01-19 2014-04-22 Bertec Corporation Force measurement system having a displaceable force measurement assembly
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US8847989B1 (en) * 2013-01-19 2014-09-30 Bertec Corporation Force and/or motion measurement system and a method for training a subject using the same
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US9081436B1 (en) 2013-01-19 2015-07-14 Bertec Corporation Force and/or motion measurement system and a method of testing a subject using the same
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
JP6281495B2 (ja) * 2013-02-01 2018-02-21 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
EP2967623B1 (en) 2013-03-14 2021-07-21 SRI International Compact robotic wrist
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9092954B2 (en) * 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
KR102257034B1 (ko) 2013-03-15 2021-05-28 에스알아이 인터내셔널 하이퍼덱스트러스 수술 시스템
US11181740B1 (en) 2013-03-15 2021-11-23 Percept Technologies Inc Digital eyewear procedures related to dry eyes
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9764229B2 (en) 2013-05-23 2017-09-19 Disney Enterprises, Inc. Unlocking of digital content based on geo-location of objects
US9977256B2 (en) * 2013-05-30 2018-05-22 Johnson & Johnson Vision Care, Inc. Methods for manufacturing and programming an energizable ophthalmic lens with a programmable media insert
JP6179592B2 (ja) * 2013-05-31 2017-08-16 日本電気株式会社 画像認識装置、その処理方法、およびプログラム
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9440143B2 (en) 2013-07-02 2016-09-13 Kabam, Inc. System and method for determining in-game capabilities based on device information
US9014639B2 (en) * 2013-07-11 2015-04-21 Johnson & Johnson Vision Care, Inc. Methods of using and smartphone event notification utilizing an energizable ophthalmic lens with a smartphone event indicator mechanism
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US9415306B1 (en) 2013-08-12 2016-08-16 Kabam, Inc. Clients communicate input technique to server
US9656172B2 (en) * 2013-08-16 2017-05-23 Disney Enterprises, Inc. Unlocking of virtual content through geo-location
US20150062158A1 (en) 2013-08-28 2015-03-05 Qualcomm Incorporated Integration of head mounted displays with public display devices
CN105814626B (zh) * 2013-09-30 2018-03-13 Pcms控股公司 用于提供增强信息的方法和设备
US11165842B2 (en) 2013-10-25 2021-11-02 Louis Gurtowski Selective capture with rapid sharing of user or mixed reality actions and states using interactive virtual streaming
US10027731B2 (en) 2013-10-25 2018-07-17 Louis Gurtowski Selective capture with rapid sharing of user computer or mixed reality actions, states using interactive virtual streaming
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
US9623322B1 (en) 2013-11-19 2017-04-18 Kabam, Inc. System and method of displaying device information for party formation
US9996973B2 (en) 2013-11-30 2018-06-12 Empire Technology Development Llc Augmented reality objects based on biometric feedback
US9295916B1 (en) 2013-12-16 2016-03-29 Kabam, Inc. System and method for providing recommendations for in-game events
WO2015095507A1 (en) * 2013-12-18 2015-06-25 Joseph Schuman Location-based system for sharing augmented reality content
EP2886171A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Cross-platform augmented reality experience
KR102355118B1 (ko) 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
WO2020220720A1 (zh) 2019-04-30 2020-11-05 深圳市韶音科技有限公司 一种声学输出装置
WO2015102464A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
US10983805B2 (en) * 2014-02-21 2021-04-20 Nod, Inc. Contextual keyboard located on a remote server for implementation on any content delivery and interaction application
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9536352B2 (en) * 2014-03-27 2017-01-03 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9767615B2 (en) * 2014-04-23 2017-09-19 Raytheon Company Systems and methods for context based information delivery using augmented reality
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
WO2015171887A1 (en) * 2014-05-07 2015-11-12 Tyco Electronics Corporation Hands-free asset identification, location and management system
CA2891742C (en) * 2014-05-15 2023-11-28 Tyco Safety Products Canada Ltd. System and method for processing control commands in a voice interactive system
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
EP3926589A1 (en) * 2014-06-03 2021-12-22 Apple Inc. Method and system for presenting a digital information related to a real object
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10055876B2 (en) * 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3699736B1 (en) * 2014-06-14 2023-03-29 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10248992B2 (en) 2014-07-26 2019-04-02 Audi Ag Presentation device for carrying out a product presentation
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016032807A1 (en) 2014-08-25 2016-03-03 Google Inc. Methods and systems for augmented reality to display virtual representations of robotic device actions
JP6467698B2 (ja) * 2014-08-28 2019-02-13 学校法人立命館 野球の打撃練習支援システム
US20170255018A1 (en) * 2014-09-11 2017-09-07 Selaflex Ltd An apparatus and method for displaying an output from a display
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
WO2016054079A1 (en) 2014-09-29 2016-04-07 Zyomed Corp. Systems and methods for blood glucose and other analyte detection and measurement using collision computing
KR102688893B1 (ko) 2014-09-29 2024-07-29 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN105892620A (zh) * 2014-10-28 2016-08-24 贵州师范学院 一种基于Kinect的体感遥控智能小汽车的方法
WO2016075782A1 (ja) * 2014-11-12 2016-05-19 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
EP3218074A4 (en) * 2014-11-16 2017-11-29 Guy Finfter System and method for providing an alternate reality ride experience
US11250630B2 (en) 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
US10235714B2 (en) * 2014-12-01 2019-03-19 Verizon Patent And Licensing Inc. Customized virtual reality user environment control
US20160195923A1 (en) * 2014-12-26 2016-07-07 Krush Technologies, Llc Gyroscopic chair for virtual reality simulation
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
JP6867947B2 (ja) 2015-01-20 2021-05-12 ディジレンズ インコーポレイテッド ホログラフィック導波路ライダー
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
CN104759015A (zh) * 2015-02-11 2015-07-08 北京市朝阳区新希望自闭症支援中心 基于计算机控制的视觉训练系统
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
TWI567670B (zh) * 2015-02-26 2017-01-21 宅妝股份有限公司 切換虛擬實境模式與擴增實境模式的管理方法以及系統
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10088895B2 (en) 2015-03-08 2018-10-02 Bent Reality Labs, LLC Systems and processes for providing virtual sexual experiences
NZ773812A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US11416805B1 (en) * 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
US10853757B1 (en) 2015-04-06 2020-12-01 Position Imaging, Inc. Video for real-time confirmation in package tracking systems
JP6433844B2 (ja) * 2015-04-09 2018-12-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、中継装置、情報処理システム、およびソフトウェアアップデート方法
KR102063895B1 (ko) 2015-04-20 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US9958903B2 (en) * 2015-04-29 2018-05-01 Sony Mobile Communications Inc. Providing a representation of orientation and movement of an item being moved in space
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
CN105739106B (zh) * 2015-06-12 2019-07-09 南京航空航天大学 一种体感多视点大尺寸光场真三维显示装置及方法
US10832479B2 (en) 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
IL295566B2 (en) 2015-06-15 2024-01-01 Magic Leap Inc Display system with optical components for coupling multiple light streams
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
EP3112991B1 (en) * 2015-07-01 2020-02-12 Samsung Electronics Co., Ltd. Method and apparatus for context based application grouping in virtual reality
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
EP3325233A1 (en) 2015-07-23 2018-05-30 SRI International Inc. Robotic arm and robotic surgical system
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
CN111450521B (zh) * 2015-07-28 2023-11-24 弗丘伊克斯控股公司 对输入进行软解耦的系统和方法
CN105117931A (zh) * 2015-07-30 2015-12-02 金华唯见科技有限公司 一种目标驱动虚拟现实生态系统
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
US10609438B2 (en) 2015-08-13 2020-03-31 International Business Machines Corporation Immersive cognitive reality system with real time surrounding media
US10701318B2 (en) 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
US11481911B2 (en) 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP3337383B1 (en) 2015-08-21 2024-10-16 Magic Leap, Inc. Eyelid shape estimation
JP6918781B2 (ja) 2015-08-21 2021-08-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼ポーズ測定を用いた眼瞼形状推定
US10373392B2 (en) 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
US10491711B2 (en) 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
JP2017059891A (ja) * 2015-09-14 2017-03-23 ミライアプリ株式会社 状態特定プログラム、状態特定装置、ウェアラブルデバイス及び管理装置
CA3169076A1 (en) * 2015-09-16 2017-03-23 Magic Leap, Inc. Head pose mixing of audio files
JP6144738B2 (ja) * 2015-09-18 2017-06-07 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、ビデオゲーム処理システム及びビデオゲーム処理方法
JP6876683B2 (ja) 2015-09-23 2021-05-26 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 軸外イメージャを用いた眼の撮像
JP6944441B2 (ja) * 2015-09-25 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
EP3335070B1 (en) * 2015-09-30 2020-11-25 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display
WO2017060665A1 (en) 2015-10-05 2017-04-13 Milan Momcilo Popovich Waveguide display
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105214309B (zh) * 2015-10-10 2017-07-11 腾讯科技（深圳）有限公司 一种信息处理方法、终端及计算机存储介质
NZ741863A (en) 2015-10-16 2019-05-31 Magic Leap Inc Eye pose identification using eye features
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
WO2017079329A1 (en) 2015-11-04 2017-05-11 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
USD785656S1 (en) * 2015-11-24 2017-05-02 Meditech International Inc. Display screen or portion thereof with graphical user interface
CN106802712A (zh) * 2015-11-26 2017-06-06 英业达科技有限公司 交互式扩增实境系统
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
US20170169613A1 (en) * 2015-12-15 2017-06-15 Lenovo (Singapore) Pte. Ltd. Displaying an object with modified render parameters
US10037085B2 (en) 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
CN108139801B (zh) * 2015-12-22 2021-03-16 谷歌有限责任公司 用于经由保留光场渲染来执行电子显示稳定的系统和方法
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
JP6894904B2 (ja) 2016-01-07 2021-06-30 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 深度平面にわたって分配される等しくない数の成分色画像を有する仮想および拡張現実システムおよび方法
EP3405829A4 (en) 2016-01-19 2019-09-18 Magic Leap, Inc. COLLECTION, SELECTION AND COMBINATION OF EYE IMAGES
CN118605029A (zh) 2016-01-19 2024-09-06 奇跃公司 利用映像的增强现实系统和方法
CN105759958A (zh) * 2016-01-27 2016-07-13 中国人民解放军信息工程大学 一种数据交互系统及方法
CN114063311A (zh) 2016-01-29 2022-02-18 奇跃公司 三维图像的显示
US10120437B2 (en) * 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
WO2017134412A1 (en) 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
JP2019505926A (ja) * 2016-02-05 2019-02-28 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
IL261102B2 (en) 2016-02-24 2023-10-01 Magic Leap Inc Low profile connection for light emitter
JP6898938B2 (ja) 2016-02-24 2021-07-07 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 低光漏出を伴う偏光ビームスプリッタ
CA3014821A1 (en) 2016-02-26 2017-08-31 Magic Leap, Inc. Light output system with reflector and lens for highly spatially uniform light output
CN114002844A (zh) 2016-02-26 2022-02-01 奇跃公司 具有用于多个光发射器的多个光管的显示系统
KR20180117181A (ko) 2016-03-01 2018-10-26 매직 립, 인코포레이티드 상이한 파장들의 광을 도파관들로 입력하기 위한 반사성 스위칭 디바이스
KR20230109789A (ko) 2016-03-04 2023-07-20 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
JP6920329B2 (ja) 2016-03-07 2021-08-18 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． バイオメトリックセキュリティのための青色光調節
CN111329553B (zh) 2016-03-12 2021-05-04 P·K·朗 用于手术的装置与方法
US10115234B2 (en) * 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
AU2017236782B2 (en) 2016-03-22 2021-01-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
WO2017165848A1 (en) 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9554738B1 (en) 2016-03-30 2017-01-31 Zyomed Corp. Spectroscopic tomography systems and methods for noninvasive detection and measurement of analytes using collision computing
KR20230098927A (ko) * 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
CN105892667B (zh) * 2016-03-31 2019-03-29 联想(北京)有限公司 一种虚拟现实场景下的信息处理方法和电子设备
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
WO2017177019A1 (en) * 2016-04-08 2017-10-12 Pcms Holdings, Inc. System and method for supporting synchronous and asynchronous augmented reality functionalities
EP4273615A3 (en) 2016-04-08 2024-01-17 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
EP3433658B1 (en) 2016-04-11 2023-08-09 DigiLens, Inc. Holographic waveguide apparatus for structured light projection
CN105903166B (zh) * 2016-04-18 2019-05-24 北京小鸟看看科技有限公司 一种3d在线运动竞技方法和系统
EP3236336B1 (en) * 2016-04-21 2019-03-27 Nokia Technologies Oy Virtual reality causal summary content
KR102666960B1 (ko) * 2016-04-21 2024-05-17 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
JP6594254B2 (ja) * 2016-04-26 2019-10-23 日本電信電話株式会社 仮想環境構築装置、仮想環境構築方法、プログラム
US10261162B2 (en) 2016-04-26 2019-04-16 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
EP3449340A1 (fr) * 2016-04-27 2019-03-06 Immersion Dispositif et procede de partage d'immersion dans un environnement virtuel
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
US10257490B2 (en) * 2016-04-28 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for creating and providing a real-time volumetric representation of a real-world event
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10250720B2 (en) 2016-05-05 2019-04-02 Google Llc Sharing in an augmented and/or virtual reality environment
CN109476175B (zh) 2016-05-06 2021-07-30 奇跃公司 具有用于重定向光的非对称光栅的超表面及其制造方法
KR102450362B1 (ko) 2016-05-09 2022-10-04 매직 립, 인코포레이티드 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
KR20240027162A (ko) 2016-05-12 2024-02-29 매직 립, 인코포레이티드 이미징 도파관을 통해 분배된 광 조작
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US10303323B2 (en) * 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US9983697B1 (en) 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
WO2017200760A1 (en) * 2016-05-19 2017-11-23 Yudofsky Stuart Methods and devices for behavior modification
CN109496331B (zh) 2016-05-20 2022-06-21 奇跃公司 用户界面菜单的情景感知
WO2017210419A1 (en) 2016-06-03 2017-12-07 Magic Leaf, Inc. Augmented reality identity verification
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
CN106096540B (zh) * 2016-06-08 2020-07-24 联想(北京)有限公司 一种信息处理方法和电子设备
GB2551323B (en) * 2016-06-08 2021-02-10 Companion Ltd System providing a shared environment
EP3865767B1 (en) 2016-06-10 2024-03-13 Magic Leap, Inc. Integrated point source for texture projecting bulb
KR102362001B1 (ko) * 2016-06-16 2022-02-14 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
US10037077B2 (en) 2016-06-21 2018-07-31 Disney Enterprises, Inc. Systems and methods of generating augmented reality experiences
NZ749449A (en) 2016-06-30 2023-06-30 Magic Leap Inc Estimating pose in 3d space
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CN109661194B (zh) 2016-07-14 2022-02-25 奇跃公司 使用角膜曲率的虹膜边界估计
WO2018013200A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
IL298851B2 (en) 2016-07-25 2023-12-01 Magic Leap Inc Change, display and visualization of imaging using augmented and virtual reality glasses
KR102520143B1 (ko) 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
CN110383756B (zh) 2016-07-29 2023-06-09 奇跃公司 加密签名记录的安全交换
US10249089B2 (en) 2016-08-01 2019-04-02 Dell Products, Lp System and method for representing remote participants to a meeting
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US10169921B2 (en) * 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
IL310337A (en) 2016-08-11 2024-03-01 Magic Leap Inc Automatic positioning of a virtual object in 3D space
TWI608383B (zh) * 2016-08-11 2017-12-11 拓景科技股份有限公司 虛擬實境環境中之導引產生方法及系統，及其相關電腦程式產品
KR20230167452A (ko) 2016-08-12 2023-12-08 매직 립, 인코포레이티드 단어 흐름 주석
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10290151B2 (en) * 2016-08-17 2019-05-14 Blackberry Limited AR/VR device virtualisation
WO2018039277A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Diffractive eyepiece
WO2018039076A1 (en) * 2016-08-22 2018-03-01 Vantedge Group, Llc Immersive and merged reality experience / environment and data capture via virtural, agumented, and mixed reality device
KR102529137B1 (ko) 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
CN106484099B (zh) * 2016-08-30 2022-03-08 广州大学 内容重放装置、具有该重放装置的处理系统及方法
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
US10773179B2 (en) 2016-09-08 2020-09-15 Blocks Rock Llc Method of and system for facilitating structured block play
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
CA3036208A1 (en) 2016-09-13 2018-03-22 Magic Leap, Inc. Sensory eyewear
CN106249611A (zh) * 2016-09-14 2016-12-21 深圳众乐智府科技有限公司 一种基于虚拟现实的智能家居定位方法、装置和系统
CN106310660A (zh) * 2016-09-18 2017-01-11 三峡大学 一种基于力学可视化的虚拟足球运动控制系统
CN112987303A (zh) 2016-09-21 2021-06-18 奇跃公司 用于具有出瞳扩展器的光学系统的系统和方法
KR20210072157A (ko) 2016-09-22 2021-06-16 매직 립, 인코포레이티드 증강 현실 분광기
CA3036709A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
AU2017335736B2 (en) 2016-09-28 2022-08-11 Magic Leap, Inc. Face model capture by a wearable device
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
DE102016118647B4 (de) 2016-09-30 2018-12-06 Deutsche Telekom Ag Augmented-Reality-Kommunikationssystem und Augmented-Reality-Interaktionsvorrichtung
IL293688B2 (en) 2016-10-04 2024-02-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
US10105619B2 (en) 2016-10-14 2018-10-23 Unchartedvr Inc. Modular solution for delivering a virtual reality attraction
US10192340B2 (en) 2016-10-14 2019-01-29 Unchartedvr Inc. Multiple participant virtual reality attraction
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
IL311451A (en) 2016-10-21 2024-05-01 Magic Leap Inc System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view
US9983665B2 (en) 2016-10-25 2018-05-29 Oculus Vr, Llc Position tracking system that exploits arbitrary configurations to determine loop closure
US10484568B2 (en) * 2016-10-26 2019-11-19 Orcam Technologies Ltd. Providing a social media recommendation based on data captured by a wearable device
US10110871B2 (en) * 2016-10-31 2018-10-23 Disney Enterprises, Inc. Recording high fidelity digital immersive experiences through off-device computation
JP6913164B2 (ja) 2016-11-11 2021-08-04 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 完全な顔画像の眼球周囲およびオーディオ合成
WO2018093796A1 (en) 2016-11-15 2018-05-24 Magic Leap, Inc. Deep learning system for cuboid detection
IL266595B (en) 2016-11-16 2022-08-01 Magic Leap Inc Thermal management systems for wearable components
EP3542213A4 (en) 2016-11-18 2020-10-07 Magic Leap, Inc. WAVE GUIDE LIGHT MULTIPLEXER USING CROSSED GRIDS
WO2018094096A1 (en) 2016-11-18 2018-05-24 Magic Leap, Inc. Multilayer liquid crystal diffractive gratings for redirecting light of wide incident angle ranges
CN110192146B (zh) 2016-11-18 2022-09-23 奇跃公司 空间可变液晶衍射光栅
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
US10649233B2 (en) 2016-11-28 2020-05-12 Tectus Corporation Unobtrusive eye mounted display
US11813203B2 (en) 2016-11-28 2023-11-14 Verb Surgical Inc. Robotic surgical table with relatively high resonant frequency structure to reduce efficiency of energy transmission between attached robotic arms
EP3548939A4 (en) 2016-12-02 2020-11-25 DigiLens Inc. UNIFORM OUTPUT LIGHTING WAVEGUIDE DEVICE
IL266888B2 (en) 2016-12-05 2024-05-01 Magic Leap Inc Virtual user input controls in a mixed reality environment
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN110249256B (zh) 2016-12-08 2023-03-03 奇跃公司 基于胆甾型液晶的衍射装置
WO2018111895A1 (en) 2016-12-13 2018-06-21 Magic Leap, Inc. 3d object rendering using detected features
US11559228B2 (en) 2016-12-13 2023-01-24 Magic Leap, Inc. Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels
EP3555700B1 (en) 2016-12-14 2023-09-13 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
US10373385B2 (en) * 2016-12-14 2019-08-06 Microsoft Technology Licensing, Llc Subtractive rendering for augmented and virtual reality systems
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
WO2018119276A1 (en) 2016-12-22 2018-06-28 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
US11138436B2 (en) 2016-12-29 2021-10-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及系统
EP4122897A1 (en) 2017-01-05 2023-01-25 Magic Leap, Inc. Patterning of high refractive index glasses by plasma etching
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
KR102662173B1 (ko) 2017-01-11 2024-04-30 매직 립, 인코포레이티드 의료 보조기
WO2018132804A1 (en) 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
CN106774942A (zh) * 2017-01-18 2017-05-31 华南理工大学 一种实时3d远程人机交互系统
CN108334377A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的用户使用进度控制方法
CN115586652A (zh) 2017-01-23 2023-01-10 奇跃公司 用于虚拟、增强或混合现实系统的目镜
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
AU2018212570B2 (en) 2017-01-27 2023-03-16 Magic Leap, Inc. Antireflection coatings for metasurfaces
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
KR20240074923A (ko) 2017-01-27 2024-05-28 매직 립, 인코포레이티드 상이하게 배향된 나노빔들을 갖는 메타표면들에 의해 형성된 회절 격자
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
EP4328865A3 (en) 2017-02-23 2024-06-05 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
KR102635437B1 (ko) 2017-02-28 2024-02-13 삼성전자주식회사 콘텐츠 공유 방법 및 이를 지원하는 전자 장치
KR102308937B1 (ko) * 2017-02-28 2021-10-05 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
US10646767B2 (en) 2017-03-07 2020-05-12 vSports, LLC Mixed reality sport simulation and training system
US10204456B2 (en) 2017-03-07 2019-02-12 vGolf, LLC Mixed reality golf simulation and training system
US10525324B2 (en) 2017-03-07 2020-01-07 vSports, LLC Mixed-reality kick tracking and simulation
US10409363B1 (en) 2017-03-07 2019-09-10 vGolf, LLC Mixed-reality golf tracking and simulation
AU2018234409B2 (en) 2017-03-14 2022-06-30 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
JP7009495B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
CA3055597A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
WO2018175488A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Stacked waveguides having different diffraction gratings for combined field of view
KR102493992B1 (ko) 2017-03-21 2023-01-30 매직 립, 인코포레이티드 가상, 증강 및 혼합 현실 시스템들을 위한 깊이 감지 기술
IL269290B2 (en) 2017-03-21 2024-09-01 Magic Leap Inc Methods, devices and systems for illuminating spatial light modulators
IL269289B2 (en) 2017-03-21 2024-10-01 Magic Leap Inc Low profile beam splitter
AU2018239264B2 (en) 2017-03-21 2023-05-18 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
WO2018175653A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Display system with spatial light modulator illumination for divided pupils
WO2018175620A1 (en) 2017-03-22 2018-09-27 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
CA3057109A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
US10282909B2 (en) * 2017-03-23 2019-05-07 Htc Corporation Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
CN107172047A (zh) * 2017-04-05 2017-09-15 杭州优海信息系统有限公司 工厂虚拟增强现实3d交互系统及其实现方法
AU2018256202A1 (en) 2017-04-18 2019-11-07 Magic Leap, Inc. Waveguides having reflective layers formed by reflective flowable materials
KR102652922B1 (ko) 2017-04-19 2024-03-29 매직 립, 인코포레이티드 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집
TWI610565B (zh) * 2017-04-21 2018-01-01 國立臺北科技大學 立體影像物件互動方法、系統與立體互動影片後製方法
US11163416B2 (en) 2017-04-27 2021-11-02 Magic Leap, Inc. Light-emitting user input device for calibration or pairing
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
JP6343779B1 (ja) * 2017-04-28 2018-06-20 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
JP2020521217A (ja) 2017-05-19 2020-07-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
IL270564B (en) 2017-05-22 2022-07-01 Magic Leap Inc Pairing with a companion device
US10792119B2 (en) 2017-05-22 2020-10-06 Ethicon Llc Robotic arm cart and uses therefor
IL311011A (en) 2017-05-30 2024-04-01 Magic Leap Inc Power supply assembly with fan assembly for an electronic device
CN110945405B (zh) 2017-05-31 2024-01-02 奇跃公司 眼睛跟踪校准技术
US10168789B1 (en) * 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US10856948B2 (en) 2017-05-31 2020-12-08 Verb Surgical Inc. Cart for robotic arms and method and apparatus for registering cart to surgical table
US10485623B2 (en) 2017-06-01 2019-11-26 Verb Surgical Inc. Robotic arm cart with fine position adjustment features and uses therefor
WO2018227011A1 (en) * 2017-06-07 2018-12-13 vSports, LLC Mixed-reality sports tracking and simulation
AU2018284089B2 (en) 2017-06-12 2022-12-15 Magic Leap, Inc. Augmented reality display having multi-element adaptive lens for changing depth planes
CN107330855B (zh) * 2017-06-16 2021-03-02 瑞芯微电子股份有限公司 Vr交互数据尺寸一致性调节的方法和装置
CN107229337B (zh) * 2017-06-16 2020-08-18 上海闻泰电子科技有限公司 Vr显示系统及方法
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US10913145B2 (en) 2017-06-20 2021-02-09 Verb Surgical Inc. Cart for robotic arms and method and apparatus for cartridge or magazine loading of arms
US10449440B2 (en) * 2017-06-30 2019-10-22 Electronic Arts Inc. Interactive voice-controlled companion application for a video game
US10357715B2 (en) * 2017-07-07 2019-07-23 Buxton Global Enterprises, Inc. Racing simulation
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
IL271929B (en) 2017-07-26 2022-07-01 Magic Leap Inc Neural network training with displays of user interface devices
US10740804B2 (en) 2017-07-28 2020-08-11 Magical Technologies, Llc Systems, methods and apparatuses of seamless integration of augmented, alternate, virtual, and/or mixed realities with physical realities for enhancement of web, mobile and/or other digital experiences
US11138915B2 (en) 2017-07-28 2021-10-05 Magic Leap, Inc. Fan assembly for displaying an image
US9992449B1 (en) * 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
WO2019055679A1 (en) 2017-09-13 2019-03-21 Lahood Edward Rashid METHOD, APPARATUS, AND COMPUTER-READABLE MEDIA FOR DISPLAYING INCREASED REALITY INFORMATION
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
AU2018337653A1 (en) 2017-09-20 2020-01-16 Magic Leap, Inc. Personalized neural network for eye tracking
AU2018338222A1 (en) 2017-09-21 2020-03-19 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US11231581B2 (en) 2017-09-27 2022-01-25 Magic Leap, Inc. Near eye 3D display with separate phase and amplitude modulators
CN115167677A (zh) 2017-09-29 2022-10-11 苹果公司 计算机生成的现实平台
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CA3077455A1 (en) 2017-10-11 2019-04-18 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
KR20190041384A (ko) 2017-10-12 2019-04-22 언차티드브이알 인코퍼레이티드 격자 기반 가상현실 놀이기구 시스템
EP3698214A4 (en) 2017-10-16 2021-10-27 Digilens Inc. SYSTEMS AND METHODS FOR MULTIPLICATION OF THE IMAGE RESOLUTION OF A PIXELIZED DISPLAY
US11966793B1 (en) * 2017-10-18 2024-04-23 Campfire 3D, Inc. Systems and methods to extend an interactive space across multiple platforms
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
KR20200074172A (ko) 2017-10-26 2020-06-24 매직 립, 인코포레이티드 액정 가변 초점 엘리먼트를 갖는 증강 현실 디스플레이 그리고 이를 형성하기 위한 롤투롤 방법 및 장치
CA3079221A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Broadband adaptive lens assembly for augmented reality display
CN111373419A (zh) 2017-10-26 2020-07-03 奇跃公司 用于深度多任务网络中自适应损失平衡的梯度归一化系统和方法
WO2019084325A1 (en) 2017-10-27 2019-05-02 Magic Leap, Inc. VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS
AU2018368279A1 (en) 2017-11-14 2020-05-14 Magic Leap, Inc. Meta-learning for multi-task learning for neural networks
US11720222B2 (en) 2017-11-17 2023-08-08 International Business Machines Corporation 3D interaction input for text in augmented reality
JP7225233B2 (ja) 2017-12-11 2023-02-20 マジック リープ， インコーポレイテッド 導波管照明器
EP3724855A4 (en) 2017-12-14 2022-01-12 Magic Leap, Inc. CONTEXT-BASED REPRESENTATION OF VIRTUAL AVATARS
WO2019116244A1 (ru) * 2017-12-15 2019-06-20 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе с использованием эффектов дополненной реальности
EP3724713A4 (en) 2017-12-15 2021-08-25 Magic Leap, Inc. IMPROVED ITEM DETERMINATION FOR A DISPLAY DEVICE
CA3084011C (en) 2017-12-15 2024-06-11 Magic Leap, Inc. Eyepieces for augmented reality display system
US10713840B2 (en) * 2017-12-22 2020-07-14 Sony Interactive Entertainment Inc. Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot
WO2019130213A1 (ru) * 2017-12-29 2019-07-04 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе с использованием объектов дополненной реальности
CA3085459A1 (en) 2018-01-04 2019-07-11 Magic Leap, Inc. Optical elements based on polymeric structures incorporating inorganic materials
US10824235B2 (en) * 2018-01-08 2020-11-03 Facebook Technologies, Llc Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
KR20200104402A (ko) 2018-01-08 2020-09-03 디지렌즈 인코포레이티드. 도파관 셀을 제조하기 위한 시스템 및 방법
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
JP7404243B2 (ja) 2018-01-08 2023-12-25 ディジレンズ インコーポレイテッド 導波管セル内のホログラフィック格子の高スループット記録のためのシステムおよび方法
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
CA3087333A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
AU2019209950A1 (en) 2018-01-17 2020-07-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
SG11202006693SA (en) * 2018-01-19 2020-08-28 Esb Labs Inc Virtual interactive audience interface
US10558878B2 (en) 2018-01-19 2020-02-11 Timothy R. Fitzpatrick System and method for organizing edible or drinkable materials
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US11210826B2 (en) 2018-02-02 2021-12-28 Disney Enterprises, Inc. Systems and methods to provide artificial intelligence experiences
US10673414B2 (en) 2018-02-05 2020-06-02 Tectus Corporation Adaptive tuning of a contact lens
IL276254B2 (en) 2018-02-06 2024-09-01 Magic Leap Inc Systems and methods for augmented reality
WO2019155311A1 (ru) * 2018-02-09 2019-08-15 ГИОРГАДЗЕ, Анико Тенгизовна Коммуникационная система с автоматически возникающими эффектами дополненной реальности
WO2019155368A1 (ru) * 2018-02-09 2019-08-15 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе с использованием эффектов дополненной реальности, возникающих в ответ на выбранные пользователем действия для выполнения объектами дополненной реальности
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar系统及ar设备
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
EP3759693A4 (en) 2018-02-27 2021-11-24 Magic Leap, Inc. MESH PAIRING FOR VIRTUAL AVATARS
EP3759542B1 (en) 2018-02-28 2023-03-29 Magic Leap, Inc. Head scan alignment using ocular registration
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
JP7303818B2 (ja) 2018-03-05 2023-07-05 マジック リープ， インコーポレイテッド 低遅延瞳孔トラッカーを伴うディスプレイシステム
JP1618837S (ru) * 2018-03-06 2018-11-26
WO2019173079A1 (en) 2018-03-06 2019-09-12 Texas State University Augmented reality/virtual reality platform for a network analyzer
CA3090818A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
AU2019231697B2 (en) * 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
EP3765892A4 (en) 2018-03-12 2021-12-15 Magic Leap, Inc. AD BASED ON KIPPARRAY
WO2019178409A1 (en) 2018-03-14 2019-09-19 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
US11430169B2 (en) 2018-03-15 2022-08-30 Magic Leap, Inc. Animating virtual avatar facial movements
CN112136094A (zh) 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
EP3766004A4 (en) 2018-03-16 2021-12-15 Magic Leap, Inc. FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS
EP4372451A3 (en) 2018-03-16 2024-08-14 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
WO2019183399A1 (en) 2018-03-21 2019-09-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
CN111936959A (zh) 2018-03-23 2020-11-13 脸谱科技有限责任公司 用于在用户身上显示用户界面并检测触摸手势的方法、设备和系统
CN112119334A (zh) 2018-04-02 2020-12-22 奇跃公司 具有集成光学元件的波导及其制造方法
US11460609B2 (en) 2018-04-02 2022-10-04 Magic Leap, Inc. Hybrid polymer waveguide and methods for making the same
WO2019195193A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
US11276219B2 (en) 2018-04-16 2022-03-15 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
WO2019204765A1 (en) 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10505394B2 (en) 2018-04-21 2019-12-10 Tectus Corporation Power generation necklaces that mitigate energy absorption in the human body
US10789753B2 (en) 2018-04-23 2020-09-29 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
US10895762B2 (en) 2018-04-30 2021-01-19 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10838239B2 (en) 2018-04-30 2020-11-17 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US11257268B2 (en) 2018-05-01 2022-02-22 Magic Leap, Inc. Avatar animation using Markov decision process policies
US11308673B2 (en) 2018-05-03 2022-04-19 Magic Leap, Inc. Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
WO2019215527A1 (ru) * 2018-05-10 2019-11-14 ГИОРГАДЗЕ, Анико Тенгизовна Способ отображения информации об активности пользователя
US12020167B2 (en) 2018-05-17 2024-06-25 Magic Leap, Inc. Gradient adversarial training of neural networks
US10790700B2 (en) 2018-05-18 2020-09-29 Tectus Corporation Power generation necklaces with field shaping systems
WO2019226494A1 (en) 2018-05-21 2019-11-28 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
WO2019226549A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Computer generated hair groom transfer tool
CN112437950A (zh) 2018-05-22 2021-03-02 奇跃公司 用于对虚拟头像制作动画的骨架系统
EP3797345A4 (en) 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
KR102236957B1 (ko) 2018-05-24 2021-04-08 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
JP7082416B2 (ja) 2018-05-24 2022-06-08 ザ カラニー ホールディング エスエーアールエル 実世界を表現するリアルタイム３ｄ仮想世界の中でのリアルタイム３ｄ仮想物体の双方向リアルタイム３ｄインタラクティブ操作
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US10700780B2 (en) * 2018-05-30 2020-06-30 Apple Inc. Systems and methods for adjusting movable lenses in directional free-space optical communication systems for portable electronic devices
US11303355B2 (en) 2018-05-30 2022-04-12 Apple Inc. Optical structures in directional free-space optical communication systems for portable electronic devices
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US12087022B2 (en) 2018-06-01 2024-09-10 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US10843077B2 (en) * 2018-06-08 2020-11-24 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
CN112567289A (zh) 2018-06-15 2021-03-26 奇跃公司 宽视场偏振开关和制造具有预倾斜的液晶光学元件的方法
JP7336470B2 (ja) 2018-06-15 2023-08-31 マジック リープ， インコーポレイテッド プレチルト角を伴う液晶光学要素を用いた広視野偏光スイッチ
US11694435B2 (en) 2018-06-18 2023-07-04 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
JP7378431B2 (ja) * 2018-06-18 2023-11-13 マジック リープ， インコーポレイテッド フレーム変調機能性を伴う拡張現実ディスプレイ
US20190391647A1 (en) * 2018-06-25 2019-12-26 Immersion Corporation Real-world haptic interactions for a virtual reality user
US20190392641A1 (en) * 2018-06-26 2019-12-26 Sony Interactive Entertainment Inc. Material base rendering
WO2020005757A1 (en) 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
WO2020003014A1 (ru) * 2018-06-26 2020-01-02 ГИОРГАДЗЕ, Анико Тенгизовна Устранение пробелов в понимании информации, возникающих при взаимодействии пользователей в коммуникационных системах, использующих объекты дополненной реальности
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
USD875729S1 (en) 2018-06-27 2020-02-18 Magic Leap, Inc. Portion of an augmented reality headset
EP3818530A4 (en) 2018-07-02 2022-03-30 Magic Leap, Inc. METHODS AND SYSTEMS FOR INTERPOLATION OF VARIOUS INPUTS
CN108983974B (zh) * 2018-07-03 2020-06-30 百度在线网络技术（北京）有限公司 Ar场景处理方法、装置、设备和计算机可读存储介质
US11106033B2 (en) 2018-07-05 2021-08-31 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
CN109308737A (zh) * 2018-07-11 2019-02-05 重庆邮电大学 一种三阶段式点云配准方法的移动机器人v-slam方法
US11137622B2 (en) 2018-07-15 2021-10-05 Tectus Corporation Eye-mounted displays including embedded conductive coils
US10925598B2 (en) * 2018-07-16 2021-02-23 Ethicon Llc Robotically-assisted surgical suturing systems
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
EP3827584A4 (en) 2018-07-23 2021-09-08 Magic Leap, Inc. INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CN112513944A (zh) 2018-07-23 2021-03-16 奇跃公司 用于头部姿势预测的深度预测器循环神经网络
CN116300091A (zh) 2018-07-23 2023-06-23 奇跃公司 用于使用位置向量解析半球模糊度的方法和系统
WO2020023303A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
WO2020023491A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Thermal management system for electronic device
EP3827585A4 (en) 2018-07-24 2022-04-27 Magic Leap, Inc. DISPLAY SYSTEMS AND METHODS FOR DETERMINING THE VERTICAL ALIGNMENT BETWEEN LEFT AND RIGHT DISPLAYS AND A USER'S EYES
CN112703437A (zh) 2018-07-24 2021-04-23 奇跃公司 具有减轻反弹引起的光损失的衍射光学元件以及相关的系统和方法
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
JP7210180B2 (ja) * 2018-07-25 2023-01-23 キヤノン株式会社 画像処理装置、画像表示装置、画像処理方法、及びプログラム
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
JP7459050B2 (ja) 2018-07-27 2024-04-01 マジック リープ， インコーポレイテッド 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減
US11468640B2 (en) 2018-08-03 2022-10-11 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
CN109255819B (zh) * 2018-08-14 2020-10-13 清华大学 基于平面镜的Kinect标定方法及装置
US10581940B1 (en) 2018-08-20 2020-03-03 Dell Products, L.P. Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications
KR102508286B1 (ko) * 2018-08-27 2023-03-09 삼성전자 주식회사 가상 현실에서 정보를 제공하는 전자 장치 및 방법
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
JP6527627B1 (ja) * 2018-08-31 2019-06-05 株式会社バーチャルキャスト コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
US11157739B1 (en) 2018-08-31 2021-10-26 Apple Inc. Multi-user computer generated reality platform
US10529107B1 (en) 2018-09-11 2020-01-07 Tectus Corporation Projector alignment in a contact lens
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
US10569164B1 (en) 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US12050318B2 (en) 2018-09-26 2024-07-30 Magic Leap, Inc. Eyewear with pinhole and slit cameras
WO2020069026A1 (en) 2018-09-26 2020-04-02 Magic Leap, Inc. Diffractive optical elements with optical power
US11500455B2 (en) 2018-10-16 2022-11-15 Nolo Co., Ltd. Video streaming system, video streaming method and apparatus
CN113227879A (zh) 2018-10-26 2021-08-06 奇跃公司 用于电磁跟踪的环境电磁失真校正
US10846042B2 (en) 2018-10-31 2020-11-24 Hewlett Packard Enterprise Development Lp Adaptive rendering for untethered multi-user virtual reality
US11051206B2 (en) 2018-10-31 2021-06-29 Hewlett Packard Enterprise Development Lp Wi-fi optimization for untethered multi-user virtual reality
US11047691B2 (en) * 2018-10-31 2021-06-29 Dell Products, L.P. Simultaneous localization and mapping (SLAM) compensation for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US11592896B2 (en) * 2018-11-07 2023-02-28 Wild Technology, Inc. Technological infrastructure for enabling multi-user collaboration in a virtual reality environment
TWI722332B (zh) * 2018-11-13 2021-03-21 晶睿通訊股份有限公司 行人偵測方法及其相關監控攝影機
JP7389116B2 (ja) 2018-11-15 2023-11-29 マジック リープ， インコーポレイテッド 深層ニューラルネットワーク姿勢推定システム
JP2022509083A (ja) 2018-11-20 2022-01-20 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
US10838232B2 (en) 2018-11-26 2020-11-17 Tectus Corporation Eye-mounted displays including embedded solenoids
CN113330390A (zh) 2018-11-30 2021-08-31 奇跃公司 用于化身运动的多模态手的位置和取向
US10776933B2 (en) 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
WO2020124046A2 (en) * 2018-12-14 2020-06-18 Vulcan Inc. Virtual and physical reality integration
US10644543B1 (en) 2018-12-20 2020-05-05 Tectus Corporation Eye-mounted display system including a head wearable object
CN113490873A (zh) 2018-12-28 2021-10-08 奇跃公司 带有机械致动图像投影仪的可变像素密度显示系统
JP7539386B2 (ja) 2018-12-28 2024-08-23 マジック リープ， インコーポレイテッド 左眼および右眼のための共有ディスプレイを伴う拡張および仮想現実ディスプレイシステム
JP2022517207A (ja) 2019-01-11 2022-03-07 マジック リープ， インコーポレイテッド 種々の深度における仮想コンテンツの時間多重化された表示
CN113614783A (zh) 2019-01-25 2021-11-05 奇跃公司 使用具有不同曝光时间的图像的眼睛跟踪
JP2022523076A (ja) 2019-02-01 2022-04-21 マジック リープ， インコーポレイテッド 直列内部結合光学要素
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11403823B2 (en) 2019-02-14 2022-08-02 Lego A/S Toy system for asymmetric multiplayer game play
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
EP3924759A4 (en) 2019-02-15 2022-12-28 Digilens Inc. METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS
JP7349793B2 (ja) * 2019-02-15 2023-09-25 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
US11420116B2 (en) 2019-02-25 2022-08-23 Niantic, Inc. Augmented reality mobile edge computing
EP3931625B1 (en) 2019-02-28 2024-09-18 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
EP4439156A2 (en) 2019-03-12 2024-10-02 Magic Leap, Inc. Method of fabricating display device having patterned lithium-based transition metal oxide
EP3938824A4 (en) 2019-03-12 2022-11-23 Magic Leap, Inc. WAVEGUIDES WITH HIGH REFRESHING INDEX MATERIALS AND METHOD FOR THEIR MANUFACTURE
JP2022525165A (ja) 2019-03-12 2022-05-11 ディジレンズ インコーポレイテッド ホログラフィック導波管バックライトおよび関連する製造方法
RU2702495C1 (ru) * 2019-03-13 2019-10-08 Общество с ограниченной ответственностью "ТрансИнжКом" Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени
WO2020191170A1 (en) 2019-03-20 2020-09-24 Magic Leap, Inc. System for providing illumination of the eye
EP3712781A1 (en) * 2019-03-20 2020-09-23 Nokia Technologies Oy An apparatus and associated methods for presentation of presentation data
JP2022525922A (ja) 2019-03-20 2022-05-20 マジック リープ， インコーポレイテッド 光を収集するためのシステム
WO2020189903A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7536781B2 (ja) * 2019-03-25 2024-08-20 マジック リープ， インコーポレイテッド 仮想現実および拡張現実のためのシステムおよび方法
WO2020214272A1 (en) 2019-04-15 2020-10-22 Magic Leap, Inc. Sensor fusion for electromagnetic tracking
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
US11380011B2 (en) * 2019-04-23 2022-07-05 Kreatar, Llc Marker-based positioning of simulated reality
GB201905847D0 (en) * 2019-04-26 2019-06-12 King S College London MRI scanner-compatible virtual reality system
CN111856751B (zh) 2019-04-26 2022-12-09 苹果公司 具有低光操作的头戴式显示器
EP3734419A1 (en) * 2019-05-03 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
TWI715026B (zh) * 2019-05-06 2021-01-01 宏碁股份有限公司 網路虛擬實境之控制方法及應用其之主機
WO2020231888A1 (en) 2019-05-10 2020-11-19 BadVR, Inc. Novel systems and methods for collecting, locating and visualizing sensor signals in extended reality
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ， インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
CN111973979A (zh) * 2019-05-23 2020-11-24 明日基金知识产权控股有限公司 经由持久性虚拟世界系统对现实世界进行实况管理
WO2020243014A1 (en) 2019-05-24 2020-12-03 Magic Leap, Inc. Variable focus assemblies
WO2020243169A1 (en) 2019-05-28 2020-12-03 Magic Leap, Inc. Thermal management system for portable electronic devices
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
CN112055033B (zh) * 2019-06-05 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
CN112055034B (zh) * 2019-06-05 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
WO2020247930A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides incorporating transmissive and reflective gratings and related methods of manufacturing
WO2020251540A1 (en) * 2019-06-10 2020-12-17 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
US10897564B1 (en) 2019-06-17 2021-01-19 Snap Inc. Shared control of camera device by multiple devices
US12040993B2 (en) 2019-06-18 2024-07-16 The Calany Holding S. À R.L. Software engine virtualization and dynamic resource and task distribution across edge and cloud
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
US11665317B2 (en) 2019-06-18 2023-05-30 The Calany Holding S. À R.L. Interacting with real-world items and corresponding databases through a virtual twin reality
US12033271B2 (en) 2019-06-18 2024-07-09 The Calany Holding S. À R.L. 3D structure engine-based computation platform
US12039354B2 (en) * 2019-06-18 2024-07-16 The Calany Holding S. À R.L. System and method to operate 3D applications through positional virtualization technology
WO2020257469A1 (en) 2019-06-20 2020-12-24 Magic Leap, Inc. Eyepieces for augmented reality display system
JP7311643B2 (ja) 2019-06-21 2023-07-19 マジック リープ， インコーポレイテッド モード式ウィンドウを介したセキュアな認可
CN114341687A (zh) 2019-06-24 2022-04-12 奇跃公司 具有集成间隔物的波导及相关系统和方法
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
CN110413109A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟内容的生成方法、装置、系统、电子设备及存储介质
EP3982331A4 (en) * 2019-06-28 2022-11-09 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11549799B2 (en) 2019-07-01 2023-01-10 Apple Inc. Self-mixing interference device for sensing applications
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
WO2021007223A1 (en) 2019-07-07 2021-01-14 Selfie Snapper, Inc. Selfie camera
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
US11868525B2 (en) 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
US11340857B1 (en) 2019-07-19 2022-05-24 Snap Inc. Shared control of a virtual object by multiple devices
WO2021016045A1 (en) 2019-07-19 2021-01-28 Magic Leap, Inc. Display device having diffraction gratings with reduced polarization sensitivity
US11460616B2 (en) 2019-07-19 2022-10-04 Magic Leap, Inc. Method of fabricating diffraction gratings
US11907417B2 (en) 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US12118897B2 (en) * 2019-07-25 2024-10-15 International Business Machines Corporation Augmented reality tutorial generation
US11068284B2 (en) * 2019-07-25 2021-07-20 Huuuge Global Ltd. System for managing user experience and method therefor
US10893127B1 (en) 2019-07-26 2021-01-12 Arkade, Inc. System and method for communicating interactive data between heterogeneous devices
US10773157B1 (en) 2019-07-26 2020-09-15 Arkade, Inc. Interactive computing devices and accessories
US10946272B2 (en) 2019-07-26 2021-03-16 Arkade, Inc. PC blaster game console
US11681143B2 (en) 2019-07-29 2023-06-20 Digilens Inc. Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display
JP2022544067A (ja) 2019-07-31 2022-10-17 マジック リープ， インコーポレイテッド 分散型台帳を使用した拡張現実のためのユーザデータ管理
US10944290B2 (en) 2019-08-02 2021-03-09 Tectus Corporation Headgear providing inductive coupling to a contact lens
CN114222942A (zh) 2019-08-12 2022-03-22 奇跃公司 用于虚拟和增强现实的系统和方法
US20210056391A1 (en) * 2019-08-20 2021-02-25 Mind Machine Learning, Inc. Systems and Methods for Simulating Sense Data and Creating Perceptions
US11210856B2 (en) * 2019-08-20 2021-12-28 The Calany Holding S. À R.L. System and method for interaction-level based telemetry and tracking within digital realities
EP4022370A4 (en) 2019-08-29 2023-08-30 Digilens Inc. VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING
US11030815B2 (en) 2019-09-05 2021-06-08 Wipro Limited Method and system for rendering virtual reality content
JP7420926B2 (ja) 2019-09-11 2024-01-23 マジック リープ， インコーポレイテッド 低減された偏光感度を有する回折格子を伴うディスプレイデバイス
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
US11475637B2 (en) * 2019-10-21 2022-10-18 Wormhole Labs, Inc. Multi-instance multi-user augmented reality environment
US10901505B1 (en) 2019-10-24 2021-01-26 Tectus Corporation Eye-based activation and tool selection systems and methods
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
WO2021092068A1 (en) 2019-11-08 2021-05-14 Magic Leap, Inc. Metasurfaces with light-redirecting structures including multiple materials and methods for fabricating
JP2023503257A (ja) 2019-11-18 2023-01-27 マジック リープ， インコーポレイテッド パス可能世界のマッピングおよび位置特定
US11412050B2 (en) * 2019-11-20 2022-08-09 Facebook Technologies, Llc Artificial reality system with virtual wireless channels
JP7494297B2 (ja) 2019-11-22 2024-06-03 マジック リープ， インコーポレイテッド 液晶層をパターン化するための方法およびシステム
US12094139B2 (en) 2019-11-22 2024-09-17 Magic Leap, Inc. Systems and methods for enhanced depth determination using projection spots
US11681362B2 (en) 2019-11-26 2023-06-20 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
DE102019132173A1 (de) * 2019-11-27 2021-05-27 Endress+Hauser Conducta Gmbh+Co. Kg Verfahren zur Konfiguration zur Übertragung von Daten von einem Feldgerät
EP4070538A4 (en) 2019-12-06 2023-11-29 Magic Leap, Inc. CODING A STEREO HOME SCREEN INTO A STATIC IMAGE
US11442593B2 (en) 2019-12-06 2022-09-13 Magic Leap, Inc. Dynamic browser stage
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US11789527B1 (en) * 2019-12-17 2023-10-17 Snap Inc. Eyewear device external face tracking overlay generation
US11489763B2 (en) 2019-12-20 2022-11-01 Niantic, Inc. Data hierarchy protocol for data transmission pathway selection
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
EP3846008A1 (en) 2019-12-30 2021-07-07 TMRW Foundation IP SARL Method and system for enabling enhanced user-to-user communication in digital realities
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
AU2020419320A1 (en) 2019-12-31 2022-08-18 Selfie Snapper, Inc. Electroadhesion device with voltage control module
US11095855B2 (en) 2020-01-16 2021-08-17 Microsoft Technology Licensing, Llc Remote collaborations with volumetric space indications
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
CN115380236A (zh) 2020-01-24 2022-11-22 奇跃公司 使用单个控制器的内容移动和交互
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
CN115023738A (zh) 2020-01-27 2022-09-06 奇跃公司 中性化身
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
EP4097564A4 (en) 2020-01-27 2024-02-14 Magic Leap, Inc. LOOK TIMER BASED EXPANSION OF THE FUNCTIONALITY OF A USER INPUT DEVICE
US11756509B2 (en) 2020-01-27 2023-09-12 Magic Leap, Inc. Enhanced state control for anchor-based cross reality applications
EP4097711A4 (en) 2020-01-27 2024-01-24 Magic Leap, Inc. CURATION OF AN AUGMENTED REALITY MAP
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
EP4097532A4 (en) 2020-01-31 2024-02-21 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS FOR OCULOMETRICAL ASSESSMENTS
WO2021158600A1 (en) * 2020-02-04 2021-08-12 Google Llc Systems, devices, and methods for directing and managing image data from a camera in wearable devices
CN115087905A (zh) 2020-02-10 2022-09-20 奇跃公司 在混合现实环境中相对于三维容器的以身体为中心的内容定位
US11382699B2 (en) * 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
CN115398894A (zh) 2020-02-14 2022-11-25 奇跃公司 用于虚拟和增强现实显示系统的虚拟对象运动速度曲线
US11664194B2 (en) 2020-02-26 2023-05-30 Magic Leap, Inc. Procedural electron beam lithography
WO2021174062A1 (en) 2020-02-28 2021-09-02 Magic Leap, Inc. Method of fabricating molds for forming eyepieces with integrated spacers
CN111459267A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种数据处理方法、第一服务器、第二服务器与存储介质
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
CN111462335B (zh) * 2020-03-18 2023-12-05 Oppo广东移动通信有限公司 基于虚拟对象交互的设备控制方法及装置、介质和设备
WO2021188926A1 (en) 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
US11985175B2 (en) 2020-03-25 2024-05-14 Snap Inc. Virtual interaction session to facilitate time limited augmented reality based communication between multiple users
US12101360B2 (en) 2020-03-25 2024-09-24 Snap Inc. Virtual interaction session to facilitate augmented reality based communication between multiple users
WO2021195283A1 (en) 2020-03-25 2021-09-30 Magic Leap, Inc. Optical device with one-way mirror
US11593997B2 (en) * 2020-03-31 2023-02-28 Snap Inc. Context based augmented reality communication
US11348300B2 (en) 2020-04-03 2022-05-31 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
JP2023520461A (ja) 2020-04-03 2023-05-17 マジック リープ， インコーポレイテッド ナノワイヤｌｅｄマイクロディスプレイを伴うウェアラブルディスプレイシステム
US11577161B2 (en) * 2020-04-20 2023-02-14 Dell Products L.P. Range of motion control in XR applications on information handling systems
US11436579B2 (en) 2020-05-04 2022-09-06 Bank Of America Corporation Performing enhanced deposit item processing using cognitive automation tools
CN111589107B (zh) * 2020-05-14 2023-04-28 北京代码乾坤科技有限公司 虚拟模型的行为预测方法和装置
US11543666B2 (en) 2020-05-22 2023-01-03 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization in at least one waveguide
JP2023529606A (ja) 2020-06-05 2023-07-11 マジック リープ， インコーポレイテッド 画像のニューラルネットワーク分析に基づいて向上された眼追跡技法
CN116097367A (zh) * 2020-06-11 2023-05-09 康尔福盛303公司 免提药物跟踪
WO2021252980A1 (en) * 2020-06-12 2021-12-16 Selfie Snapper, Inc. Digital mirror
US11665284B2 (en) * 2020-06-20 2023-05-30 Science House LLC Systems, methods, and apparatus for virtual meetings
USD939607S1 (en) 2020-07-10 2021-12-28 Selfie Snapper, Inc. Selfie camera
US11275942B2 (en) * 2020-07-14 2022-03-15 Vicarious Fpc, Inc. Method and system for generating training data
IL299775A (en) 2020-07-15 2023-03-01 Magic Leap Inc Eye tracking using an aspheric cornea model
WO2022032198A1 (en) 2020-08-07 2022-02-10 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
WO2022037758A1 (en) * 2020-08-18 2022-02-24 Siemens Aktiengesellschaft Remote collaboration using augmented and virtual reality
CA3190568A1 (en) 2020-08-24 2022-03-03 Brandon Fayette Previsualization devices and systems for the film industry
US12107907B2 (en) * 2020-08-28 2024-10-01 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
CN111939561B (zh) * 2020-08-31 2023-09-19 聚好看科技股份有限公司 显示设备及交互方法
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
US11176756B1 (en) * 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
EP4222551A4 (en) 2020-09-29 2024-10-23 Avegant Corp ARCHITECTURE FOR ILLUMINATION OF A SCREENBOARD
US20220101002A1 (en) * 2020-09-30 2022-03-31 Kyndryl, Inc. Real-world object inclusion in a virtual reality experience
US11736545B2 (en) * 2020-10-16 2023-08-22 Famous Group Technologies Inc. Client user interface for virtual fan experience
US20220130058A1 (en) * 2020-10-27 2022-04-28 Raytheon Company Mission early launch tracker
CN112363615A (zh) * 2020-10-27 2021-02-12 上海影创信息科技有限公司 多用户vr/ar交互系统、方法及计算机可读存储介质
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
US12053247B1 (en) 2020-12-04 2024-08-06 Onpoint Medical, Inc. System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
WO2022130414A1 (en) * 2020-12-17 2022-06-23 Patel Lokesh Virtual presence device which uses trained humans to represent their hosts using man machine interface
IT202000030866A1 (it) * 2020-12-18 2022-06-18 Caldarola S R L Dispositivo e relativo metodo per il supporto e distanziamento in modalità realtà aumentata alla vista e all'udito per ambienti indoor
EP4268054A4 (en) 2020-12-22 2024-01-24 Telefonaktiebolaget LM Ericsson (publ) METHODS AND DEVICES RELATED TO AUGMENTED REALITY
US12026800B1 (en) 2020-12-31 2024-07-02 Apple Inc. Blitting a display-locked object
US11831665B2 (en) 2021-01-04 2023-11-28 Bank Of America Corporation Device for monitoring a simulated environment
US11042028B1 (en) * 2021-01-12 2021-06-22 University Of Central Florida Research Foundation, Inc. Relative pose data augmentation of tracked devices in virtual environments
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
WO2022174263A1 (en) * 2021-02-12 2022-08-18 Magic Leap, Inc. Lidar simultaneous localization and mapping
EP4304490A1 (en) 2021-03-10 2024-01-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
WO2022195322A1 (en) * 2021-03-15 2022-09-22 One Game Studio S.A.P.I De C.V. System and method for the interaction of at least two users in an augmented reality environment for a videogame
US20220308659A1 (en) * 2021-03-23 2022-09-29 Htc Corporation Method for interacting with virtual environment, electronic device, and computer readable storage medium
CN113761281B (zh) * 2021-04-26 2024-05-14 腾讯科技（深圳）有限公司 虚拟资源处理方法、装置、介质及电子设备
CN113194350B (zh) * 2021-04-30 2022-08-19 百度在线网络技术（北京）有限公司 推送待播报数据、播报数据的方法和装置
US11938402B2 (en) * 2021-05-03 2024-03-26 Rakuten Mobile, Inc. Multi-player interactive system and method of using
EP4335121A1 (en) 2021-05-05 2024-03-13 Telefonaktiebolaget LM Ericsson (publ) Methods and devices related to extended reality
US11664923B2 (en) * 2021-05-12 2023-05-30 T-Mobile Usa, Inc. Optimizing use of existing telecommunication infrastructure for wireless connectivity
JP7499974B2 (ja) 2021-07-02 2024-06-14 三菱電機株式会社 提供システム、および、提供方法
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230058438A1 (en) * 2021-08-18 2023-02-23 Advanced Neuromodulation Systems, Inc. Systems and methods for providing digital health services
US12014030B2 (en) 2021-08-18 2024-06-18 Bank Of America Corporation System for predictive virtual scenario presentation
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
WO2023034010A1 (en) * 2021-09-01 2023-03-09 Snap Inc. Physical action-based augmented reality communication exchanges
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US20230083302A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Local environment scanning to characterize physical environment for use in vr/ar
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
CN113946701B (zh) * 2021-09-14 2024-03-19 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US12045940B2 (en) * 2021-11-03 2024-07-23 Tencent America LLC Method for streaming dynamic 5G AR/MR experience to 5G devices with updatable scenes
KR20230103379A (ko) 2021-12-31 2023-07-07 삼성전자주식회사 Ar 처리 방법 및 장치
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
CN115047979B (zh) * 2022-08-15 2022-11-01 歌尔股份有限公司 头戴显示设备控制系统及交互方法
US12032737B2 (en) * 2022-08-22 2024-07-09 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications
US11948259B2 (en) 2022-08-22 2024-04-02 Bank Of America Corporation System and method for processing and intergrating real-time environment instances into virtual reality live streams
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles
US20240115947A1 (en) * 2022-10-05 2024-04-11 Sony Interactive Entertainment Inc. Systems and methods for integrating real-world content in a game
US12101303B2 (en) * 2022-11-02 2024-09-24 Truist Bank Secure packet record in multi-source VR environment
WO2024136743A1 (en) * 2022-12-22 2024-06-27 Inter Ikea Systems B.V. Creating a mixed reality meeting room
US11875492B1 (en) 2023-05-01 2024-01-16 Fd Ip & Licensing Llc Systems and methods for digital compositing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US20080005237A1 (en) * 2006-06-28 2008-01-03 The Boeing Company. System and method of communications within a virtual environment
US20080024594A1 (en) * 2004-05-19 2008-01-31 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
RU2339083C2 (ru) * 2003-12-19 2008-11-20 ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви Система трехмерной видеоигры
US20090189974A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Systems Using Eye Mounted Displays

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
JPH05328260A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JP3336687B2 (ja) * 1993-07-21 2002-10-21 セイコーエプソン株式会社 眼鏡型表示装置
US5491743A (en) * 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6329986B1 (en) 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
JP3456419B2 (ja) * 1998-07-23 2003-10-14 日本電信電話株式会社 仮想空間内における共有空間表示方法及びシステム及び仮想空間内における共有空間表示プログラムを格納した記憶媒体
US6215498B1 (en) * 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6289299B1 (en) * 1999-02-17 2001-09-11 Westinghouse Savannah River Company Systems and methods for interactive virtual reality process control and simulation
US6753857B1 (en) * 1999-04-16 2004-06-22 Nippon Telegraph And Telephone Corporation Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
EP1060772B1 (en) 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
JP2001197400A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体
US6525732B1 (en) * 2000-02-17 2003-02-25 Wisconsin Alumni Research Foundation Network-based viewing of images of three-dimensional objects
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US8316450B2 (en) * 2000-10-10 2012-11-20 Addn Click, Inc. System for inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US7071897B2 (en) * 2001-07-18 2006-07-04 Hewlett-Packard Development Company, L.P. Immersive augmentation for display systems
US7452279B2 (en) 2001-08-09 2008-11-18 Kabushiki Kaisha Sega Recording medium of game program and game device using card
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
US20030179249A1 (en) * 2002-02-12 2003-09-25 Frank Sauer User interface for three-dimensional data sets
US6917370B2 (en) 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
WO2004042662A1 (en) 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
US7793801B2 (en) 2002-11-18 2010-09-14 David Carl Drummond Positive pressure liquid transfer and removal system configured for operation by a hand and by a foot
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
JP2005061931A (ja) * 2003-08-11 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> ３次元形状の復元方法及びその装置並びに３次元形状の復元プログラム
US7546343B2 (en) * 2003-09-23 2009-06-09 Alcatel-Lucent Usa Inc. System and method for supporting virtual conferences
JP2005165778A (ja) 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2005182331A (ja) * 2003-12-18 2005-07-07 Sony Corp 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びに、プログラムおよび記録媒体
JP4841250B2 (ja) 2003-12-19 2011-12-21 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． ３ｄビデオゲーム・システム
CN102068237A (zh) 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
US20050289590A1 (en) 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
JP4677269B2 (ja) * 2005-04-08 2011-04-27 キヤノン株式会社 情報処理方法およびシステム
US7403268B2 (en) 2005-02-11 2008-07-22 Deltasphere, Inc. Method and apparatus for determining the geometric correspondence between multiple 3D rangefinder data sets
US7642989B2 (en) * 2005-03-17 2010-01-05 Massachusetts Institute Of Technology System for and method of motion and force synchronization with time delay reduction in multi-user shared virtual environments
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9205329B2 (en) * 2006-07-25 2015-12-08 Mga Entertainment, Inc. Virtual world electronic game
US8010474B1 (en) * 2006-09-05 2011-08-30 Aol Inc. Translating paralinguisitic indicators
US8726195B2 (en) * 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
US8012023B2 (en) 2006-09-28 2011-09-06 Microsoft Corporation Virtual entertainment
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
CN101005514A (zh) * 2006-12-27 2007-07-25 北京航空航天大学 用于网络游戏的多服务器组织方法
JP5309448B2 (ja) * 2007-01-26 2013-10-09 ソニー株式会社 表示装置、表示方法
US8135018B1 (en) * 2007-03-29 2012-03-13 Qurio Holdings, Inc. Message propagation in a distributed virtual world
US8601386B2 (en) * 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US8433656B1 (en) * 2007-06-13 2013-04-30 Qurio Holdings, Inc. Group licenses for virtual objects in a distributed virtual world
US20090054084A1 (en) 2007-08-24 2009-02-26 Motorola, Inc. Mobile virtual and augmented reality system
US9111285B2 (en) * 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090083051A1 (en) * 2007-09-26 2009-03-26 Bokor Brian R Interactive Self-Contained Business Transaction Virtual Object Generation
US7792801B2 (en) 2007-10-12 2010-09-07 International Business Machines Corporation Controlling and using virtual universe wish lists
JP4950834B2 (ja) 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
US20090109240A1 (en) 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
US8231465B2 (en) 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US20090232355A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
US8756530B2 (en) 2008-05-27 2014-06-17 International Business Machines Corporation Generation and synchronization of offline 3D virtual world content
CN101359432B (zh) * 2008-09-02 2011-01-19 浙江理工大学 交互式三维虚拟物流仿真集成方法及系统
EP2163284A1 (en) * 2008-09-02 2010-03-17 Zero Point Holding A/S Integration of audio input to a software application
JP5094663B2 (ja) * 2008-09-24 2012-12-12 キヤノン株式会社 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
US9480919B2 (en) 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
US20100162121A1 (en) * 2008-12-22 2010-06-24 Nortel Networks Limited Dynamic customization of a virtual world
JP2010169976A (ja) * 2009-01-23 2010-08-05 Sony Corp 空間像表示装置
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム
JP5178607B2 (ja) 2009-03-31 2013-04-10 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置
CN101923462A (zh) * 2009-06-10 2010-12-22 成都如临其境创意科技有限公司 一种基于FlashVR的三维微型场景网络发布引擎
US20100325154A1 (en) * 2009-06-22 2010-12-23 Nokia Corporation Method and apparatus for a virtual image world
US8966380B2 (en) * 2009-07-21 2015-02-24 UnisFair, Ltd. Apparatus and method for a virtual environment center and venues thereof
US8939840B2 (en) * 2009-07-29 2015-01-27 Disney Enterprises, Inc. System and method for playsets using tracked objects and corresponding virtual worlds
US20110165939A1 (en) * 2010-01-05 2011-07-07 Ganz Method and system for providing a 3d activity in a virtual presentation
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
KR101208911B1 (ko) * 2010-06-24 2012-12-06 전자부품연구원 가상 세계 운용 시스템 및 운용 방법
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8661354B2 (en) 2010-09-24 2014-02-25 Nokia Corporation Methods, apparatuses and computer program products for using near field communication to implement games and applications on devices
US8764571B2 (en) 2010-09-24 2014-07-01 Nokia Corporation Methods, apparatuses and computer program products for using near field communication to implement games and applications on devices
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8620730B2 (en) * 2010-12-15 2013-12-31 International Business Machines Corporation Promoting products in a virtual world
US9538156B2 (en) * 2011-01-31 2017-01-03 Cast Group Of Companies Inc. System and method for providing 3D sound
KR101591579B1 (ko) * 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
CA2835120C (en) 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8692738B2 (en) * 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130063429A1 (en) 2011-09-08 2013-03-14 Parham Sina System and method for distributing three-dimensional virtual world data
US20130077147A1 (en) 2011-09-22 2013-03-28 Los Alamos National Security, Llc Method for producing a partially coherent beam with fast pattern update rates
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
EP2951811A4 (en) 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
IL240822B (en) 2014-09-23 2020-03-31 Heidelberger Druckmasch Ag Sheet feeding device
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
RU2339083C2 (ru) * 2003-12-19 2008-11-20 ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви Система трехмерной видеоигры
US20080024594A1 (en) * 2004-05-19 2008-01-31 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20080005237A1 (en) * 2006-06-28 2008-01-03 The Boeing Company. System and method of communications within a virtual environment
US20090189974A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Systems Using Eye Mounted Displays

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2762123C2 (ru) * 2017-03-27 2021-12-15 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Избирательное применение обработки репроекции на подобластях слоя для оптимизации мощности репроекции поздней стадии
RU2682014C1 (ru) * 2017-06-29 2019-03-14 Дмитрий Сергеевич Шаньгин Система виртуальной реальности
RU2691842C1 (ru) * 2017-07-19 2019-06-18 Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд. Линия подачи данных для очков виртуальной реальности
US10446993B2 (en) 2017-07-19 2019-10-15 Beijing Xiaomi Mobile Software Co., Ltd. Data connection cable for virtual reality glasses and apparatus including the same
US11354084B2 (en) 2017-10-12 2022-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimizing audio delivery for virtual reality applications
RU2801698C2 (ru) * 2017-10-12 2023-08-14 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Оптимизация доставки звука для приложений виртуальной реальности
RU2750505C1 (ru) * 2017-10-12 2021-06-29 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Оптимизация доставки звука для приложений виртуальной реальности
RU2765569C1 (ru) * 2017-10-12 2022-02-01 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Оптимизация доставки звука для приложений виртуальной реальности
RU2712417C1 (ru) * 2019-02-28 2020-01-28 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система распознавания лиц и построения маршрута с помощью средства дополненной реальности
RU2783567C1 (ru) * 2019-04-30 2022-11-14 Шэньчжэнь Шокз Ко., Лтд. Акустическое выходное устройство
RU201742U1 (ru) * 2020-07-22 2020-12-30 Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" Очки дополненной реальности, ориентированные на применение в условиях опасного производства
US11554320B2 (en) 2020-09-17 2023-01-17 Bogie Inc. System and method for an interactive controller
WO2022159007A1 (ru) * 2021-01-20 2022-07-28 Виктор Александрович ЕПИФАНОВ Система дополненной реальности
RU2760179C1 (ru) * 2021-01-20 2021-11-22 Виктор Александрович Епифанов Система дополненной реальности
RU211700U1 (ru) * 2021-10-12 2022-06-17 Общество с ограниченной ответственностью "Хайтек-Склад" Шлем формирования смешанной реальности (MR-шлем)
RU2822301C1 (ru) * 2023-12-26 2024-07-04 Общество с ограниченной ответственностью "САЕНСБОКС" Аппаратно-программный комплекс для обучения естественнонаучным дисциплинам

Also Published As

Publication number Publication date
IL232281A0 (en) 2014-06-30
JP2023171762A (ja) 2023-12-05
US20160359930A1 (en) 2016-12-08
JP6792039B2 (ja) 2020-11-25
JP7348261B2 (ja) 2023-09-20
US20130117377A1 (en) 2013-05-09
EP3258671B1 (en) 2018-09-05
JP2022050513A (ja) 2022-03-30
JP6345282B2 (ja) 2018-06-20
EP4404537A2 (en) 2024-07-24
US10021149B2 (en) 2018-07-10
IL232281B (en) 2018-02-28
JP2018129085A (ja) 2018-08-16
US20190158549A1 (en) 2019-05-23
US9215293B2 (en) 2015-12-15
EP3666352B1 (en) 2021-12-01
AU2024203489A1 (en) 2024-06-13
JP2017102946A (ja) 2017-06-08
US20200053138A1 (en) 2020-02-13
RU2014121402A (ru) 2015-12-10
US20210044636A1 (en) 2021-02-11
US20230370508A1 (en) 2023-11-16
AU2012348348A1 (en) 2014-05-15
CN106484115B (zh) 2019-04-19
CN104011788B (zh) 2016-11-16
KR20190014108A (ko) 2019-02-11
CA3048647C (en) 2022-08-16
CA3164530C (en) 2023-09-19
IN2014CN03300A (ru) 2015-10-09
US20200162526A1 (en) 2020-05-21
NZ765499A (en) 2021-12-24
JP2021036449A (ja) 2021-03-04
BR112014010230A2 (pt) 2017-06-13
AU2021200177A1 (en) 2021-03-18
EP3258671A1 (en) 2017-12-20
JP7246352B2 (ja) 2023-03-27
US20210400094A1 (en) 2021-12-23
CA3048647A1 (en) 2013-06-13
AU2023200357A1 (en) 2023-02-23
US10637897B2 (en) 2020-04-28
AU2019201411A1 (en) 2019-03-21
CN106484115A (zh) 2017-03-08
KR101917630B1 (ko) 2018-11-13
US10587659B2 (en) 2020-03-10
US20180205773A1 (en) 2018-07-19
NZ764226A (en) 2021-11-26
IL264777B (en) 2020-02-27
CA3207408A1 (en) 2013-06-13
IL260879B (en) 2019-03-31
CA2853787C (en) 2019-08-27
RU2017115669A (ru) 2019-01-28
US10469546B2 (en) 2019-11-05
US12095833B2 (en) 2024-09-17
EP3404894A1 (en) 2018-11-21
KR101964223B1 (ko) 2019-04-01
EP4404537A3 (en) 2024-10-16
AU2017201063A1 (en) 2017-03-09
JP2015503141A (ja) 2015-01-29
EP2771877A1 (en) 2014-09-03
JP2019215933A (ja) 2019-12-19
EP3666352A1 (en) 2020-06-17
EP2771877B1 (en) 2017-10-11
EP3404894B1 (en) 2020-02-12
EP3974041A1 (en) 2022-03-30
KR101944846B1 (ko) 2019-02-01
US10594747B1 (en) 2020-03-17
KR102005106B1 (ko) 2019-07-29
KR20180091104A (ko) 2018-08-14
US20200076863A1 (en) 2020-03-05
CA2853787A1 (en) 2013-06-13
EP3974041B1 (en) 2024-07-10
IL264777A (en) 2019-05-30
CN104011788A (zh) 2014-08-27
BR112014010230A8 (pt) 2017-06-20
IL257309A (en) 2018-04-09
US11082462B2 (en) 2021-08-03
US20150032823A1 (en) 2015-01-29
US11601484B2 (en) 2023-03-07
AU2012348348B2 (en) 2017-03-30
JP6657289B2 (ja) 2020-03-04
AU2023200357B2 (en) 2024-02-29
US10862930B2 (en) 2020-12-08
US10841347B2 (en) 2020-11-17
IL272459B (en) 2020-11-30
JP6110866B2 (ja) 2017-04-05
WO2013085639A1 (en) 2013-06-13
US20200053137A1 (en) 2020-02-13
EP2771877A4 (en) 2015-07-01
US20160100034A1 (en) 2016-04-07
KR20140093970A (ko) 2014-07-29
CA3164530A1 (en) 2013-06-13
KR20170122839A (ko) 2017-11-06
US20200128054A1 (en) 2020-04-23
IL272459A (en) 2020-03-31
AU2017201063B2 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
AU2023200357B2 (en) System and method for augmented and virtual reality
NZ732039B2 (en) System and method for augmented and virtual reality
NZ732039A (en) System and method for augmented and virtual reality
NZ764226B2 (en) System and method for augmented and virtual reality

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20191030