RU2017130356A - Способ и система обеспечения виртуального отображения физической среды - Google Patents

Способ и система обеспечения виртуального отображения физической среды Download PDF

Info

Publication number
RU2017130356A
RU2017130356A RU2017130356A RU2017130356A RU2017130356A RU 2017130356 A RU2017130356 A RU 2017130356A RU 2017130356 A RU2017130356 A RU 2017130356A RU 2017130356 A RU2017130356 A RU 2017130356A RU 2017130356 A RU2017130356 A RU 2017130356A
Authority
RU
Russia
Prior art keywords
physical object
sensor data
physical
virtual
data set
Prior art date
Application number
RU2017130356A
Other languages
English (en)
Other versions
RU2017130356A3 (ru
Inventor
Адам КРАВЕР
Original Assignee
СиСиПи ЭйчЭф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by СиСиПи ЭйчЭф. filed Critical СиСиПи ЭйчЭф.
Publication of RU2017130356A publication Critical patent/RU2017130356A/ru
Publication of RU2017130356A3 publication Critical patent/RU2017130356A3/ru

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Claims (78)

1. Способ реализации виртуального представления физической среды с использованием среды виртуальной реальности, выполняемый в компьютере, включающий:
прием первого набора данных датчика от датчика;
идентификацию, по меньшей мере, одного физического объекта в поле зрения датчика из первого набора данных датчика;
определение физического положения, по меньшей мере, одного физического объекта с использованием, по меньшей мере, первого набора данных датчика;
генерирование виртуального представления, по меньшей мере, одного физического объекта, по меньшей мере, частично на основании первого набора данных датчика;
генерирование виртуальной среды, содержащей виртуальное представление, по меньшей мере, одного физического объекта и виртуальное представление, по меньшей мере, одного виртуального объекта, при этом виртуальная среда имеет набор координат, соответствующих физической области, в которой присутствует, по меньшей мере, один физический объект, а местоположение физического объекта в виртуальной среде имеет координаты, которые отображены в физическое положение, по меньшей мере, одного физического объекта; и
передачу устройству отображения команд обеспечения отображения, по меньшей мере, части виртуальной среды.
2. Способ по п. 1, в котором устройством отображения является видеошлем.
3. Способ по любому из пп. 1-2, дополнительно включающий:
сохранение виртуального представления, по меньшей мере, одного физического объекта в наборе кэшированных данных объектов;
прием второго набора данных датчика;
определение того, что во втором наборе данных датчика отсутствует, по меньшей мере, один физический объект;
извлечение виртуального представления, по меньшей мере, одного физического объекта из набора кэшированных данных объектов; и
передачу устройству отображения команды отображения извлеченного виртуального представления, по меньшей мере, одного физического объекта в последнем известном положении, по меньшей мере, одного физического объекта.
4. Способ по п. 3, дополнительно включающий определение того, что, по меньшей мере, один физический объект, по меньшей мере, частично перекрыт до извлечения виртуального представления физического объекта из набора кэшированных данных объектов.
5. Способ по любому из пп. 1-4, в котором, по меньшей мере, одним физическим объектом является пользователь.
6. Способ по любому из пп. 1-5, в котором идентификация, по меньшей мере, одного физического объекта включает:
предоставление первого набора данных датчиков графическому процессору; и
использование, по меньшей мере, одной программы построения теней, выполняемой в графическом процессоре, для генерирования, по меньшей мере, одного многоугольника, соответствующего, по меньшей мере, одному физическому объекту из первого набора данных датчика.
7. Способ по п. 6, дополнительно включающий передачу устройству отображения команды отображения, по меньшей мере, одного многоугольника в виртуальной среде.
8. Способ по любому из пп. 1-7, дополнительно включающий идентификацию физического объекта в первом наборе данных датчика путем установления маски вокруг множества пикселей, характеризующих физический объект, при этом маска расширяет множество пикселей, характеризующих физический объект, на заданное число пикселей.
9. Способ по любому из пп. 1-8, дополнительно включающий размещение виртуального представления, по меньшей мере, одного физического объекта в виртуальном местоположении, соответствующем физическому местоположению, по меньшей мере, одного физического объекта.
10. Способ по любому из пп. 1-9, в котором идентификация, по меньшей мере, одного физического объекта из первого набора данных датчика дополнительно включает идентификацию первого множества пикселей первого набора данных датчика в качестве пользователя и второго множества пикселей первого набора данных датчика в качестве фоновых данных.
11. Способ по п. 10, в котором, по меньшей мере, один физический объект в первом наборе данных датчика охарактеризован фоновыми данными.
12. Способ по любому из пп. 1-11, дополнительно включающий генерирование виртуального представления физического объекта только в ответ на обнаружение того, что пользователь вошел в заданную область, связанную с физическим объектом.
13. Постоянный машиночитаемый носитель данных, содержащий команды реализации виртуального представления физической среды с использованием среды виртуальной реальности, которые при их выполнении процессором конфигурируют процессор на:
прием первого набора данных от датчика;
идентификацию, по меньшей мере, одного физического объекта в поле зрения датчика из первого набора данных датчика;
определение физического положения, по меньшей мере, одного физического объекта с использованием, по меньшей мере, первого набора данных датчика;
генерирование виртуального представления, по меньшей мере, одного физического объекта, по меньшей мере, частично на основании первого набора данных датчика;
генерирование виртуальной среды, содержащей виртуальное представление, по меньшей мере, одного физического объекта и виртуальное представление, по меньшей мере, одного виртуального объекта, при этом виртуальная среда имеет набор координат, соответствующих физической области, в которой присутствует, по меньшей мере, один физический объект, а местоположение физического объекта в виртуальной среде имеет координаты, которые отображены в физическое положение, по меньшей мере, одного физического объекта; и
передачу устройству команд обеспечения отображения, по меньшей мере, части виртуальной среды.
14. Постоянный машиночитаемый носитель данных по п. 13, в котором устройством отображения является видеошлем.
15. Постоянный машиночитаемый носитель данных по любому из пп. 13-14, в котором команды дополнительно включают:
сохранение виртуального представления, по меньшей мере, одного физического объекта в наборе кэшированных данных объектов;
прием второго набора данных датчика;
определение того, что во втором наборе данных датчика отсутствует, по меньшей мере, один физический объект;
извлечение виртуального представления, по меньшей мере, одного физического объекта из набора кэшированных данных объектов; и
передачу устройству отображения команды отображения извлеченного виртуального представления, по меньшей мере, одного физического объекта в последнем известном положении, по меньшей мере, одного физического объекта.
16. Постоянный машиночитаемый носитель данных по п. 15, в котором команды дополнительно включают определение того, что, по меньшей мере, один физический объект, по меньшей мере, частично перекрыт до извлечения виртуального представления физического объекта из набора кэшированных данных объектов.
17. Постоянный машиночитаемый носитель данных по любому из пп. 13-16, в котором, по меньшей мере, одним физическим объектом является пользователь.
18. Постоянный машиночитаемый носитель данных по любому из пп. 13-17, в котором идентификация, по меньшей мере, одного физического объекта включает:
предоставление первого набора данных датчиков графическому процессору; и
использование, по меньшей мере, одной программы построения теней, выполняемой в графическом процессоре, для генерирования, по меньшей мере, одного многоугольника, соответствующего, по меньшей мере, одному физическому объекту из первого набора данных датчика.
19. Постоянный машиночитаемый носитель данных по п. 18, в котором команды дополнительно включают передачу устройству отображения команды отображения, по меньшей мере, одного многоугольника в виртуальной среде.
20. Постоянный машиночитаемый носитель данных по любому из пп. 13-19, в котором команды включают идентификацию физического объекта в первом наборе данных датчика путем установления маски вокруг множества пикселей, характеризующих физический объект, при этом маска расширяет множество пикселей, характеризующих физический объект, на заданное число пикселей.
21. Постоянный машиночитаемый носитель данных по любому из пп. 13-20, в котором команды дополнительно включают размещение виртуального представления, по меньшей мере, одного физического объекта в виртуальном местоположении, соответствующем физическому местоположению, по меньшей мере, одного физического объекта.
22. Постоянный машиночитаемый носитель данных по любому из пп. 13-21, в котором идентификация, по меньшей мере, одного физического объекта из первого набора данных датчика дополнительно включает идентификацию первого множества пикселей первого набора данных датчика в качестве пользователя и второго множества пикселей первого набора данных датчика в качестве фоновых данных.
23. Постоянный машиночитаемый носитель данных по п. 22, в котором, по меньшей мере, один физический объект в первом наборе данных датчика охарактеризован фоновыми данными.
24. Постоянный машиночитаемый носитель данных по любому из пп. 13-23, в котором команды дополнительно включают генерирование виртуального представления физического объекта только в ответ на обнаружение того, что пользователь вошел в заданную область, связанную с физическим объектом.
25. Система реализации виртуального представления физической среды с использованием среды виртуальной реальности, содержащая:
интерфейсную схему датчика, сконфигурированную на:
прием первого набора данных от датчика:
идентификацию, по меньшей мере, одного физического объекта в поле зрения датчика из первого набора данных датчика; и
определение физического положения, по меньшей мере, одного физического объекта с использованием, по меньшей мере, первого набора данных датчика;
схему управления состоянием виртуальной среды, сконфигурированную на:
генерирование виртуального представления, по меньшей мере, одного физического объекта, по меньшей мере, частично на основании первого набора данных датчика;
генерирование виртуальной среды, содержащей виртуальное представление, по меньшей мере, одного физического объекта и виртуальное представление, по меньшей мере, одного виртуального объекта, при этом виртуальная среда имеет набор координат, соответствующих физической области, в которой присутствует, по меньшей мере, один физический объект, а местоположение физического объекта в виртуальной среде имеет координаты, которые отображены в физическое положение, по меньшей мере, одного физического объекта; и
передачу устройству отображения команды обеспечения отображения, по меньшей мере, части виртуальной среды.
26. Система по п. 25, в которой устройством отображения является видеошлем.
27. Система по любому из пп. 25-26, в которой интерфейсная схема датчика дополнительно сконфигурирована на:
прием второго набора данных датчика; и
определение того, что во втором наборе данных датчика отсутствует, по меньшей мере, один физический объект; и
схема управления состоянием виртуальной среды дополнительно сконфигурирована на:
сохранение виртуального представления, по меньшей мере, одного физического объекта в наборе кэшированных данных объектов;
извлечение виртуального представления, по меньшей мере, одного физического объекта из набора кэшированных данных объектов; и
передачу устройству отображения команды отображения извлеченного виртуального представления, по меньшей мере, одного физического объекта в последнем известном положении, по меньшей мере, одного физического объекта.
28. Система по п. 27, в которой интерфейсная схема датчика дополнительно сконфигурирована на определение того, что, по меньшей мере, один физический объект, по меньшей мере, частично перекрыт до извлечения виртуального представления физического объекта из набора кэшированных данных объектов.
29. Система по любому из пп. 25-28, в которой, по меньшей мере, одним физическим объектом является пользователь.
30. Система по любому из пп. 25-29, в которой идентификация, по меньшей мере, одного физического объекта включает:
предоставление первого набора данных датчиков графическому процессору; и
использование, по меньшей мере, одной программы построения теней, выполняемой в графическом процессоре, для генерирования, по меньшей мере, одного многоугольника, соответствующего, по меньшей мере, одному физическому объекту из первого набора данных датчика.
31. Система по п. 26, в которой схема управления состоянием виртуальной среды дополнительно сконфигурирована на передачу устройству отображения команды отображения, по меньшей мере, одного многоугольника в виртуальной среде.
32. Система по любому из пп. 25-31, в которой интерфейсная схема датчика дополнительно сконфигурирована на идентификации физического объекта в первом наборе данных датчика путем установления маски вокруг множества пикселей, характеризующих физический объект, при этом маска расширяет множество пикселей, характеризующих физический объект, на заданное число пикселей.
33. Система по любому из пп. 25-32, в которой схема управления состоянием виртуальной среды дополнительно сконфигурирована на размещение виртуального представления, по меньшей мере, одного физического объекта в виртуальном местоположении, соответствующем физическому местоположению, по меньшей мере, одного физического объекта.
34. Система по любому из пп. 25-33, в которой идентификация, по меньшей мере, одного физического объекта из первого набора данных датчика дополнительно включает идентификацию первого множества пикселей первого набора данных датчика в качестве пользователя и второго множества пикселей первого набора данных датчика в качестве фоновых данных.
35. Система по п. 34, в которой, по меньшей мере, один физический объект в первом наборе данных датчика охарактеризован фоновыми данными.
36. Система по любому из пп. 25-35, в которой схема управления состоянием виртуальной среды дополнительно сконфигурирована на генерирование виртуального представления физического объекта только в ответ на обнаружение того, что пользователь вошел в заданную область, связанную с физическим объектом.
RU2017130356A 2015-01-28 2016-01-27 Способ и система обеспечения виртуального отображения физической среды RU2017130356A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/608,067 US10725297B2 (en) 2015-01-28 2015-01-28 Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US14/608,067 2015-01-28
PCT/IB2016/050411 WO2016120806A1 (en) 2015-01-28 2016-01-27 Method and system for providing virtual display of a physical environment

Publications (2)

Publication Number Publication Date
RU2017130356A true RU2017130356A (ru) 2019-02-28
RU2017130356A3 RU2017130356A3 (ru) 2019-09-03

Family

ID=55411712

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017130356A RU2017130356A (ru) 2015-01-28 2016-01-27 Способ и система обеспечения виртуального отображения физической среды

Country Status (7)

Country Link
US (1) US10725297B2 (ru)
EP (1) EP3250985A1 (ru)
CN (1) CN107850936A (ru)
AU (1) AU2016210884A1 (ru)
CA (1) CA2981207A1 (ru)
RU (1) RU2017130356A (ru)
WO (1) WO2016120806A1 (ru)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
US10115303B2 (en) * 2015-05-05 2018-10-30 Razer (Asia-Pacific) Pte. Ltd. Methods for controlling a headset device, headset devices, computer readable media, and infrared sensors
KR20170058793A (ko) * 2015-11-19 2017-05-29 삼성전자주식회사 가상 현실 환경에서 정보를 제공하는 방법 및 장치
US9690534B1 (en) * 2015-12-14 2017-06-27 International Business Machines Corporation Wearable computing eyeglasses that provide unobstructed views
US10740614B2 (en) * 2016-04-14 2020-08-11 Nec Corporation Information processing device, information processing method, and program storing medium
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
WO2018017856A1 (en) * 2016-07-20 2018-01-25 Google Llc Displaying and interacting with scanned environment geometry in virtual reality
CN106139587B (zh) * 2016-08-05 2020-06-09 惠州Tcl移动通信有限公司 一种基于vr游戏用来规避现实环境障碍物的方法及系统
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
EP3528212A4 (en) * 2016-10-12 2019-09-18 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR VIRTUAL REALITY IMAGE PROCESSING
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US10595012B2 (en) * 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
EP3563215A4 (en) * 2016-12-29 2020-08-05 Magic Leap, Inc. AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS
US10354140B2 (en) * 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
CN108419268B (zh) * 2017-02-09 2020-10-16 中国移动通信有限公司研究院 一种虚拟现实业务处理方法及无线接入网元设备
US10956552B2 (en) * 2017-04-03 2021-03-23 Cleveland State University Shoulder-surfing resistant authentication methods and systems
EP3388806A1 (en) 2017-04-11 2018-10-17 Torque and More (TAM) GmbH Circumferential force measuring device
WO2018194903A1 (en) * 2017-04-17 2018-10-25 Walmart Apollo, Llc A hybrid remote retrieval system
US10627635B2 (en) * 2017-08-02 2020-04-21 Microsoft Technology Licensing, Llc Transitioning into a VR environment and warning HMD users of real-world physical obstacles
WO2019034530A1 (en) * 2017-08-14 2019-02-21 Philips Lighting Holding B.V. SYSTEM CONFIGURATION USING PORTABLE MULTIMEDIA DEVICE
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
WO2019067476A2 (en) 2017-09-29 2019-04-04 Apple Inc. PLATFORM OF REALITY GENERATED BY COMPUTER
CN111279292B (zh) * 2017-09-29 2022-06-14 苹果公司 检测物理边界
US11019389B2 (en) * 2017-12-04 2021-05-25 Comcast Cable Communications, Llc Determination of enhanced viewing experiences based on viewer engagement
KR102045667B1 (ko) * 2018-02-14 2019-12-03 동국대학교 산학협력단 드론의 제어 신호 생성 방법 및 제어 장치
US10878285B2 (en) * 2018-04-12 2020-12-29 Seiko Epson Corporation Methods and systems for shape based training for an object detection algorithm
US11087136B2 (en) 2018-04-13 2021-08-10 Apple Inc. Scene classification
JP2021518953A (ja) * 2018-05-02 2021-08-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ナビゲートする方法及びシステム
US10950031B2 (en) 2018-05-14 2021-03-16 Apple Inc. Techniques for locating virtual objects relative to real physical objects
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10843077B2 (en) * 2018-06-08 2020-11-24 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
WO2019245550A1 (en) 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
US11450070B2 (en) 2018-06-20 2022-09-20 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
WO2019245581A1 (en) * 2018-06-22 2019-12-26 Hewlett-Packard Development Company, L.P. Virtual display monitors
DE112019003239T5 (de) * 2018-06-26 2021-04-08 Apple Inc. Breakpoints auf view-basis
CN108897425B (zh) * 2018-06-29 2020-12-18 联想(北京)有限公司 一种数据处理方法及电子设备
EP3620909B1 (en) * 2018-09-06 2022-11-02 Infineon Technologies AG Method for a virtual assistant, data processing system hosting a virtual assistant for a user and agent device for enabling a user to interact with a virtual assistant
US11062527B2 (en) * 2018-09-28 2021-07-13 General Electric Company Overlay and manipulation of medical images in a virtual environment
US11870972B2 (en) 2018-10-02 2024-01-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
US10803314B2 (en) * 2018-10-10 2020-10-13 Midea Group Co., Ltd. Method and system for providing remote robotic control
US11270116B2 (en) 2018-12-04 2022-03-08 Apple Inc. Method, device, and system for generating affordances linked to a representation of an item
CN109782910B (zh) * 2018-12-29 2021-04-06 北京诺亦腾科技有限公司 一种vr场景交互方法及装置
US11182972B2 (en) * 2019-02-12 2021-11-23 Qualcomm Incorporated Virtual teleportation in fixed environments
US10885710B2 (en) * 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
EP3716014B1 (de) * 2019-03-26 2023-09-13 Siemens Healthcare GmbH Übertragen eines zustands zwischen vr-umgebungen
US11775130B2 (en) * 2019-07-03 2023-10-03 Apple Inc. Guided retail experience
US11189103B2 (en) * 2019-08-01 2021-11-30 Apple Inc. Visual search refinement for computer generated rendering environments
US11270515B2 (en) * 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
JP7385733B2 (ja) * 2019-09-09 2023-11-22 アップル インコーポレイテッド 仮想カメラと物理的カメラとの位置同期
US11262887B2 (en) * 2019-09-13 2022-03-01 Toyota Research Institute, Inc. Methods and systems for assigning force vectors to robotic tasks
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
CN111939563B (zh) * 2020-08-13 2024-03-22 北京像素软件科技股份有限公司 目标锁定方法、装置、电子设备及计算机可读存储介质
US11868526B2 (en) * 2021-05-03 2024-01-09 Apple Inc. Method and device for debugging program execution and content playback
WO2023225777A1 (zh) * 2022-05-23 2023-11-30 伊甸数位股份有限公司 将现实物件转换为虚拟实境的虚拟物件的方法
US11842455B1 (en) 2022-06-20 2023-12-12 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301536B2 (en) * 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US6032193A (en) 1997-03-20 2000-02-29 Niobrara Research And Development Corporation Computer system having virtual circuit address altered by local computer to switch to different physical data link to increase data transmission bandwidth
US6091410A (en) * 1997-11-26 2000-07-18 International Business Machines Corporation Avatar pointing mode
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US7724258B2 (en) * 2004-06-30 2010-05-25 Purdue Research Foundation Computer modeling and animation of natural phenomena
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US7864168B2 (en) 2005-05-25 2011-01-04 Impulse Technology Ltd. Virtual reality movement system
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
WO2007097007A1 (ja) 2006-02-24 2007-08-30 Fujitsu Limited メモリ制御装置およびメモリ制御方法
US20080201751A1 (en) 2006-04-18 2008-08-21 Sherjil Ahmed Wireless Media Transmission Systems and Methods
US8059894B1 (en) * 2006-12-19 2011-11-15 Playvision Technologies, Inc. System and associated methods of calibration and use for an interactive imaging environment
KR101430439B1 (ko) 2007-01-10 2014-08-18 엘지전자 주식회사 이동 통신 시스템에서의 제어 정보 전송 방법
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7814154B1 (en) 2007-06-26 2010-10-12 Qurio Holdings, Inc. Message transformations in a distributed virtual world
US9301121B2 (en) 2007-07-11 2016-03-29 Qualcomm Incorporated Peer to peer multiple identifiers
US20090141023A1 (en) * 2007-11-29 2009-06-04 Brian Mark Shuster Selective filtering of user input data in a multi-user virtual environment
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8713450B2 (en) 2008-01-08 2014-04-29 International Business Machines Corporation Detecting patterns of abuse in a virtual environment
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US20090225074A1 (en) * 2008-03-06 2009-09-10 Bates Cary L Reconstruction of Virtual Environments Using Cached Data
US9196169B2 (en) * 2008-08-21 2015-11-24 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US8788957B2 (en) 2008-08-22 2014-07-22 Microsoft Corporation Social virtual avatar modification
US7930455B2 (en) 2008-12-19 2011-04-19 Caterpillar Inc. System and method for separating and communicating information-type data and signal-type data
US20100309097A1 (en) 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
RU2433487C2 (ru) 2009-08-04 2011-11-10 Леонид Михайлович Файнштейн Способ проецирования изображения на поверхности реальных объектов
US8620986B2 (en) 2010-03-24 2013-12-31 Blackberry Limited Peer-to-peer network connectivity status
JP2012049823A (ja) 2010-08-26 2012-03-08 Seiko Epson Corp ガマット形状予測方法、ガマット形状予測プログラム、当該ガマット形状予測方法により予測されたガマットを用いて作成された色変換テーブルを搭載した印刷装置
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
EP3654147A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20120264510A1 (en) 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
CN107656615B (zh) * 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US20130050069A1 (en) 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
EP2608153A1 (en) 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
WO2014050957A1 (ja) 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
JP2014071499A (ja) 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US20140128161A1 (en) 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US20140160162A1 (en) 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US9563331B2 (en) 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9753687B1 (en) 2014-01-03 2017-09-05 Sony Interactive Entertainment America Llc Wearable computer using programmed local tag
WO2015118953A1 (ja) * 2014-02-07 2015-08-13 Ｎｋワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
AU2015203771B2 (en) * 2014-07-08 2020-11-05 Iomniscient Pty Ltd A method and apparatus for surveillance
CN107683497B (zh) 2015-06-15 2022-04-08 索尼公司 信息处理设备、信息处理方法及程序
JPWO2017038241A1 (ja) 2015-08-28 2018-06-14 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
US11010972B2 (en) 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US20170235462A1 (en) 2016-02-16 2017-08-17 Le Holdings (Beijing) Co., Ltd. Interaction control method and electronic device for virtual reality
US10536691B2 (en) 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method

Also Published As

Publication number Publication date
CA2981207A1 (en) 2016-08-04
AU2016210884A1 (en) 2017-09-21
RU2017130356A3 (ru) 2019-09-03
EP3250985A1 (en) 2017-12-06
WO2016120806A1 (en) 2016-08-04
US20160217616A1 (en) 2016-07-28
US10725297B2 (en) 2020-07-28
CN107850936A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
RU2017130356A (ru) Способ и система обеспечения виртуального отображения физической среды
WO2016153628A3 (en) Augmented reality content creation
US9558592B2 (en) Visualization of physical interactions in augmented reality
CL2019002951A1 (es) Rotación de cámara virtual basada en contenedor.
JP2016504615A5 (ru)
RU2016120976A (ru) Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея
RU2020122010A (ru) Система интерактивных видеоигр
JP2016505919A5 (ru)
BR112018003305A2 (pt) sistema e método para amostragem de mapa de profundidade a laser
JP2014225229A5 (ru)
WO2017201009A3 (en) Techniques to change location of objects in a virtual/augmented reality system
JP2015116336A5 (ru)
BR112018007473A2 (pt) navegação cirúrgica de realidade aumentada
JP2016530581A5 (ru)
RU2016134268A (ru) Прерывание в шлеме виртуальной реальности, обусловленное средой, и использование не находящегося в поле зрения объекта недвижимости
WO2014059329A3 (en) Augmented reality for shipping labels
WO2016167919A3 (en) Pairing fonts for presentation
JP2014521150A5 (ru)
JP2016539430A5 (ru)
JP2015526168A5 (ru)
RU2015154279A (ru) Ориентация и визуализация виртуального объекта
JP2016509245A5 (ru)
GB2581659A (en) Transmission of real-time visual data to a remote recipient
EP2506222A3 (en) Augmented reality apparatus, method and program
JP2013161391A5 (ru)

Legal Events

Date Code Title Description
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20200805