RU2017130354A - Способ и система приема ввода жестов посредством виртуальных управляющих объектов - Google Patents

Способ и система приема ввода жестов посредством виртуальных управляющих объектов Download PDF

Info

Publication number
RU2017130354A
RU2017130354A RU2017130354A RU2017130354A RU2017130354A RU 2017130354 A RU2017130354 A RU 2017130354A RU 2017130354 A RU2017130354 A RU 2017130354A RU 2017130354 A RU2017130354 A RU 2017130354A RU 2017130354 A RU2017130354 A RU 2017130354A
Authority
RU
Russia
Prior art keywords
virtual
physical
control object
state
environment
Prior art date
Application number
RU2017130354A
Other languages
English (en)
Other versions
RU2017130354A3 (ru
Inventor
Адам КРАВЕР
Джоэл Патрик МКГИННИС
Джон Уоррен РИТТЕНХАУС
Original Assignee
СиСиПи ЭйчЭф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by СиСиПи ЭйчЭф. filed Critical СиСиПи ЭйчЭф.
Publication of RU2017130354A publication Critical patent/RU2017130354A/ru
Publication of RU2017130354A3 publication Critical patent/RU2017130354A3/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Claims (119)

1. Выполняемый в компьютере способ реализации виртуального управляющего объекта в среде виртуальной реальности, включающий:
прием данных, отображающих состояние физической среды,
обработку процессором данных, отображающих состояние физической среды, для определения физического положения, по меньшей мере, одного пользователя,
определение процессором на основании положения, по меньшей мере, одного пользователя, по меньшей мере, одного положения физической привязки в состоянии физической среды,
отображение схемой управления состоянием виртуальной среды положения физической привязки в положение виртуальной привязки в состоянии виртуальной среды, при этом состояние виртуальной среды имеет множество виртуальных координат, которые отображают, по меньшей мере, часть состояния физической среды,
определение схемой управления состоянием виртуальной среды конкретной виртуальной координаты, по меньшей мере, одного виртуального управляющего объекта из множества виртуальных координат путем:
обнаружения смещения позиционирования виртуального управляющего объекта, указывающего положение относительно положения виртуальной привязки, и
применения смещения позиционирования виртуального управляющего объекта к положению виртуальной привязки для определения конкретной виртуальной координаты, при этом первое положение конкретной виртуальной координаты относительно положения виртуальной привязки соответствует второму положению конкретной физической координаты, отображенной в конкретную виртуальную координату, относительно положения физической привязки, и
передачу устройству отображения, сконфигурированному на отображение состояния виртуальной среды, команды отображения виртуального управляющего объекта в положении конкретной виртуальной координаты
2. Способ по п. 1, дополнительно включающий:
определение того, что физическое положение, по меньшей мере, части пользователя находится в пределах заданной области физической среды, соответствующей состоянию физической среды, которое отображено в конкретную виртуальную координату, и
выполнение функций, связанных с виртуальным управляющим объектом, после отображения физического положения, по меньшей мере, одного пользователя в конкретную виртуальную координату.
3. Способ по п. 2, дополнительно включающий выполнение функций, связанных с виртуальным управляющим объектом, только после того, как определено, что физическое положение, по меньшей мере, одного пользователя, по меньшей мере, в течение порогового периода времени находилось вблизи физического положения, которое отображено в конкретную виртуальную координату.
4. Способ по любому из пп. 1-3, в котором физическим положением, по меньшей мере, одного пользователя является голова или плечи пользователя.
5. Способ по любому из пп. 1-4, в котором виртуальный управляющий объект связан с одним или несколькими конкретными жестами, а функции виртуального управляющего объекта выполняются только в ответ, по меньшей мере, на один из одного или нескольких жестов в физическом положении, которое отображено в заданную область вокруг конкретной виртуальной координаты
6. Способ по любому из пп. 1-5, данные, отображающие состояние физической среды, принимаются, по меньшей мере, от одного датчика, которым является, по меньшей мере, камера или инфракрасный приемник.
7. Способ по любому из пп. 1-6, в котором устройством отображения является видеошлем.
8. Способ по п. 7, в котором положение физической привязки, по меньшей мере, частично определяется путем обнаружения инфракрасного излучателя, установленного на видеошлеме.
9. Способ по любому из пп. 1-8, дополнительно включающий:
определение угла обзора, по меньшей мере, одного пользователя, и
отображение виртуального управляющего объекта только после того, как определено, что угол обзора соответствует области физической среды, соответствующей конкретной виртуальной координате.
10. Способ по любому из пп. 1-9, дополнительно включающий:
определение угла обзора, по меньшей мере, одного пользователя, и
активацию взаимодействия с виртуальным управляющим объектом после того, как определено, что угол обзора соответствует области физической среды, соответствующей конкретной виртуальной координате виртуального управляющего объекта.
11. Способ по п. 10, в котором угол обзора пользователя, по меньшей мере, частично определяется на основании показаний датчика, принимаемых от видеошлема.
12. Способ по любому из пп. 1-11, в котором местонахождение физической привязки определяется после, по меньшей мере, включения устройства отображения или помещения устройства отображения на голову пользователя.
13. Способ по любому из пп. 1-12, в котором значение параметра смещения позиционирования виртуального управляющего объекта, по меньшей мере, частично определяется на основании числа инициализированных виртуальных управляющих объектов или обнаруженного роста пользователя.
14. Выполняемый в компьютере способ реализации виртуального управляющего объекта в среде виртуальной реальности, включающий:
прием данных, отображающих состояние физической среды,
обработку процессором, данных, отображающих состояние физической среды, для определения физического положения физического объекта,
определение процессором на основании физического положения физического объекта, по меньшей мере, одного положения виртуальной привязки в состоянии виртуальной среды,
определение схемой управления состоянием виртуальной среды положения виртуального управляющего объекта в состоянии виртуальной среды относительно положения виртуальной привязки,
отображение схемой управления состоянием виртуальной среды положения виртуального управляющего объекта в физическое положение управляющего объекта в физической среде, соответствующей состоянию физической среды, и
передачу устройству отображения, сконфигурированному на отображение состояния виртуальной среды, команды отображения состояния виртуальной среды, в результате чего виртуальный управляющий объект отображается в положении виртуального управляющего объекта.
15. Способ по п. 14, дополнительно включающий определение того, что угол обзора устройства отображения обращен в сторону физического положения, до отображения виртуального управляющего объекта посредством устройства отображения.
16. Способ по любому из пп. 14-15, дополнительно включающий:
определение того, что физическое положение физического объекта находится в пределах заданной области физической среды, соответствующей состоянию физической среды, которое отображено в конкретную виртуальную координату, и
выполнение функций, связанных с виртуальным управляющим объектом, после того, как определено, что физическое положение пользователя находится вблизи физического положения управляющего объекта.
17. Способ по п. 16, дополнительно включающий выполнение функций, связанных с виртуальным управляющим объектом, только после того, как определено, что физическое положение физического объекта, по меньшей мере, в течение порогового периода времени находилось вблизи физического положения управляющего объекта.
18. Способ по любому из пп. 14-17, в котором положение виртуальной привязки связано с физическим положением головы пользователя.
19. Способ по любому из пп. 14-18, в котором, по меньшей мере, одним датчиком является, по меньшей мере, камера или инфракрасный приемник.
20. Способ по любому из пп. 14-19, в котором устройством отображения является видеошлем.
21. Способ по любому из пп. 14-20, в котором положение виртуальной привязки определяется после, по меньшей мере, включения устройства отображения или помещения устройства отображения на голову пользователя.
22. Постоянный машиночитаемый носитель, содержащий команды, которые при их выполнении процессором побуждают процессор к реализации виртуального управляющего объекта в среде виртуальной реальности, по меньшей мере, путем:
приема данных, отображающих состояние физической среды;
обработки данных, отображающих состояние физической среды, для определения физического положения, по меньшей мере, одного пользователя,
определения, по меньшей мере, одного положения физической привязки в состоянии физической среды на основании положения, по меньшей мере, одного пользователя,
отображения положения физической привязки в положение виртуальной привязки в состоянии виртуальной среды, при этом состояние виртуальной среды имеет множество виртуальных координат, которые отображают, по меньшей мере, часть состояния физической среды,
определения конкретной виртуальной координаты, по меньшей мере, для одного виртуального управляющего объекта из множества виртуальных координат путем:
определения смещения позиционирования виртуального управляющего объекта, указывающего положение относительно положения виртуальной привязки, и
применения смещения позиционирования виртуального управляющего объекта к положению виртуальной привязки для определения конкретной виртуальной координаты, при этом первое положение конкретной виртуальной координаты относительно положения виртуальной привязки соответствует второму положению конкретной физической координаты, отображенной в конкретную виртуальную координату, относительно положения физической привязки, и
передачи устройству отображения, сконфигурированному на отображение состояния виртуальной среды, команды отображения виртуального управляющего объекта в положении конкретной виртуальной координаты.
23. Постоянный машиночитаемый носитель по п. 22, дополнительно содержащий команды:
определения того, что физическое положение, по меньшей мере, части пользователя находится в пределах заданной области физической среды, соответствующей состоянию физической среды, которое отображено в конкретную виртуальную координату, и
выполнения функций, связанных с виртуальным управляющим объектом, после отображения физического положения, по меньшей мере, одного пользователя в конкретную виртуальную координату.
24. Постоянный машиночитаемый носитель по п. 23, дополнительно содержащий команду выполнения функций, связанных с виртуальным управляющим объектом только после того, как определено, что физическое положение, по меньшей мере, одного пользователя, по меньшей мере, в течение порогового периода времени находилось вблизи физического положения, которое отображено в конкретную виртуальную координату.
25. Постоянный машиночитаемый носитель по любому из пп. 22-24, в котором физическим положением, по меньшей мере, одного пользователя является голова или плечи пользователя.
26. Постоянный машиночитаемый носитель по любому из пп. 22-25, в котором виртуальный управляющий объект связан с одним или несколькими конкретными жестами, а функции виртуального управляющего объекта выполняются только в ответ, по меньшей мере, на один из одного или нескольких жестов в физическом положении, которое отображено в заданную область вокруг конкретной виртуальной координаты.
27. Постоянный машиночитаемый носитель по любому из пп. 22-26, в котором данные, отображающие состояние физической среды, принимаются, по меньшей мере, от одного датчика, которым является, по меньшей мере, камера или инфракрасный приемник.
28. Постоянный машиночитаемый носитель по любому из пп. 22-27, в котором устройством отображения является видеошлем.
29. Постоянный машиночитаемый носитель по любому из пп. 22-28, в котором положение физической привязки, по меньшей мере, частично определяется путем обнаружения инфракрасного излучателя, установленного на видеошлеме.
30. Постоянный машиночитаемый носитель по любому из пп. 22-29, дополнительно содержащий команды:
определения угла обзора, по меньшей мере, одного пользователя, и
отображения виртуального управляющего объекта только после того, как определено, что угол обзора соответствует области физической среды, соответствующей конкретной виртуальной координате.
31. Постоянный машиночитаемый носитель по любому из пп. 22-30, дополнительно содержащий команды:
определения угла обзора, по меньшей мере, одного пользователя, и
активации взаимодействия с виртуальным управляющим объектом после того, как определено, что угол обзора соответствует области физической среды, соответствующей конкретной виртуальной координате виртуального управляющего объекта.
32. Постоянный машиночитаемый носитель по п. 31, в котором в котором угол обзора пользователя, по меньшей мере, частично определяется на основании показаний датчика, принимаемых от видеошлема.
33. Постоянный машиночитаемый носитель по любому из пп. 22-32, дополнительно содержащий команды:
определения угла обзора, по меньшей мере, одного пользователя, и
активации взаимодействия с виртуальным управляющим объектом после того, как определено, что угол обзора соответствует области физической среды, соответствующей конкретной виртуальной координате виртуального управляющего объекта.
34. Постоянный машиночитаемый носитель по любому из пп. 22-33, в котором в котором угол обзора пользователя, по меньшей мере, частично определяется на основании показаний датчика, принимаемых от видеошлема.
35. Постоянный машиночитаемый носитель по любому из пп. 22-34, в котором местонахождение физической привязки определяется в ответ, по меньшей мере, на включение устройства отображения или помещение устройства отображения на голову пользователя.
36. Постоянный машиночитаемый носитель по любому из пп. 22-35, в котором значение параметра смещения позиционирования виртуального управляющего объекта, по меньшей мере, частично определяется на основании числа инициализированных виртуальных управляющих объектов или обнаруженного роста пользователя.
37. Постоянный машиночитаемый носитель, содержащий команды, которые при их выполнении процессором побуждают процессор к реализации виртуального управляющего объекта в среде виртуальной реальности, по меньшей мере, путем:
приема данных, отображающих состояние физической среды;
обработки процессором, данных, отображающих состояние физической среды, для определения физического положения физического объекта;
определения процессором на основании физического положения физического объекта, по меньшей мере, одного положения виртуальной привязки в состоянии виртуальной среды;
определения схемой управления состоянием виртуальной среды положения виртуального управляющего объекта в состоянии виртуальной среды относительно положения виртуальной привязки,
отображения схемой управления состоянием виртуальной среды положения виртуального управляющего объекта в физическое положение управляющего объекта в физической среде, соответствующей состоянию физической среды, и
передачи устройству отображения, сконфигурированному на отображение состояния виртуальной среды, команды отображения состояния виртуальной среды, в результате чего виртуальный управляющий объект отображается в положении виртуального управляющего объекта.
38. Постоянный машиночитаемый носитель по п. 37, дополнительно содержащий команду определения того, что угол обзора устройства отображения обращен в сторону физического положения, до отображения виртуального управляющего объекта посредством устройства отображения.
39. Постоянный машиночитаемый носитель по любому из пп. 37-38, дополнительно содержащий команды:
определения того, что физическое положение физического объекта находится в пределах заданной области физической среды, соответствующей состоянию физической среды, которое отображено в конкретную виртуальную координату, и
выполнения функций, связанных с виртуальным управляющим объектом, после того, как определено, что физическое положение пользователя находится вблизи физического положения управляющего объекта.
40. Постоянный машиночитаемый носитель по п. 39, дополнительно содержащий команду выполнения функций, связанных с виртуальным управляющим объектом, только после того, как определено, что физическое положение пользователя, по меньшей мере, в течение порогового периода времени находилось вблизи физического положения управляющего объекта.
41. Постоянный машиночитаемый носитель по любому из пп. 37-40, в котором положение виртуальной привязки связано с физическим положением головы пользователя.
42. Постоянный машиночитаемый носитель по любому из пп. 37-41, в котором, по меньшей мере, одним датчиком является, по меньшей мере, камера или инфракрасный приемник.
43. Постоянный машиночитаемый носитель по любому из пп. 37-42, в котором устройством отображения является видеошлем.
44. Постоянный машиночитаемый носитель по любому из пп. 37-43, дополнительно содержащий команды:
определения угла обзора, по меньшей мере, одного пользователя, и
активации взаимодействия с виртуальным управляющим объектом после того, как определено, что угол обзора соответствует области физической среды, соответствующей конкретной виртуальной координате виртуального управляющего объекта.
45. Постоянный машиночитаемый носитель по п. 44, в котором в котором угол обзора пользователя, по меньшей мере, частично определяется на основании показаний датчика, принимаемых от видеошлема.
46. Постоянный машиночитаемый носитель по любому из пп. 37-45, в котором местонахождение физической привязки определяется в ответ, по меньшей мере, на включение устройства отображения или помещение устройства отображения на голову пользователя.
47. Постоянный машиночитаемый носитель по любому из пп. 37-46, в котором значение параметра смещения позиционирования виртуального управляющего объекта, по меньшей мере, частично определяется на основании числа инициализированных виртуальных управляющих объектов или обнаруженного роста пользователя.
48. Система обеспечения среды виртуальной реальности, содержащая:
схему, сконфигурированную на вывод состояния виртуальной среды, обеспечиваемого схемой управления состоянием виртуальной среды, по меньшей мере, на одно устройство отображения, при этом состояние виртуальной среды содержит один или несколько виртуальных управляющих объектов и имеет виртуальную систему координат для указания местонахождений виртуальных объектов в состоянии виртуальной среды,
схему, сконфигурированную на прием, по меньшей мере, от одного датчика данных, отображающих состояние физической среды, которое имеет физическую систему координат для указания местонахождения физических объектов в состоянии физической среды,
схему управления состоянием физической среды, сконфигурированную на определение положения физической привязки в конкретных физических координатах физической системы координат с использованием данных, отображающих состояние физической среды, и
схему управления состоянием виртуальной среды, сконфигурированную на:
генерирование взаимного отображения набора виртуальных координат и набора физических координат,
определение на основании отображения конкретных виртуальных координат, соответствующих конкретным физическим координатам,
размещение привязки виртуального управляющего объекта в конкретных виртуальных координатах,
определение координат одного или нескольких виртуальных управляющих объектов в соответствии со смещением позиционирования виртуального управляющего объекта путем применения смещения позиционирования виртуального управляющего объекта к конкретным виртуальным координатам привязки виртуального управляющего объекта и
размещение одного или нескольких виртуальных управляющих объектов в состоянии виртуальной среды в координатах виртуального управляющего объекта.
49. Система по п. 48, в которой устройством отображения является видеошлем.
50. Система по любому из пп. 48-49, в которой схема управления состоянием виртуальной среды дополнительно сконфигурирована на отображение только части состояния виртуальной среды посредством устройства отображения, при этом часть состояния виртуальной среды определяется на основании угла обзора устройства отображения.
51. Система по любому из пп. 48-50, в которой схема управления состоянием физической среды дополнительно сконфигурирована на определение положения пользователя, а схема управления состоянием виртуальной среды дополнительно сконфигурирована на:
определение того, что положение пользователя находится вблизи, по меньшей мере, одной физической координаты, которая отображена в координаты виртуального управляющего объекта,
выполнения функции, связанной с виртуальным управляющим объектом, после того, как определено, что положение пользователя находится вблизи, по меньшей мере, одной физической координаты, которая отображена в координаты виртуального управляющего объекта.
52. Устройство для реализации виртуального управляющего объекта в среде виртуальной реальности, содержащее:
средство приема данных, отображающих состояние физической среды,
средство обработки данных, отображающих состояние физической среды, для определения физического положения, по меньшей мере, одного физического объекта,
средство определения, по меньшей мере, одного положения физической привязки в состоянии физической среды на основании положения, по меньшей мере, одного физического объекта,
средство отображения положения физической привязки в положение виртуальной привязки в состоянии виртуальной среды, при этом состояние виртуальной среды имеет множество виртуальных координат, которые отображают, по меньшей мере, часть состояния физической среды,
средство определения конкретной виртуальной координаты, по меньшей мере, для одного виртуального управляющего объекта из множества виртуальных координат путем:
определения смещения позиционирования виртуального управляющего объекта, указывающего положение относительно положения виртуальной привязки, и
применения смещения позиционирования виртуального управляющего объекта к положению виртуальной привязки для определения конкретной виртуальной координаты, при этом первое положение конкретной виртуальной координаты относительно положения виртуальной привязки соответствует второму положению конкретной физической координаты, отображенной в конкретную виртуальную координату, относительно положения физической привязки, и
средство передачи устройству отображения команды отображения виртуального управляющего объекта в положении конкретной виртуальной координаты.
RU2017130354A 2015-01-28 2016-01-27 Способ и система приема ввода жестов посредством виртуальных управляющих объектов RU2017130354A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/608,047 2015-01-28
US14/608,047 US9852546B2 (en) 2015-01-28 2015-01-28 Method and system for receiving gesture input via virtual control objects
PCT/IB2016/050408 WO2016120804A1 (en) 2015-01-28 2016-01-27 Method and system for receiving gesture input via virtual control objects

Publications (2)

Publication Number Publication Date
RU2017130354A true RU2017130354A (ru) 2019-03-05
RU2017130354A3 RU2017130354A3 (ru) 2019-09-04

Family

ID=55349888

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017130354A RU2017130354A (ru) 2015-01-28 2016-01-27 Способ и система приема ввода жестов посредством виртуальных управляющих объектов

Country Status (7)

Country Link
US (2) US9852546B2 (ru)
EP (1) EP3250983B1 (ru)
CN (1) CN107995964A (ru)
AU (1) AU2016210882A1 (ru)
CA (1) CA2981206A1 (ru)
RU (1) RU2017130354A (ru)
WO (1) WO2016120804A1 (ru)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10416835B2 (en) * 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
JP6367166B2 (ja) 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
KR20170058793A (ko) * 2015-11-19 2017-05-29 삼성전자주식회사 가상 현실 환경에서 정보를 제공하는 방법 및 장치
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US9984510B1 (en) * 2016-03-02 2018-05-29 Meta Company System and method for modifying virtual elements in a virtual environment using hierarchical anchors incorporated into virtual elements
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
CN106296829A (zh) * 2016-08-04 2017-01-04 合肥景昇信息科技有限公司 虚拟现实系统中的物理环境的定位方法
CN109716256A (zh) * 2016-08-06 2019-05-03 深圳市大疆创新科技有限公司 用于跟踪目标的系统和方法
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
WO2018051436A1 (ja) * 2016-09-14 2018-03-22 株式会社朝日ネット 処理実行システム、情報処理装置、及びプログラム
US20180095618A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10424121B1 (en) * 2016-11-06 2019-09-24 Oded Melinek Generated offering exposure
DE112017005753T5 (de) * 2016-11-15 2019-08-22 Google Llc Standortglobus in virtueller realität
CN106774833A (zh) * 2016-11-17 2017-05-31 网易（杭州）网络有限公司 虚拟现实交互方法及装置
US10672171B2 (en) * 2017-03-07 2020-06-02 Lamplight Forest Holdings Pty Ltd System and method for dynamic content generation in a virtual space
EP3592273B1 (en) 2017-03-10 2023-10-04 Biomet Manufacturing, LLC Augmented reality supported knee surgery
US10639510B2 (en) * 2017-03-20 2020-05-05 The Trustees Of Columbia University In The City Of New York Human musculoskeletal support and training system methods and devices
JP6610602B2 (ja) * 2017-04-07 2019-11-27 京セラドキュメントソリューションズ株式会社 表示入力装置
US10860853B2 (en) * 2017-04-28 2020-12-08 Intel Corporation Learning though projection method and apparatus
JP6796197B2 (ja) * 2017-04-28 2020-12-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
JP7353982B2 (ja) * 2017-05-16 2023-10-02 コーニンクレッカ フィリップス エヌ ヴェ 拡張現実におけるユーザインタラクションのための仮想カバー
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
CN109144235B (zh) * 2017-06-19 2024-01-23 深圳巧牛科技有限公司 基于头手协同动作的人机交互方法与系统
US10643373B2 (en) 2017-06-19 2020-05-05 Apple Inc. Augmented reality interface for interacting with displayed maps
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
US10380798B2 (en) * 2017-09-29 2019-08-13 Sony Interactive Entertainment America Llc Projectile object rendering for a virtual reality spectator
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
US10854165B2 (en) * 2017-12-21 2020-12-01 Magic Leap, Inc. Method for calibrating an augmented reality device
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US10672159B2 (en) * 2018-04-02 2020-06-02 Microsoft Technology Licensing, Llc Anchor graph
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
JP7239916B2 (ja) * 2018-05-21 2023-03-15 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 遠隔操作システム、情報処理方法、及びプログラム
US10740984B2 (en) 2018-07-06 2020-08-11 Lindsay Corporation Computer-implemented methods, computer-readable media and electronic devices for virtual control of agricultural devices
US10732812B2 (en) 2018-07-06 2020-08-04 Lindsay Corporation Computer-implemented methods, computer-readable media and electronic devices for virtual control of agricultural devices
US10896546B2 (en) * 2018-07-11 2021-01-19 The Boeing Company Augmented reality system with an active portable anchor
US10839604B2 (en) * 2018-07-11 2020-11-17 The Boeing Company Augmented reality system with an active portable anchor
WO2020030156A1 (zh) * 2018-08-10 2020-02-13 广东虚拟现实科技有限公司 图像处理方法、终端设备及计算机可读介质
JP7445642B2 (ja) 2018-08-13 2024-03-07 マジック リープ， インコーポレイテッド クロスリアリティシステム
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
CN113196209A (zh) 2018-10-05 2021-07-30 奇跃公司 在任何位置渲染位置特定的虚拟内容
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
US10937244B2 (en) 2018-10-23 2021-03-02 Microsoft Technology Licensing, Llc Efficiency enhancements to construction of virtual reality environments
US20200125235A1 (en) * 2018-10-23 2020-04-23 Microsoft Technology Licensing, Llc Adjustable Virtual User Input Devices To Accommodate User Physical Limitations
CN110047148B (zh) * 2019-04-10 2024-01-26 珠海惠中智能技术有限公司 一种虚拟机器人工作站的仿真互动可视化系统及实现方法
JP2021002288A (ja) * 2019-06-24 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理システム、および画像処理方法
US11315287B2 (en) * 2019-06-27 2022-04-26 Apple Inc. Generating pose information for a person in a physical environment
US11380065B2 (en) * 2019-08-20 2022-07-05 Red Pacs, Llc Advanced head display unit for fire fighters
CN113711175A (zh) 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
EP4046070A4 (en) 2019-10-15 2023-10-18 Magic Leap, Inc. CROSS-REALLY SYSTEM THAT SUPPORTS MULTIPLE DEVICE TYPES
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
EP4046139A4 (en) 2019-10-15 2023-11-22 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH LOCATION SERVICE
WO2021086304A1 (en) * 2019-10-28 2021-05-06 Hewlett-Packard Development Company, L.P. Provision of feedback to an actuating object
JP2023504775A (ja) 2019-11-12 2023-02-07 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
JP2023514205A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド 正確な共有マップを伴うクロスリアリティシステム
JP2023514208A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
US11609345B2 (en) * 2020-02-20 2023-03-21 Rockwell Automation Technologies, Inc. System and method to determine positioning in a virtual coordinate system
WO2021173779A1 (en) 2020-02-26 2021-09-02 Magic Leap, Inc. Cross reality system with fast localization
CN115803788A (zh) 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统
US20220198731A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Pixel-aligned volumetric avatars
CN112667220B (zh) * 2021-01-27 2023-07-07 北京字跳网络技术有限公司 一种动画生成方法、装置以及计算机存储介质
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113888206A (zh) * 2021-09-09 2022-01-04 广景视睿科技（深圳）有限公司 一种无人商店导购方法、无人商店及存储介质
US11829126B2 (en) * 2021-09-22 2023-11-28 Rockwell Automation Technologies, Inc. Systems and methods for providing context-based data for an industrial automation system based on a virtual coordinate system

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301536B2 (en) 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US6032193A (en) 1997-03-20 2000-02-29 Niobrara Research And Development Corporation Computer system having virtual circuit address altered by local computer to switch to different physical data link to increase data transmission bandwidth
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US7724258B2 (en) 2004-06-30 2010-05-25 Purdue Research Foundation Computer modeling and animation of natural phenomena
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US7864168B2 (en) 2005-05-25 2011-01-04 Impulse Technology Ltd. Virtual reality movement system
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US20080201751A1 (en) 2006-04-18 2008-08-21 Sherjil Ahmed Wireless Media Transmission Systems and Methods
US7814154B1 (en) 2007-06-26 2010-10-12 Qurio Holdings, Inc. Message transformations in a distributed virtual world
US9301121B2 (en) 2007-07-11 2016-03-29 Qualcomm Incorporated Peer to peer multiple identifiers
US20090141023A1 (en) 2007-11-29 2009-06-04 Brian Mark Shuster Selective filtering of user input data in a multi-user virtual environment
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8713450B2 (en) 2008-01-08 2014-04-29 International Business Machines Corporation Detecting patterns of abuse in a virtual environment
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US20090225074A1 (en) 2008-03-06 2009-09-10 Bates Cary L Reconstruction of Virtual Environments Using Cached Data
US7930455B2 (en) 2008-12-19 2011-04-19 Caterpillar Inc. System and method for separating and communicating information-type data and signal-type data
US20100309097A1 (en) 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US8620986B2 (en) 2010-03-24 2013-12-31 Blackberry Limited Peer-to-peer network connectivity status
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20120249544A1 (en) 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
US20120264510A1 (en) 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
EP2608153A1 (en) 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
US9170648B2 (en) 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140128161A1 (en) 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US20140160162A1 (en) 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
CN103064514A (zh) * 2012-12-13 2013-04-24 航天科工仿真技术有限责任公司 沉浸式虚拟现实系统中的空间菜单的实现方法
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
CN103440037B (zh) * 2013-08-21 2017-02-08 中国人民解放军第二炮兵工程大学 一种基于有限输入信息的虚拟人体运动实时交互控制方法
WO2015118953A1 (ja) 2014-02-07 2015-08-13 Ｎｋワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Also Published As

Publication number Publication date
EP3250983B1 (en) 2020-03-11
US20180300953A1 (en) 2018-10-18
RU2017130354A3 (ru) 2019-09-04
US9852546B2 (en) 2017-12-26
US20160217614A1 (en) 2016-07-28
WO2016120804A1 (en) 2016-08-04
CN107995964A (zh) 2018-05-04
AU2016210882A1 (en) 2017-09-21
CA2981206A1 (en) 2016-08-04
EP3250983A1 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
RU2017130354A (ru) Способ и система приема ввода жестов посредством виртуальных управляющих объектов
US9430698B2 (en) Information input apparatus, information input method, and computer program
RU2017130356A (ru) Способ и система обеспечения виртуального отображения физической среды
US9659413B2 (en) Method, system and device for navigating in a virtual reality environment
JP2019514101A5 (ru)
JP2013235373A5 (ru)
RU2017118159A (ru) Мир массового одновременного удаленного цифрового присутствия
US20170351094A1 (en) Optically augmenting electromagnetic tracking in mixed reality
JP2020524430A5 (ru)
RU2016109187A (ru) Интерфейс одновременного нависания и касания
WO2019178361A8 (en) Generating collectible items based on location information
US20140009384A1 (en) Methods and systems for determining location of handheld device within 3d environment
EP2506222A3 (en) Augmented reality apparatus, method and program
GB2581659A (en) Transmission of real-time visual data to a remote recipient
JP2015526168A5 (ru)
WO2015051269A3 (en) Generating augmented reality content for unknown objects
JP6662914B2 (ja) 媒介現実
JP2015536507A5 (ru)
JP2015001977A5 (ru)
CN108211350B (zh) 信息处理方法、电子设备及存储介质
JP2014106681A5 (ru)
CN108021227B (zh) 在虚拟现实中快速移动的方法及虚拟现实装置
US20150193040A1 (en) Hover Angle
JP2014063387A5 (ru)
JP2018073172A5 (ru)

Legal Events

Date Code Title Description
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20200805