RU2016142613A - Обратная связь по качеству отображения с привязкой к окружающему миру - Google Patents

Обратная связь по качеству отображения с привязкой к окружающему миру Download PDF

Info

Publication number
RU2016142613A
RU2016142613A RU2016142613A RU2016142613A RU2016142613A RU 2016142613 A RU2016142613 A RU 2016142613A RU 2016142613 A RU2016142613 A RU 2016142613A RU 2016142613 A RU2016142613 A RU 2016142613A RU 2016142613 A RU2016142613 A RU 2016142613A
Authority
RU
Russia
Prior art keywords
head
display device
estimated
uncertainty values
quality level
Prior art date
Application number
RU2016142613A
Other languages
English (en)
Inventor
Майкл Джон ЭБСТАЙН
Фредерик ШАФФАЛИЦКИ
Дрю СТИДЛИ
Этхан ИД
Мартин ШЕТТЕР
Майкл ГРЭБНЕР
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2016142613A publication Critical patent/RU2016142613A/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Digital Computer Display Output (AREA)

Claims (29)

1. Способ сообщения пользователю устанавливаемого на голову устройства отображения оцениваемого уровня качества режима отображения с привязкой к окружающему миру, в котором позиция одного или более виртуальных объектов выглядит фиксированной относительно объектов реального мира, просматриваемых через устанавливаемое на голову устройство отображения, причем способ содержит этапы, на которых:
принимают данные датчиков от одного или более датчиков устанавливаемого на голову устройства отображения;
используя данные датчиков, определяют оцениваемое положение устанавливаемого на голову устройства отображения;
используя оцениваемое положение, отображают один или более виртуальных объектов через устанавливаемое на голову устройство отображения либо в режиме отображения с привязкой к окружающему миру, либо в режиме отображения с привязкой к телу, в котором позиция каждого из виртуальных объектов выглядит фиксированной относительно пользователя устанавливаемого на голову устройства отображения;
определяют одно или более значений неопределенности ввода данных датчиков и значений неопределенности положения для оцениваемого положения;
проецируют одно или более из значений неопределенности ввода и значений неопределенности положения в оцениваемый уровень качества режима отображения с привязкой к окружающему миру; и
сообщают обратную связь об оцениваемом уровне качества пользователю через устанавливаемое на голову устройство отображения.
2. Способ по п. 1, в котором сообщение обратной связи об оцениваемом уровне качества дополнительно содержит этап, на котором отображают одно или более графических представлений оцениваемого уровня качества через устанавливаемое на голову вычислительное устройство.
3. Способ по п. 2, в котором отображение одного или более графических представлений содержит этап, на котором изменяют внешний вид поля обзора, просматриваемого через устанавливаемое на голову устройство отображения.
4. Способ по п. 2, в котором отображение одного или более графических представлений содержит этап, на котором изменяют внешний вид одного или более виртуальных объектов.
5. Способ по п. 1, в котором сообщение обратной связи об оцениваемом уровне качества дополнительно содержит этапы, на которых:
предоставляют оцениваемый уровень качества приложению, которое использует режим отображения с привязкой к окружающему миру и режим отображения с привязкой к телу; и
передают обратную связь об оцениваемом уровне качества пользователю через приложение и устанавливаемое на голову устройство отображения.
6. Устанавливаемое на голову устройство отображения функционально соединено с вычислительным устройством, причем устанавливаемое на голову устройство отображения содержит:
систему отслеживания, исполняемую посредством процессора вычислительного устройства, причем система отслеживания сконфигурирована, чтобы:
принимать данные датчиков от одного или более датчиков устанавливаемого на голову устройства отображения;
используя данные датчиков, определять оцениваемое положение устанавливаемого на голову устройства отображения;
определять одно или более значений неопределенности ввода данных датчиков и значений неопределенности положения для оцениваемого положения;
проецировать одно или более значений неопределенности ввода и значений неопределенности положения в оцениваемый уровень качества режима отображения с привязкой к окружающему миру, в котором позиция одного или более виртуальных объектов выглядит фиксированной относительно объектов реального мира, просматриваемых через устанавливаемое на голову устройство отображения;
сообщать обратную связь пользователю через устанавливаемое на голову устройство отображения для оцениваемого уровня качества; и
программу отображения, исполняемую процессором вычислительного устройства, причем программа отображения сконфигурирована, чтобы отображать один или более виртуальных объектов, используя оцениваемое положение либо в режиме отображения с привязкой к окружающему миру, либо в режиме отображения с привязкой к телу, в котором позиция каждого из виртуальных объектов выглядит фиксированной относительно пользователя устанавливаемого на голову устройства отображения.
7. Устанавливаемое на голову устройство отображения по п. 6, в котором система отслеживания сконфигурирована, чтобы сообщать обратную связь об оцениваемом уровне качества посредством задержки сообщения обратной связи до тех пор, пока не будет принят пользовательский ввод, который вызывает режим отображения с привязкой к окружающему миру.
8. Устанавливаемое на голову устройство отображения по п. 6, в котором система отслеживания дополнительно сконфигурирована, чтобы выключать режим отображения с привязкой к окружающему миру, когда оцениваемый уровень качества ниже порогового уровня качества.
9. Устанавливаемое на голову устройство отображения по п. 6, в котором система отслеживания сконфигурирована, чтобы:
определять значения неопределенности положения и не определять значения неопределенности ввода; и
проецировать значения неопределенности положения в оцениваемый уровень качества.
10. Устанавливаемое на голову устройство отображения по п. 6, в котором система отслеживания сконфигурирована, чтобы:
определять как значения неопределенности ввода, так и значения неопределенности положения; и
проецировать значения неопределенности ввода и значения неопределенности положения в оцениваемый уровень качества.
RU2016142613A 2014-05-01 2015-04-30 Обратная связь по качеству отображения с привязкой к окружающему миру RU2016142613A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/267,625 2014-05-01
US14/267,625 US9430038B2 (en) 2014-05-01 2014-05-01 World-locked display quality feedback
PCT/US2015/028382 WO2015168343A1 (en) 2014-05-01 2015-04-30 World-locked display quality feedback

Publications (1)

Publication Number Publication Date
RU2016142613A true RU2016142613A (ru) 2018-05-04

Family

ID=53181343

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016142613A RU2016142613A (ru) 2014-05-01 2015-04-30 Обратная связь по качеству отображения с привязкой к окружающему миру

Country Status (11)

Country Link
US (1) US9430038B2 (ru)
EP (1) EP3137976B1 (ru)
JP (1) JP2017516250A (ru)
KR (1) KR20160148557A (ru)
CN (1) CN106255939B (ru)
AU (1) AU2015253096A1 (ru)
BR (1) BR112016024343A2 (ru)
CA (1) CA2946582A1 (ru)
MX (1) MX2016014098A (ru)
RU (1) RU2016142613A (ru)
WO (1) WO2015168343A1 (ru)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
US10304247B2 (en) * 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US10218882B2 (en) * 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
CN108541323A (zh) * 2016-01-12 2018-09-14 Sun电子株式会社 图像显示装置
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
EP3427008B1 (en) 2016-03-11 2022-09-07 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
WO2019006289A1 (en) * 2017-06-30 2019-01-03 Kaarta, Inc. SYSTEMS AND METHODS FOR SCAN ENHANCEMENT AND CORRECTION
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10572005B2 (en) * 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
EP3494447B1 (en) 2016-08-04 2021-05-19 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
GB2555838A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
EP3650811A3 (en) * 2017-03-15 2020-09-16 Essilor International Method and system for determining an environment map of a wearer of an active head mounted device
US10489651B2 (en) 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
CN115327775A (zh) 2017-04-24 2022-11-11 奇跃公司 跟踪反向散射的激光斑点图案的光流
EP3399398B1 (en) 2017-05-02 2022-04-13 Nokia Technologies Oy An apparatus and associated methods for presentation of spatial audio
US10394315B2 (en) * 2017-05-25 2019-08-27 Acer Incorporated Content-aware virtual reality systems and related methods
US10614308B2 (en) * 2017-05-30 2020-04-07 Edx Technologies, Inc. Augmentations based on positioning accuracy or confidence
CN107742512B (zh) 2017-11-07 2020-09-01 北京京东方光电科技有限公司 一种显示驱动电路、其驱动方法及显示装置
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
KR102475188B1 (ko) 2017-12-15 2022-12-06 텔레폰악티에볼라겟엘엠에릭슨(펍) 하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
EP3547080B1 (en) * 2018-03-27 2024-01-24 Nokia Technologies Oy Rendering anchored objects in a scene
US20190302903A1 (en) * 2018-03-30 2019-10-03 Microsoft Technology Licensing, Llc Six dof input device
CN112219205B (zh) * 2018-06-05 2022-10-25 奇跃公司 内容到空间3d环境的匹配
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
EP3599544A1 (en) * 2018-07-25 2020-01-29 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
CN109218709B (zh) 2018-10-18 2022-02-15 北京小米移动软件有限公司 全息内容的调整方法及装置和计算机可读存储介质
US10768695B2 (en) * 2019-02-01 2020-09-08 Facebook Technologies, Llc Artificial reality system having adaptive degrees of freedom (DOF) selection
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
CN115039166A (zh) * 2020-01-27 2022-09-09 奇跃公司 增强现实地图管理
US11302063B2 (en) 2020-07-21 2022-04-12 Facebook Technologies, Llc 3D conversations in an artificial reality environment
JP2024503899A (ja) * 2021-01-20 2024-01-29 アップル インコーポレイテッド 環境内のオブジェクトと相互作用するための方法
EP4047558A1 (en) * 2021-02-17 2022-08-24 Miehee Ju Kim System for generating 3d mobile augmented reality
WO2022241123A1 (en) * 2021-05-14 2022-11-17 Snap Inc. Reducing startup time of augmented reality experience
US20230045759A1 (en) * 2021-08-04 2023-02-09 Meta Platforms Technologies, Llc 3D Calling Affordances
US11676329B1 (en) 2022-01-07 2023-06-13 Meta Platforms Technologies, Llc Mobile device holographic calling with front and back camera capture
WO2024064180A1 (en) * 2022-09-23 2024-03-28 Apple Inc. User interfaces that include representations of the environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6997882B1 (en) 2001-12-21 2006-02-14 Barron Associates, Inc. 6-DOF subject-monitoring device and method
US7774158B2 (en) 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5847924B2 (ja) 2011-06-08 2016-01-27 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実表現のための二次元画像取込み
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
BR112014010230A8 (pt) * 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
HUP1200013A2 (en) 2012-01-06 2013-07-29 Leonar3Do Internat Zrt System and method for 3 dimension display
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9317971B2 (en) 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
CN105408937B (zh) * 2013-05-02 2018-02-13 高通股份有限公司 用于便于计算机视觉应用程序初始化的方法

Also Published As

Publication number Publication date
CN106255939A (zh) 2016-12-21
US20150317832A1 (en) 2015-11-05
JP2017516250A (ja) 2017-06-15
KR20160148557A (ko) 2016-12-26
US9430038B2 (en) 2016-08-30
EP3137976A1 (en) 2017-03-08
WO2015168343A1 (en) 2015-11-05
CA2946582A1 (en) 2015-11-05
EP3137976B1 (en) 2017-11-15
AU2015253096A1 (en) 2016-10-27
BR112016024343A2 (pt) 2017-08-15
CN106255939B (zh) 2019-08-27
MX2016014098A (es) 2017-02-09

Similar Documents

Publication Publication Date Title
RU2016142613A (ru) Обратная связь по качеству отображения с привязкой к окружающему миру
WO2015101947A3 (en) Systems and methods for biometric sensing with sensor fusion
WO2016100931A8 (en) Method, system and device for navigating in a virtual reality environment
WO2014125380A3 (en) Systems and methods of eye tracking calibration
WO2017136125A3 (en) Method of object motion tracking with remote device for mixed reality system and mixed reality system
WO2014197231A3 (en) Switching mode of operation in a head mounted display
WO2016100318A3 (en) Gallery of messages with a shared interest
WO2015047453A3 (en) Interactions of virtual objects with surfaces
MX363504B (es) Metodo y dispositivo para controlar un aparato.
WO2016153628A3 (en) Augmented reality content creation
WO2014144526A3 (en) Display system and method
WO2015134475A3 (en) Map personalization based on social clues
IN2013MU03645A (ru)
WO2015103457A3 (en) A portable device in an automotive environment
EP4283444A3 (en) Active pen and sensor controller
RU2016112556A (ru) Способ и оборудование для управления устройством
WO2015020883A3 (en) Methods and systems for managing shipped objects
EP2873444A3 (en) Virtual reality based rehabilitation apparatuses and methods
WO2014066593A3 (en) A system and method that automatically ensures consistency among a design model, an interface specification and one or more tests that test the design model.
WO2015153236A3 (en) Measuring latency in an interactive application
WO2014128498A3 (en) Generation of 3d models of an environment
GB2533520A (en) Gaze-controlled interface method and system
WO2016168463A8 (en) Methods of exoskeleton communication and control
WO2015030905A3 (en) Reducing disturbance during fiber optic sensing
WO2014100682A3 (en) Messaging providing graphical and audible features

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20180503