RU2686029C2 - Virtual reality system based on smartphone and inclined mirror - Google Patents
Virtual reality system based on smartphone and inclined mirror Download PDFInfo
- Publication number
- RU2686029C2 RU2686029C2 RU2017125876A RU2017125876A RU2686029C2 RU 2686029 C2 RU2686029 C2 RU 2686029C2 RU 2017125876 A RU2017125876 A RU 2017125876A RU 2017125876 A RU2017125876 A RU 2017125876A RU 2686029 C2 RU2686029 C2 RU 2686029C2
- Authority
- RU
- Russia
- Prior art keywords
- camera
- user
- marker
- virtual reality
- smartphone
- Prior art date
Links
- 239000003550 marker Substances 0.000 claims abstract description 45
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000007654 immersion Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 6
- 244000288377 Saxifraga stolonifera Species 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036963 noncompetitive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K1/00—Methods or arrangements for marking the record carrier in digital fashion
- G06K1/12—Methods or arrangements for marking the record carrier in digital fashion otherwise than by punching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
Abstract
Description
Область техникиTechnical field
Настоящее изобретение относится к системам мобильной виртуальной реальности и, в частности, к системам мобильной виртуальной реальности, осуществляющим отслеживание положения пользователя с 6 степенями свободы с помощью камеры смартфона в качестве единственного устройства формирования изображения.The present invention relates to mobile virtual reality systems and, in particular, to mobile virtual reality systems that track a user's position with 6 degrees of freedom using a smartphone camera as the only imaging device.
Уровень техникиThe level of technology
Системы виртуальной реальности (BP) в настоящее время находятся в состоянии активной разработки. Системы BP, основанные на смартфонах, (так называемая "мобильная BP") являются особенно многообещающими и превосходят по численности все другие устройства на рынке. Эти системы включают в себя смартфон и недорогой шлем-держатель, в который вставляется смартфон. Сам шлем-держатель, как правило, не содержит каких-либо дополнительных датчиков или какого-либо иного электронного оборудования. Благодаря этому, комплекты мобильной BP являются значительно менее дорогостоящими и менее сложными, чем автономные системы (при условии, что мы не учитываем стоимость смартфона). Основным недостатком систем мобильной BP по сравнению с системами BP более высокого класса является отсутствие отслеживания положения.Virtual reality (BP) systems are currently under active development. BP systems based on smartphones (the so-called “mobile BP”) are particularly promising and outnumber all other devices on the market. These systems include a smartphone and an inexpensive helmet-holder, which is inserted into the smartphone. Helmet holder itself, as a rule, does not contain any additional sensors or any other electronic equipment. Because of this, mobile BP kits are significantly less expensive and less complex than stand-alone systems (provided that we do not take into account the cost of a smartphone). The main disadvantage of mobile BP systems compared to higher class BP systems is the lack of position tracking.
Если говорить более подробно, то во время сеанса BP системы мобильной BP, как правило, не могут отслеживать абсолютное положение шлема-держателя и оценивают лишь его угловую ориентацию (что известно как отслеживание с 3 степенями свободы), В отличие от этого, в системах более высокого класса, таких как НТС Vive или Oculus Rift, используются внешние камеры для отслеживания положения шлема, и, таким образом, эти системы могут выполнять отслеживание перемещения тела (т.е. шлема) в трехмерном пространстве с 6 степенями свободы. Отслеживание с 6 степенями свободы обеспечивает гораздо более полноценное и глубокое погружение в виртуальную реальность, поскольку позволяет пользователю естественно перемещаться в виртуальном пространстве. В результате виртуальная картина, воспринимаемая пользователем, изменяется при изменении абсолютного положения головы так, как того ожидает мозг пользователя.In more detail, during a BP session, a mobile BP system, as a rule, cannot track the absolute position of the helmet-holder and only evaluate its angular orientation (what is known as tracking with 3 degrees of freedom). In contrast, in systems more High-end cameras, such as the HTC Vive or Oculus Rift, use external cameras to track the position of the helmet, and thus these systems can track the movement of the body (i.e. the helmet) in 3D with 6 degrees of freedom. Tracking with 6 degrees of freedom provides a much more complete and deep immersion into virtual reality, because it allows the user to naturally navigate in the virtual space. As a result, the virtual picture perceived by the user changes when the absolute position of the head changes as expected by the user's brain.
Для реализации отслеживания с 6 степенями свободы в мобильной BP был разработан ряд экспериментальных комплектов мобильной BP, которые решали задачу использования камеры смартфона для оценки положения смартфона (и шлема-держателя, в который он вставлен) с шестью степенями свободы. Такая задача (известная как оценка позы в области машинного зрения, и самопозиционирование (англ. inside-out tracking) в области BP) является сложной задачей, особенно если ее необходимо выполнить с высокой частотой кадров и с помощью мобильного устройства. Существующие технологии в данной области делятся на две группы: безмаркерные технологии, в которых не предполагается какое-либо предварительное знание об окружающей среде, в которой пользователь осуществляет навигацию, и маркерные технологии, в которых некоторые визуальные маркеры определенного, известного заранее внешнего вида определенным образом внедряют в окружающую среду.To implement tracking with 6 degrees of freedom in mobile BP, a series of experimental sets of mobile BP were developed that solved the problem of using a smartphone camera to assess the position of a smartphone (and a helmet-holder into which it was inserted) with six degrees of freedom. Such a task (known as assessing posture in the field of computer vision, and self-positioning (in the area of BP) in the area of BP) is a difficult task, especially if it needs to be performed with a high frame rate and using a mobile device. Existing technologies in this area are divided into two groups: markerless technologies, which do not assume any prior knowledge of the environment in which the user navigates, and marker technologies, in which some visual markers of a certain, known in advance appearance are implemented in a certain way. into the environment.
Из двух вышеуказанных групп маркерные методы обеспечивают более высокую надежность, более высокую точность, меньшую задержку и более низкую загрузку процессора. Однако это достигается за счет необходимости внедрения маркеров в окружающую среду так, чтобы в поле обзора камеры всегда располагалось достаточное количество маркеров. Кроме того, для того чтобы маркерное отслеживание было возможным, часто требуется сложная процедура калибровки. В целом, необходимость внедрения в среду маркеров и их калибровки является слишком большим препятствием, и поэтому маркерное отслеживание положения обычно считается неконкурентно-способным, и большинство усилий разработчиков направлено на создание безмаркерных решений.Of the above two groups, marker methods provide higher reliability, higher accuracy, lower latency and lower processor utilization. However, this is achieved due to the need to introduce markers into the environment so that a sufficient number of markers are always located in the camera's field of view. In addition, in order for marker tracking to be possible, a complex calibration procedure is often required. In general, the need to introduce markers and their calibration into the environment is too great an obstacle, and therefore marker position tracking is usually considered noncompetitive, and most of the developers' efforts are aimed at creating marker-free solutions.
Таким образом, существует необходимость создания маркерной системы BP, которая позволяла бы максимально легко помещать маркеры в окружающее пространство, и процедура калибровки в которой могла бы выполняться максимально простым образом.Thus, there is a need to create a BP marker system that would allow the markers to be placed as easily as possible into the surrounding space, and a calibration procedure in which could be performed as simply as possible.
Раскрытие изобретенияDISCLOSURE OF INVENTION
Для достижения вышеуказанной цели предлагается маркерная система самопозиционирования для виртуальной реальности. Система включает в себя: установленную на пользователе камеру и напольный маркер.To achieve the above goal, a self-positioning marker system for virtual reality is proposed. The system includes: a user-installed camera and a floor marker.
В одном из возможных вариантов осуществления напольный маркер может быть встроен в раскатываемый ковер.In one of the possible embodiments, the floor marker may be embedded in the rolled carpet.
В другом варианте осуществления напольный маркер может обозначать зону, безопасную для перемещения пользователя.In another embodiment, the floor marker may indicate a safe area for user movement.
Еще в одном варианте осуществления перед камерой может быть установлено наклонное зеркало так, что поле обзора камеры перенаправлено вниз.In another embodiment, an inclined mirror can be installed in front of the camera so that the camera's field of view is redirected downwards.
Кроме того, в качестве камеры может использоваться камера смартфона.In addition, a smartphone camera can be used as a camera.
Еще в одном варианте осуществления наклонное зеркало может быть прикреплено к шлему-держателю или смартфону.In yet another embodiment, the inclined mirror may be attached to a helmet holder or a smartphone.
В одном из возможных вариантов осуществления маркер может представлять собой сетку темных квадратов на белом фоне (или наоборот).In one possible embodiment, the marker may be a grid of dark squares on a white background (or vice versa).
Еще в одном возможном варианте осуществления система отслеживает положения рук пользователя и воспроизводит положения рук пользователя в виртуальной реальности. Кроме того, камера может распознавать жесты с помощью камеры, причем распознанные жесты используются в качестве жест-интерфейса.In yet another possible embodiment, the system tracks the user's hand positions and reproduces the user's hands positions in virtual reality. In addition, the camera can recognize gestures using the camera, and the recognized gestures are used as a gesture interface.
Краткое описание чертежейBrief Description of the Drawings
Фиг. 1 - общий вид системы мобильной BP в одном из возможных вариантов реализации;FIG. 1 - a general view of the mobile BP system in one of the possible implementation options;
Фиг. 2 - вид напольного маркера со стороны камеры системы, показанной на Фиг. 1, после отражения от наклонного зеркала.FIG. 2 is a view of the floor marker on the camera side of the system shown in FIG. 1, after reflection from a tilted mirror.
Осуществление изобретенияThe implementation of the invention
Новая маркерная система отслеживания положения, заявленная в настоящем документе, лишена основных недостатков, свойственных другим маркерным решениям в области виртуальной реальности, за счет использования напольного маркера (называемого "волшебным ковром"). Данный маркер может быть легко "развернут" просто путем раскатывания ковра. Во время сеанса BP пользователь ходит по ковру, и в реальном мире ковер ограничивает "безопасную" область, на которой не должны находиться никакие препятствия во время сеанса BP. При перемещении пользователя камера смартфона ориентирована горизонтально, то есть приблизительно параллельно поверхности пола, и, следовательно, маркер (ковер) не может попасть в ее поле обзора. Поэтому перед камерой смартфона может быть установлено наклонное зеркало, чтобы поле обзора камеры перенаправлялось вниз. На практике зеркало может крепиться к смартфону или шлему-держателю. После такой модификации в поле зрения камеры уже попадают элементы маркера при условии, что пользователь находится на ковре и его взгляд направлен приблизительно горизонтально.The new marker position tracking system, stated in this document, is devoid of the main drawbacks of other marker solutions in the field of virtual reality through the use of a floor marker (called a "magic carpet"). This marker can be easily "deployed" simply by rolling the carpet. During a BP session, the user walks around the carpet, and in the real world, the carpet restricts a “safe” area that should not contain any obstacles during a BP session. When the user moves the camera of the smartphone is oriented horizontally, that is, approximately parallel to the floor surface, and, therefore, the marker (carpet) cannot get into its field of view. Therefore, an inclined mirror can be installed in front of the smartphone’s camera so that the camera’s field of view is redirected downwards. In practice, the mirror can be attached to the smartphone or helmet-holder. After such a modification, the marker elements are already in the field of view of the camera, provided that the user is on the carpet and his gaze is approximately horizontal.
Как показано на Фиг. 1, в одном из возможных вариантов осуществления система содержит следующие аппаратные компоненты: напольный маркер 1 ("волшебный ковер"), смартфон 2, шлем-держатель BP 3, в который вставлен указанный смартфон, и наклонное зеркало 4, в данном варианте осуществления прикрепленное к смартфону перед камерой смартфона. Когда пользователь смотрит в горизонтальном направлении, маркер попадает в поле обзора камеры благодаря отражению от прикрепленного зеркала.As shown in FIG. 1, in one of the possible embodiments, the system contains the following hardware components: floor marker 1 (magic carpet),
Затем для оценки положения камеры относительно маркера могут использоваться алгоритмы компьютерного зрения. Это может быть осуществлено эффективно (быстро и надежно) при условии, что внешний вид маркера оптимизирован для определения местоположения и идентификации элементов маркера. Оценка положения с помощью маркерной технологии является хорошо изученной областью, и имеются популярные маркерные семейства с соответствующими отслеживающими алгоритмами (например, AprilTags или ArucoMarkers).Then, computer vision algorithms can be used to estimate the position of the camera relative to the marker. This can be done efficiently (quickly and reliably) provided that the appearance of the marker is optimized for locating and identifying the elements of the marker. Position assessment using marker technology is a well-studied area, and there are popular marker families with corresponding tracking algorithms (for example, AprilTags or ArucoMarkers).
Как показано на Фиг. 2, камера смартфона может видеть напольный маркер 1, отраженный от наклонного зеркала. В одном из возможных вариантов осуществления напольный маркер может состоять из хорошо различимых квадратных элементов. Обучаемая маркерная технология, описанная в работе Гринчук и др. NIPS2016, может быть использована для создания эстетически привлекательных и различимых сеточных элементов. Положение рамки камеры смартфона привязывается к маркеру путем обнаружения темных квадратов и сопоставления их с элементами маркера.As shown in FIG. 2, the camera of the smartphone can see the
В процессе самопозиционирования адаптивная пороговая обработка с последующим анализом соответствующих компонентов выявляет темные области четырехугольной формы. Каждая темная область геометрически преобразуется в квадрат, и затем ее внешний вид согласуется с квадратными элементами, которые должны иметься на маркере, посредством простого попиксельного сравнения. Это позволяет установить соответствие между обнаруженными областями и элементами маркера.In the process of self-positioning, adaptive threshold processing followed by analysis of the corresponding components reveals dark areas of a quadrangular shape. Each dark region is geometrically transformed into a square, and then its appearance is matched with square elements, which should be present on the marker, by means of a simple pixel-by-pixel comparison. This allows you to establish a correspondence between the detected areas and marker elements.
Затем используются стандартные алгоритмы оценки положения для определения положения камеры относительно "волшебного ковра". Если говорить более подробно, алгоритм оценки положения обеспечивает оценку положения с шестью степенями свободы виртуальной камеры, полученной посредством отражения положения реальной камеры смартфона в установленном зеркале. Поскольку положение зеркала относительно камеры смартфона известно, виртуальную камеру можно отразить обратно и можно оценить положение реальной камеры относительно маркера (ковра), что и обеспечивает отслеживание положения.Then, standard position estimation algorithms are used to determine the position of the camera relative to the “magic carpet”. In more detail, the position estimation algorithm provides an estimate of the position with the six degrees of freedom of the virtual camera, obtained by reflecting the position of the real camera of the smartphone in the installed mirror. Since the position of the mirror relative to the camera of the smartphone is known, the virtual camera can be reflected back and the position of the real camera relative to the marker (carpet) can be estimated, which ensures position tracking.
Как показано но Фиг. 2, в поле обзора камеры ясно видно положение рук пользователя, которое может быть воспроизведено в виртуальной реальности или использовано для реализации жестового интерфейса. Поскольку руки пользователя попадают в поле обзора камеры большую часть времени, отражение может использоваться для отслеживания положений рук пользователя и воспроизведения их в виртуальной реальности. Как известно, это значительно усиливает ощущение погружения в виртуальную реальность. Кроме того, поток изображения от камеры может использоваться для обнаружения определенных жестов, которые могут использоваться в рамках жестового интерфейса. До настоящего момента не существовало систем, которые могли бы осуществлять отслеживание рук без использования внешнего устройства формирования изображения. Следует отметить, что такие интерфейсы могут быть разработаны и при отсутствии напольного маркера (ковра).As shown in FIG. 2, in the field of view of the camera you can clearly see the position of the user's hands, which can be reproduced in virtual reality or used to implement the gestural interface. Since the user's hands get into the camera's field of view most of the time, reflection can be used to track the user's hands and play them in virtual reality. As you know, this greatly enhances the feeling of immersion in virtual reality. In addition, the flow of images from the camera can be used to detect certain gestures that can be used within the gestures interface. Until now, there were no systems that could track hands without using an external imaging device. It should be noted that such interfaces can be developed even in the absence of a floor marker (carpet).
В целом, предлагаемая система включает в себя следующие аппаратные компоненты: смартфон, шлем-держатель с наклонным зеркалом (как вариант, зеркало может быть прикреплено непосредственно к смартфону), и маркер в виде напольного ковра. В плане программного обеспечения в системе используется способ оценки положения, обеспечивающий возможность обнаружения и установления соответствия между пикселями отраженного изображения и элементами маркера, с последующим применением оценки положения для определения положения камеры с 6 степенями свободы.In general, the proposed system includes the following hardware components: a smartphone, a helmet-holder with an inclined mirror (as an option, the mirror can be attached directly to the smartphone), and a marker in the form of a floor carpet. In terms of software, the system uses a position estimation method that provides the ability to detect and establish correspondence between the pixels of the reflected image and marker elements, followed by applying a position estimate to determine the position of the camera with 6 degrees of freedom.
Маркерная система мобильной BP согласно настоящему изобретению обеспечивает достижение следующих технических результатов:The mobile BP marker system of the present invention achieves the following technical results:
- Система согласно настоящему изобретению обладает преимуществами маркерных технических решений. Зная маркер заранее, можно использовать более простые, эффективные, точные и надежные алгоритмы оценки положения для определения положения по сравнению с безмаркерными технологиями, в которых необходимо построить карту окружающей среды на лету (так называемые алгоритмы одновременного определения местоположения и картографирования (SLAM)).- The system according to the present invention has the advantages of marker technical solutions. Knowing the marker in advance, you can use simpler, efficient, accurate and reliable position estimation algorithms to determine the position compared to markerless technologies in which you need to build an environment map on the fly (so-called simultaneous positioning and mapping algorithms (SLAM)).
- Данная система может быть легко "развернута" просто путем раскатывания ковра на полу. Дополнительной процедуры калибровки после этого не требуется.- This system can be easily “deployed” simply by rolling the carpet on the floor. An additional calibration procedure is then not required.
- Система обеспечивает отслеживание положения до тех пор, пока пользователь остается на ковре. В случае выхода пользователя за пределы ковра стандартный интерфейс BP может сигнализировать пользователю о том, что он вышел за пределы ковра, как это делается в системах BP более высокого класса, в которых пользователь может ходить.- The system provides position tracking as long as the user stays on the carpet. If the user leaves the carpet, the standard BP interface can signal the user that he has gone beyond the carpet, as is done in higher-grade BP systems in which the user can walk.
- Перед началом сеанса BP ковер естественным образом ограничивает область, которая должна быть освобождена от каких-либо предметов, чтобы избежать столкновений во время сеанса. Такой способности четко ограничивать "критическую зону" не имеется в других системах BP (даже в системах BP высших классов, в которых используется технология "отслеживания извне").- Before starting a BP session, a carpet naturally limits the area that must be removed from any objects in order to avoid collisions during the session. This ability to clearly limit the "critical zone" is not available in other BP systems (even in higher grade BP systems that use outside tracking technology).
- Система согласно настоящему изобретению позволяет следить за положением тела пользователя с помощью камеры смартфона. Ее можно использовать для усиления погружения в виртуальную реальность с грубой репрезентацией тела пользователя, обеспечивая, таким образом, усиление ощущения погружения. Кроме того, это может обеспечивать реализацию жестового интерфейса без дополнительных контроллеров.- The system according to the present invention allows to monitor the position of the user's body with the help of a smartphone camera. It can be used to enhance immersion into virtual reality with a rough representation of the user's body, thus providing an enhanced sense of immersion. In addition, it can provide the implementation of the gesture interface without additional controllers.
- Система расположена полностью внутри шлема и не требует каких-либо проводов для соединения с другими устройствами, так что пользователь может безопасно и свободно перемещаться по ковру.- The system is located completely inside the helmet and does not require any wires to connect with other devices, so that the user can safely and freely move around the carpet.
Claims (12)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017125876A RU2686029C2 (en) | 2017-07-19 | 2017-07-19 | Virtual reality system based on smartphone and inclined mirror |
| EA201992443A EA038022B1 (en) | 2017-07-19 | 2018-07-10 | Virtual reality system based on a smartphone and a slanted mirror |
| PCT/RU2018/000452 WO2019017818A1 (en) | 2017-07-19 | 2018-07-10 | Virtual reality system based on a smartphone and a slanted mirror |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017125876A RU2686029C2 (en) | 2017-07-19 | 2017-07-19 | Virtual reality system based on smartphone and inclined mirror |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2017125876A RU2017125876A (en) | 2019-01-22 |
| RU2017125876A3 RU2017125876A3 (en) | 2019-01-22 |
| RU2686029C2 true RU2686029C2 (en) | 2019-04-23 |
Family
ID=63490656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017125876A RU2686029C2 (en) | 2017-07-19 | 2017-07-19 | Virtual reality system based on smartphone and inclined mirror |
Country Status (3)
| Country | Link |
|---|---|
| EA (1) | EA038022B1 (en) |
| RU (1) | RU2686029C2 (en) |
| WO (1) | WO2019017818A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080252746A1 (en) * | 2007-04-13 | 2008-10-16 | Newton Eliot Mack | Method and apparatus for a hybrid wide area tracking system |
| RU2497566C2 (en) * | 2008-03-07 | 2013-11-10 | Вечуалли Лив Лимитид | Interactive media-system for simulation of real events |
| US20140161358A1 (en) * | 2012-12-10 | 2014-06-12 | Symbol Technologies, Inc. | Orientation compensation using a mobile device camera and a reference marker |
| EP3136724A1 (en) * | 2015-08-27 | 2017-03-01 | Canon Kabushiki Kaisha | Wearable display apparatus, information processing apparatus, and control method therefor |
| RU2617557C1 (en) * | 2015-11-18 | 2017-04-25 | Виталий Витальевич Аверьянов | Method of exposure to virtual objects of additional reality |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102294945B1 (en) * | 2014-06-11 | 2021-08-30 | 삼성전자주식회사 | Function controlling method and electronic device thereof |
| US20160343173A1 (en) * | 2015-05-20 | 2016-11-24 | Daqri, Llc | Acousto-optical display for augmented reality |
| US20170148214A1 (en) * | 2015-07-17 | 2017-05-25 | Ivd Mining | Virtual reality training |
-
2017
- 2017-07-19 RU RU2017125876A patent/RU2686029C2/en active
-
2018
- 2018-07-10 EA EA201992443A patent/EA038022B1/en unknown
- 2018-07-10 WO PCT/RU2018/000452 patent/WO2019017818A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080252746A1 (en) * | 2007-04-13 | 2008-10-16 | Newton Eliot Mack | Method and apparatus for a hybrid wide area tracking system |
| RU2497566C2 (en) * | 2008-03-07 | 2013-11-10 | Вечуалли Лив Лимитид | Interactive media-system for simulation of real events |
| US20140161358A1 (en) * | 2012-12-10 | 2014-06-12 | Symbol Technologies, Inc. | Orientation compensation using a mobile device camera and a reference marker |
| EP3136724A1 (en) * | 2015-08-27 | 2017-03-01 | Canon Kabushiki Kaisha | Wearable display apparatus, information processing apparatus, and control method therefor |
| RU2617557C1 (en) * | 2015-11-18 | 2017-04-25 | Виталий Витальевич Аверьянов | Method of exposure to virtual objects of additional reality |
Also Published As
| Publication number | Publication date |
|---|---|
| EA038022B1 (en) | 2021-06-24 |
| RU2017125876A (en) | 2019-01-22 |
| RU2017125876A3 (en) | 2019-01-22 |
| EA201992443A1 (en) | 2020-02-18 |
| WO2019017818A1 (en) | 2019-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11796309B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| US10740924B2 (en) | Tracking pose of handheld object | |
| CN110915208B (en) | Virtual reality environment boundary using depth sensor | |
| US20190043259A1 (en) | Depth sensor aided estimation of virtual reality environment boundaries | |
| JP6258953B2 (en) | Fast initialization for monocular visual SLAM | |
| US8660362B2 (en) | Combined depth filtering and super resolution | |
| US10901215B1 (en) | Systems and methods for providing a mobile artificial reality user with environmental awareness | |
| US8866809B2 (en) | System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface | |
| US9846942B2 (en) | Method and system for determining a pose of camera | |
| JP2017531221A (en) | Countering stumbling when immersed in a virtual reality environment | |
| JPWO2015122108A1 (en) | Information processing apparatus, information processing method, and program | |
| EP2992507A1 (en) | Methods for facilitating computer vision application initialization | |
| TW201508552A (en) | Eye tracking via depth camera | |
| KR20150130483A (en) | In situ creation of planar natural feature targets | |
| JP2018524684A (en) | Intermediary reality | |
| CN105760809A (en) | Method and apparatus for head pose estimation | |
| JPWO2019171557A1 (en) | Image display system | |
| KR20160096392A (en) | Apparatus and Method for Intuitive Interaction | |
| KR20220122675A (en) | Joint Infrared and Visible Light Visual-Inertial Object Tracking | |
| CN105204646B (en) | A kind of wearable electronic equipment and information processing method | |
| JP7103354B2 (en) | Information processing equipment, information processing methods, and programs | |
| US11073902B1 (en) | Using skeletal position to predict virtual boundary activation | |
| CN110895433B (en) | Method and apparatus for user interaction in augmented reality | |
| RU2686029C2 (en) | Virtual reality system based on smartphone and inclined mirror | |
| US20230122636A1 (en) | Apparatus and method for localisation and mapping |