WO2020055281A1 - Способ и система для формирования изображений совмещенной реальности - Google Patents
Способ и система для формирования изображений совмещенной реальности Download PDFInfo
- Publication number
- WO2020055281A1 WO2020055281A1 PCT/RU2018/000595 RU2018000595W WO2020055281A1 WO 2020055281 A1 WO2020055281 A1 WO 2020055281A1 RU 2018000595 W RU2018000595 W RU 2018000595W WO 2020055281 A1 WO2020055281 A1 WO 2020055281A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- visualization device
- location
- virtual reality
- user
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
- G01S1/08—Systems for determining direction or position line
- G01S1/20—Systems for determining direction or position line using a comparison of transit time of synchronised signals transmitted from non-directional antennas or antenna systems spaced apart, i.e. path-difference systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/14—Determining absolute distances from a plurality of spaced points of known location
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/46—Indirect determination of position data
- G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Изобретение относится к средствам визуализации совмещенной реальности. Технический результат заключается в обеспечении точного формирования изображений совмещенной реальности. Определяют данные о местоположении устройства визуализации с помощью сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях. Определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации. Получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя; загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю. Совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности. Отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.
Description
СПОСОБ И СИСТЕМА ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ
СОВМЕЩЕННОЙ РЕАЛЬНОСТИ
Область техники, к которой относится изобретение.
Изобретение относится к области визуализации совмещенной реальности, в частности, к визуализации строительных объектов по чертежам в месте их будущей постройки.
Уровень техники.
Решения, направленные на предоставление пользователю изображений виртуальной реальности, находят применение в различных областях деятельности человека.
Существуют решения в области виртуальной реальности, в .которых посредством очков или шлема виртуальной реальности пользователю предоставляются лишь изображения из памяти компьютера.
Существуют решения в области дополненной реальности, в которых пользователь видит дополнительные изображения, накладываемые на изображения реального мира без привязки к географическому местоположению объектов реального мира.
Существуют решения в области совмещенной реальности, в которых изображения виртуальной реальности привязываются к географическим координатам реального мира, что дополнительно повышает реалистичность изображений виртуальной реальности и дает больше возможностей взаимодействия с ней.
Известно решение (US2014210947 (А1), опубл.31 июля 2014), в котором описывается процесс формирования дополненной реальности с использованием координатной геометрии. Варианты осуществления этого изобретения включают способ, систему и мобильное устройство, которые включают технологию дополненной реальности в наземную съемку, 3D лазерное сканирование и процессы цифрового моделирования. Используя технологию дополненной реальности, мобильное устройство может отображать изображение дополненной реальности, представляющее реальный вид физической структуры в реальной среде, и трехмерную цифровую модель непостроенного элемента дизайна, наложенного поверх физической структуры в ее предполагаемом месте постройки. В одном варианте осуществления маркер может быть размещен в заданном наборе координат на или вокруг интересующего места, определяемого с помощью геодезического оборудования, так чтобы трехмерная цифровая модель непостроенногоэлемента дизайна могла быть визуализирована в геометрически правильной ориентации относительно физической структуры.
Варианты осуществления этого решения могут также применяться к уменьшенному трехмерному напечатанному объекту, представляющему физическую структуру, если посещение места проекта невозможно.
Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для ориентации устройства формирования дополненного изображения в пространстве.
Известно решение (US2014270477 (А1) опубл. 18 сентября 2014), в котором описываются системы и способы отображения трехмерной модели из фотограммметрического сканирования. В одном из вариантов предлагается компьютерно-реализованный способ для отображения трехмерной (3D) модели из фотограметрического сканирования. Изображение объекта и маркер сканирования могут быть получены в первом месте. Может быть определена взаимосвязь между изображением объекта и изображением маркера сканирования в первом местоположении. Геометрическое свойство объекта может быть определено на основе соотношения между изображением объекта и изображением маркера сканирования. 3 D-модель объекта может быть сгенерирована на основе определенного геометрического свойства объекта. Трехмерная модель объекта может отображаться для масштабирования в среде дополненной реальности во втором местоположении на основе маркера сканирования во втором местоположении.
Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для формирования дополненного изображения.
Известно решение (US2016104323 (А1) опубл. 14 апреля 2016), в котором описываются устройство дляотображения изображения и способ для отображения изображения. Согласно одному варианту осуществления устройство для отображения изображения включает в себя модуль сбора данных и модуль обработки отображения. Модуль сбора данных сконфигурирован для получения принятого изображения, которое получено камерой, и которое включает в себя оптический код распознавания, представляющий идентификационную информацию, посредством формирования множества элементов в форме линии. Модуль обработки отображения сконфигурирован для наложения и отображения изображения трехмерного объекта, соответствующего идентификационной информации, на полученном изображении. Ориентация изображения трехмерного объекта, наложенного и отображаемого на снятом изображении, определяется на основе ориентации кода оптического распознавания на снятом изображении и наклона камеры.
Однако в данном решении для построения изображения необходимо размещать идентификационную информацию.
Раскрытие изобретения.
В одном аспекте изобретения раскрыт способ для формирования изображений совмещенной реальности, содержащий этапы, на которых:
определяют данные о местоположении устройства визуализации с помощью
I
сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях;
определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации;
получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя;
загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности;
отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.
В дополнительных аспектах раскрыто, что устройство визуализации представляет собой очки или шлем виртуальной реальности; камера устройства визуализации является стереоскопической камерой; блок обработки является одним из: портативного ПК, мобильного телефона, специализированной микросхемы, процессора, контроллера; объектом виртуальной реальности, который необходимо отобразить пользователю, является по меньшей мере одно из строительного объекта, музея, зоопарка, парка аттракционов; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы, причем если интенсивность сигналов сверхширокополосных передатчиков
I
выше заданного порога интенсивности, то местоположение орределяют с помощью сигналов сверхширокополосных передатчиков, а если интенсивность ниже заданного порога интенсивности, то местоположение определяют с помощью инерциальной
навигационной системы; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы на основе гироскопов и акселерометров, причем порог интенсивности для радиосигналов уменьшается в течение времени.
В другом аспекте изобретения раскрыта система для формирования изображений совмещенной реальности, содержащая:
- по меньшей мере три передатчика, расположенных в заранее заданных местоположениях реального пространства, выполненных с возможностью передавать радиосигналы;
- устройство визуализации, выполненное с возможностью предоставления пользователю изображений совмещенной реальности, причем устройство визуализации содержит
приемник сигналов передатчиков, выполненный с возможностью принимать радиосигналы от по меньшей мере трех передатчиков и методом трилатерации, или триангуляции, или аналогичным образом определять свое местоположение в реальном пространстве,
камеру, выполненную с возможностью получать данные изображения реального окружающего пространства,
инерциальную навигационную систему, выполненную с возможностью получать данные об ориентации устройства визуализации;
блок отображения, выполненный с возможностью предоставлять пользователю изображения совмещенной реальности;
блок обработки на функциональной связи с блоком памяти, блоком отображения, камерой, приемником сигналов;
- блок памяти, выполненный с возможностью хранения данных об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
причем блок обработки выполнен с возможностью получать данные изображения реального окружающего пространства, получать данные об имеющем географическую привязку объекте виртуальной реальности и совмещать данные об объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности, и с возможностью
предоставлять данные совмещенной реальности блоку отображения устройства визуализации.
Основной задачей, решаемой заявленным изобретением, является точное формирование изображений совмещенной реальности на оснбвании определяемых координат устройства отображения, ориентации устройства отображения, данных о виртуальных объектах, хранящихся в памяти, изображений окружающей среды, полученных с камеры.
Сущность изобретения заключается в том, что устройство отображения определяет свое местоположение с помощью сверхширокополосных передатчиков, расположенных в известных местоположениях в реальном пространстве, определяет свою ориентацию в реальном пространстве с помощью инерциальной навигационной системы, передает эти данные в блок обработки, который на основании данных о местоположении и ориентации совмещает изображения имеющих географическую привязку с реальным пространством виртуальных объектов с изображениями реального пространства, передает совмещенные изображения в устройство отображения для предоставления пользователю изображений совмещенной реальности.
Технический результат, достигаемый решением, заключается в том, что обеспечивается качественное формирование изображений совмещенной реальности, в которой изображения реального пространства точно совмещаются с изображениями виртуальных объектов, привязанных к географическим координатам реального пространства.
Краткое описание чертежей.
Фиг.1 показывает схему определения местоположения пользователя.
Фиг.2 показывает блок-схему системы для формирования изображений совмещенной реальности.
Осуществление изобретения.
Для построения изображений совмещенной реальности необходимо определить местоположение пользователя, посредством определения местоположения шлема дополненной реальности, который он надел.
Определение местоположения шлема дополненной реальности возможно при помощи GPS, однако точность в таком случае может составлять около 6-8 метров, что недопустимо для большинства приложений.
Общим недостатком использования любой радионавигационной системы является то, что при определённых условиях сигнал может не доходить до приёмника, или
приходить со значительными искажениями или задержками. Например, практически невозможно определить своё точное местонахождение в глубине квартиры внутри железобетонного здания, в подвале или в тоннеле даже профессиональными геодезическими приёмниками. Так как рабочая частота GPS лежит в дециметровом диапазоне радиоволн, уровень сигнала от спутников может серьёзно снизиться под плотной листвой деревьев или из-за очень большой облачности. Нормальному приёму сигналов GPS могут повредить помехи от многих наземных радиоисточников, а также от магнитных бурь.
Кроме методов на основе GPS, существует ряд методов определения местоположения более подходящих для реализации в помещении, часть из которых представлена ниже:
Определение местоположения по сотовым сетям - точность оставляет желать лучшего даже в районах с высокой плотностью базовых станций.
Определение местоположения с помощью инерциальных систем, где используется модель движения человека: если мы знаем, где были, в какую сторону и как быстро двигались, то можно рассчитать, где мы оказались через некоторое время. Сейчас это достигается с помощью гироскопов, акселерометров, датчика Холла или иных подходящих средств.
Определение местоположения с помощью оптических систем, которые основаны на предварительном сканировании помещения, а потом по картинке, например, потолка с фронтальной камеры смартфона, возможно определение местоположения.
Определение местоположения с помощью магнитометрии - определения местоположения по магнитному полю с помощью компаса смартфона. Решение требует предварительной калибровки в помещении и сильно подвержено влиянию металла и магнитов.
Определение местоположения на основе трилатерации на базе Wi-Fi/Bluetooth передатчиков. Для реализации применяется распространённое оборудование, как для инфраструктуры, так и для определения местоположения. Также существует возможность использования уже развернутых Wi-Fi/Bluetooth сетей.
Радиокарта или“цифровые отпечатки” сигналов Wi-Fi/Bluetooth - местоположение вычисляется путем сравнения измеряемых в реальном времени мощностей сигнала от окружающих Wi-Fi/BLE точек с заранее измеренными значениями, привязанными к карте помещения.
Для повышения точности определения местоположения было предложено размещать в реальном пространстве, где предполагается формировать изображения
совмещенной реальности, станции, передающие радиосигналы (см. фиг.1). Используя радиосигналы этих станций, расположенных в заранее известных координатах, методом трилатерации можно с высокой точностью определять местоположение приемника. Для осуществления этого подхода необходимо по меньшей мере три передатчика, сигнал от которых уверенно принимается приемником.
В предложенном способе используется система радиолокации на основе сверхширокополосных сигналов для определения точного местоположения пользователя в реальном пространстве, а также инерциальная навигационная система для определения ориентации пользователя (система indoor-определения местоположения). В результате использования двух этих систем можно получить информацию о местоположении и ориентации пользователя в реальном пространстве, что позволяет разместить объекты виртуальной реальности, имеющие географическую привязку, с минимальной погрешностью, достаточной для использования последних в качестве ориентира при выполнении, например, строительных работ.
Также ниже рассматриваются варианты осуществления, в которых объединены возможности определения местоположения различных методов. Такие решения обеспечивают приемлемое качество для точного совмещения изображений реального мира и изображений виртуальной реальности.
В предложенном решении аппаратное и программное обеспечение для реализации функциональности по определению местоположения установлено в шлеме (или очках) виртуальной реальности, который также содержит по меньшей мере одну камеру (предпочтительно стереоскопическую камеру) для получения изображений реального мира вокруг пользователя, который надел шлем виртуальной реальности.
В целом аппаратное и программное обеспечение для определения местоположения является стандартным и широко известным в уровне техники, особенности, отличающие его от известных реализаций, будут описаны отдельно. В целом, шлем виртуальной реальности выполнен с возможностью определять свое местоположение при помощи блока GPS определения местоположения и/или блока indoor-определения местоположения, с возможностью получения изображений с камеры, передачи всех данных на блок обработки, с возможностью предоставления обработанных данных (данных совмещенной реальности) пользователю.
На фиг.2 показана система для формирования изображений совмещенной реальности, содержащая по меньшей мере три передатчика радиосигналов, блок обработки, блок памяти, устройство визуализации, содержащее приемник радиосигналов, камеру, навигационную систему.
Шлем виртуальной реальности передает на блок обработки данные о своем определенном местоположении, данные об ориентации и данные с камеры для формирования блоком обработки данных совмещенной реальности, посредством совмещения данных реального мира с камеры и имеющих географическую привязку данных виртуальных объектов из памяти.
Блоком обработки может быть сервер, компьютер, ноутбук или любое иное средство, функциональность которого позволяет принимать от шлема виртуальной реальности данные, обрабатывать их, совмещать с сохраненными изображениями виртуальной реальности и предоставлять для просмотра пользователю посредством дисплея шлема виртуальной реальности, в том числе портативный ПК, планшет, мобильный телефон, специализированная микросхема, процессор, контроллер. В некоторых вариантах блок обработки может быть конструктивно единым со шлемом блоком или может быть встроен в шлем.
Блок обработки имеет возможность считывать из блока памяти данные о визуализируемых объектах, в предпочтительном варианте осуществления данные о строительном объекте, которые могут быть представлены в формате CAD (система автоматического проектирования). Эти данные имеют географическую привязку, поэтому блоку обработки необходимы данные о местоположении пользователя, чтобы точно совместить данные о реальном мире, получаемые с камеры, и данные о. виртуальной реальности, хранящиеся в памяти. Чем точнее будет определено местоположение и ориентация пользователя, тем точнее данные будут совмещены друг с другом.
Блок памяти может быть как внутренним, так и внешним бдоком по отношению к блоку обработки. Сам блок обработки при этом может быть встроен в шлем виртуальной реальности, а может представлять собой отдельный блок, присоединяемый с возможностью связи к шлему виртуальной реальности.
Пользователь, наблюдающий совмещенную реальность, может наглядно увидеть будущую постройку в реальном местоположении, пройти по объекту, который еще планируется строить или уже частично строится, увидеть его с разных ракурсов. Таким объектом может быть, например, музей или здание, которое только в виртуальной реальности представляет собой музей. Также это может быть парк аттракционов как открытый, так и крытый.
Также пользователь может вносить изменения в объекты виртуальной реальности, для этого на руку пользователя устанавливают маркеры, которые считывает камера, в результате чего пользователю предоставляется графическое меню, с помощью
которого можно управлять отображаемой реальностью, например, строительной моделью. Возможна также организация виртуального совещания, когда изображения двух пользователей передаются на их шлемы виртуальной реальности и обеспечивается возможность общения с передачей не только звука, но и видеоизображения собеседника.
В одном варианте осуществления функционально систему для формирования изображений совмещенной реальности можно разделить на две функциональных
I
части:
1. Носимая часть.
2. Серверная часть.
Носимая часть представляет собой очки (шлем) виртуальной реальности и носимый компьютер.
Серверная часть состоит из сервера обработки и хранения данных о строительном объекте.
Носимая часть позволяет пользователю получать доступ к 3 D-модели здания, совмещённой с реальным изображением, что даёт увеличение эффективности использования всех доступных визуальных возможностей технологии BIM (информационное моделирование здания): просмотр и изменение параметров объекта «на ходу», совмещение ЗБ-модели с реально существующей реализацией.
Серверная часть предпочтительно представляет собой платформу для облачных вычислений с помощью математического алгоритма, сопоставляющего изображение реального мира с изображением, получаемым из эталонной ЗО-модели объекта. Для формирования эталонной ЗБ-модели объекта алгоритм собирает данные из разных источников: техническая документация (чертежи и спецификации), сметы и пр.
Результатом работы математического алгоритма является совмещение полученных данных в одном изображении с изображением реального вида. Совмещение может осуществлятьсякак в носимой части, так и в серверной, что не относится к сущности заявленного решения. Серверная часть в таком случае может хранить, например, данные о виртуальных объектах и только лишь передает их в носимую часть для дальнейшей обработки.
В одном из вариантов осуществления шлем виртуальной реальности отслеживает свое местоположение, используя либо сигналы от передатчиков радиосигналов базовых станций, либо используя данные системы indoor-определения местоположения .
В случае расположения в открытом пространстве, где нет препятствий для сигналов от передатчиков, точность определения местоположения на их основе является достаточно высокой, однако при нахождении в помещении точность ухудшается, что может привести к искажениям в отображении совмещенной реальности. Для уменьшения таких искажений было предложено оценивать точность определения местоположения с помощью радиосигналов, измеряя их интенсивность, если интенсивность радиосигналов (одного или средняя) ниже определенного порога, то местоположение определяется с помощью системы indoor-определения местоположения.
Как только интенсивность радиосигналов превышает порог, то местоположение снова определяется с помощьюрадиосигналов.
Если используются инерциальные системы, где используется модель движения человека, причем движение определяется с помощью гироскопов и акселерометров, то имеется эффект накопления ошибки, ошибка тем больше, чем длительнее осуществляется определение местоположения при помощи этой системы. Поэтому в варианте осуществления, в котором используется определение местоположения на основании указанной выше инерциальной системы и системы определения местоположения на основании радиосигналов от базовых станций, порог интенсивности для радиосигналов уменьшается в течейие времени, чтобы нейтрализовать эффект накопления ошибки.
В одном из вариантов осуществления вводится порог для длительности определения местоположения с помощью инерциальной системы, при превышении этого порога определение местоположения с помощью инерциальной системы считается неточным. Таким образом, при превышении порога интенсивности радиосигналов или превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется на основании радиосигналов, в ином случае определение местоположения осуществляется с помощью инерциальной системы.
В одном из вариантов осуществления при превышении порога длительности определения местоположения с помощью инерциальной, системы определение местоположения осуществляется совместно с помощью инерциальной системы и системы определения местоположения с помощью радиосигналов, причем определенное двумя системами местоположение усредняется.
Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в
описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.
I
Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.
Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электро-магнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.
Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.
В заявке не указано конкретное программное и аппаратное обеспечение для реализации блоков на чертежах, но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электрон I ных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.
Хотя отдельно не упомянуто, но очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие машиночитаемого носителя данных, примеры машиночитаемых носителей данных включают в себя постоянное
запоминающее устройство, оперативное запоминающее устройство, регистр, кэш- память, полупроводниковые запоминающие устройства, магни'гные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.
Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.
Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации раскрытые в различных частях описания могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.
Claims
1. Способ для формирования изображений совмещенной реальности, содержащий этапы, на которых:
определяют данные о местоположении устройства визуализации с помощью сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях;
определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации;
получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя;
загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности;
отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.
2. Способ по п.1, в котором устройство визуализации представляет собой очки или шлем виртуальной реальности.
3. Способ по п.1, в котором камера устройства визуализации является стереоскопической камерой. i
4. Способ по п.1, в котором блок обработки является одним из: портативного ПК, мобильного телефона, специализированной микросхемы, процессора, контроллера.
5. Способ по п.1, в котором объектом виртуальной реальности, который необходимо отобразить пользователю, является по меньшей мере одно из строительного объекта, музея, зоопарка, парка аттракционов.
6. Способ по п.1, в котором данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы, причем если интенсивность сигналов сверхширокополосных передатчиков выше заданного порога интенсивности, то местоположение определяют с помощью сигналов сверхширокополосных передатчиков, а если интенсивность ниже заданного порога
интенсивности, то местоположение определяют с помощью инерциальной навигационной системы.
7. Способ по п.6, в котором данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы на основе гироскопов и акселерометров, причем порог интенсивности для радиосигналов уменьшается в течение времени.
8. Система для формирования изображений совмещенной реальности, содержащая:
- по меньшей мере три передатчика, расположенных в заранее заданных местоположениях реального пространства, выполненных с возможностью передавать радиосигналы;
- устройство визуализации, выполненное с возможностью предоставления пользователю изображений совмещенной реальности, причем устройство визуализации содержит
приемник сигналов передатчиков, выполненный с возможностью принимать радиосигналы от по меньшей мере трех передатчиков и методом трилатерации определять свое местоположение в реальном пространстве,
камеру, выполненную с возможностью получать данные изображения реального окружающего пространства,
инерциальную навигационную систему, выполненную с возможностью получать данные об ориентации устройства визуализации;
блок отображения, выполненный с возможностью предоставлять пользователю изображения совмещенной реальности;
блок обработки на связи с блоком памяти, блоком отображения, камерой, приемником сигналов;
- блок памяти, выполненный с возможностью хранения данных об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
причем блок обработки выполнен с возможностью получать данные изображения реального окружающего пространства, получать данные об имеющем географическую привязку объекте виртуальной реальности и совмещать данные об объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности, и с возможностью
предоставлять данные совмещенной реальности блоку отображения устройства визуализации.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/484,578 US20200265644A1 (en) | 2018-09-12 | 2018-09-12 | Method and system for generating merged reality images |
| EA201990800A EA201990800A1 (ru) | 2018-09-12 | 2018-09-12 | Способ и система для формирования изображений совмещенной реальности |
| PCT/RU2018/000595 WO2020055281A1 (ru) | 2018-09-12 | 2018-09-12 | Способ и система для формирования изображений совмещенной реальности |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2018/000595 WO2020055281A1 (ru) | 2018-09-12 | 2018-09-12 | Способ и система для формирования изображений совмещенной реальности |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020055281A1 true WO2020055281A1 (ru) | 2020-03-19 |
Family
ID=69776667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2018/000595 WO2020055281A1 (ru) | 2018-09-12 | 2018-09-12 | Способ и система для формирования изображений совмещенной реальности |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200265644A1 (ru) |
| EA (1) | EA201990800A1 (ru) |
| WO (1) | WO2020055281A1 (ru) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11733684B2 (en) * | 2018-09-27 | 2023-08-22 | Hewlett-Packard Development Company, L.P. | Overlaying production data on rendered 3D printed object |
| US20220095123A1 (en) * | 2020-09-24 | 2022-03-24 | Apple Inc. | Connection assessment system |
| CN112528476B (zh) * | 2020-12-03 | 2023-02-28 | 华中师范大学 | 一种面向虚实融合实验的磁场可视化方法、系统及设备 |
| CN113630593A (zh) * | 2021-08-17 | 2021-11-09 | 宁波未知数字信息技术有限公司 | 一种多模态高精度全空间混合定位系统 |
| FR3129232B1 (fr) * | 2021-11-17 | 2023-11-03 | Drhm Investissements | Interface de navigation en environnement virtuel |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080267450A1 (en) * | 2005-06-14 | 2008-10-30 | Maki Sugimoto | Position Tracking Device, Position Tracking Method, Position Tracking Program and Mixed Reality Providing System |
| US20160026253A1 (en) * | 2014-03-11 | 2016-01-28 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US20160259404A1 (en) * | 2015-03-05 | 2016-09-08 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US20170004655A1 (en) * | 2013-04-29 | 2017-01-05 | Microsoft Technology Licensing, Llc | Mixed reality interactions |
| US9645394B2 (en) * | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| WO2017214040A1 (en) * | 2016-06-06 | 2017-12-14 | Warner Bros. Entertainment Inc. | Mixed reality system |
-
2018
- 2018-09-12 EA EA201990800A patent/EA201990800A1/ru unknown
- 2018-09-12 WO PCT/RU2018/000595 patent/WO2020055281A1/ru active Application Filing
- 2018-09-12 US US16/484,578 patent/US20200265644A1/en not_active Abandoned
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080267450A1 (en) * | 2005-06-14 | 2008-10-30 | Maki Sugimoto | Position Tracking Device, Position Tracking Method, Position Tracking Program and Mixed Reality Providing System |
| US9645394B2 (en) * | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| US20170004655A1 (en) * | 2013-04-29 | 2017-01-05 | Microsoft Technology Licensing, Llc | Mixed reality interactions |
| US20160026253A1 (en) * | 2014-03-11 | 2016-01-28 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US20160259404A1 (en) * | 2015-03-05 | 2016-09-08 | Magic Leap, Inc. | Systems and methods for augmented reality |
| WO2017214040A1 (en) * | 2016-06-06 | 2017-12-14 | Warner Bros. Entertainment Inc. | Mixed reality system |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200265644A1 (en) | 2020-08-20 |
| EA201990800A1 (ru) | 2020-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10354407B2 (en) | Camera for locating hidden objects | |
| WO2020055281A1 (ru) | Способ и система для формирования изображений совмещенной реальности | |
| CN105579811B (zh) | 用于外部混合照片制图的方法 | |
| KR101728123B1 (ko) | 지구 자기장을 이용한 동시 로컬리제이션 및 매핑 | |
| US9326105B2 (en) | Systems and methods for using three-dimensional location information to improve location services | |
| US20170256097A1 (en) | Local positioning system for augmented reality applications | |
| US9429438B2 (en) | Updating map data from camera images | |
| US11243288B2 (en) | Location error radius determination | |
| CA2762743C (en) | Updating map data from camera images | |
| KR102035388B1 (ko) | 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템 | |
| KR101663669B1 (ko) | 공간 예측 근사 및 방사 컨벌루션 | |
| KR20140012574A (ko) | 실내 위치 결정 시스템 및 실내 위치 결정 방법 | |
| JP6804806B2 (ja) | 測位精度情報算出装置及び測位精度情報算出方法 | |
| US11640679B2 (en) | Augmented or virtual reality calibration and alignment system and method | |
| RU2660631C1 (ru) | Способ и система для формирования изображений совмещенной реальности | |
| RU176382U1 (ru) | Блок сбора информации для устройства совмещенной реальности | |
| US11869159B2 (en) | High density 3D environment capture with guided mixed reality | |
| Hashimoto et al. | Outdoor navigation system by AR | |
| EP2569958B1 (en) | Method, computer program and apparatus for determining an object in sight | |
| KR20150107970A (ko) | 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템 | |
| CN113567920B (zh) | 一种地下空间的三维定位方法 | |
| RU2702495C1 (ru) | Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени | |
| Patias et al. | Robust pose estimation through visual/GNSS mixing | |
| Juri | Crowd sourced self beacon mapping with isolated signal aware bluetooth low energy positioning | |
| Scarmana | Mobile mapping in gps-denied areas: a hybrid prototype |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18933277 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/07/2021) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18933277 Country of ref document: EP Kind code of ref document: A1 |