RU2695053C1 - Способ и устройство для управления трехмерными объектами в виртуальном пространстве - Google Patents
Способ и устройство для управления трехмерными объектами в виртуальном пространстве Download PDFInfo
- Publication number
- RU2695053C1 RU2695053C1 RU2018133124A RU2018133124A RU2695053C1 RU 2695053 C1 RU2695053 C1 RU 2695053C1 RU 2018133124 A RU2018133124 A RU 2018133124A RU 2018133124 A RU2018133124 A RU 2018133124A RU 2695053 C1 RU2695053 C1 RU 2695053C1
- Authority
- RU
- Russia
- Prior art keywords
- scene
- manipulator
- coordinates
- user
- objects
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims 4
- 238000000926 separation method Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Изобретение относится к вычислительной технике. Технический результат – обеспечение отслеживания пространственных манипуляторов перед экраном отображения объектов 3D-сцены. Способ управления трехмерными объектами в виртуальном пространстве содержит: получение 3D-координат глаз пользователя с помощью устройства отслеживания; получение 3D-координат и угловых параметров манипулятора с помощью устройства отслеживания, расположенного в каждом манипуляторе; определение действий, которые следует выполнить с объектом 3D-сцены, путем определения воздействия на органы управления манипулятора; построение карты глубины 3D-сцены с учетом 3D-координат глаз пользователя; построение 3D-луча от каждого манипулятора и определение ближайшего к пользователю объекта 3D-сцены, пересекаемого 3D-лучом; построение 3D-сцены с учетом информации о ближайших к пользователю объектах 3D-сцены, пересекаемых 3D-лучами с обеспечением эффекта параллакса движения и/или эффекта бинокулярного параллакса; вывод изображения 3D-сцены в стереоскопическом формате. 2 н. и 7 з.п. ф-лы, 5 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Техническое решение относится к области вычислительной техники, в частности к способам человеко-компьютерного взаимодействия (англ. human-computer interaction, HCI) и может применяться в системах виртуальной и дополненной реальности (AR/VR) для управления виртуальными объектами.
УРОВЕНЬ ТЕХНИКИ
Трекинг положения - одна из базовых технологий AR/VR, лежащая в основе взаимодействия человека с виртуальным миром. Полная информация (6 степеней свободы, англ. 6 Degrees of Freedom, 6DoF) о положении пользователя и элементов управления складывается из физических координат объекта в пространстве и из углов наклона, задающих ориентацию объекта.
При этом для эффективного и интуитивного взаимодействия человека с виртуальным миром следует решать в комплексе задачи по реалистичному отображению объектов 3D-сцены в пространстве перед пользователем и по интуитивному управлению объектами, отображаемых не в плоскости, а в 3D-пространстве. Ситуация осложняется, когда нужно построить коллаборативную среду, где необходимо обеспечить взаимодействие нескольких пользователей в едином пространстве.
В последнее время активно развиваются технологии отображения для систем виртуальной и дополненной реальности: стереоскопические 3D-экраны, шлемы виртуальной реальности, шлемы дополненной реальности. Для обеспечения реалистичности трехмерного изображения одновременно используют эффекты бинокулярного параллакса и параллакса движения. Для получения эффекта параллакса движения необходимо реализовать изменение изображения на экране в соответствии с изменением положения наблюдателя: в каждом кадре на поверхность экрана дисплея должна выводиться проекция 3D-сцены, как она видна из текущей точки положения глаз зрителя.
При этом вопрос интуитивного управления объектами, отображаемыми в 3D-пространстве, во многом остается открытым. Очевидно, что традиционные манипуляторы типа мышь или клавиатура, позволяющие эффективно управлять объектами на плоскости, в случае с пространственной манипуляцией объектами 3D-сцены неэффективны. Хотя производители шлемов виртуальной/дополненной реальности в комплект поставки своих систем включают специализированные манипуляторы, данные манипуляторы, как правило, предназначены для индивидуальной работы, а не для коллаборативной среды. Так, если несколько таких манипуляторов окажутся в одном пространстве, между ними могут возникнуть коллизии, что порождает задачу идентификации манипуляторов в многопользовательской системе. Кроме того, поскольку пользователи шлемов виртуальной реальности отделены от реального мира, они не видят друг друга, и для построения коллаборативной среды необходимо обеспечить сетевое взаимодействие между шлемами и дорисовывать аватары других пользователей.
Одним из более эффективных подходов для построения коллаборативной среды, относительно шлемов виртуальной реальности, являются экраны смешанной реальности, на которых виртуальные объекты дорисовываются в пространстве между пользователями и экраном. В таких системах пользователи помимо виртуальных объектов видят окружающий мир и друг друга, что упрощает взаимодействие.
Авторами изобретения разработан способ отслеживания множества пространственных манипуляторов перед экраном отображения объектов 3D-сцены с миллиметровой точностью, при этом добавление дополнительных манипуляторов или пользователей системы не усложняет конструкцию манипуляторов и не приводит к существенному снижению производительности системы. Для отслеживания положения глаз пользователей в пространстве применим тот же способ отслеживания, что и для отслеживания манипуляторов.
Из патента US9529454B1 известен способ управления объектами 3D-сценами. Данное решение предполагает отслеживание жестов рук пользователя. Подобное решение является довольно интуитивным для пользователя, но не обеспечивает высокой точности отслеживания, что делает его неэффективным при работе с большим количеством мелких объектов 3D-сцены. Указание на многопользовательский режим и решение задачи идентификации рук конкретных пользователей при многопользовательском режиме в патенте отсутствует.
Из патента US20120162384A1 известен способ построения коллаборативной среды с использованием экранов смешанной реальности. Данное решение предполагает наличие отдельного экрана у каждого пользователя коллаборативной среды, что усложняет взаимодействие между ними и приводит к возникновению задержек при сетевом взаимодействии пользователей.
Из патента US9829996B2 известен способ и устройство управления объектами 3D-сцены при помощи пространственного стилуса. Данное решение предполагает отслеживание стилуса относительно экрана отображения 3D-сцены. При этом патент не затрагивает вопросов реалистичного отображения объектов 3D-сцены с задействованием эффекта параллакса движения. Указание на многопользовательский режим и наличие нескольких манипуляторов в патенте отсутствует.
Из патента US20130154913A1 известен способ устройство отслеживания взгляда и жестов пользователя при отображении объектов 3D-сцены. Данное решение предполагает отслеживание взгляда пользователя с помощью датчиков, размещенных на голове пользователя. Указание на многопользовательский режим и решение задачи идентификации рук конкретных пользователей при многопользовательском режиме в патенте отсутствует.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Технический результат, обеспечиваемый заявленным техническим решением, заключается в отслеживании множества пространственных манипуляторов перед экраном отображения объектов 3D-сцены, при этом добавление дополнительных манипуляторов или пользователей системы не усложняет конструкцию манипуляторов и не приводит к существенному снижению производительности системы.
В общем виде, решение задачи, на которую направлено заявленное техническое решение, достигается за счет применения оптико-инерциальных устройств отслеживания, ориентирующихся, в том числе, по единому для всех оптическому паттерну, и работающих независимо друг от друга, что позволяет устранить коллизии при определении положения нескольких устройств отслеживания. Система 3D-визуализации отслеживает также положение глаз пользователей системы и выводит объекты 3D-сцены на экран с учетом информации о 3D-объектах, с которыми взаимодействуют манипуляторы.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Признаки и преимущества заявленного технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:
На Фиг. 1 и Фиг. 2 показаны примеры реализации систем дополненной реальности в соответствии с изобретением.
На Фиг. 3 показана блок-схема алгоритма работы системы смешенной реальности.
На Фиг. 4 показана структурная схема устройства отслеживания манипулятора.
На Фиг. 5 показан пример манипулятора, сопрягаемого с устройством отслеживания.
ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Далее изобретение описано на примере использования оптико-инерциальных устройств отслеживания в системе смешанной реальности.
Изобретение реализует способ обратного оптико-инерциального трекинга, в котором устройство отслеживания (трекер) расположено на подвижном объекте отслеживания, а источники света (маркеры), образующие оптический паттерн, неподвижны и расположены в пространстве рабочей зоны системы смешанной реальности. Система смешанной реальности может содержать неограниченное количество устройств отслеживания, при этом каждый трекер позволяет определять положение и ориентацию соответствующего подвижного объекта (или его части) независимо от других трекеров.
На фиг. 1 и фиг. 2 показан пример реализации изобретения, в котором система смешанной реальности содержит экран 6, манипуляторы 1 и 2 с устройствами отслеживания 3, вычислительный блок 7, 3D-очки пользователей 8 с размещенными на них устройствами отслеживания 3, виртуальный объект 3D-сцены 9, а также маркерную полосу 4, содержащую активные маркеры 5. Данные трекинга, формируемые устройствами отслеживания 3, содержат данные о местоположении трекеров и, следовательно, соответствующих частей тела пользователя, об их ориентации в пространстве, и о параметрах их движения – направлении, скорости и ускорении. Эти данные сохраняются в системе и используются для определения текущего положения, ориентации и (при необходимости) параметров движения манипуляторов и частей тела пользователя. Манипуляторы могут быть беспроводными манипуляторами 1 или проводными манипуляторами 2. Манипуляторы (1 и 2) могут содержать органы управления (например, кнопки, кнюпельные механизмы (джойстики), шарово-кнюпельные механизмы (трекболы), сенсорные поверхности (тачскины) и т.п.), которые хорошо известны в данной области техники и их описание опущено.
Экран 6 может быть выполнен в виде монитора (фиг. 1) или проекционного экрана (фиг. 2). Экран 6 обеспечивает демонстрацию пользователям изображения 3D-сцены, формируемого с учетом данных устройств отслеживания. Изображение, демонстрируемое пользователю, может быть 3D-изображением дополненной реальности. Следует отметить, что экран 6 с частотой обновления 120 Гц обеспечивает хорошее качество стереоскопического изображения для одного наблюдателя (с частотой смены кадров 60 Гц и скважностью 2 для каждого глаза наблюдателя). Если использовать экран с частотой 240 кадров в секунду, то он обеспечит хорошее качество стереоскопического изображения для двух наблюдателей. При этом, если необходимо вывести изображение для большего количества наблюдателей, то можно производить построение изображения 3D-сцены без учета информации о положении глаз пользователей.
Заявленное техническое решение работает следующим образом (фиг. 3).
На шаге (30) выполняется включение и инициализация устройств отслеживания.
На шаге (31) выполняется включение активных маркеров, образующих устойчивый оптический паттерн.
На шаге (32) на основе данных устройств отслеживания, расположенных на пользователе, выполняется определение 3D-координат глаз пользователя.
На шаге (33) на основе данных устройств отслеживания, расположенных на манипуляторах, выполняется определение 3D-координат и угловых параметров каждого манипулятора.
На шаге (34) выполняется построение карты глубины 3D-сцены.
На шаге (35) на основе 3D-координат и угловых манипуляторов выполняется построение 3D-лучей для манипуляторов.
На шаге (36) для каждого 3D-луча определяют объект 3D-сцены ближайший к пользователю, который пересекает данный 3D-луч.
На шаге (37) происходит опрос событий нажатия кнопок манипулятора для определения необходимого воздействия на объекты 3D-сцены.
На шаге (38) выполняется построение 3D-сцены, т.е. формирование изображения для каждого глаза пользователя. За построение 3D-сцены отвечает специализированное программное обеспечение (т.н. «3D-движок»), например, Unity или Unreal.
На шаге (39) выполняется вывод изображения на дисплей. При этом обеспечивается вывод изображения для каждого глаза пользователя в требуемом порядке и синхронизация стереоскопических очков. При необходимости на дисплее отображается также и 3D-луч.
Устройство отслеживания 40 (фиг. 4) содержит оптический датчик 41, гироскоп 42 и акселерометр 43. Данные с оптического датчика характеризуются высокой точностью при определении положения в пространстве и ориентации устройства, однако частота получения данных с оптического датчика сильно уступает частоте получения данных с инерциальных датчиков – гироскопа и акселерометра. В частности, частота получения данных с оптического датчика обычно составляет 60 кадров в секунду при полном кадре и может быть увеличена до 400 кадров в секунду при применении техник ROI (region of interest) и уменьшении размера кадра (принцип «следящего окна»), а частота получения данных с акселерометра и гироскопа обычно составляет порядка 2000 выборок в секунду. Однако при использовании данных только гироскопа и акселерометра быстро накапливается абсолютная ошибка позиционирования вследствие зашумленности и дрейфа этих данных.
В данной системе точность оптических данных в сочетании с высокой частотой и малой задержкой данных инерциальных датчиков позволяет получить объединенный поток данных трекинга, пригодный для реализации алгоритма определения текущих и предсказания будущих данных позиционирования – положения, ориентации и параметров движения пользователя, обеспечивающего высокие характеристики системы VR/AR.
Передача изображения с оптического датчика целиком требует высокой пропускной способности канала связи между трекером и хостом и неизбежно вносит дополнительную задержку, связанную с передачей изображения. Для минимизации задержек обработки данных трекинга, связанных с передачей и обработкой изображения, изображение с оптического датчика обрабатывается непосредственно в трекере и на хост передаются вычисленные координаты и размеры изображений маркеров, обнаруженных на изображении.
Для обработки данных трекинга трекер 40 содержит устройство 44 обработки данных. Устройство 44 обработки данных обеспечивает синхронизацию всех датчиков, получение данных с оптического датчика, гироскопа и акселерометра, обработку данных с оптического датчика для получения информации о маркерах, содержащихся в кадре, формирование объединенного потока данных с гироскопа, данных с акселерометра и данных о маркерах.
Кроме того, устройство 44 обработки данных содержит устройство предварительной обработки данных с оптического датчика на основе ПЛИС, что позволяет применять высокоскоростные алгоритмы для параллельной обработки строк изображения и поиска в нем групп пикселей, предположительно соответствующих маркерам. В этом случае обработка изображения производится в один проход на шаге считывания данных с оптического датчика без необходимости хранения всего кадра в запоминающем устройстве 47 трекера, что существенно снижает вычислительную сложность последующей обработки данных трекинга в устройстве 44 обработки данных и позволяет дополнительно сократить задержки в системе VR/AR. Кроме того, такое решение позволяет снизить требования к объему памяти запоминающего устройства 47.
Объединение всех датчиков в одном устройстве обеспечивает решение проблемы синхронизации датчиков. Такая архитектура позволяет использовать точные временные метки получения данных с каждого из датчиков. Кроме того, поскольку съемка кадра в оптическом датчике и его обработка занимает определенное время, зависящее от времени экспозиции, которое, в свою очередь, зависит от внешних условий (в частности, от освещенности рабочей зоны), в объединенном потоке данных фиксируется время начала съемки кадра и содержится уведомление об окончании обработки кадра и появлении новых оптических данных.
Трекер 40 имеет модульную конструкцию (фиг. 5). Сопряжение между модулями осуществляется посредством магнитного соединителя. В частности, трекер 40 может содержать базовый модуль, содержащий оптический датчик 41, гироскоп 42, акселерометр 43, устройство 44 обработки данных и устройство 46 связи, обеспечивающее проводную и/или беспроводную связь, и сменный модуль, содержащий дополнительные устройства, обеспечивающие выполнение необходимых функций в соответствии с назначением системы VR/AR. В случае данного изобретения сменным модулем является тело манипулятора 50. Тело манипулятора 50 содержит кнопку 55 с толкателем 51, аккумулятор 52, магнитный соединитель 53 для соединения с модулем отслеживания, печатная плата 54.
Заявленное техническое решение является промышленно применимым, поскольку для его реализации используют промышленно изготовленные и промышленно применимые ресурсы.
Устройства, средства, способы и их части, упомянутые в настоящем документе, относятся к одному или нескольким определенным вариантам осуществления изобретения, если они упоминаются со ссылкой на числовое позиционное обозначение, или ко всем вариантам осуществления изобретения, в которых возможно их применение, если они упоминаются без ссылки на числовое позиционное обозначение.
Устройства, упомянутые в формуле изобретения, представляют собой программно-аппаратные средства, при этом аппаратные части одних устройств могут отличаться, частично совпадать или полностью совпадать с аппаратными частями других устройств, если иное не указано в явном виде. Аппаратные части устройств могут располагаться в различных частях других устройств, средств, если иное не указано в явном виде.
Последовательность действий в описании способа в настоящем документе носит иллюстративный характер и в различных вариантах осуществления изобретения эта последовательность может отличаться от описанной при условии сохранения выполняемой функции и достигаемого результата.
Части и признаки настоящего изобретения могут сочетаться в различных вариантах осуществления изобретения, если они не противоречат друг другу. Описанные выше варианты осуществления изобретения приведены исключительно с иллюстративной целью и не предназначены для ограничения объема настоящего изобретения, определяемого формулой изобретения. Все разумные модификации, модернизации и эквивалентные замены в конструкции, составе и принципе действия, выполненные в пределах сущности настоящего изобретения, входят в объем настоящего изобретения.
Claims (23)
1. Способ управления трехмерными объектами в виртуальном пространстве, содержащий этапы, на которых:
получают 3D-координаты глаз пользователя с помощью, по меньшей мере, одного устройства отслеживания;
получают 3D-координаты и угловые параметры, по меньшей мере, одного манипулятора с помощью, по меньшей мере, одного устройства отслеживания, расположенного в каждом манипуляторе;
определяют действия, которые следует выполнить с объектом 3D-сцены, путем определения воздействия на орган(ы) управления манипулятора;
выполняют построение карты глубины 3D-сцены с учетом 3D-координат глаз пользователя;
выполняют построение 3D-луча от каждого манипулятора и определяют ближайший к пользователю объект 3D-сцены, пересекаемый данным 3D-лучом;
выполняют построение 3D-сцены с учетом информации о ближайших к пользователю объектах 3D-сцены, пересекаемых 3D-лучами, и с обеспечением эффекта параллакса движения и/или эффекта бинокулярного параллакса;
выводят изображения 3D-сцены в стереоскопическом формате на, по меньшей мере, одно устройство отображения.
2. Способ по п. 1, в котором данные о воздействии на орган(ы) управления манипулятора передают по каналу связи, предназначенному для передачи 3D-координат и угловых параметров манипулятора.
3. Способ по п. 1, в котором построение 3D-сцены выполняют с учетом 3D-координат глаз пользователя.
4. Способ по п. 1, в котором 3D-координаты глаз пользователя и 3D-координаты и угловые параметры, по меньшей мере, одного манипулятора получают с помощью одинаковых устройств отслеживания, работающих независимо друг от друга.
5. Способ по п. 1, в котором на этапе вывода 3D-сцены выполняют отображение 3D-лучей для каждого манипулятора.
6. Устройство для управления трехмерными объектами в виртуальном пространстве, обеспечивающее отображение объектов 3D-сцены и управление объектами 3D-сцены, содержащее:
по меньшей мере, одно устройство отображения, выполненное с
возможностью отображения последовательности изображений 3D-сцены;
по меньшей мере, одни очки, выполненные с возможностью стереоскопической сепарации изображений 3D-сцены и содержащие, по меньшей мере, одно устройство отслеживания;
по меньшей мере, один оптический паттерн, состоящий из маркеров, расположенных заранее известным образом;
по меньше мере, один манипулятор, содержащий орган(ы) управления и, по меньшей мере, одно устройство отслеживания;
устройство построения 3D-сцены, выполненное с возможностью построения карты глубины 3D-сцены и 3D-лучей от манипулятора и отображения объектов 3D-сцены с эффектом параллакса движения и/или с эффектом бинокулярного параллакса;
по меньшей мере, одно устройство вывода изображения, выполненное с возможностью вывода изображения 3D-сцены на, по меньшей мере, одно устройство отображения.
7. Устройство по п. 6, в котором устройство отслеживания содержит набор оптических и инерциальных датчиков, устройство вычисления 3D-координат, выполненное с возможностью вычисления 3D-координат на основе комбинации инерциальных данных и координат, определенных относительно оптического паттерна.
8. Устройство по п. 6, выполненное с возможностью передачи данных о воздействии на орган(ы) управления манипулятора по каналу связи, предназначенному для передачи 3D-координат и угловых параметров манипулятора.
9. Устройство по п. 7, в котором канал связи, предназначенный для передачи 3D-координат и угловых параметров манипулятора, представляет собой канал беспроводной связи, канал проводной связи или канал оптической связи.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018133124A RU2695053C1 (ru) | 2018-09-18 | 2018-09-18 | Способ и устройство для управления трехмерными объектами в виртуальном пространстве |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018133124A RU2695053C1 (ru) | 2018-09-18 | 2018-09-18 | Способ и устройство для управления трехмерными объектами в виртуальном пространстве |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2695053C1 true RU2695053C1 (ru) | 2019-07-18 |
Family
ID=67309479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018133124A RU2695053C1 (ru) | 2018-09-18 | 2018-09-18 | Способ и устройство для управления трехмерными объектами в виртуальном пространстве |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2695053C1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2761924C1 (ru) * | 2021-03-26 | 2021-12-14 | Федеральное государственное бюджетное учреждение науки Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук (ИАПУ ДВО РАН) | Способ управления манипулятором |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
| US20130050069A1 (en) * | 2011-08-23 | 2013-02-28 | Sony Corporation, A Japanese Corporation | Method and system for use in providing three dimensional user interface |
| US20130328762A1 (en) * | 2012-06-12 | 2013-12-12 | Daniel J. McCulloch | Controlling a virtual object with a real controller device |
| US20150277700A1 (en) * | 2013-04-12 | 2015-10-01 | Usens, Inc. | System and method for providing graphical user interface |
| US20160048994A1 (en) * | 2006-07-14 | 2016-02-18 | Ailive Inc. | Method and system for making natural movement in displayed 3D environment |
| RU2601169C1 (ru) * | 2015-06-11 | 2016-10-27 | Виталий Витальевич Аверьянов | Способ и устройство для взаимодействия с виртуальными объектами |
| RU2656584C1 (ru) * | 2017-03-14 | 2018-06-05 | Общество с ограниченной ответственностью "Новый мир развлечений" | Система проектирования объектов в среде виртуальной реальности в реальном времени |
-
2018
- 2018-09-18 RU RU2018133124A patent/RU2695053C1/ru active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160048994A1 (en) * | 2006-07-14 | 2016-02-18 | Ailive Inc. | Method and system for making natural movement in displayed 3D environment |
| RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
| US20130050069A1 (en) * | 2011-08-23 | 2013-02-28 | Sony Corporation, A Japanese Corporation | Method and system for use in providing three dimensional user interface |
| US20130328762A1 (en) * | 2012-06-12 | 2013-12-12 | Daniel J. McCulloch | Controlling a virtual object with a real controller device |
| US20150277700A1 (en) * | 2013-04-12 | 2015-10-01 | Usens, Inc. | System and method for providing graphical user interface |
| RU2601169C1 (ru) * | 2015-06-11 | 2016-10-27 | Виталий Витальевич Аверьянов | Способ и устройство для взаимодействия с виртуальными объектами |
| RU2656584C1 (ru) * | 2017-03-14 | 2018-06-05 | Общество с ограниченной ответственностью "Новый мир развлечений" | Система проектирования объектов в среде виртуальной реальности в реальном времени |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2761924C1 (ru) * | 2021-03-26 | 2021-12-14 | Федеральное государственное бюджетное учреждение науки Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук (ИАПУ ДВО РАН) | Способ управления манипулятором |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR | |
| Azuma | Overview of augmented reality | |
| CA3055219A1 (en) | Technique for recording augmented reality data | |
| US20150138065A1 (en) | Head-mounted integrated interface | |
| US20140368537A1 (en) | Shared and private holographic objects | |
| KR20160148557A (ko) | 월드 락 디스플레이의 품질 피드백 기법 | |
| CN104995583A (zh) | 用于混合现实环境的直接交互系统 | |
| US20210304509A1 (en) | Systems and methods for virtual and augmented reality | |
| CN102591449A (zh) | 虚拟内容和现实内容的低等待时间的融合 | |
| TW201214266A (en) | Three dimensional user interface effects on a display by using properties of motion | |
| US11423602B2 (en) | Fast 3D reconstruction with depth information | |
| US11620792B2 (en) | Fast hand meshing for dynamic occlusion | |
| US11561613B2 (en) | Determining angular acceleration | |
| Agarwal et al. | The evolution and future scope of augmented reality | |
| JP2004265222A (ja) | インタフェース方法、装置、およびプログラム | |
| Soares et al. | Designing a highly immersive interactive environment: The virtual mine | |
| RU2695053C1 (ru) | Способ и устройство для управления трехмерными объектами в виртуальном пространстве | |
| JP2024512211A (ja) | Ｌｉｄａｒ同時位置特定およびマッピング | |
| JP5520772B2 (ja) | 立体画像の表示システム及び表示方法 | |
| US20240078767A1 (en) | Information processing apparatus and information processing method | |
| Hamadouche | Augmented reality X-ray vision on optical see-through head mounted displays | |
| WO2022129646A1 (en) | Virtual reality environment | |
| EP4150519A1 (en) | Computationally efficient method for computing a composite representation of a 3d environment | |
| CN118262039A (zh) | 基于实时结构光重建技术的虚拟会议场景交互方法及系统 | |
| CN117242492A (zh) | 使用占用栅格的场景理解 |