RU2617557C1 - Способ воздействия на виртуальные объекты дополненной реальности - Google Patents

Способ воздействия на виртуальные объекты дополненной реальности Download PDF

Info

Publication number
RU2617557C1
RU2617557C1 RU2015149499A RU2015149499A RU2617557C1 RU 2617557 C1 RU2617557 C1 RU 2617557C1 RU 2015149499 A RU2015149499 A RU 2015149499A RU 2015149499 A RU2015149499 A RU 2015149499A RU 2617557 C1 RU2617557 C1 RU 2617557C1
Authority
RU
Russia
Prior art keywords
camera
augmented reality
marker
coordinates
image
Prior art date
Application number
RU2015149499A
Other languages
English (en)
Inventor
Виталий Витальевич Аверьянов
Андрей Валерьевич Комиссаров
Original Assignee
Виталий Витальевич Аверьянов
Андрей Валерьевич Комиссаров
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Виталий Витальевич Аверьянов, Андрей Валерьевич Комиссаров filed Critical Виталий Витальевич Аверьянов
Priority to RU2015149499A priority Critical patent/RU2617557C1/ru
Priority to PCT/RU2016/050070 priority patent/WO2017086841A1/ru
Priority to KR1020187017168A priority patent/KR20180107085A/ko
Priority to EP16866741.8A priority patent/EP3379396A4/en
Priority to US15/773,248 priority patent/US20180321776A1/en
Priority to CN201680066494.0A priority patent/CN108369473A/zh
Application granted granted Critical
Publication of RU2617557C1 publication Critical patent/RU2617557C1/ru
Priority to US16/876,789 priority patent/US11288837B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к области воздействия на виртуальные объекты дополненной реальности. Техническим результатом является повышение точности, а также скорости описывания движения видеокамеры. Способ характеризуется тем, что определяют координаты устройства для создания и просмотра дополненной реальности, располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени при помощи кватернионов, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени. 6 з.п. ф-лы, 2 ил.

Description

Область техники, к которой относится изобретение
Данное изобретение относится к способам воздействия на виртуальные объекты дополненной реальности, при которых определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
В данной работе используются следующие термины.
Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.
Точка интереса (характерная точка) - точка изображения, обладающая высокой локальной информативностью. В качестве численной меры информативности предлагаются различные формальные критерии, называемые операторами интереса. Оператор интереса должен обеспечивать достаточно точное позиционирование точки в плоскости снимка. Необходимо также, чтобы положение точки интереса обладало достаточной устойчивостью к фотометрическим и геометрическим искажениям изображения, включающим неравномерные изменения яркости, сдвиг, поворот, изменение масштаба, ракурсные искажения.
Фильтр Калмана - эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений.
Пирамиды изображений - это коллекция изображений, получаемая из исходного изображения путем его последовательного сжимания, пока не достигнута точка останова (естественно, конечной точкой может быть один пиксель).
Figure 00000001
(англ. smartphone - умный телефон) - телефон, дополненный функциональностью карманного персонального компьютера.
Уровень техники
В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров.
Известен способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, см. описание к патенту РФ на изобретение №2451982 от 27.05.2012.
Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения как способа.
Недостатком этого прототипа является то, что взаимодействие с виртуальными объектами производится при помощи отдельного устройства, именно оно и определяет положение в пространстве пользователя и необходимость реагирования путем на изменение положения пользователя. А простое изменение положения в пространстве устройства для создания и просмотра дополненной реальности не приводит к изменению виртуального объекта, кроме изменения его ориентации на дисплее устройства.
Раскрытие изобретения
Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства, что и является поставленной технический задачей.
Для достижения этой цели определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства, располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.
Благодаря данным выгодным характеристикам появляется возможность обеспечения дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства. Это происходит вследствие того, что становится возможным точное определение положения устройства для создания и просмотра дополненной реальности, включая направление, в котором оно находится. И именно в этом направлении и становится возможным выполнять заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
Отметим, что вектор может быть задан любым образом, не только направлением, а также и тремя координатами, одной или несколькими координатами и одним или несколькими углами, полярными координатами, углами Эйлера, кватернионами.
Существует вариант изобретения, в котором формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.
Благодаря данной выгодной характеристике появляется возможность рассчитывать направление, в котором находится устройство для создания и просмотра дополненной реальности в режиме реального времени и в каждый следующий момент времени рассчитывать поправки к предыдущему расчетному положению.
Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.
Благодаря данной выгодной характеристике появляется возможность использовать специализированные методы поиска точек интереса, а именно:
1. Метод SIFT (Scale Invariant Feature Transform) обнаруживает и описывает локальные особенности изображения. Получаемые с помощью него признаки инвариантны относительно масштаба и поворота, устойчивы к ряду аффинных преобразований, шуму. Он заключается в использования пирамиды Гаусса, которая строится для изображения. Далее изображения приводятся к одному размеру, и вычисляется их разность. Причем в качестве кандидатов точек интереса выбираются только те пиксели, которые сильно отличаются от остальных, это делается, например, путем сравнения каждого пикселя изображения с несколькими соседними данного масштаба, с несколькими соответствующими соседями в большем и меньшем масштабе. Пиксель выбирается как точка интереса только в том случае, если его яркость является экстремумом.
2. PCA-SIFT (РСА, Principal Component Analysis - анализ главных компонент) дескриптор - одна из вариаций SIFT, в которой уменьшается размерность дескриптора с помощью анализа главных компонент. Это достигается с помощью нахождения пространства собственных векторов, на которое впоследствии проецируются вектора признаков.
3. SURF (Speeded Up Robust Features), который в несколько раз быстрее SIFT. В данном подходе для ускорения поиска точек интереса используются интегральные изображения. Значение в каждой точке интегрального изображения вычисляется как сумма значений в данной точке и значений всех точек, которые находятся выше и левее данной. С помощью интегральных изображений за константное время вычисляются так называемые прямоугольные фильтры, которые состоят из нескольких прямоугольных областей.
4. MSER и LLD методы наиболее инвариантные к аффинным преобразованиям и изменению масштаба. Оба метода нормализуют 6 параметров аффинных искажений. Более подробней остановимся на MSER. «Экстремальные области» - такое название метод получил из-за сортировки особых точек по интенсивности (в нижних и верхних уровнях). Строится пирамида, у которой на начальном уровне, соответствующем минимальному значению интенсивности, находится белое изображение, а на последнем уровне, отвечающем максимальному значению интенсивности, - черное.
5. Harris-Affine нормализует параметры аффинных преобразований. Harris, в качестве особых областей использует углы, и выявляет ключевые моменты в масштабном пространстве, используя подход, предложенный Линденбергом. Аффинная нормализация осуществляется путем повторяющейся процедуры, чтобы оценить параметры эллиптической области и нормализовать их. При каждом повторении эллиптической области происходит оценка параметров: минимизируется разница между собственными моментами матриц второго порядка выбранной области; эллиптическая область нормализуется на круговую; осуществляется оценка ключевой точки, ее масштаб в масштабе пространства.
6. Hessian-Affine использует в качестве особой области блобы вместо углов. Определитель локальных максимумов матрицы Гессе используется в качестве базовых точек. Оставшаяся часть метод такая же как Harris-Affine.
7. ASIFT - идея объединения и нормализации основных частей метода SIFT. SIFT детектор нормализует вращение, перемещение и моделирует все удаленные от поиска и запроса изображения.
8. GLOH (Gradient location-orientation histogram) является модификацией SIFT-дескриптора, который построен с целью повышения надежности. По факту вычисляется SIFT дескриптор, но используется полярная сетка разбиения окрестности на бины
9. DAISY изначально вводится для решения задачи сопоставления изображений (matching) в случае значительных внешних изменений, т.е. данный дескриптор в отличие от ранее рассмотренных работает на плотном множестве пикселей всего изображения.
10. BRIEF-дескриптор (Binary Robust Independent Elementary Features) обеспечивает распознавание одинаковых участков изображения, которые были сняты с разных точек зрения. При этом ставилась задача максимально уменьшить количество выполняемых вычислений. Алгоритм распознавания сводится к построению случайного леса (randomize classification trees) или наивного Байесовского классификатора на некотором тренировочном множестве изображений и последующей классификации участков тестовых изображений.
Существует также вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.
Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана».
Благодаря данной выгодной характеристике появляется возможность производить анализ неполных и зашумленных изображений, для чего можно использовать эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Идея Калмана при этом состоит в том, чтобы получить наилучшее приближение к истинным координатам изображений по неточным измерениям камеры и предсказаным положениям границ изображения. Точность фильтра зависит от времени его применения, что означает все более стабильный вывод изображения на последующих кадрах.
Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».
Благодаря данной выгодной характеристике появляется возможность сокращения времени обработки изображений и определения более точных начальных приближений для обработки нижних уровней по результатам обработки верхних уровней.
Краткое описание чертежей.
Другие отличительные признаки и преимущества данной группы изобретений ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:
- фигура 1 изображает схему устройства для взаимодействия с виртуальными объектами согласно изобретению,
- фигура 2 схематично изображает этапы способа взаимодействия с виртуальными объектами согласно изобретению.
Маркер объекта обозначен как 1. Устройство для создания и просмотра дополненной реальности - 2, в нем изображена видеокамера 21 и дисплей 22.
В качестве устройства для создания и просмотра дополненной реальности может быть использованы такие устройства как смартфон, компьютерный планшет или устройства типа очков добавленной реальности.
Изображение, полученное от видеокамеры устройства для создания и просмотра дополненной реальности, показано как 23.
С маркером связана физическая базовая система координат, обозначена условно как OmXmYmZm.
Координаты устройства 2 для создания и просмотра дополненной реальности относительно базовой системы координат, при этом само устройство 2 имеет свою систему координат OnXnYnZn.
Вектор, соответствующий направлению от маркера 1 к виртуальной камере 21, обозначен как R.
Осуществление изобретения
Устройство для взаимодействия с виртуальными объектами работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.
Согласно фигуре 2:
Этап А1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы.
Этап А2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства.
Этап A3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат.
Этап А4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.
Этап А41. Для этого располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности.
Этап А42. Вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени.
Этап А43. Формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.
Этап А44. Или же формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.
Этап А5. Вышеперечисленные действия повторяют на каждой итерации работы вычислительного модуля устройства для создания и просмотра дополненной реальности. Совокупностью полученных направлений за каждую итерацию формируют информацию о всех перемещениях камеры относительно маркера - повороте, приближении, наклоне и т.п.
Этап А6. Выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействия с виртуальными объектами. Примерами таких операций могут быть:
- расчет движения в пространстве положения устройства для создания и просмотра дополненной реальности с применением поправок, компенсирующих вибрацию клиентского устройства пользователя. Например, компенсацию вибрации клиентского устройства пользователя производят с использованием фильтра Калмана.
- при расчете движения в пространстве устройства для создания и просмотра дополненной реальности применяют модель искусственных нейронных сетей.
Пример 1. Созданный в качестве объекта дополненной реальности персонаж (человек или животное) может следить глазами в направлении расположения устройства для создания и просмотра дополненной реальности, создавая у пользователя иллюзию того, что этот человек или животное наблюдает за ним так, как это делало бы реальный человек или животное. При попытке обойти персонаж со спины, он может реагировать соответствующим образом, разворачивая корпус в сторону наблюдателя.
Пример 2. Интерактивная игра, в которой на маркере в роли контента дополненной реальности расположен условный противник, стреляющий в направлении пользователя снарядами, движущимися с небольшой скоростью. Чтобы победить в игре, пользователь должен "уклоняться" от снарядов, смещая камеру устройства для создания и просмотра дополненной реальности с их траектории.
Промышленная применимость
Предлагаемый способ взаимодействия с виртуальными объектами может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.
В соответствии с предложенным изобретением изготовлен опытный образец устройства для взаимодействия с виртуальными объектами, выполненный в виде компьютерного планшета, имеющего дисплей и видеокамеру.
Испытания опытного образца системы показали, что она обеспечивает возможность:
- определения маркеров реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности,
- формирования физической базовой системы координат, привязанной к пространственному положению маркеров реального трехмерного пространства,
- определения координат устройства для создания и просмотра дополненной реальности относительно базовой системы координат;
- задания координат трехмерных виртуальных объектов дополненной реальности в базовой системе координат;
- определения координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства,
- расположения виртуальной камеры в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,
- вычисления вектора, соответствующего направлению от маркера к виртуальной камере в режиме реального времени,
- формирования информации обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.
- выполнения при помощи движения пользователя заданных действий по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
Таким образом, в данном изобретении достигнута поставленная задача - обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства.

Claims (17)

1. Способ воздействия на виртуальные объекты дополненной реальности, при котором:
- определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности;
- формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства;
- определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат;
- задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат;
- выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности,
отличающийся тем, что
- определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа видеоизображения с камеры устройства,
- располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,
- вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени при помощи кватернионов,
- формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.
2. Способ по п. 1, отличающийся тем, что вычисляют кватернионы вектора, соответствующего направлению от маркера к виртуальной камере по крайней мере при помощи одной или нескольких координат и одного или нескольких углов, и/или полярных координат, и/или методом «Углов Эйлера».
3. Способ по п. 1, отличающийся тем, что формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.
4. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.
5. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.
6. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана».
7. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».
RU2015149499A 2015-11-18 2015-11-18 Способ воздействия на виртуальные объекты дополненной реальности RU2617557C1 (ru)

Priority Applications (7)

Application Number Priority Date Filing Date Title
RU2015149499A RU2617557C1 (ru) 2015-11-18 2015-11-18 Способ воздействия на виртуальные объекты дополненной реальности
PCT/RU2016/050070 WO2017086841A1 (ru) 2015-11-18 2016-11-17 Способ воздействия на виртуальные объекты дополненной реальности
KR1020187017168A KR20180107085A (ko) 2015-11-18 2016-11-17 증강 현실의 가상 객체들에 영향을 미치는 방법
EP16866741.8A EP3379396A4 (en) 2015-11-18 2016-11-17 PROCESS FOR IMPLEMENTING VIRTUAL OBJECTS OF EXTENDED REALITY
US15/773,248 US20180321776A1 (en) 2015-11-18 2016-11-17 Method for acting on augmented reality virtual objects
CN201680066494.0A CN108369473A (zh) 2015-11-18 2016-11-17 影响增强现实的虚拟对象的方法
US16/876,789 US11288837B2 (en) 2015-11-18 2020-05-18 Method of influencing virtual objects of augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2015149499A RU2617557C1 (ru) 2015-11-18 2015-11-18 Способ воздействия на виртуальные объекты дополненной реальности

Publications (1)

Publication Number Publication Date
RU2617557C1 true RU2617557C1 (ru) 2017-04-25

Family

ID=58643243

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015149499A RU2617557C1 (ru) 2015-11-18 2015-11-18 Способ воздействия на виртуальные объекты дополненной реальности

Country Status (6)

Country Link
US (2) US20180321776A1 (ru)
EP (1) EP3379396A4 (ru)
KR (1) KR20180107085A (ru)
CN (1) CN108369473A (ru)
RU (1) RU2617557C1 (ru)
WO (1) WO2017086841A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2686029C2 (ru) * 2017-07-19 2019-04-23 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Система виртуальной реальности на основе смартфона и наклонного зеркала
CN110555879A (zh) * 2018-05-31 2019-12-10 京东方科技集团股份有限公司 一种空间定位方法、其装置、其系统及计算机可读介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7164883B2 (ja) * 2017-05-31 2022-11-02 株式会社フジキン 半導体製造装置の管理システム、方法、及びコンピュータプログラム
CN108917751B (zh) * 2018-03-30 2021-11-02 北京凌宇智控科技有限公司 一种免标定的定位方法及系统
WO2019195830A1 (en) * 2018-04-06 2019-10-10 Rice Robert A Systems and methods for item acquisition by selection of a virtual object placed in a digital environment
US11003972B2 (en) * 2018-06-27 2021-05-11 Intel Corporation Localizing a vehicle's charging or fueling port—methods and apparatuses
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
JP7227377B2 (ja) * 2018-12-12 2023-02-21 ホウメディカ・オステオニクス・コーポレイション 骨密度モデリング及び整形外科手術計画システム
US11341676B2 (en) 2019-02-05 2022-05-24 Google Llc Calibration-free instant motion tracking for augmented reality
JP7277187B2 (ja) * 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US10922892B1 (en) 2019-04-30 2021-02-16 Splunk Inc. Manipulation of virtual object position within a plane of an extended reality environment
CN110956065B (zh) * 2019-05-11 2022-06-10 魔门塔(苏州)科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN112017297B (zh) * 2019-05-28 2024-01-23 中国商用飞机有限责任公司 一种增强现实的定位方法、装置、设备及介质
US11189000B2 (en) * 2019-06-24 2021-11-30 Intel Corporation Architecture to generate binary descriptor for image feature point
KR102358950B1 (ko) * 2020-10-05 2022-02-07 홍준표 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
KR20220049304A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090195538A1 (en) * 2008-02-04 2009-08-06 Gwangju Institute Of Science And Technology Method and system for haptic interaction in augmented reality
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты
US20130141461A1 (en) * 2011-12-06 2013-06-06 Tom Salter Augmented reality camera registration
US20140028714A1 (en) * 2012-07-26 2014-01-30 Qualcomm Incorporated Maintaining Continuity of Augmentations

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
CN102254345A (zh) * 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
US10310595B2 (en) * 2014-06-30 2019-06-04 Sony Corporation Information processing apparatus, information processing method, computer program, and image processing system
US9875579B2 (en) * 2014-08-22 2018-01-23 Applied Research Associates, Inc. Techniques for enhanced accurate pose estimation
US10410419B2 (en) * 2015-03-02 2019-09-10 Virtek Vision International Ulc Laser projection system with video overlay

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090195538A1 (en) * 2008-02-04 2009-08-06 Gwangju Institute Of Science And Technology Method and system for haptic interaction in augmented reality
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты
US20130141461A1 (en) * 2011-12-06 2013-06-06 Tom Salter Augmented reality camera registration
US20140028714A1 (en) * 2012-07-26 2014-01-30 Qualcomm Incorporated Maintaining Continuity of Augmentations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
US 20130141461 A1, 06.06.02013. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2686029C2 (ru) * 2017-07-19 2019-04-23 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Система виртуальной реальности на основе смартфона и наклонного зеркала
CN110555879A (zh) * 2018-05-31 2019-12-10 京东方科技集团股份有限公司 一种空间定位方法、其装置、其系统及计算机可读介质
US11270456B2 (en) 2018-05-31 2022-03-08 Beijing Boe Optoelectronics Technology Co., Ltd. Spatial positioning method, spatial positioning device, spatial positioning system and computer readable medium
CN110555879B (zh) * 2018-05-31 2023-09-08 京东方科技集团股份有限公司 一种空间定位方法、其装置、其系统及计算机可读介质

Also Published As

Publication number Publication date
KR20180107085A (ko) 2018-10-01
US20200279396A1 (en) 2020-09-03
CN108369473A (zh) 2018-08-03
WO2017086841A1 (ru) 2017-05-26
EP3379396A1 (en) 2018-09-26
EP3379396A4 (en) 2019-06-12
US20180321776A1 (en) 2018-11-08
US11288837B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
RU2617557C1 (ru) Способ воздействия на виртуальные объекты дополненной реальности
US10529137B1 (en) Machine learning systems and methods for augmenting images
US11232286B2 (en) Method and apparatus for generating face rotation image
US20220358770A1 (en) Scene reconstruction in three-dimensions from two-dimensional images
Tan et al. Face detection and verification using lensless cameras
US20180012411A1 (en) Augmented Reality Methods and Devices
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN108292362A (zh) 用于光标控制的手势识别
Trigeorgis et al. Face normals" in-the-wild" using fully convolutional networks
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
CN107292299B (zh) 基于内核规范相关分析的侧面人脸识别方法
WO2014180108A1 (en) Systems and methods for matching face shapes
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
Verbin et al. Toward a universal model for shape from texture
Linna et al. Real-time human pose estimation from video with convolutional neural networks
CN110309721A (zh) 视频处理方法、终端和存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
US9122914B2 (en) Systems and methods for matching face shapes
Wang et al. GA-STIP: Action recognition in multi-channel videos with geometric algebra based spatio-temporal interest points
Balakrishnan et al. Video diff: Highlighting differences between similar actions in videos
Langlois et al. Uncovering visual priors in spatial memory using serial reproduction.
CN113724176A (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
Moreno et al. Marker-less feature and gesture detection for an interactive mixed reality avatar

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20180522