WO2017086841A1 - Способ воздействия на виртуальные объекты дополненной реальности - Google Patents

Способ воздействия на виртуальные объекты дополненной реальности Download PDF

Info

Publication number
WO2017086841A1
WO2017086841A1 PCT/RU2016/050070 RU2016050070W WO2017086841A1 WO 2017086841 A1 WO2017086841 A1 WO 2017086841A1 RU 2016050070 W RU2016050070 W RU 2016050070W WO 2017086841 A1 WO2017086841 A1 WO 2017086841A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
augmented reality
marker
creating
image
Prior art date
Application number
PCT/RU2016/050070
Other languages
English (en)
French (fr)
Inventor
Виталий Витальевич АВЕРЬЯНОВ
Андрей Валерьевич КОМИССАРОВ
Original Assignee
Виталий Витальевич АВЕРЬЯНОВ
Андрей Валерьевич КОМИССАРОВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Виталий Витальевич АВЕРЬЯНОВ, Андрей Валерьевич КОМИССАРОВ filed Critical Виталий Витальевич АВЕРЬЯНОВ
Priority to KR1020187017168A priority Critical patent/KR20180107085A/ko
Priority to CN201680066494.0A priority patent/CN108369473A/zh
Priority to EP16866741.8A priority patent/EP3379396A4/en
Priority to US15/773,248 priority patent/US20180321776A1/en
Publication of WO2017086841A1 publication Critical patent/WO2017086841A1/ru
Priority to US16/876,789 priority patent/US11288837B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к способам воздействия на виртуальные объекты дополненной реальности. Согласно изобретению определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства, располагают виртуальную камеру в вычисленных координатах устройства относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в её поле зрения так же, как расположен физический маркер в поле зрения камеры устройства, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне путем последовательной итерации в режиме реального времени.

Description

СПОСОБ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ ДОПОЛНЕННОЙ
РЕАЛЬНОСТИ
Область техники, к которой относится изобретение.
Данное изобретение относится к способам воздействия на виртуальные объекты дополненной реальности, при которых определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
В данной работе используются следующие термины.
Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.
Точка интереса (характерная точка)— точка изображения, обладающая высокой локальной информативностью. В качестве численной меры информативности предлагаются различные формальные критерии, называемые операторами интереса. Оператор интереса должен обеспечивать достаточно точное позиционирование точки в плоскости снимка. Необходимо также, чтобы положение точки интереса обладало достаточной устойчивостью к фотометрическим и геометрическим искажениям изображения, включающим неравномерные изменения яркости, сдвиг, поворот, изменение масштаба, ракурсные искажения.
Фильтр Калмана - эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений.
Пирамиды изображений - это коллекция изображений, получаемая из исходного изображения путём его последовательного сжимания пока не достигнута точка останова (естественно конечной точкой может быть один пиксель).
Смартфон (англ. smartphone— умный телефон)— телефон, дополненный функциональностью карманного персонального компьютера.
Уровень техники.
В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров.
Известен способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, см. описание к патенту РФ на изобретение N°2451982 от 27.05.2012.
Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения как способа.
Недостатком этого прототипа является то, что взаимодействие с виртуальными объектами производится при помощи отдельного устройства, именно оно и определяет положение в пространстве пользователя и необходимость реагирование на изменение положения пользователя. А простое изменение положения в пространстве устройства для создания и просмотра дополненной реальности не приводит к изменению виртуального объекта, кроме изменения его ориентации на дисплее устройства. Раскрытие изобретения.
Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства, что и является поставленной технический задачей.
Для достижения этой цели определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства, располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в её поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне путем последовательной итерации в режиме реального времени. Благодаря данным выгодным характеристикам появляется возможность обеспечения дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства. Это происходит вследствие того, что становится возможным точное определение положения стройства для создания и просмотра дополненной реальности, включая направление, в котором оно находится. И именно в этом направлении и становится возможным выполнять заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
Отметим, что вектор может быть задан любым образом, не только направлением, а также и тремя координатами, одной или несколькими координатами и одним или несколькими углами, полярными координатами, углами Эйлера, кватернионами.
Существует вариант изобретения, в котором формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.
Благодаря данной выгодной характеристике появляется возможность рассчитывать направление, в котором находится устройство для создания и просмотра дополненной реальности в режиме реального времени и в каждый следующий момент времени рассчитывать поправки к предыдущему расчетному положению.
Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.
Благодаря данной выгодной характеристике появляется возможность использовать специализированные методы поиска точек интереса, а именно:
1 . Метод SIFT (Scale Invariant Feature Transform) обнаруживает и описывает локальные особенности изображения. Получаемые с помощью него признаки инвариантны относительно масштаба и поворота, устойчивы к ряду аффинных преобразований, шуму. Он заключается в использования пирамиды Гаусса, которая строится для изображения. Далее изображения приводятся к одному размеру, и вычисляется их разность Причем в качестве кандидатов точек интереса выбираются только те пиксели, которые сильно отличаются от остальных, это делается, например, путем сравнения каждого пикселя изображения с несколькими соседними данного масштаба, с несколькими соответствующими соседями в большем и меньшем масштабе. Пиксель выбирается как точка интереса только в том случае, если его яркость является экстремумом.
2. PCA-SIFT (РСА, Principal Component Analysis - анализ главных компонент) дескриптор - одна из вариаций SIFT, в которой уменьшается размерность дескриптора с помощью анализа главных компонент. Это достигается с помощью нахождения пространства собственных векторов, на которое впоследствии проецируются вектора признаков.
3. SURF (Speeded Up Robust Features), который в несколько раз быстрее SIFT. В данном подходе для ускорения поиска точек интереса используются интегральные изображения. Значение в каждой точке интегрального изображения вычисляется как сумма значений в данной точке и значений всех точек, которые находятся выше и левее данной. С помощью интегральных изображений за константное время вычисляются так называемые прямоугольные фильтры, которые состоят из нескольких прямоугольных областей.
4. MSER и LLD методы наиболее инвариантные к аффинным преобразованиям и изменению масштаба. Оба метода нормализуют 6 параметров аффинных искажений. Более подробней остановимся на MSER. «Экстремальные области» - такое название метод получил из-за сортировки особых точек по интенсивности (в нижних и верхних уровнях). Строится пирамида, у которой на начальном уровне, соответствующем минимальному значению интенсивности, находится белое изображение, а на последнем уровне, отвечающем максимальному значению интенсивности, - черное.
5. Harris-Affine нормализует параметры аффинных преобразований. Harris, в качестве особых областей использует углы, и выявляет ключевые моменты в масштабном пространстве, используя подход, предложенный Линденбергом. Аффинная нормализация осуществляется путем повторяющейся процедуры, чтобы оценить параметры эллиптической области и нормализовать их. При каждом повторении эллиптической области происходит оценка параметров: минимизируется разница между собственными моментами матриц второго порядка выбранной области; эллиптическая область нормализуется на круговую; осуществляется оценка ключевой точки, ее масштаб в масштабе пространства. 6. Hessian-Affine использует в качестве особой области блобы вместо углов. Определитель локальных максимумов матрицы Гессе используется в качестве базовых точек. Оставшаяся часть метод такая же как Harris-Affine.
7. ASIFT - идея объединения и нормализации основных частей метода SIFT. SIFT детектор нормализует вращение, перемещение и моделирует все удаленные от поиска и запроса изображения.
8. GLOH (Gradient location-orientation histogram) является модификацией SIFT-дескриптора, который построен с целью повышения надежности. По факту вычисляется SIFT дескриптор, но используется полярная сетка разбиения окрестности на бины
9. DAISY изначально вводится для решения задачи сопоставления изображений (matching) в случае значительных внешних изменений, т.е. данный дескриптор в отличие от ранее рассмотренных работает на плотном множестве пикселей всего изображения.
10. BRIEF-дескриптор (Binary Robust Independent Elementary Features) обеспечивает распознавание одинаковых участков изображения, которые были сняты с разных точек зрения. При этом ставилась задача максимально уменьшить количество выполняемых вычислений. Алгоритм распознавания сводится к построению случайного леса (randomize classification trees) или наивного Байесовского классификатора на некотором тренировочном множестве изображений и последующей классификации участков тестовых изображений.
Существует также вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.
Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана» .
Благодаря данной выгодной характеристике появляется возможность производить анализ неполных и зашумленных изображений, для чего можно использовать эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Идея Калмана при этом состоит в том, чтобы получить наилучшее приближение к истинным координатам изображений по неточным измерениям камеры и предсказаным положениям границ изображения. Точность фильтра зависит от времени его применения, что означает все более стабильный вывод изображения на последующих кадрах. Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».
Благодаря данной выгодной характеристике появляется возможность сокращения времени обработки изображений и определения более точных начальных приближений для обработки нижних уровней по результатам обработки верхних уровней.
Краткое описание чертежей.
Другие отличительные признаки и преимущества данной группы изобретений ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:
- фигура 1 изображает схему устройства для взаимодействия с виртуальными объектами согласно изобретению,
- фигура 2 схематично изображает этапы способа взаимодействия с виртуальными объектами, согласно изобретению.
Маркер объекта обозначен как 1 . Устройство для создания и просмотра дополненной реальности - 2, в нем изображена видеокамера 21 и дисплей 22.
В качестве устройства для создания и просмотра дополненной реальности может быть использованы такие устройства как смартфон, компьютерный планшет или устройства типа очков добавленной реальности.
Изображение, полученное от видеокамеры устройства для создания и просмотра дополненной реальности показано как 23.
С маркером связана физическая базовая система координат, обозначена условно как OmXmYmZm
Координаты устройства 2 для создания и просмотра дополненной реальности относительно базовой системы координат, при этом само устройство 2 имеет свою систему координат OnXnYnZn
Вектор, соответствующий направлению от маркера 1 к виртуальной камере 21 обозначен как R.
Осуществление изобретения.
Устройство для взаимодействия с виртуальными объектами работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.
Согласно фигуре 2:
Этап А1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы
Этап А2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,
Этап A3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат.
Этап А4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.
Этап А41. Для этого располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в её поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности.
Этап А42. Вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени.
Этап А43. Формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне путем последовательной итерации в режиме реального времени.
Этап А44. Или же формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности. Этап A5. Вышеперечисленные действия повторяют на каждой итерации работы вычислительного модуля устройства для создания и просмотра дополненной реальности. Совокупностью полученных направлений за каждую итерацию, формируют информация о всех перемещениях камеры относительно маркера - повороте, приближении, наклоне и т.п.
Этап А6. Выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействия с виртуальными объектами. Примерами таких операций могут быть:
- расчет движения в пространстве положения устройства для создания и просмотра дополненной реальности с применением поправок, компенсирующих вибрацию клиентского устройства пользователя. Например, компенсацию вибрации клиентского устройства пользователя производят с использованием фильтра Калмана.
- при расчете движения в пространстве устройства для создания и просмотра дополненной реальности применяют модель искусственных нейронных сетей.
Пример 1. Созданный в качестве объекта дополненной реальности персонаж (человек или животное) может следить глазами в направлении расположения устройства для создания и просмотра дополненной реальности, создавая у пользователя иллюзию того, что этот человек или животное наблюдает за ним так, как это делало бы реальный человек или животное. При попытке обойти персонаж со спины, он может реагировать соответствующим образом, разворачивая корпус в сторону наблюдателя.
Пример 2. Интерактивная игра, в которой на маркере в роли контента дополненной реальности расположен условный противник, стреляющий в направлении пользователя снарядами, движущимися с небольшой скоростью. Чтобы победить в игре, пользователь должен "уклоняться" от снарядов, смещая камеру устройства для создания и просмотра дополненной реальности с их траектории. Промышленная применимость.
Предлагаемый способ взаимодействия с виртуальными объектами может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.
В соответствии с предложенным изобретением изготовлен опытный образец устройства для взаимодействия с виртуальными объектами, выполненный в виде компьютерного планшета, имеющего дисплей и видеокамеру.
Испытания опытного образца системы показали, что она обеспечивает возможность:
• определения маркеров реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности,
• формирования физической базовой системы координат, привязанной к пространственному положению маркеров реального трехмерного пространства,
• определения координат устройства для создания и просмотра дополненной реальности относительно базовой системы координат;
• задания координат трехмерных виртуальных объектов дополненной реальности в базовой системы координат;
• определения координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства,
• расположения виртуальной камеры в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в её поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,
• вычисления вектора, соответствующего направлению от маркера к виртуальной камере в режиме реального времени,
• формирования информации обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне путем последовательной итерации в режиме реального времени. • выполнения при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.
Таким образом, в данном изобретении достигнута поставленная задача - обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1 . Способ воздействия на виртуальные объекты дополненной реальности, при котором:
• определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности,
• формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,
• определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат;
• задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат;
• выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, отличающийся тем, что
• определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства,
• располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в её поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,
• вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени,
• формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне путем последовательной итерации в режиме реального времени.
2. Способ по п.1 , отличающийся тем, что формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.
3. Способ по п.1 , отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.
4. Способ по п.1 , отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.
5. Способ по п.1 , отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана».
6. Способ по п.1 , отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».
PCT/RU2016/050070 2015-11-18 2016-11-17 Способ воздействия на виртуальные объекты дополненной реальности WO2017086841A1 (ru)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020187017168A KR20180107085A (ko) 2015-11-18 2016-11-17 증강 현실의 가상 객체들에 영향을 미치는 방법
CN201680066494.0A CN108369473A (zh) 2015-11-18 2016-11-17 影响增强现实的虚拟对象的方法
EP16866741.8A EP3379396A4 (en) 2015-11-18 2016-11-17 PROCESS FOR IMPLEMENTING VIRTUAL OBJECTS OF EXTENDED REALITY
US15/773,248 US20180321776A1 (en) 2015-11-18 2016-11-17 Method for acting on augmented reality virtual objects
US16/876,789 US11288837B2 (en) 2015-11-18 2020-05-18 Method of influencing virtual objects of augmented reality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2015149499 2015-11-18
RU2015149499A RU2617557C1 (ru) 2015-11-18 2015-11-18 Способ воздействия на виртуальные объекты дополненной реальности

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/773,248 A-371-Of-International US20180321776A1 (en) 2015-11-18 2016-11-17 Method for acting on augmented reality virtual objects
US16/876,789 Continuation-In-Part US11288837B2 (en) 2015-11-18 2020-05-18 Method of influencing virtual objects of augmented reality

Publications (1)

Publication Number Publication Date
WO2017086841A1 true WO2017086841A1 (ru) 2017-05-26

Family

ID=58643243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/050070 WO2017086841A1 (ru) 2015-11-18 2016-11-17 Способ воздействия на виртуальные объекты дополненной реальности

Country Status (6)

Country Link
US (2) US20180321776A1 (ru)
EP (1) EP3379396A4 (ru)
KR (1) KR20180107085A (ru)
CN (1) CN108369473A (ru)
RU (1) RU2617557C1 (ru)
WO (1) WO2017086841A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108917751A (zh) * 2018-03-30 2018-11-30 北京凌宇智控科技有限公司 一种免标定的定位方法及系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10998211B2 (en) * 2017-05-31 2021-05-04 Fujikin Inc. Management system, method, and computer program for semiconductor fabrication apparatus
RU2686029C2 (ru) * 2017-07-19 2019-04-23 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Система виртуальной реальности на основе смартфона и наклонного зеркала
US11049082B2 (en) * 2018-04-06 2021-06-29 Robert A. Rice Systems and methods for item acquisition by selection of a virtual object placed in a digital environment
CN110555879B (zh) * 2018-05-31 2023-09-08 京东方科技集团股份有限公司 一种空间定位方法、其装置、其系统及计算机可读介质
US11003972B2 (en) * 2018-06-27 2021-05-11 Intel Corporation Localizing a vehicle's charging or fueling port—methods and apparatuses
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
US10692299B2 (en) * 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
JP7227377B2 (ja) * 2018-12-12 2023-02-21 ホウメディカ・オステオニクス・コーポレイション 骨密度モデリング及び整形外科手術計画システム
US11341676B2 (en) 2019-02-05 2022-05-24 Google Llc Calibration-free instant motion tracking for augmented reality
JP7277187B2 (ja) 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US10922892B1 (en) * 2019-04-30 2021-02-16 Splunk Inc. Manipulation of virtual object position within a plane of an extended reality environment
CN110956065B (zh) * 2019-05-11 2022-06-10 魔门塔(苏州)科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN112017297B (zh) * 2019-05-28 2024-01-23 中国商用飞机有限责任公司 一种增强现实的定位方法、装置、设备及介质
US11189000B2 (en) * 2019-06-24 2021-11-30 Intel Corporation Architecture to generate binary descriptor for image feature point
KR102358950B1 (ko) * 2020-10-05 2022-02-07 홍준표 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법
KR20220049304A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090195538A1 (en) * 2008-02-04 2009-08-06 Gwangju Institute Of Science And Technology Method and system for haptic interaction in augmented reality
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты
US20130141461A1 (en) * 2011-12-06 2013-06-06 Tom Salter Augmented reality camera registration
US20140028714A1 (en) * 2012-07-26 2014-01-30 Qualcomm Incorporated Maintaining Continuity of Augmentations

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
CN102254345A (zh) * 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
JP6572893B2 (ja) * 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
US9875579B2 (en) * 2014-08-22 2018-01-23 Applied Research Associates, Inc. Techniques for enhanced accurate pose estimation
CN105939472B (zh) * 2015-03-02 2022-07-15 维蒂克影像国际公司 具有视频叠加的激光投影系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090195538A1 (en) * 2008-02-04 2009-08-06 Gwangju Institute Of Science And Technology Method and system for haptic interaction in augmented reality
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты
US20130141461A1 (en) * 2011-12-06 2013-06-06 Tom Salter Augmented reality camera registration
US20140028714A1 (en) * 2012-07-26 2014-01-30 Qualcomm Incorporated Maintaining Continuity of Augmentations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3379396A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108917751A (zh) * 2018-03-30 2018-11-30 北京凌宇智控科技有限公司 一种免标定的定位方法及系统
CN108917751B (zh) * 2018-03-30 2021-11-02 北京凌宇智控科技有限公司 一种免标定的定位方法及系统

Also Published As

Publication number Publication date
US20180321776A1 (en) 2018-11-08
EP3379396A1 (en) 2018-09-26
CN108369473A (zh) 2018-08-03
US11288837B2 (en) 2022-03-29
RU2617557C1 (ru) 2017-04-25
US20200279396A1 (en) 2020-09-03
KR20180107085A (ko) 2018-10-01
EP3379396A4 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
RU2617557C1 (ru) Способ воздействия на виртуальные объекты дополненной реальности
US20220358770A1 (en) Scene reconstruction in three-dimensions from two-dimensional images
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
Iqbal et al. Facial expression recognition with neighborhood-aware edge directional pattern (NEDP)
CN108292362A (zh) 用于光标控制的手势识别
JP2019125057A (ja) 画像処理装置及びその方法、プログラム
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2014180108A1 (en) Systems and methods for matching face shapes
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
CN109063776A (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
Linna et al. Real-time human pose estimation from video with convolutional neural networks
Verbin et al. Toward a universal model for shape from texture
CN111353325A (zh) 关键点检测模型训练方法及装置
KR102063408B1 (ko) 가상 객체와의 상호 작용을 위한 방법 및 장치
CN110288714B (zh) 一种虚拟仿真实验系统
Wang et al. GA-STIP: Action recognition in multi-channel videos with geometric algebra based spatio-temporal interest points
Kishore et al. Spatial Joint features for 3D human skeletal action recognition system using spatial graph kernels
CN110309721A (zh) 视频处理方法、终端和存储介质
Ozimek et al. Integrating a Non-Uniformly Sampled Software Retina with a Deep CNN Model
CN113724176A (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
US20220157077A1 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image
Moreno et al. Marker-less feature and gesture detection for an interactive mixed reality avatar
CN111222448A (zh) 图像转换方法及相关产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16866741

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15773248

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187017168

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016866741

Country of ref document: EP