RU2606874C1 - Способ управления устройством формирования среды дополненной реальности - Google Patents
Способ управления устройством формирования среды дополненной реальности Download PDFInfo
- Publication number
- RU2606874C1 RU2606874C1 RU2015151481A RU2015151481A RU2606874C1 RU 2606874 C1 RU2606874 C1 RU 2606874C1 RU 2015151481 A RU2015151481 A RU 2015151481A RU 2015151481 A RU2015151481 A RU 2015151481A RU 2606874 C1 RU2606874 C1 RU 2606874C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- model
- photo
- user device
- augmented reality
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Nonlinear Science (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Processing Or Creating Images (AREA)
Abstract
Изобретение относится к технологиям обработки, генерации данных изображения, анализу изображения, в том числе текстуры, визуализации трехмерного изображения. Техническим результатом является обеспечение ограничения доступа пользователю к формированию среды дополненной реальности за счет осуществления проверки действительности кода активации. Предложен способ формирования среды дополненной реальности с помощью пользовательского устройства. Способ содержит этап, на котором получают данные от датчиков пользовательского устройства, связанные с объектом, осуществляют распознавание объекта и генерирование виртуального объекта. Далее согласно способу осуществляют проверку подлинности идентифицирующего набора рисунков, содержащих объекты, кода активации, для чего его направляют на сервер, где в случае положительного результата проверки формируют команду активации процесса формирования среды дополненной реальности и передают ее на пользовательское устройство. Далее получают данные, связанные с объектом, в виде по меньшей мере одного кадра фото- или видеоизображения объекта. 9 з.п. ф-лы, 3 ил.
Description
Изобретение относится к области обработки и генерации данных изображения, анализу изображения, в том числе текстуры, визуализации 3D (трехмерного) изображения.
Наиболее близким по технической сущности - прототипом является компьютерно-реализуемый способ, содержащий: прием сенсорных данных, сгенерированных датчиками, связанными с пользовательским устройством, для физического объекта, находящегося в непосредственной близости от пользователя, использующего пользовательское устройство; распознавание объекта; генерирование виртуального объекта, имеющего заранее определенное отношение с физическим объектом, в ответ на распознавание объекта; и передачу виртуального объекта на дисплей, связанный с пользовательским устройством, для представления пользователю в соответствии с упомянутым заранее определенным отношением (см. RU 2013154098 А, кл. G06F 15/16).
Известный способ может быть использован для создания виртуального объекта, имеющего отношение к реальному физическому объекту.
Недостатком известного способа является невозможность создания среды дополненной реальности в отношении удаленных объектов ввиду использования сенсорных датчиков для получения данных, предусматривающих лишь обнаружение воздействий на датчик.
Другим недостатком известного способа является невозможность обеспечения высокой надежности распознавания близких по своим характеристикам объектов ввиду отсутствия дополнительных данных об объекте помимо данных, генерируемых сенсорным датчиком.
Еще одним недостатком известного решения является то, что в нем не раскрывается детали формирования виртуального объекта. Из указания на то, что виртуальный объект передается на дисплей, связанный с пользовательским устройством, можно сделать вывод о том, что виртуальный объект генерируют удаленно, что означает высокие требования к средствам связи с удаленным генератором по скорости коммуникации для передачи большого объема данных.
Кроме того, использование известного способа не обеспечивает возможности дифференциации доступа конвента в зависимости от качеств пользователя, например по профессиональному или возрастному критерию.
Техническим результатом является обеспечение возможности создания среды дополненной реальности в отношении, в том числе, удаленных объектов за счет использования фото- или видеоизображения физического объекта, повышение надежности распознавания близких по своим характеристикам объектов за счет использования уникального кода активации, связанного с конкретными объектами, упрощение реализации за счет снижения требований к средствам связи, а также возможность обеспечения ограничения доступа пользователя к формированию среды дополненной реальности.
Указанный результат достигается тем, что в способе формирования среды дополненной реальности с помощью пользовательского устройства, заключающемся в получении данных от датчиков пользовательского устройства, связанных с объектом, распознавании объекта и генерировании виртуального объекта, предварительно проверяют подлинность кода активации, идентифицирующего набор рисунков, содержащих объекты, получают данные, связанные с объектом, в виде по меньшей мере одного кадра фото- или видеоизображения объекта, распознавание объекта осуществляют на кадре фото- или видеоизображения путем сопоставления с образами, хранящимися в памяти пользовательского устройства, виртуальный объект генерируют в виде 3D модели, изображение которой воспроизводят в реальном времени с помощью дисплея пользовательского устройства поверх кадров полученного фото- или видеоизображения, при этом объектом, в отношении которого формируют 3D модель, является двумерное изображение по меньшей мере одного предмета, представленного на рисунках, объединенных в набор, которому сопоставлен код активации.
Кроме того:
- кодом активации является кодовое слово, содержащее последовательность букв и/или цифр;
- кодом активации является двумерное изображение, выполненное с возможностью его сканирования с помощью фото- или видеокамеры;
- при наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения;
- формируют 3D модель, контекстно связанную с объектом в ответ на его распознавание;
- формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам;
- формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели;
- формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат;
- на созданной для 3D модели текстуре окрашивают заранее известные участки посредством заполнения цветами смежных пикселей для удаления на результирующем изображении контуров раскрашиваемого объекта;
- на созданную для 3D модели текстуру наносят также карту теней.
Способ формирования среды дополненной реальности с помощью пользовательского устройства поясняется с помощью чертежей, где на Фиг. 1 показан пример формирования среды дополненной реальности с помощью пользовательского устройства, на Фиг. 2 - структурная схема устройства формирования среды дополненной реальности, на Фиг. 3 - алгоритм управления процессором средств вычисления пользовательского устройства.
На чертежах сделаны следующие обозначения:
1 - рисунок из набора рисунков, 2 - объект, в отношении которого создают среду дополненной реальности, 3 - пользовательское устройство (мобильное устройство), 4 - видео или фотокамера, 5 - дисплей, 6 - средства ввода, 7 - средства связи с сервером, 8 - средства распознавания кода активации, 9 - средства проверка кода активации, 10 - средства распознавания объекта, 11 - средства формирования 3D модели, 12 - средства памяти, 13 - средства вывода звука, 14 - средства формирования сигналов итогового изображения, 15 - получение данных кода активации, 16 - предварительная проверка кода активации, 17 - передача данных кода активации на сервер и получение результатов проверки, 18 - оценка результатов проверки кода активации на сервере, 19 - запуск формирования среды дополненной реальности, 20 - получение сигналов изображения с выхода фото- или видеокамеры, 21 - распознавание объекта на изображении, 22 - формирование сигнала итогового изображения для вывода на дисплей, 23 - сервер со средствами проверки кода активации, 24 - Интернет, 25 - средства вычисления пользовательского устройства.
Способ управления устройством формирования среды дополненной реальности обеспечивает формирование среды дополненной реальности с помощью пользовательского устройства и сервера активации и заключается в следующем. Объектом, в отношении которого создают среду дополненной реальности, является двумерное изображение по меньшей мере одного предмета, представленного на рисунке (Фиг. 1). Рисунки объединены в набор, состоящий из нескольких рисунков, снабженный кодом активации, в качестве которого используют либо кодовое слово, содержащее последовательность букв и/или цифр, либо двумерное изображение, выполненное с возможностью его сканирования с помощью фото- или видеокамеры. Проверяют подлинность кода активации, идентифицирующего набор рисунков, содержащих объекты для отображения в виде 3D модели. В случае успешного результата проверки кода активации запускают процесс визуализации пространственной 3D модели, в ходе которого получают с помощью встроенной в пользовательское устройство фото- или видеокамеры по меньшей мере один кадр фото- или видеоизображения объекта. На основе эталонных образов, хранящихся в памяти пользовательского устройства средств формирования среды дополненной реальности осуществляют распознавание объекта на кадре, после чего формируют 3D модель, имеющую смысловую связь с объектом, и воспроизводят ее изображение в реальном времени с помощью дисплея поверх кадров полученного фото- или видеоизображения, При этом получают по меньшей мере один кадр фото- или видеоизображения объекта и при наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения.
Формируют 3D модель в цвете, при этом окрашивание осуществляют по одному из трех вариантов. Для окрашивания по первому варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам.
Для окрашивания 3D модели по второму варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели,
Для окрашивания 3D модели по третьему варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат.
На созданной для 3D модели текстуре окрашивают заранее известные участки посредством заполнения цветами смежных пикселей для удаления на результирующем изображении контуров раскрашиваемого объекта, а также наносят также карту теней (ambient occlusion) на созданную текстуру для 3D модели.
Способ формирования среды дополненной реальности с помощью пользовательского устройства используется следующим образом.
Эффект дополненной реальности создают с помощью пользовательского устройства, представляющего собой мобильное устройство, содержащее встроенную фото- или видеокамеру, средства вычисления, средства памяти, средства ввода информации и дисплей для отображения изображений, а также серверного оборудования, обеспечивающего соответствующий интерфейс с пользовательским устройством. Мобильное устройство выполнено с возможности обмена сигналами с сервером с использованием сети Интернет и снабжено соответствующими средствами беспроводной связи.
Объектами, в отношении которых формируют эффект дополненной реальности, являются двумерные изображения, в общем случае набор рисунков. Для каждого такого рисунка создают пространственную 3D модель, которая может быть отображена на дисплее в виде статического изображения или видеоряда, например, анимационного изображения.
Определенное количество рисунков, например в количестве 20, объединены в набор, которому сопоставлен код активации. Код активации представляет собой кодовое слово или иное двумерное изображение, выполненное с возможностью его сканирования с помощью встроенной фото- или видеокамеры, отпечатанное на специально выделенном для него участке, например на обложке, так, чтобы оно оставалось скрытым до вскрытия набора рисунков.
Кодовое слово представляет собой буквенно-числовую последовательность, содержащую буквы и/или цифры, выполненные одним из известных шрифтов.
Генерацию кодов активации осуществляют заранее в пакетном режиме: не менее 1000 единиц в пакете. В процессе формирования пакетов проверяют коды активации на уникальность в отношении ранее сгенерированных кодов активации. Сформированные пакеты хранят на сервере активации, который обеспечивает интерфейс для работы с кодами активации.
Таким образом, код активации соответствует конкретному набору объектов, а его уникальность позволяет использовать его в качестве дополнительного признака, разграничивающего наборы объектов, близкие по своим параметрам, например позволяет разделять изображения однотипных автомобилей по их маркам.
Процесс управления средствами формирования дополненной реальности, прежде всего, включает проверку подлинности кода активации, соответствующего используемому набору рисунков, с использованием интерфейса, реализованного на сервере активации. Для этого с помощью средств ввода информации вводят кодовое слово в соответствующее поле одной из начальных страниц программы управления мобильным средством или считывают изображение кода активации с помощью встроенной в пользовательское устройство видео- или фотокамеры с последующим распознаванием составляющих его символов и после предварительной проверки с помощью средств вычисления пользовательского устройства направляют на сервер для получения разрешения активации процесса формирования среды дополненной реальности. В случае положительного результата проверки с помощью сервера формируют команду активации процесса формирования среды дополненной реальности и передают ее на пользовательское устройство.
Активированная таким образом программа управления вычислительными средствами пользовательского устройства формирует команду обработки сигнала с выхода фото- или видеокамеры, с помощью которой захватывают изображение объекта путем наведения фото- или видеокамеры пользовательского устройства на один из рисунков из набора. Получают по меньшей мере один кадр с изображением соответствующего рисунка, на котором с помощью средств вычисления распознают соответствующий рисунку объект.
Распознавание осуществляют с использованием заранее созданных образов, сохраняемых в памяти средств вычисления.
Сигналы полученного с выхода фото- или видеокамеры изображения подают на входы дисплея для отображения захваченного изображения.
При наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения.
Далее с помощью средств вычисления пользовательского устройства формируют 3D модель, соответствующую распознанному таким образом объекту.
Изображение 3D модели выполняют цветным, при этом окрашивание элементов осуществляют любым приемлемым способом, включая следующие нижеперечисленные варианты. Исходными данными при окрашивании являются следующие:
- модель, состоящая из полигонов, группам которых назначены материалы,
- одна или две развертки (координат текстуры),
- изображение маркера,
- дополнительные карты освещенности, рельефа и т.п.
По первому варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фото- или видеоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам,
Здесь и далее «Материал» - назначается группе полигонов модели и имеет ряд настроек. Цвет ему можно задать либо просто указанием цвета, либо назначением текстуры (картинка + координаты ее развертки по модели). «Текстура» - любое цифровое изображение, которое используется/планируется к использованию как "окраска" 3D-модели. «Координаты текстуры» - данные, которые ставят в соответствие полигоны 3D-модели участкам текстуры. Один участок текстуры может соответствовать нескольким полигонам. Другое название координат текстуры: развертка или unwrap/анврап/врап.
Таким образом, окрашивание по первому варианту включает: получение кадра изображения, восстановление "ортогонального" изображение маркера, используя информацию о координатах маркера, поставляемую средствами распознавания, наложение его на модель как текстуру, используя заранее сделанную ортогональную развертку.
По второму варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели.
Таким образом, окрашивание по второму варианту включает: получение кадра изображения, считывание цвета в заданных точках кадра, используя информацию о координатах маркера, поставляемую средствами распознавания, далее наложение его на модель как текстуру, используя заранее сделанную ортогональную развертку, материалам модели назначаются эти цвета. Точка на маркере заранее ставится в соответствие участку модели.
Либо генерируют новую текстуру на основе заранее созданных масок. Маски соответствующих цветов накладывают на новую текстуру в заданном порядке, образуя изображение в "обычной" развертке, и далее поверх полученной текстуры наносят дополнительные карты освещенности/теней и пр.
По третьему варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат
Таким образом, окрашивание по третьему варианту включает: получение кадра изображения, восстановление "ортогонального" изображение маркера, используя информацию о координатах маркера, поставляемую средствами распознавания, генерация новой текстуры в "обычной" развертке посредством поэлементного переноса всего изображения с маркера. Перенос происходит посредством соотнесения двух координат развертки - обычных и планарных. Каждый полигон модели присутствует на обеих развертках, тем самым ставя эти участки в соответствие, и, далее, при необходимости поверх полученной текстуры наносят дополнительные карты освещенности/теней и пр.
При любом варианте дополнительно может использоваться "подчистка" линий маркера посредством замены цветов пикселей на цвета соседних пикселей. А именно для удаления на изображении 3D модели контуров раскрашиваемого объекта на созданной для 3D модели текстуре окрашивают заранее установленные участки, посредством заполнения цветами смежных пикселей.
На созданную для 3D модели текстуру наносят также дополнительные элементы изображения, а именно карту теней (ambient occlusion).
Далее формируют сигналы итогового изображения, в котором изображение 3D модели накладывают на изображение с выхода фото- или видеокамеры и подают их для отображения на входы дисплея, так, что изображение 3D модели воспроизводится поверх воспроизводимого в реальном времени изображения, захваченного фото- или видеокамерой.
Способ формирования среды дополненной реальности с помощью пользовательского устройства реализуется с использованием фото- или видеокамеры, что обеспечивает возможность формирования среды дополненной реальности относительно любого попавшего в поле зрения камеры объекта, как близко расположенного, так и удаленного.
Способ формирования среды дополненной реальности с помощью пользовательского устройства предполагает предварительную активацию процесса, при этом код активации может быть использован в качестве детализации набора рисунков, содержащих объекты, способствуя выбору из памяти образов лишь определенной категории для распознавания объектов, что повышает надежность правильного распознавания объектов.
Сервер, задействованный в реализации способа, используется для проверки действительности кода активации, поэтому канал связи с сервером не требует использования мощных и скоростных средств связи, что упрощает аппаратную реализацию способа.
Кроме того, благодаря наличию проверки действительности кода активации способ формирования среды дополненной реальности с помощью пользовательского устройства обеспечивает возможность ограничения его использования пользователями, которым доступ к использованию способа не предусмотрен. Критериями такого ограничения могут служить, например, возраст пользователя, не позволяющий знакомиться с контентом, обеспечиваемым реализацией способа. Другим примером ограничения может являться профессиональный статус пользователя, степень разрешенного ему доступа к конфиденциальной информации. Ограничения могут определяться и иными критериями.
Устройство формирования среды дополненной реальности (Фиг. 2) состоит из пользовательского устройства, предпочтительно мобильного устройства, содержащего средства вычисления, соединенные с входами/выходами средств памяти, фото- или видеокамеры, дисплея, средств ввода информации, средств вывода звука и средств связи с сервером, представляющих собой узел беспроводной передачи данных, в рамках стандартов Wi-Fi или стандартов GPRS, или LTE, или иного аналогичного, для связи с сервером, а также сервера активации, снабженного средствами проверки действительности кода активации, средствами памяти для хранения кодов активации и связанного с пользовательским устройством посредством сети Интернет. Средства вычисления содержат средства распознавания кода активации, средства проверка кода активации, средства распознавания объекта, средства формирования 3D модели, средства памяти и средства формирования сигналов итогового изображения.
Средства вычисления предполагают следующий порядок работы (Фиг. 3).
Вначале работы происходит получение данных кода активации, который пользователь заносит вручную с помощью средств ввода или путем наведения фото- или видеокамеры на его изображение. Средствами ввода могут быть кнопки управления, кнопки сенсорной клавиатуры, узел голосового ввода или фото- или видеокамера.
Затем осуществляется проверка кода активации по формальным признакам путем сопоставления длины, и/или четности, и/или допустимых символов и пр. с допустимыми значениями.
После локальной проверки происходит передача данных кода активации на средства связи с сервером. На сервере осуществляют проверку действительности кода путем сравнения с хранящимися в его памяти кодами.
После получения результатов проверки с сервера осуществляют сопоставление полученной команды сервера с возможностью активации или разблокировки процесса управления формированием среды дополненной реальности. Если результаты проверки оказываются отрицательными, то процесс заканчивается.
Если результаты проверки положительные, то осуществляют запуск процесса формирования среды дополненной реальности.
Осуществляют получение изображения с выхода фото- или видеокамеры, которую пользователь наводит на рисунок с объектом.
Средства вычисления обращаются к памяти для обнаружения и распознавания объекта на захваченном изображении путем сравнения с образами объектов.
После распознавания объекта осуществляется формирование 3D модели, связанной с распознанным объектом.
На завершавшей стадии формирования среды дополненной реальности происходит формирование вывод на дисплей сигналов итогового изображения.
Описанные варианты настоящего изобретения и сформулированные в этих вариантах расположение компонентов, числовые выражения и численные значения не ограничивают объем данного изобретения, если это не указано специально.
Пример
Средства формирования среды дополненной реальности представляют собой пользовательское устройство, в качестве которого используют мобильное устройство связи, снабженное встроенной видеокамерой, средствами вычисления, памятью, средствами ввода информации в виде сенсорных кнопок, встроенный дисплей и средства связи с сервером посредством сети Интернет, а также сам сервер активации.
Объекты, в отношении которых формируют дополненную реальность, представляют собой рисунки, выполненные на листах бумаги, собранные в изначально запечатанный альбом, на внутренней стороне обложки которого напечатано кодовое слово.
Пользователь, распечатав альбом, получает доступ к кодовому слову указанного альбома. Запустив соответствующее приложение мобильного устройства связи, пользователь вводит в соответствующее поле на открывшейся страничке кодовое слово, которое в виде сигналов подается на вход средств вычисления, где производится проверка формальных признаков и затем с помощью средств связи с сервером передается на сервер для проверки соответствия одному из хранящихся на сервере кодовому слову. Средства вычисления сервера производят проверку введенного пользователем кодового слова на подлинность с использованием интерфейса реализованного на сервере активации.
В случае отрицательного результата проверки управление средствами формирования среды дополненной реальности заканчивается и соответствующее приложение остается заблокированным.
При положительном результате проверки сервером формируется сигнал разрешения формирования пользовательским устройством среды дополненной реальности, которую передают посредством Интернет на мобильное средство связи и, таким образом, разблокируют соответствующее приложение.
Получив возможность формирования эффекта дополненной реальности, пользователь наводит видеокамеру мобильного средства связи на один из рисунков альбома, обеспечивая возможность захвата видеокамерой изображения объекта, а также его обнаружение и распознавание с помощью средств вычисления. При этом средства вычисления обращаются к памяти мобильного устройства, в которой хранятся образы объектов, содержащихся в альбоме. В отношении распознанного объекта формируют пространственную модель и отображают ее в виде соответствующего видеоряда на дисплее поверх захваченного изображения.
Средства вывода звука используются для воспроизведения звуковых эффектов, связанных с воспроизводимым изображением 3D модели.
Способ формирования среды дополненной реальности с помощью пользовательского устройства может быть реализован с использованием стандартных компонентов и радиоэлектронной элементной базы, включая самостоятельные модули, такие как камера, дисплей, процессор и др.
Таким образом, способ формирования среды дополненной реальности с помощью пользовательского устройства обеспечивает возможность создания среды дополненной реальности в отношении, в том числе, удаленных объектов за счет использования фото- или видеоизображения физического объекта, повышение надежности правильного распознавания близких по своим характеристикам объектов за счет использования уникального кода активации, связанного с конкретными объектами, упрощение реализации за счет снижения требований к средствам связи, а также обеспечивает возможность ограничения доступа к формированию среды дополненной реальности для пользователя.
Claims (10)
1. Способ формирования среды дополненной реальности с помощью пользовательского устройства, заключающийся в получении данных от датчиков пользовательского устройства, связанных с объектом, распознавании объекта и генерировании виртуального объекта, отличающийся тем, что проверяют подлинность идентифицирующего набора рисунков, содержащих объекты, кода активации, для чего его направляют на сервер, где в случае положительного результата проверки формируют команду активации процесса формирования среды дополненной реальности и передают ее на пользовательское устройство, получают данные, связанные с объектом, в виде по меньшей мере одного кадра фото- или видеоизображения объекта, распознавание объекта осуществляют на кадре фото- или видеоизображения путем сопоставления с образами, хранящимися в памяти пользовательского устройства, виртуальный объект генерируют в виде 3D модели, изображение которой воспроизводят в реальном времени с помощью дисплея пользовательского устройства поверх кадров полученного фото- или видеоизображения, при этом объектом, в отношении которого формируют 3D модель, является двумерное изображение по меньшей мере одного предмета, представленного на рисунках, объединенных в набор, которому сопоставлен код активации.
2. Способ по п. 1, отличающийся тем, что кодом активации является кодовое слово, содержащее последовательность букв и/или цифр.
3. Способ по п. 1, отличающийся тем, что кодом активации является двумерное изображение, выполненное с возможностью его сканирования с помощью фото- или видеокамеры.
4. Способ по п. 1, отличающийся тем, что при наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения.
5. Способ по п. 1, отличающийся тем, что формируют 3D модель, контекстно связанную с объектом в ответ на его распознавание.
6. Способ по п. 1, отличающийся тем, что формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам.
7. Способ по п. 1, отличающийся тем, что формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели.
8. Способ по п. 1, отличающийся тем, что формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат.
9. Способ по п. 8, отличающийся тем, что на созданной для 3D модели текстуре окрашивают заранее известные участки посредством заполнения цветами смежных пикселей для удаления на результирующем изображении контуров раскрашиваемого объекта.
10. Способ по п. 8, отличающийся тем, что на созданную для 3D модели текстуру наносят также карту теней.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015151481A RU2606874C1 (ru) | 2015-12-02 | 2015-12-02 | Способ управления устройством формирования среды дополненной реальности |
| KR1020187018631A KR102545296B1 (ko) | 2015-12-02 | 2016-11-27 | 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법 |
| US15/773,274 US10706627B2 (en) | 2015-12-02 | 2016-11-27 | Method of controlling a device for generating an augmented reality environment |
| CN201680070830.9A CN108369749B (zh) | 2015-12-02 | 2016-11-27 | 对用于形成增强现实环境的装置进行控制的方法 |
| EP16871136.4A EP3385914A4 (en) | 2015-12-02 | 2016-11-27 | METHOD FOR CONTROLLING A DEVICE FOR GENERATING AN EXTENDED REALITY ENVIRONMENT |
| PCT/RU2016/050075 WO2017095273A1 (ru) | 2015-12-02 | 2016-11-27 | Способ управления устройством формирования среды дополненной реальности |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015151481A RU2606874C1 (ru) | 2015-12-02 | 2015-12-02 | Способ управления устройством формирования среды дополненной реальности |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2606874C1 true RU2606874C1 (ru) | 2017-01-10 |
Family
ID=58452426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015151481A RU2606874C1 (ru) | 2015-12-02 | 2015-12-02 | Способ управления устройством формирования среды дополненной реальности |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10706627B2 (ru) |
| EP (1) | EP3385914A4 (ru) |
| KR (1) | KR102545296B1 (ru) |
| CN (1) | CN108369749B (ru) |
| RU (1) | RU2606874C1 (ru) |
| WO (1) | WO2017095273A1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2667602C2 (ru) * | 2017-03-15 | 2018-09-21 | Общество с ограниченной ответственностью "АВИАРЕАЛ" | Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов |
| RU2715797C1 (ru) * | 2018-01-12 | 2020-03-03 | Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд. | Способ и устройство для синтеза объектов виртуальной реальности |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565764B2 (en) * | 2018-04-09 | 2020-02-18 | At&T Intellectual Property I, L.P. | Collaborative augmented reality system |
| KR101949103B1 (ko) | 2018-10-10 | 2019-05-21 | (주)셀빅 | 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템 |
| CN111147747B (zh) * | 2019-12-30 | 2021-07-27 | 深圳市优必选科技股份有限公司 | 一种识别互补组件的方法及图像处理设备 |
| CN111429585A (zh) * | 2020-03-30 | 2020-07-17 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、电子设备及计算机可读存储介质 |
| CN112053370A (zh) * | 2020-09-09 | 2020-12-08 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
| CN113129814B (zh) * | 2021-04-23 | 2022-11-11 | 浙江博采传媒有限公司 | 应用于led环屏虚拟制片的校色方法及系统 |
| CN113570729B (zh) * | 2021-07-28 | 2024-03-15 | 上海哔哩哔哩科技有限公司 | 标记生成方法及装置、对象展示方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
| RU2295772C1 (ru) * | 2005-09-26 | 2007-03-20 | Пензенский государственный университет (ПГУ) | Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации |
| US20100284607A1 (en) * | 2007-06-29 | 2010-11-11 | Three Pixels Wide Pty Ltd | Method and system for generating a 3d model from images |
| US20100303359A1 (en) * | 2007-12-17 | 2010-12-02 | Gemalto Sa | Secured identification medium and method for securing such a medium |
| RU2433487C2 (ru) * | 2009-08-04 | 2011-11-10 | Леонид Михайлович Файнштейн | Способ проецирования изображения на поверхности реальных объектов |
| US20120140024A1 (en) * | 2010-12-03 | 2012-06-07 | Fly's Eye Imaging, LLC | Method of displaying an enhanced three-dimensional images |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6950800B1 (en) * | 1999-12-22 | 2005-09-27 | Eastman Kodak Company | Method of permitting group access to electronically stored images and transaction card used in the method |
| US8114172B2 (en) * | 2004-07-30 | 2012-02-14 | Extreme Reality Ltd. | System and method for 3D space-dimension based image processing |
| CN100470452C (zh) * | 2006-07-07 | 2009-03-18 | 华为技术有限公司 | 一种实现三维增强现实的方法及系统 |
| US8203564B2 (en) * | 2007-02-16 | 2012-06-19 | Qualcomm Incorporated | Efficient 2-D and 3-D graphics processing |
| KR101082285B1 (ko) * | 2010-01-29 | 2011-11-09 | 주식회사 팬택 | 증강 현실 제공 단말기 및 방법 |
| CN102375972A (zh) * | 2010-08-23 | 2012-03-14 | 谢铮 | 一种分布式的基于可移动设备的增强现实平台 |
| US9104677B2 (en) * | 2010-11-18 | 2015-08-11 | Chahoo Co., Ltd. | Comprehensive pipeline management system and method using information recognition means |
| JP6316186B2 (ja) * | 2011-05-06 | 2018-04-25 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 広範囲同時遠隔ディジタル提示世界 |
| CN102843347B (zh) * | 2011-06-24 | 2017-10-31 | 中兴通讯股份有限公司 | 实现移动增强现实业务的系统及方法、终端及服务器 |
| KR101984915B1 (ko) * | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템 |
| KR101525115B1 (ko) * | 2012-12-21 | 2015-06-02 | 이기호 | 이미지 인식을 이용한 스마트 보안인증 시스템 및 그 방법 |
| CN103761460B (zh) * | 2013-12-18 | 2017-01-18 | 微软技术许可有限责任公司 | 显示设备上的用户认证 |
| CN104915579A (zh) * | 2015-05-06 | 2015-09-16 | 腾讯科技（深圳）有限公司 | 一种信息处理方法和装置 |
| US10607230B2 (en) * | 2016-12-02 | 2020-03-31 | Bank Of America Corporation | Augmented reality dynamic authentication for electronic transactions |
-
2015
- 2015-12-02 RU RU2015151481A patent/RU2606874C1/ru active
-
2016
- 2016-11-27 US US15/773,274 patent/US10706627B2/en not_active Expired - Fee Related
- 2016-11-27 WO PCT/RU2016/050075 patent/WO2017095273A1/ru active Application Filing
- 2016-11-27 EP EP16871136.4A patent/EP3385914A4/en active Pending
- 2016-11-27 CN CN201680070830.9A patent/CN108369749B/zh active Active
- 2016-11-27 KR KR1020187018631A patent/KR102545296B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
| RU2295772C1 (ru) * | 2005-09-26 | 2007-03-20 | Пензенский государственный университет (ПГУ) | Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации |
| US20100284607A1 (en) * | 2007-06-29 | 2010-11-11 | Three Pixels Wide Pty Ltd | Method and system for generating a 3d model from images |
| US20100303359A1 (en) * | 2007-12-17 | 2010-12-02 | Gemalto Sa | Secured identification medium and method for securing such a medium |
| RU2433487C2 (ru) * | 2009-08-04 | 2011-11-10 | Леонид Михайлович Файнштейн | Способ проецирования изображения на поверхности реальных объектов |
| US20120140024A1 (en) * | 2010-12-03 | 2012-06-07 | Fly's Eye Imaging, LLC | Method of displaying an enhanced three-dimensional images |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2667602C2 (ru) * | 2017-03-15 | 2018-09-21 | Общество с ограниченной ответственностью "АВИАРЕАЛ" | Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов |
| RU2715797C1 (ru) * | 2018-01-12 | 2020-03-03 | Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд. | Способ и устройство для синтеза объектов виртуальной реальности |
| US11636653B2 (en) | 2018-01-12 | 2023-04-25 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus for synthesizing virtual and real objects |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3385914A4 (en) | 2019-08-14 |
| US20180322703A1 (en) | 2018-11-08 |
| EP3385914A1 (en) | 2018-10-10 |
| KR102545296B1 (ko) | 2023-06-20 |
| KR20180088886A (ko) | 2018-08-07 |
| CN108369749A (zh) | 2018-08-03 |
| US10706627B2 (en) | 2020-07-07 |
| CN108369749B (zh) | 2022-03-29 |
| WO2017095273A1 (ru) | 2017-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2606874C1 (ru) | Способ управления устройством формирования среды дополненной реальности | |
| CN107484428B (zh) | 用于显示对象的方法 | |
| CN103875004B (zh) | 动态选择真实世界中的表面以用于在上面投影信息 | |
| CN108460414A (zh) | 训练样本图像的生成方法、装置及电子设备 | |
| EP3425847B1 (en) | Captcha-based authentication processing method and device | |
| CN112598627A (zh) | 检测图像缺陷的方法、系统、电子设备及介质 | |
| CN109583187A (zh) | 一种增强现实验证码方法及应用 | |
| CN109492540B (zh) | 一种图像中的人脸交换方法、装置及电子设备 | |
| CN109635021A (zh) | 一种基于人体检测的数据信息录入方法、装置及设备 | |
| CN106600669A (zh) | 基于可变色荧光画板和增强现实的装置及运行方法 | |
| KR20200136723A (ko) | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 | |
| CN108597034A (zh) | 用于生成信息的方法和装置 | |
| CN110415171B (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| CN117237514A (zh) | 图像处理方法和图像处理装置 | |
| CN112598611A (zh) | 一种凸字体银行卡号图像的合成方法、识别方法及装置 | |
| CN114677476B (zh) | 一种脸部处理方法、装置、计算机设备及存储介质 | |
| KR20170006219A (ko) | 3차원 모델링 서비스 제공 방법 및 이를 위한 장치 | |
| CN112016505B (zh) | 基于人脸图像的活体检测方法、设备、存储介质及装置 | |
| JP2021033707A (ja) | 情報処理装置 | |
| CN112102205A (zh) | 图像去模糊方法、装置、电子设备及存储介质 | |
| CN113792701B (zh) | 一种活体检测方法、装置、计算机设备和存储介质 | |
| WO2021060016A1 (ja) | 画像処理装置、画像処理方法、プログラム、および画像処理システム | |
| KR20240100181A (ko) | 딥러닝 기반의 건물 영역 검출을 수행하는 전자 장치 및 그 동작 방법 | |
| KR20240018140A (ko) | 3차원 의류 이미지 생성 방법, 이를 이용하는 서버 및 프로그램 | |
| CN118733845A (en) | Data processing method, data search method, electronic device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20180522 |