UA146807U

UA146807U - WAY OF CONTROLLING OBJECTS OF ADDED REALITY

Info

Publication number: UA146807U
Application number: UAU202007338U
Authority: UA
Inventors: Денис Вікторович Охріменко
Original assignee: Денис Вікторович Охріменко
Priority date: 2020-11-18
Filing date: 2020-11-18
Publication date: 2021-03-17

Abstract

Спосіб керування об'єктами доповненої реальності, де попередньо формують матеріальний носій, на поверхні якого утворено перший маркер для генерування першого сценарію для об'єкта доповненої реальності, визначають перший маркер засобом оптичного захоплення зображення або відео, відтворюють об'єкт доповненої реальності за першим сценарієм, пов'язаним з першим маркером. Матеріальний носій містить щонайменше один елемент, який виконаний з можливістю переміщення або повороту від початкового положення до кінцевого положення. При переміщенні або повороті щонайменше одного елементу від початкового положення до кінцевого положення на поверхні матеріального носія в комбінації з поверхнею щонайменше одного елемента утворюють другий маркер для генерування другого сценарію для об'єкта доповненої реальності, визначають другий маркер засобом оптичного захоплення зображення або відео, відтворюють об'єкт доповненої реальності за другим сценарієм, де другий сценарій пов'язаний з другим маркером. 11A method of controlling augmented reality objects, where a material carrier is preformed, on the surface of which a first marker is formed to generate a first scenario for an augmented reality object, a first marker is determined by means of optical image or video capture, and an augmented reality object is reproduced in the first scenario associated with the first marker. The material carrier contains at least one element that is configured to move or rotate from the starting position to the end position. When moving or rotating at least one element from the initial position to the final position on the surface of the media in combination with the surface of at least one element form a second marker to generate a second scenario for the augmented reality object, determine the second marker by optical image or video capture. augmented reality object in the second scenario, where the second scenario is associated with the second marker. 11

Description

Корисна модель належить до способів відтворення інформації електронними засобами з застосуванням технологій доповненої реальності (ДР, А!йдтепіей Кеаїйу) рекламного, розважального чи пізнавального характеру. Зокрема, технічне рішення стосується керування об'єктами ДР.The useful model belongs to the methods of reproduction of information by electronic means using technologies of augmented reality (AR, A!ydtepiei Keaiyu) of an advertising, entertainment or educational nature. In particular, the technical solution concerns the management of DR objects.

З рівня техніки відоме технічне рішення за патентом Китаю СМ107885331 "Вертикальні регульовані системи". Відомий винахід розкриває інтерактивний спосіб для здійснення перемикання звуку на основі технології доповненої реальності. Метод включає наступні етапи: крок 1: у сцені віртуальної реальності відстежують положення та обертання маркера реального цільового об'єкта щодо кінцевого пристрою в поточній сцені за допомогою технології відстеження зображень; крок 2: встановлюють принаймні два аудіо- або відеопотоки, які можна відтворювати в використаній сцені доповненої реальності та попередньо встановлюють кут повороту пристрою навколо реального маркера цільового об'єкта та умови запуску для відтворення звуку; крок 3: коли умова тригера задовольняється, реалізують перемикання аудіо чи відео. Під умовою тригера в даному документі розуміється виявлення маркера пристроєм користувача у встановленому діапазоні значень кутів повороту відносно цільового об'єкту.From the technical level, a technical solution is known according to Chinese patent CM107885331 "Vertical adjustable systems". The known invention discloses an interactive method for switching sound based on augmented reality technology. The method includes the following steps: step 1: in the virtual reality scene, the position and rotation of the marker of the real target object relative to the end device in the current scene are tracked using image tracking technology; step 2: set at least two audio or video streams that can be played in the used augmented reality scene and pre-set the rotation angle of the device around the real marker of the target object and the trigger conditions for sound playback; step 3: when the trigger condition is satisfied, implement audio or video switching. In this document, the trigger condition is defined as the detection of a marker by the user's device in the set range of values of rotation angles relative to the target object.

Тобто, користувач має попередньо бути ознайомленим з умовою тригера, а саме - розміщення пристрою в поточній сцені у певному положенні. При задоволенні цієї умови подається зовнішня команда на зміну сценарію. Таким чином, згідно зі способом може бути реалізована взаємодія зовнішньої команди та перемикання аудіо чи відео в використаній сцені доповненої реальності.That is, the user must first be familiar with the trigger condition, namely placing the device in a certain position in the current scene. If this condition is met, an external command is submitted to change the scenario. Thus, according to the method, the interaction of an external command and the switching of audio or video in the used augmented reality scene can be implemented.

В даному рішенні перемикання сценарію відтворення об'єкта доповненої реальності здійснюється за рахунок зовнішньої команди. Недоліком такого рішення є низька надійність, викликана тим, що кожна людина має власні особливості відтворення рухів. Це призводить до хибного запуску нового сценарію для об'єкту ДР.In this solution, switching the scenario of the reproduction of the augmented reality object is carried out at the expense of an external command. The disadvantage of such a solution is low reliability, caused by the fact that each person has his own characteristics of movement reproduction. This results in falsely starting a new script for the DR object.

Також з рівня техніки відоме рішення за патентом США 052017083952 (АТ), згідно з яким запропоновано метод взаємодії користувача з ЗО-віртгуальним об'єктом у просторі доповненої реальності. Користувач має мобільний пристрій, через який за допомогою камери отримується вигляд сцени, що включає рівну поверхню. Мобільний пристрій вибирає ключовий кадр плоскої поверхні через засіб захоплення фото/відеозображення. Мобільний пристрій визначає, що плоска поверхня в захопленому кадрі відповідає заздалегідь визначеному рівню насиченостіAlso known from the state of the art is the solution under the US patent 052017083952 (AT), according to which a method of user interaction with a 3D virtual object in the space of augmented reality is proposed. The user has a mobile device through which a camera view of a scene including a flat surface is obtained. The mobile device selects a keyframe of the flat surface through the photo/video capture tool. The mobile device determines that the flat surface in the captured frame corresponds to a predetermined saturation level

Зо функцій, який оцінюється за допомогою алгоритму, що аналізує послідовні ключові кадри. Під насиченістю функцій слід розуміти показник щодо можливості виявлення в безперервному режимі зміни маркеру для запуску іншого сценарію об'єкта ДР та достатності контрольних точок для визначення кадра як чергового маркера. Мобільний пристрій вводить віртуальний 3О-об'єкт принаймні на частину ключового кадру. Мобільний пристрій визначає, чи є користувач відносно нерухомим або перебуває в русі, принаймні за допомогою одного бортового датчика, і надає користувачеві різні можливості взаємодії з віртуальним ЗО-об'єктом.Of the functions, which is estimated using an algorithm that analyzes successive key frames. The saturation of functions should be understood as an indicator of the possibility of detecting a marker change in a continuous mode to launch another DR object scenario and the sufficiency of control points for determining a frame as the next marker. The mobile device inserts a virtual 3O object into at least part of the keyframe. The mobile device determines whether the user is relatively stationary or is in motion, using at least one on-board sensor, and provides the user with various opportunities to interact with the virtual ZO-object.

З даного документу суттєвим є визначення руху користувача для зміни об'єкту доповненої реальності, а також прив'язка до визначення рівня насиченості функцій. Недоліком відомого рішення є низька надійність спрацьовування, оскільки насиченість функцій визначається безперервно, що збільшує навантаження на мобільний пристрій.From this document, the determination of the user's movement to change the object of augmented reality, as well as the reference to the definition of the level of saturation of functions, is essential. The disadvantage of the known solution is the low reliability of operation, since the saturation of functions is determined continuously, which increases the load on the mobile device.

Таким чином, існує потреба у створенні способу керування об'єктами доповненої реальності, при якому зміна сценарію відтворення об'єкта ДР не залежала б від рухів користувача перед камерою та в якому зменшувалось би навантаження на мобільний пристрій.Thus, there is a need to create a method of controlling augmented reality objects, in which the change of the playback scenario of the DR object would not depend on the movements of the user in front of the camera and in which the load on the mobile device would be reduced.

Поставлена задача вирішується за допомогою способу керування об'єктами доповненої реальності, який полягає у тому, що попередньо формують матеріальний носій, на поверхні якого утворено перший маркер для генерування першого сценарію для об'єкта доповненої реальності, визначають перший маркер засобом оптичного захоплення зображення або відео, відтворюють об'єкт доповненої реальності за першим сценарієм, пов'язаним з першим маркером, при цьому, згідно з корисною моделлю, матеріальний носій містить щонайменше один елемент, який виконаний з можливістю переміщення або повороту від початкового положення до кінцевого положення, причому, при переміщенні або повороті щонайменше одного елементу від початкового положення до кінцевого положення на поверхні матеріального носія в комбінації з поверхнею щонайменше одного елемента утворюють другий маркер для генерування другого сценарію для об'єкта доповненої реальності, визначають другий маркер засобом оптичного захоплення зображення або відео, після чого відтворюють об'єкт доповненої реальності за другим сценарієм, де другий сценарій пов'язаний з другим маркером.The task is solved using a method of managing objects of augmented reality, which consists in pre-forming a material medium on the surface of which the first marker is formed for generating the first scenario for the object of augmented reality, determining the first marker by means of optical image or video capture , reproduce the object of augmented reality according to the first scenario associated with the first marker, while, according to the useful model, the material carrier contains at least one element that is made with the possibility of movement or rotation from the initial position to the final position, and, when moving or rotating at least one element from the initial position to the final position on the surface of the material carrier in combination with the surface of at least one element form a second marker for generating a second scenario for the object of augmented reality, determine the second marker by means of optical image or video capture, after which is reproduced by the augmented reality object according to the second scenario, where the second scenario is associated with the second marker.

Технічний результат, який досягається при здійсненні заявленого способу, полягає в забезпеченні контрольованої зміни сценарію відтворення об'єкта доповненої реальності. Це значно підвищує надійність способу керування об'єктами ДР.The technical result, which is achieved when implementing the claimed method, is to provide a controlled change in the scenario of reproduction of the augmented reality object. This significantly increases the reliability of the DR object management method.

Далі буде наведено перелік Фігур, за допомогою яких демонструється переважний варіант втілення заявленого технічного рішення. Додані креслення не є такими, що обмежують варіанти втілення матеріальної частини, за допомогою якої здійснюється заявлений спосіб.Next, a list of figures will be given, with the help of which the preferred version of the implementation of the declared technical solution is demonstrated. The attached drawings are not such as to limit the options for implementing the material part by means of which the claimed method is carried out.

На Фіг. 1 зображено вигляд згори матеріального носія з елементами.In Fig. 1 shows a top view of the material carrier with elements.

На Фіг. 2 зображено вигляд матеріального носія з елементами в ізометрії.In Fig. 2 shows the view of the material carrier with elements in isometry.

На Фіг. 3 зображено вигляд спереду матеріального носія.In Fig. 3 shows a front view of the material carrier.

На Фіг. 1 зображено матеріальний носій (1) та перший (2) та другий (3) елементи в різних позиціях. Для пояснення зміни маркера вибрано, що перший елемент та другий елемент виконані з можливістю обертання відносно місця кріплення до матеріального носія. Причому перший та другий елементи можуть мати як однакові (синхронізовані) початкове положення та кінцеве положення (а) та (г), так і різні (не синхронізовані) початкове положення та кінцеве положення (б) та (в). При цьому, при переміщенні щонайменше одного елементу (2) або (3) з початкового положення в кінцеве положення змінюється маркер на матеріальному носії.In Fig. 1 shows the material carrier (1) and the first (2) and second (3) elements in different positions. To explain the change of the marker, it was chosen that the first element and the second element are made with the possibility of rotation relative to the place of attachment to the material carrier. Moreover, the first and second elements can have both the same (synchronized) initial position and final position (a) and (d), and different (non-synchronized) initial position and final position (b) and (c). At the same time, when moving at least one element (2) or (3) from the initial position to the final position, the marker on the material carrier changes.

На Фіг. 2 та Фіг. З показано, що матеріальний носій має шарувату структуру, в якій передбачено простір між шарами для вміщування елементу.In Fig. 2 and Fig. It is shown that the material carrier has a layered structure, in which space is provided between the layers to accommodate the element.

Фахівцеві в даній галузі мають бути зрозумілими різні варіанти виконання зміни положення елементу від початкового положення до кінцевого положення, шляхом його повороту/обертання на певний кут, як наприклад, це показано на Фіг. 1 або фіг. 2, де зміна маркера виконується при повороті елементу на 907. Іншим варіантом втілення, що включає в себе реалізацію за сукупністю ознак формули, є переміщення елементу вздовж його повздовжньої осі на певну відстань паралельно площині матеріального носія.A person skilled in the art should be aware of the various options for changing the position of an element from the initial position to the final position, by turning/rotating it to a certain angle, as, for example, it is shown in Fig. 1 or fig. 2, where the change of the marker is performed when the element is rotated by 907. Another version of the embodiment, which includes the implementation according to the set of features of the formula, is the movement of the element along its longitudinal axis for a certain distance parallel to the plane of the material carrier.

Далі буде наведено детальний опис заявленого технічного рішення із розкриттям додаткових нових технічних властивостей. Можливості втілення заявленого способу не обмежуються лише наведеним нижче описом. Навпаки, фахівцеві мають бути зрозумілими всі можливі варіанти втілення, з врахуванням обсягу, наданого в формулі.Next, a detailed description of the claimed technical solution will be given with the disclosure of additional new technical properties. The possibilities of implementing the claimed method are not limited to the following description. On the contrary, the specialist should be clear about all possible variants of implementation, taking into account the volume given in the formula.

Заявлений спосіб керування об'єкками доповненої реальності переважно може бутиThe declared method of managing objects of augmented reality can preferably be

Зо застосованим для розширення інформативності в межах певного матеріального носія для відтворення об'єкту ДР. Додатково слід зауважити, що ні суть відтворюваного об'єкту, ні форма його відтворення не є об'єктом даної патентної заявки.With applied to expand informativeness within a certain material medium for reproduction of the DR object. In addition, it should be noted that neither the essence of the reproduced object nor the form of its reproduction is the object of this patent application.

Основна проблема, з якою зустрічається користувач при використанні об'єктів ДР, є необхідність повної заміни матеріального носія для зміни сценарію відтворення об'єкту ДР. Як показано при аналізі найближчого рівня техніки, зміна сценарію можлива при поданні певних зовнішніх команд. Але при цьому має залучатися людина, рухи якої є необхідним елементом для зміни сценарію об'єкта ДР. Дане технічне рішення спрямоване на усунення людини для безпосередньої зміни сценарію для об'єкта ДР.The main problem faced by the user when using DR objects is the need to completely replace the material medium in order to change the playback scenario of the DR object. As shown in the prior art analysis, a script change is possible when certain external commands are given. But at the same time, a person must be involved, whose movements are a necessary element for changing the scenario of the DR object. This technical solution is aimed at eliminating a person to directly change the scenario for the DR object.

Під матеріальним носієм в реалізації даного технічного рішення слід розуміти матеріальну основу, виконану переважно, але необов'язково, з цупкого паперу, пластику чи дерева, або комбінації зазначених матеріалів. На поверхню матеріального носія нанесено деяке зображення, яке є першим маркером.The material carrier in the implementation of this technical solution should be understood as a material base made mainly, but not necessarily, of sticky paper, plastic or wood, or a combination of these materials. Some image is applied to the surface of the material carrier, which is the first marker.

Додатково, матеріальний носій містить щонайменше один елемент. Під щонайменше одним елементом слід розуміти поєднаний з матеріальним носієм і виконаний з переважно аналогічного матеріалу, що й сам матеріальний носій, фрагмент. Елемент поєднаний з матеріальним носієм або через виріз в матеріальному носії, або за допомогою виступу в матеріальному носії, або через точковий елемент кріплення (наприклад, люверс). В будь-якому з наведених варіантів реалізації елемент виконаний з можливістю переміщення відносно матеріального носія: паралельно його поверхні, вздовж поверхні прямолінійно та/або радіально від початкового положення до кінцевого положення. Елемент також виконаний з можливістю повернення з кінцевого або проміжного положення до початкового положення.Additionally, the material carrier contains at least one element. At least one element should be understood as a fragment combined with a material carrier and made of mostly the same material as the material carrier itself. The element is connected to the material carrier either through a cutout in the material carrier, or by means of a protrusion in the material carrier, or through a point attachment element (for example, an eyelet). In any of the above implementation options, the element is made with the possibility of movement relative to the material carrier: parallel to its surface, along the surface in a straight line and/or radially from the initial position to the final position. The element is also made with the possibility of returning from the final or intermediate position to the initial position.

Під формуванням матеріального носія слід розуміти попереднє нанесення на поверхню матеріального носія деякого малюнка або зображення, яке є першим маркером, та комбінування цього матеріального носія з елементом.The formation of the material carrier should be understood as the preliminary drawing on the surface of the material carrier of some drawing or image, which is the first marker, and the combination of this material carrier with the element.

Перший маркер пов'язаний з першим сценарієм для об'єкта ДР. Тобто при наведенні засобу оптичного захоплення на перший маркер виконується розпізнавання першого маркера та генерування на екрані або іншому засобові виведення даних об'єкту ДР, де розпізнавання маркера зумовлює запуск першого попередньо заданого сценарію. Під пристроєм оптичного захоплення слід розуміти камеру, яка захоплює об'єкт дійсної реальності, такий як маркер на 60 матеріальному носієві, зображення або відео.The first marker is associated with the first scenario for the DR object. That is, when the optical capture tool is pointed at the first marker, the first marker is recognized and generated on the screen or other means of outputting data to the DR object, where the recognition of the marker determines the launch of the first predefined scenario. An optical capture device should be understood as a camera that captures an object of actual reality, such as a marker on a physical medium, image or video.

Елемент формують шляхом попереднього нанесення на його поверхню деякого малюнку або зображення та комбінування цього елемента з матеріальним носієм. При переміщенні або повороті елементу від початкового положення до кінцевого положення на поверхні матеріального носія утворюють другий маркер для генерування другого сценарію для об'єкта доповненої реальності. Утворення другого маркера виконується за рахунок того, що нанесений на елемент малюнок або зображення при комбінуванні з малюнком або зображенням на поверхні матеріального носія утворюють новий другий маркер. Тобто, камера буде сприймати новий утворений малюнок або зображення на матеріальному носії у поєднанні з переміщеним чи повернутим в кінцеве положення елементом (з нанесеним на ньому малюнком або зображенням) як новий утворений другий маркер для генерування другого сценарію для об'єктуThe element is formed by previously applying some pattern or image to its surface and combining this element with a material carrier. When the element is moved or rotated from the initial position to the final position on the surface of the material carrier, a second marker is formed to generate the second scenario for the augmented reality object. The formation of the second marker is performed due to the fact that the drawing or image applied to the element, when combined with the drawing or image on the surface of the material carrier, forms a new second marker. That is, the camera will perceive the newly formed pattern or image on the material medium in combination with the moved or returned element (with the pattern or image applied to it) as a newly formed second marker to generate a second scenario for the object

ДР, пов'язаного з другим маркером.DR associated with the second marker.

Таким чином, зміна сценарію для об'єкта ДР не потребує заміни матеріального носія. Крім того, кількість сценаріїв для одного матеріального носія може бути й більшою ніж два. Це досягається за рахунок введення додаткових елементів, що поєднуються з матеріальним носієм, або використання проміжних положень елементів для утворення відповідних маркерів.Thus, changing the scenario for the DR object does not require replacing the physical medium. In addition, the number of scenarios for one material medium can be more than two. This is achieved due to the introduction of additional elements that are combined with the material carrier, or the use of intermediate positions of elements to form appropriate markers.

При цьому, зміна сценарію для об'єктів ДР є чітко контрольованою, оскільки зміна положення елементу відносно матеріального носія є однозначною та невипадковою, у порівнянні з рухом мобільного пристрою чи людини.At the same time, the change of the scenario for DR objects is clearly controlled, since the change in the position of the element relative to the material carrier is unambiguous and non-random, compared to the movement of a mobile device or a person.

Отже, заявлене технічне рішення має суттєві переваги відносно відомого рівня техніки. На основі даного опису фахівцеві мають бути зрозумілими подальші вдосконалення та модифікації даного способу на основі наведеної формули.Therefore, the claimed technical solution has significant advantages over the known state of the art. Based on this description, further improvements and modifications of this method based on the given formula should be clear to a person skilled in the art.

Claims

USEFUL MODEL FORMULA

A method of managing objects of augmented reality, where a material medium is preformed, on the surface of which the first marker is formed for generating the first scenario for the object of augmented reality, the first marker is determined by means of optical image or video capture, the object of augmented reality is reproduced according to the first scenario , associated with the first marker, which differs in that the material medium contains

At least one element, which is made with the possibility of moving or rotating from the initial position to the final position, and when moving or rotating at least one element from the initial position to the final position on the surface of the material carrier, in combination with the surface of at least one element, form a second marker for generating the second the scenario for the object of augmented reality is determined

C5 the second marker by means of optical image or video capture, reproduce the object of augmented reality according to the second scenario, where the second scenario is associated with the second marker.

slu 2 not tya tu MORE M MORE z шшшшн шШшШн в 5 в " Fig