RU2021117764A - TECHNOLOGY ADAPTED TO PROVIDE THE CAPABILITY OF TRACKING A USER'S ENTERING INTO CONTACT WITH PHYSICALLY PRINTED MATERIALS THROUGH AN AUGMENTED REALITY PROVISION SYSTEM - Google Patents

TECHNOLOGY ADAPTED TO PROVIDE THE CAPABILITY OF TRACKING A USER'S ENTERING INTO CONTACT WITH PHYSICALLY PRINTED MATERIALS THROUGH AN AUGMENTED REALITY PROVISION SYSTEM Download PDF

Info

Publication number
RU2021117764A
RU2021117764A RU2021117764A RU2021117764A RU2021117764A RU 2021117764 A RU2021117764 A RU 2021117764A RU 2021117764 A RU2021117764 A RU 2021117764A RU 2021117764 A RU2021117764 A RU 2021117764A RU 2021117764 A RU2021117764 A RU 2021117764A
Authority
RU
Russia
Prior art keywords
user
data
image
interaction
animation
Prior art date
Application number
RU2021117764A
Other languages
Russian (ru)
Inventor
Ирен ИБРАГИМ
Original Assignee
Миксд Реалити Солюшнз Пти Лтд
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Миксд Реалити Солюшнз Пти Лтд filed Critical Миксд Реалити Солюшнз Пти Лтд
Publication of RU2021117764A publication Critical patent/RU2021117764A/en

Links

Claims (50)

1. Реализуемый компьютером способ, который обеспечивает отслеживание вхождения пользователя в контакт с печатным контентом, включая печатный контент, распространяемый посредством журналов, газет, упаковки и брошюр, при этом способ включает1. A computer-implemented method that tracks a user's contact with printed content, including printed content distributed through magazines, newspapers, packaging, and brochures, the method comprising распространение множества изделий, имеющих соответствующие копии общего элемента печатного контента, при этом каждая копия элемента печатного контента включает общее графическое средство идентификации, при этом общее графическое средство идентификации связано с набором данных контента дополненной реальности (AR) в облачной системе;distributing a plurality of articles having corresponding copies of a common print content item, each copy of the print content item including a common graphic identifier, the common graphic identifier being associated with an augmented reality (AR) content dataset in a cloud system; выполнение приложения для вхождения в контакт на множестве мобильных устройств пользователя, при этом каждый исполняемый экземпляр приложения для вхождения в контакт выполнен с возможностью:executing the contacting application on a plurality of user's mobile devices, wherein each executable instance of the contacting application is configured to: обработки данных изображения, считанных посредством модуля камеры мобильного устройства, чтобы тем самым идентифицировать присутствие графического средства идентификации, когда элемент печатного контента вносят в поле обзора модуля камеры;processing image data read by the camera module of the mobile device to thereby identify the presence of the graphic identification means when the print content item is brought into the field of view of the camera module; получения от облачной системы по меньшей мере части набора данных контента дополненной реальности (AR), связанных с графическим средством идентификации;receiving from the cloud system at least a portion of the augmented reality (AR) content data set associated with the graphical identifier; вызова отображения на экране отображения мобильного устройства на основе полученных данных контента AR представления интерактивного контента AR, расположенного поверх отображаемой информации на основе захвата изображения физической основы, при этом представленная анимация расположена поверх отображаемой информации на основе захвата изображения физической основы, отображается в определенном положении и ориентации относительно отображаемой информации на основе захвата изображения физической основы; сбор на устройстве в виде сервера данных, представляющих вхождение пользователя в контакт, от множества мобильных устройств пользователей с интерактивным контентом, представленным на основе данных контента дополненной реальности (AR), связанных с графическим средством идентификации, для генерирования таким образом аналитических данных,causing display on the display screen of the mobile device based on the received AR content data of presenting interactive AR content overlaying the display information based on the capture of the physical substrate image, wherein the presented animation is overlaying the display information based on the capture of the physical substrate image, displayed in a certain position and orientation regarding display information based on the image capture of the physical substrate; collecting on a device in the form of a server data representing a user's contact from a plurality of mobile devices of users with interactive content presented based on augmented reality (AR) content data associated with a graphic identification tool, to thereby generate analytical data, представляющих вхождение пользователя в контакт с множеством копий общего элемента печатного контента.representing a user coming into contact with multiple copies of a common print content item. 2. Устройство, выполненное с возможностью обеспечения отслеживания вхождения пользователя в контакт с физической основой, которая содержит печатный материал, при этом устройство содержит2. A device configured to provide tracking of a user's entry into contact with a physical substrate that contains printed matter, the device comprising модуль камеры, который выполнен с возможностью считывания данных изображения области захвата; экран отображения; микропроцессор;a camera module that is configured to read image data of the capture area; display screen; microprocessor; модуль памяти, соединенный с микропроцессором, при этом модуль памяти хранит исполняемый компьютером код, который при исполнении посредством микропроцессора конфигурирует устройство для обеспечения:a memory module coupled to the microprocessor, the memory module storing computer-executable code that, when executed by the microprocessor, configures the device to provide: модуля извлечения идентификатора изображения, который выполнен с возможностью обработки данных изображения, считанных посредством модуля камеры, чтобы таким образом: (i) идентифицировать присутствие графического средства идентификации, имеющего заданные атрибуты, напечатанные на физической основе; и (ii) извлечь код идентификатора изображения из графического средства идентификации;an image identifier retrieval module, which is configured to process the image data read by the camera module so as to: (i) identify the presence of a graphic identification means having predetermined attributes printed on a physical substrate; and (ii) extract the image identifier code from the graphical identifier; модуля доступа к данным дополненной реальности (AR), который выполнен с возможностью получения от модуля хранения данных AR набора исполняемых данных AR, связанных с извлеченным кодом идентификатора изображения;an augmented reality (AR) data access module that is configured to receive, from the AR data storage module, a set of AR executable data associated with the retrieved image ID code; модуля представления AR, который выполнен с возможностью вызова отображения на экране отображения на основе полученных данных AR представленной анимации, расположенной поверх отображаемой информации на основе захвата изображения физической основы, при этом представленная анимация расположена поверх отображаемой информации на основе захвата изображения физической основы, отображается в определенном положении и ориентации относительно отображаемой информации на основе захвата изображения физической основы; модуля отслеживания, представляющего взаимодействие пользователя устройству в виде сервера, вследствие чего данные, представляющие взаимодействие пользователя, связываются с кодом идентификатора изображения, чтобы тем самым связать контактное взаимодействие с конкретным печатным материалом.an AR presentation module that is configured to cause display on the display screen, based on the received AR data, of the presented animation located on top of the display information based on the capture of the physical substrate image, wherein the presented animation is located on top of the display information based on the capture of the physical substrate image, is displayed in a certain a position and orientation relative to the displayed information based on the image capture of the physical substrate; a tracking module representing the interaction of the user to the device in the form of a server, whereby the data representing the interaction of the user is associated with an image identifier code, to thereby associate the contact interaction with a specific printed material. 3. Устройство по п. 2, отличающееся тем, что представленная анимация является интерактивной анимацией, представление которой изменяется в ответ на вводимые пользователем устройства данные.3. The device according to claim. 2, characterized in that the presented animation is an interactive animation, the presentation of which changes in response to input from the user of the device. 4. Устройство по п. 2 или 3, отличающееся тем, что модуль хранения данных AR хранит множество наборов данных AR, связанных с данным кодом идентификатора изображения, и при этом конкретный из этих наборов данных AR выбирается для предоставления устройству на основе одного или нескольких атрибутов пользователя, связанных с устройством.4. The device according to claim 2 or 3, characterized in that the AR data storage module stores a plurality of AR data sets associated with a given image identifier code, and at the same time, a specific AR data set is selected to provide to the device based on one or more attributes user associated with the device. 5. Устройство по п. 4, отличающееся тем, что один или несколько атрибутов пользователя, связанных с устройством, определены в профиле пользователя, при этом профиль пользователя хранится в модуле памяти устройства и/или в облачном хранилище данных.5. The device according to claim. 4, characterized in that one or more user attributes associated with the device are defined in the user profile, while the user profile is stored in the device's memory module and / or in the cloud storage. 6. Устройство по любому из пп. 2-5, отличающееся тем, что хранилище данных поддерживается системой управления данными AR облачного сервера.6. The device according to any one of paragraphs. 2-5, characterized in that the data store is supported by the AR data management system of the cloud server. 7. Система, выполненная с возможностью обеспечения отслеживания вхождения пользователя в контакт с физической основой, которая содержит печатный материал, при этом система содержит7. A system configured to track a user's contact with a physical substrate that contains printed material, the system comprising модуль связи, который обеспечивает связь между системой и множеством устройств пользователей, при этом каждое устройство пользователя содержит:a communications module that provides communication between the system and a plurality of user devices, each user device comprising: модуль камеры, который выполнен с возможностью считывания данныхa camera module that is configured to read data изображения области захвата;capture area images; экран отображения;display screen; микропроцессор;microprocessor; модуль памяти, соединенный с микропроцессором, при этом модуль памяти хранит исполняемый компьютером код, который при исполнении посредством микропроцессора конфигурирует устройство для обеспечения: модуля извлечения идентификатора изображения, который выполнен с возможностью обработки данных изображения, считанных посредством модуля камеры, чтобы таким образом: (i) идентифицировать присутствие графического средства идентификации, имеющего заданные атрибуты, напечатанные на физической основе; и (ii) извлечь код идентификатора изображения из графического средства идентификации;a memory module coupled to the microprocessor, the memory module storing computer executable code which, when executed by the microprocessor, configures the device to provide: an image identifier retrieval module, which is configured to process the image data read by the camera module so as to: (i ) identify the presence of a graphical identification means having the specified attributes printed on the physical substrate; and (ii) extract the image identifier code from the graphical identifier; модуля доступа к данным дополненной реальности (AR), который выполнен с возможностью получения от модуля хранения данных AR набора исполняемых данных AR, связанных с извлеченным кодом идентификатора изображения;an augmented reality (AR) data access module that is configured to receive, from the AR data storage module, a set of AR executable data associated with the retrieved image ID code; модуля представления AR, который выполнен с возможностью вызова отображения на экране отображения на основе полученных данных AR представленной анимации, расположенной поверх отображаемой информации на основе захвата изображения физической основы, при этом представленная анимация расположена поверх отображаемой информации на основе захвата изображения физической основы, отображается в определенном положении и ориентации относительно отображаемой информации на основе захвата изображения физической основы;an AR presentation module that is configured to cause display on the display screen, based on the received AR data, of the presented animation located on top of the display information based on the capture of the physical substrate image, wherein the presented animation is located on top of the display information based on the capture of the physical substrate image, is displayed in a certain a position and orientation relative to the displayed information based on the image capture of the physical substrate; модуля отслеживания вхождения в контакт, который выполнен с возможностью: (i) отслеживания взаимодействия пользователя, связанного с отображением представленной анимации; (ii) компиляции данных, представляющих взаимодействие пользователя; и (iii) передачи данных, представляющих взаимодействие пользователя, устройству в виде сервера, вследствие чего данные, представляющие взаимодействие пользователя, связываются с кодом идентификатора изображения, чтобы тем самым связать контактное взаимодействие с конкретным печатным материалом; при этом система предусматривает модуль хранения данных AR.a contact tracking module, which is configured to: (i) track user interaction associated with displaying the presented animation; (ii) compiling data representing user interaction; and (iii) transmitting data representing the user's interaction to the server device, whereby the data representing the user's interaction is associated with an image identifier code, thereby associating the contact interaction with a specific printed matter; while the system provides an AR data storage module. 8. Система по п. 7, отличающаяся тем, что представленная анимация является интерактивной анимацией, представление которой изменяется в ответ на вводимые пользователем устройства данные.8. The system of claim. 7, characterized in that the presented animation is an interactive animation, the presentation of which changes in response to input from the user of the device. 9. Система по п. 7 или 8, отличающаяся тем, что модуль хранения данных AR хранит множество наборов данных AR, связанных с данным кодом идентификации изображения, и при этом конкретный из этих наборов данных AR выбирается для предоставления устройству на основе одного или нескольких атрибутов пользователя, связанных с устройством.9. The system according to claim 7 or 8, characterized in that the AR data storage module stores a plurality of AR data sets associated with a given image identification code, and at the same time, a specific of these AR data sets is selected to be provided to the device based on one or more attributes user associated with the device. 10. Система по п. 9, отличающаяся тем, что один или несколько атрибутов пользователя, связанных с устройством, определены в профиле пользователя, при этом профиль пользователя хранится в модуле памяти устройства и/или в облачном хранилище данных.10. The system of claim. 9, characterized in that one or more user attributes associated with the device are defined in the user profile, while the user profile is stored in the memory module of the device and/or in the cloud storage. 11. Система по п. 10, отличающаяся тем, что один или несколько атрибутов пользователя обновляются в ответ на отслеживание взаимодействия пользователя, связанного с отображением представленной анимации.11. The system of claim. 10, characterized in that one or more user attributes are updated in response to tracking user interaction associated with displaying the presented animation. 12. Система по п. 11, отличающаяся тем, что обновление одного или нескольких атрибутов пользователя вызывает индивидуализированные выбор и/или исполнение данных AR для представления относительно данного кода ID изображения, что вызывает изменения в выборе и/или исполнении данных AR при последовательных взаимодействиях с общим кодом ID изображения.12. The system of claim. 11, characterized in that updating one or more user attributes causes an individualized selection and / or execution of AR data for presentation relative to a given image ID code, which causes changes in the selection and / or execution of AR data during subsequent interactions with generic image ID code. 13. Система по любому из пп. 7-12, отличающаяся тем, что система содержит модуль, который предоставляет доступ к платформе электронной коммерции, чтобы таким образом позволить пользователю устройства пользователя приобретать товары и/или услуги на основе взаимодействия с представленными данными AR.13. The system according to any one of paragraphs. 7-12, characterized in that the system comprises a module that provides access to an e-commerce platform to thereby allow a user of the user's device to purchase goods and/or services based on interaction with presented AR data. 14. Система по любому из пп. 7 13, отличающаяся тем, что хранилище данных поддерживается системой управления данными AR облачного сервера.14. The system according to any one of paragraphs. 7 13, characterized in that the data warehouse is supported by the cloud server AR data management system. 15. Способ обеспечения отслеживания вхождения пользователя в контакт с физической основой, которая содержит печатный материал, при этом способ включает15. A method for providing tracking of a user's contact with a physical substrate that contains printed matter, the method comprising определение исполняемого компьютером кода, представленного множеством наборов данных интерактивной анимации дополненной реальности, при этом каждый набор данных является исполняемым посредством модуля представления AR устройства пользователя, чтобы таким образом вызвать отображение на экране отображения устройства пользователя представленной анимации, расположенной поверх отображаемой информации на основе захвата изображения физической основы, при этом представленная анимация расположена поверх отображаемой информации на основе захвата изображения физической основы, отображается в определенном положении и ориентации относительно отображаемой информации на основе захвата изображения физической основы;determining a computer-executable code represented by a plurality of augmented reality interactive animation datasets, each dataset being executable by the AR presentation module of the user's device, to thereby cause the display screen of the user's device to display the presented animation overlaying the display information based on the image capture of the physical a substrate, wherein the presented animation is positioned on top of the display information based on the physical substrate image capture, displayed in a position and orientation relative to the displayed information based on the physical substrate image capture; связывание каждого набора данных AR с кодом идентификатора;associating each AR dataset with an identifier code; печать данного одного из кодов идентификаторов на множестве физических основ, при этом на каждую из физических основ нанесены печатные носители, выполненные с возможностью дополнения набора данных AR, связанных с этим кодом идентификатора;printing this one of the identifier codes on a plurality of physical substrates, wherein each of the physical substrates is printed with print media configured to complement the set of AR data associated with the identifier code; определение того, что устройство пользователя, исполняющее назначенное программное приложение, считывает данные изображения физической основы, из которой данный один из кодов идентификаторов был извлечен; вызов отображения устройством пользователя представленной анимации набора данных AR, связанных с кодом идентификатора, вследствие чего анимация представлена расположенной поверх отображаемой информации на основе захвата изображения физической основы, при этом представленная анимация расположена поверх отображаемой информации на основе захвата изображения физической основы, отображается в определенном положении и ориентации относительно отображаемой информации на основе захвата изображения физической основы;determining that the user device executing the assigned software application reads the image data of the physical substrate from which this one of the identifier codes has been extracted; causing the user device to display the presented animation of the set of AR data associated with the identifier code, whereby the animation is presented over the display information based on the capture of the physical substrate image, while the presented animation is located on top of the display information based on the capture of the physical substrate image, displayed at a certain position, and orientation relative to the displayed information on the basis of capturing the image of the physical basis; отслеживание взаимодействия пользователя, связанного с отображением представленной анимации, вследствие чего данные, представляющие взаимодействие пользователя, связываются с кодом идентификатора изображения, чтобы таким образом связать контактное взаимодействие с конкретным печатным материалом; keeping track of a user interaction associated with displaying the presented animation, whereby data representing the user interaction is associated with an image ID code to thereby associate the contact interaction with a particular printed matter; компиляцию данных, представляющих взаимодействие пользователя. compilation of data representing user interaction. 16. Способ обеспечения отслеживания вхождения пользователя в контакт с физической основой, которая содержит печатный материал, при этом способ включает:16. A method for providing tracking of a user's contact with a physical substrate that contains printed matter, the method comprising: распространение множества физических основ, содержащих общий элемент печатного контента, при этом общий элемент печатного контента связан в базе данных с конкретным набором контента AR;distributing a plurality of physical substrates containing a common print content item, the common print content item being associated in a database with a specific set of AR content; считывание на первом мобильном устройстве графического средства идентификации с первой из физических основ, содержащих элемент печатного контента, и в ответ получение от сервера данных из конкретного набора контента AR и представление интерактивной игры с AR на основе этих данных; считывание на втором мобильном устройстве графического средства идентификации со второй из физических основ, содержащих элемент печатного контента, и в ответ получение от сервера данных из конкретного набора контента AR и представление интерактивной игры с AR на основе этих данных; осуществление связи устройства в виде облачного игрового сервера с первым мобильным устройством и вторым мобильным устройством, вследствие чего сервер получает данные, представляющие взаимодействие на одном из мобильных устройств с его экземпляром интерактивной игры с AR, и в ответ на эти данные, представляющие взаимодействие, вызывает изменение состояния интерактивной игры с AR, которая исполняется на других мобильных устройствах.reading, on the first mobile device, a graphical identification means from the first of the physical substrates containing the printed content item, and in response receiving data from the specific AR content set from the server and presenting an interactive AR game based on the data; reading, on the second mobile device, a graphical identification means from the second of the physical substrates containing the printed content item, and in response receiving data from the specific AR content set from the server and presenting an interactive AR game based on the data; communicating the cloud game server device with the first mobile device and the second mobile device, whereby the server receives data representing the interaction on one of the mobile devices with its instance of the interactive AR game, and in response to this data representing the interaction, causes a change states of an interactive AR game that is running on other mobile devices. 17. Способ по п. 15, отличающийся тем, что включает хранение записи о взаимодействии с контентом AR на первом мобильном устройстве и втором мобильном устройстве, чтобы таким образом обеспечить анализ вхождения в контакт с элементами печатного контента.17. The method of claim. 15, characterized in that it includes storing a record of the interaction with the AR content on the first mobile device and the second mobile device, so as to allow analysis of entering into contact with the elements of printed content. 18. Способ обеспечения вхождения пользователя в контакт с физической основой, которая содержит печатный материал, при этом способ включает: распространение множества физических основ, содержащих общий элемент печатного контента, при этом общий элемент печатного контента связан в базе данных с конкретным набором контента AR;18. A method for bringing a user into contact with a physical substrate that contains printed matter, the method comprising: distributing a plurality of physical substrates containing a common printed content item, the common printed content item being associated in a database with a specific set of AR content; считывание на первом мобильном устройстве графического средства идентификации с первой из физических основ, содержащих элемент печатного контента, и в ответ получение от сервера данных из конкретного набора контента AR и представление интерактивной анимации AR на основе этих данных; представление посредством представления интерактивной анимации AR интерактивного объекта, который представляет функциональные возможности для приобретения товаров и/или услуг;reading, on the first mobile device, a graphical identification means from the first of the physical substrates containing the printed content item, and in response receiving data from the specific AR content set from the server and presenting an interactive AR animation based on the data; presenting, by presenting an AR interactive animation, an interactive object that represents functionality for purchasing goods and/or services; запуск в ответ на заданное взаимодействие с интерактивным объектом, который представляет функциональные возможности для приобретения товаров и/или услуг, процесса, который вызывает операцию приобретения для пользователя в отношении товаров и/или услуг.initiating, in response to a predetermined interaction with an interactive object that represents functionality for acquiring goods and/or services, a process that causes a purchase operation for a user with respect to the goods and/or services. 19. Способ по п. 18, отличающийся тем, что процесс, который вызывает операцию приобретения для пользователя в отношении товаров и/или услуг, включает процесс, который завершает операцию приобретения, используя предварительно сохраненные данные пользователя, включающие платежную информацию и информацию по доставке.19. The method of claim 18, wherein the process that causes a purchase operation for a user with respect to goods and/or services includes a process that completes the purchase operation using the user's previously stored data, including payment information and delivery information. 20. Способ по п. 18, отличающийся тем, что процесс, который вызывает операцию приобретения для пользователя в отношении товаров и/или услуг, включает процесс, который перенаправляет пользователя к отображаемой информации, которая представляет пользовательский интерфейс, чтобы способствовать завершению операции приобретения.20. The method of claim 18, wherein the process that causes a purchase operation for a user with respect to goods and/or services includes a process that redirects the user to a display that presents a user interface to facilitate completion of the purchase operation.
RU2021117764A 2018-11-22 2019-11-18 TECHNOLOGY ADAPTED TO PROVIDE THE CAPABILITY OF TRACKING A USER'S ENTERING INTO CONTACT WITH PHYSICALLY PRINTED MATERIALS THROUGH AN AUGMENTED REALITY PROVISION SYSTEM RU2021117764A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
AU2018904446 2018-11-22

Publications (1)

Publication Number Publication Date
RU2021117764A true RU2021117764A (en) 2022-12-22

Family

ID=

Similar Documents

Publication Publication Date Title
US9654600B2 (en) Method, client device and server of accessing network information through graphic code
US11461753B2 (en) Automatic vending method and apparatus, and computer-readable storage medium
CN103503013B (en) With the method and system of the video creation individualized experience related to Stored Value token
US6535889B1 (en) System and method for obtaining and displaying an interactive electronic representation of a conventional static media object
US9240058B1 (en) Dynamic barcode generation for content location
US20220114651A1 (en) Image-based listing using image of multiple items
US20150088701A1 (en) System and method for improved planogram generation
JP5395920B2 (en) Search device, search method, search program, and computer-readable recording medium storing the program
CN107122380A (en) Strengthen the computer implemented method and computer system of RUNTIME VIEW
US20230237511A1 (en) Alcohol information management system and management method
CN104794220A (en) Information search method and information search device
JP7235119B2 (en) Processing device, accounting device, processing method and program
WO2022252518A1 (en) Data presentation method and apparatus, and computer device, storage medium and computer program product
JP2012014220A (en) Commodity identifying device, method, and program
CN113763009A (en) Picture processing method, picture skipping method, device, equipment and medium
AU2020260475A1 (en) Automated generation of video-based electronic solicitations
US20130262263A1 (en) Coordination list-providing system and related method
RU2021117764A (en) TECHNOLOGY ADAPTED TO PROVIDE THE CAPABILITY OF TRACKING A USER'S ENTERING INTO CONTACT WITH PHYSICALLY PRINTED MATERIALS THROUGH AN AUGMENTED REALITY PROVISION SYSTEM
JP5846378B2 (en) Information management method and information management system
CN112150230A (en) Entity store information interaction system and information pushing method
JP2004145646A (en) Electronic bookshelf management system, electronic bookshelf management method and electronic bookshelf management program
Mandar et al. Toward a Real-Time Picking Errors Prevention System Based on RFID Technology
US20220129975A1 (en) Technology configured to enable monitoring of user engagement with physical printed materials via augmented reality delivery system
US20230342578A1 (en) Method of Providing Content and Features for an Object
US20220230235A1 (en) Financial management using augmented reality systems