RU2622843C2 - Способ управления устройством обработки изображения - Google Patents
Способ управления устройством обработки изображения Download PDFInfo
- Publication number
- RU2622843C2 RU2622843C2 RU2015140595A RU2015140595A RU2622843C2 RU 2622843 C2 RU2622843 C2 RU 2622843C2 RU 2015140595 A RU2015140595 A RU 2015140595A RU 2015140595 A RU2015140595 A RU 2015140595A RU 2622843 C2 RU2622843 C2 RU 2622843C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- additional information
- image processing
- user
- processing device
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 79
- 238000007726 management method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012546 transfer Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 239000013589 supplement Substances 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 15
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Studio Devices (AREA)
- Telephonic Communication Services (AREA)
- Facsimiles In General (AREA)
Abstract
Изобретение относится к обработке изображения. Техническим результатом является обеспечение возможности использования изображения, полученного в реальном времени дополнения реальности. Способ заключается в передаче данных с возможностью их воспроизведения на устройстве обработки изображения другого зарегистрированного пользователя, причем получают сигнал изображения с помощью формирователя сигнала изображения и отображают его в реальном времени с помощью дисплея, распознают объект на полученном изображении, осуществляют связывание дополнительной информации, введенной с помощью средств ввода, с образом распознанного объекта, передача данных представляет собой передачу дополнительной информации, связанной с образом распознанного объекта, с возможностью получения их на устройствах обработки изображения других зарегистрированных пользователей с использованием Интернет, получают и отображают введенную ранее с помощью устройств обработки изображения других зарегистрированных пользователей дополнительную информацию при условии наличия факта распознавания соответствующего объекта на полученном изображении, или соответствия координатам места, в котором пользователем было сделано сообщение «вывод на дисплей дополнительной информации», распознавание объектов на полученном изображении и связывание дополнительной информации с образом распознанного объекта осуществляют в реальном времени, вывод введенной ранее с помощью других устройств обработки изображений дополнительной информации осуществляют поверх изображения, полученного с выхода формирователя сигнала изображения, при этом распознавание объекта на изображении осуществляют с помощью средств вычисления устройства обработки изображения на основе сопоставления полученного изображения с хранящимися в памяти образами объектов. 8 з.п. ф-лы, 3 ил.
Description
Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображений для машинной графики и может быть использовано для поиска, извлечения и обработки и отображения данных изображения.
Известен способ захвата изображения, содержащий этапы, на которых: захватывают цифровое изображение; получают информацию позиции захвата изображения, указывающую позицию, в которой захвачено цифровое изображение; получают информацию направления захвата изображения, указывающую направление, в котором захвачено цифровое изображение; получают множество элементов дополнительной информации из устройства хранения дополнительной информации, которое хранит множество элементов дополнительной информации, при этом в множестве элементов дополнительной информации каждый элемент соответствует заранее заданному объекту, и каждый элемент содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов; разделяют на подполя пространство обзора, определенное информацией позиции захвата изображения и информацией направления захвата изображения, и выбирают для каждого из подполей соответствующий один или более элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащего множество элементов информации позиций объектов, соответственно указывающих позиции, содержащиеся в подполях; и отображают соответствующий один или более элементов из множества элементов дополнительной информации с наложением на цифровое изображение, причем соответствующий один или более элементов из множества элементов дополнительной информации выбраны на упомянутом этапе выбора (см. RU 2463663 С2, кл. G06T 19/00, G06T 11/60).
Известный способ может быть реализован для визуализации и фильтрации дополнительной информации наземных ориентиров, накладываемой на изображение местности, захваченное с помощью камеры.
Недостатком известного способа является ограниченность его применения лишь отображением ориентиров местности, и требует получения данных о направлении и позиции захвата. Известный способ не может быть использован для отображения дополнительной информации о движимых объектах или объектах, не привязанных к местности. Указанные недостатки ограничивают область применения известного способа.
Наиболее близким по технической сущности - прототипом - является способ управления устройством обработки изображений, способным осуществлять связь с сервером, который обеспечивает функцию микроблогинга для публикации сообщения, зарегистрированного пользователем другому пользователю, и включающим в себя блок хранения данных, выполненный с возможностью сохранения данных изображения, причем способ содержит этапы, на которых:
регистрируют блоком регистрации первое сообщение на сервере, если данные изображения сохранены в блоке хранения данных;
отслеживают блоком отслеживания второе сообщение, которое
вновь регистрируется относительно первого сообщения, зарегистрированного во время регистрации;
анализируют блоком анализа второе сообщение, если второе сообщение обнаружено во время отслеживания; и
передают блоком передачи данные изображения, сохраненные в блоке хранения данных, на основе результата анализа во время анализа (см. RU 2013158163 А, кл. G06F 13/00).
Известное решение позволяет снабжать дополнительной информацией полученное изображение и предоставлять ее другому пользователю.
Недостатком известного способа является избыточное накопление дополнительной информации, относящейся к изображению вне зависимости от обстоятельств получения изображения, что влечет необходимость использования высоких требований к емкости и быстродействию накопителей для хранения цифровой информации и исключает или затрудняет применение дополнительной информации по назначению из-за трудностей ее выбора из большого количества.
Известное решение обеспечивает обмен сообщениями относительно изображения, которое должно представлять собой статичную картинку или изображение, полученное в прошлом. Это изображение не может быть изображением, полученным в реальном времени.
Кроме того, суть известного решения сводится к обмену сообщениями с пользователем, то есть налицо адресная коммуникация, требующая указания адресата, что не приемлемо при наличии большого количества потенциальных адресатов.
Техническим результатом является:
- упрощение его реализации за счет снижения требований к используемым беспроводным линиям связи,
- повышение удобства использования за счет исключения возможности отображения, не связанной с объектами на изображении, дополнительной информации,
- обеспечение возможности использования изображения, полученного в реальном времени дополнения реальности,
- обеспечение возможности получения дополнительной информации для неограниченного круга пользователей.
Указанный результат достигается тем, что в способе управления устройством обработки изображения, заключающемся в передаче данных с возможностью их воспроизведения на устройстве обработки изображения другого зарегистрированного пользователя, получают сигнал изображения с помощью формирователя сигнала изображения и отображают его в реальном времени с помощью дисплея, распознают, по меньшей мере, один объект на полученном изображении, осуществляют связывание дополнительной информации, введенной с помощью средств ввода, с распознанным объектом, передача данных представляет собой передачу дополнительной информации, связанной с образом распознанного объекта, с возможностью получения их на устройствах обработки изображения других зарегистрированных пользователей с использованием Интернет, получают и отображают введенную ранее с помощью устройств обработки изображения других зарегистрированных пользователей дополнительную информацию при условии наличия факта распознавания соответствующего объекта на полученном изображении, вывод на дисплей дополнительной информации, распознавание объектов на полученном изображении и связывание дополнительной информации с образом распознанного объекта осуществляют в реальном времени, вывод введенной ранее с помощью других устройств обработки изображений дополнительной информации осуществляют поверх изображения, полученного с выхода формирователя сигнала изображения.
Кроме того:
- распознавание объекта на изображении осуществляют с помощью средств вычисления на основе сопоставления полученного изображения с хранящимися в памяти образами объектов,
- дополнительную информацию формируют в виде изображения, в том числе текстового и/или звукового сигнала, и/или их комбинации.
- формирователь сигнала изображения представляет собой встроенную камеру,
- формирователь сигнала изображения представляет собой цифровой накопитель с данными,
- передачу дополнительной информации, связанной с образом распознанного объекта осуществляют на серверные средства обработки данных, связанные с устройствами обработки изображения других зарегистрированных пользователей с помощью Интернет,
- появление зарегистрированного пользователя включает следующие шаги: предоставляют администратору или уже зарегистрированному пользователю данные пользователя в качестве запроса на регистрацию, формируют и направляют пользователю ответное сообщение о регистрации.
- связывание дополнительной информации с распознанным объектом представляет собой формирование единого блока данных, так что при распознавании соответствующего объекта на изображении осуществляют отображение включенной в этот блок данных дополнительной информации, связанной с указанным объектом.
- связывание дополнительной информации с распознанным объектом осуществляют при формировании дополнительной информации любым зарегистрированным пользователем на своем устройстве обработки изображения.
- устройство обработки изображения содержит формирователь сигнала изображения, средства ввода, средства вычисления и дисплей,
Изобретение поясняется с помощью чертежей, где на Фиг. 1 схематично представлена реализация способа управления устройством обработки изображения, на Фиг. 2 представлена структурная схема устройства обработки изображения, на Фиг. 3 - алгоритм работы вычислительных средств устройства обработки изображения.
На чертежах сделаны следующие обозначения.
1 - устройство обработки изображения, 2 - устройство обработки изображения другого зарегистрированного пользователя, 3 - объект, обнаруженный и распознанный на изображении, 4 - изображение дополнительной информации, 5 - архитектурный объект, 6 - Интернет, 7 - встроенная камера, 8 - средства вычисления, 9 - цифровой накопитель устройства обработки изображения, 10 - средства ввода, 11 - дисплей, 12 - модуль связи с сервером, 13 - модуль геолокации, 14 - серверные средства обработки данных (сервер), 15 - получение и ввод изображения камеры, получение и ввод данных геолокации, получение и ввод данных с сервера, 16 - обращение к памяти цифрового накопителя, извлечение образов объектов для распознавания, 17 - обнаружение и распознавание объектов на изображении, 18 - проверка наличия в полученных данных с сервера комментариев, сформированных другими зарегистрированными пользователями, связанных с обнаруженным объектом на изображении, 19 - отображение комментариев, связанных с объектом, сформированных другими зарегистрированными пользователями, 20 - направление комментариев, связанных с объектом или географическими координатами на сервер, 21 - проверка наличия дополнительной информации других зарегистрированных пользователе, оставленной в данных координатах, 22 - отображение комментариев, связанных с координатами, сформированных другими зарегистрированными пользователями, 23 - обработка вводимых комментариев для отправки на сервер, 24 - проверка наличия команды выхода из программы вычислений, 25 - переход к анализу следующего кадра полученного изображения, 26, 27 - начало и конец программы вычислений, соответственно, 28 - средства распознавания, 29 - средства сравнения данных географических координат, 30 - средства формирования итогового изображения с наложением дополнительной информации.
Способ управления устройством обработки изображения заключается в следующем.
Описание способа связано с необходимостью определения следующих терминов. Полученное изображение - сигнал изображения, полученный с выхода камеры или из памяти цифрового накопителя. Дополнительная информация - данные текста, изображения, звука или их комбинации, которые пользователь вводит с помощью средств ввода поверх полученного изображения и/или звука. Данные геолокации - географические координаты устройства обработки изображения, полученные с помощью средств GPS, ГЛОНАСС, базовых станций GSM или аналогичных. Данные о полученном изображении - данные об обнаруженном и распознанном объекте на полученном изображении, а также данные геолокации места, где устройством обработки изображения получено изображение и введена дополнительная информация. Зарегистрированные пользователи - участники интернет ресурса социальной, обучающей, профессиональной или иной направленности, зарегистрированные в установленном для данного ресурса порядке и имеющие возможность формировать и публиковать дополнительную информацию, связанную с полученным изображением с помощью своих устройств обработки изображения. Публикация дополнительной информации, связанной с полученным изображением - передача соответствующих сигналов на серверные средства обработки данных, обеспечивающих доступ зарегистрированных пользователей с помощью своих устройств обработки изображения к дополнительной информации, связанной с полученным ими изображением. Связывание дополнительной информации с полученным изображением - формирование единого блока данных, отображаемых на дисплее и/или воспроизводимых средствами воспроизведения при обращении к соответствующему образу объекта, обнаруженному на полученном изображении.
Серверные средства обработки данных представляют собой удаленный сервер или множество серверов, связанных между собой и реализующих одну из моделей облачных технологий, таких как, например, SaaS, PaaS, IaaS, Utility computing, MSP.
Каждый зарегистрированный пользователь предварительно передает на серверные средства обработки данных свои идентификационные данные, представляя их таким образом администратору ресурса, после чего его регистрируют, создавая нового зарегистрированного пользователя.
С помощью встроенной камеры или цифрового накопителя формируют сигнал изображения, которое транслируют на дисплей устройства обработки изображения для его отображения в реальном времени и подают на средства вычисления устройства обработки изображения.
С помощью средств вычисления осуществляют сопоставление полученного с камеры изображения с хранящимися на сервере или в памяти устройства обработки изображения образами объектов, а также, в необходимых случаях получают данные геолокации с помощью встроенного модуля геолокации.
Предоставляют пользователю возможность введения дополнительной информации относительно полученного с камеры изображения, которую выводят на дисплей. При этом дополнительная информация может быть текстовой, введенной с помощью реальной или виртуальной (экранной) клавиатуры устройства обработки изображения или изображением, созданное или выбранным из архива» или звуковым файлом, созданным с помощью микрофона устройства обработки изображения или выбранным из архива или комбинацией перечисленного.
В случае факта обнаружения объекта на полученном изображении, предоставляют пользователю ввести дополнительную информацию и связывают эту введенную пользователем дополнительную информацию с образом распознанного объекта в единый блок данных. В этот единый блок данных, в случае необходимости, включают также данные геолокации места, где было получено изображение.
Передают с помощью средств связи с сервером устройства обработки изображения сигналы изображения дополнительной информации, связанной с образом обнаруженного на указанном изображении объекта на серверные средства обработки данных, с возможностью ее получения другими, зарегистрированными пользователями.
Получают дополнительную информацию, связанную с конкретными объектами, которые были обнаружены средствами вычисления устройства обработки изображения другого пользователя.
Отображают или воспроизводят полученную, введенную ранее другими пользователями с помощью других устройств обработки изображений дополнительную информацию, при распознавании на полученном изображении объекта, относительно которого было осуществлено связывание на том другом устройстве обработки изображения.
Дополнительную информацию формируют в виде текста, и/или изображения, и/или звука, и/или их комбинации.
Устройство обработки изображения содержит встроенную камеру или цифровой накопитель, представляющий собой хранилище сохраненных ранее изображений, средства ввода, выполненные в виде кнопок клавиатуры и/или встроенного микрофона, средства вычисления, цифровой накопитель, модуль геолокации, дисплей и модуль воспроизведения звука.
Отображение введенной ранее с помощью других устройств обработки изображений дополнительной информации осуществляют поверх полученного изображения, а воспроизведение звуковой дополнительной информации осуществляют в приоритетном порядке.
Способ управления устройством обработки изображений реализуется следующим образом.
Предварительно формируют и заносят в память серверных средств обработки данных или цифрового накопителя устройства образы объектов, которые предположительно должны появиться на изображении.
Регистрируют пользователей профессионального или социального Интернет ресурса. При этом регистрация осуществляется централизовано администратором ресурса или на основе приглашения любого из зарегистрированных пользователей.
С помощью формирователя сигнала изображения, представляющего собой в простейшем случае встроенную камеру, получают изображение, на котором может присутствовать изображение объекта, образ которого хранится на сервере или в памяти устройства обработки изображения. Получают также данные геолокации с соответствующего встроенного модуля геолокации.
Если произошло распознавание, то есть получены данные о полученном изображении и пользователь желает сформировать дополнительную информацию относительно распознанного объекта, он с помощью средств ввода информации вводит текстовую или мультимедийную информацию и формирует команду для связывания дополнительной информации с распознанным объектом и публикации дополнительной информации на сервере.
После такой публикации любой зарегистрированный пользователь имеет возможность оказаться в условиях дополненной реальности при захвате камерой его устройства обработки изображения, распознавании на нем объекта и получении сформированной дополнительной информации.
Зарегистрированный пользователь для отображения нужной ему в данный момент дополнительной информации имеет возможность выбора источника поступления дополнительной информации, если сообщений с дополнительной информацией несколько.
Дополненная реальность, выражается в форме дополнительной информации, которую отображают на дисплее устройства обработки изображения в реальном времени путем наложения на изображение, полученное с выхода встроенной камеры, или воспроизводят в приоритетном порядке, понизив громкость воспроизведения других одновременно работающих приложений.
Устройство обработки изображения содержит формирователь изображения представляющий собой камеру или цифровой накопитель с данными изображения и/или звука, средства ввода, средства вычисления, средства геолокации и дисплей,
Ниже описаны варианты настоящего изобретения со ссылками на чертежи. Сформулированные в этих вариантах расположение компонентов, числовые выражения и численные значения не ограничивают объем данного изобретения, если это не указано специально.
Устройство обработки изображения содержит формирователь изображения, в качестве которого использована встроенная камера или внешний цифровой накопитель с хранящейся на нем мультимедийным контентом, средства ввода, в качестве которых используются реальная или экранная клавиатура и/или микрофон, средства вычисления, выполненные на основе процессора, снабженного программным обеспечением, модуль геолокации, в качестве которого используют модуль системы глобального позиционирования GPS или ГЛОНАСС или модуль локации, например, по данным базовых станций GSM, дисплей и модуль воспроизведения звука, а также модуль связи с сервером, представляющий собой узел беспроводной передачи данных, в рамках стандартов Wi-Fi или стандартов GPRS или LTE или иного аналогичного. При этом формирователь изображения, средства ввода, модуль геолокации и дисплей подключены к средствам вычисления.
Средства вычисления включают в себя средства распознавания объекта на изображении, средства сравнения данных географических координат, средства формирования итогового изображения для вывода на дисплей.
С выхода формирователя изображения сигнал, соответствующий видеоряду, полученному с помощью камеры или хранящемуся в памяти внешнего цифрового накопителя, поступает на вход средств вычисления, которые обеспечивают обнаружение и распознавание конкретного объекта на полученном изображении. При этом образы для распознавания объектов извлекают из памяти встроенного цифрового накопителя средств вычисления или получают с сервера, подключенного к средствам вычисления посредством Интернет с использованием модуля связи с сервером.
Полученное изображение выводится на дисплей, на который выводят также индикацию о факте распознавания объекта, например путем подсветки границ распознанного объекта.
Если объект распознан и пользователь желает оставить комментарий, он осуществляет ввод текста с помощью реальной или экранной клавиатуры, и/или вводит голосовой комментарий с помощью микрофона, и/или формирует мультимедийный файл, который связывает с распознанным объектом. Мультимедийный файл может быть сформирован с помощью программных средств редактирования или извлечен из памяти встроенного цифрового накопителя. Комментарий пользователя представляет собой дополнительную информацию к полученному им изображению.
Сформированный комментарий связывают с распознанным объектом в соответствии с командой пользователя, сформированной с помощью средств ввода и отправляют на сервер с помощью модуля связи с сервером. Отправка комментариев на сервер является публикацией сформированной дополнительной информации.
Модуль связи с сервером позволяет пользователю получать комментарии других зарегистрированных пользователей, связанных с объектами на полученном изображении в случае их распознавания.
Алгоритм работы процессора средств вычисления включает следующие основные этапы.
Начало 26 программы вычисления обусловлено соответствующей командой пользователя. Далее осуществляют ввод 15 сформированного изображения, данных геолокации и получение данных с сервера, извлечение 16 образа для распознавания объекта на изображении, проверку 17 факта распознавания объекта, проверку 18 наличия комментариев других зарегистрированных пользователей, связанных с распознанным объектом, отображение 19 комментариев других зарегистрированных пользователей. Формирование 23 и обработка комментариев, связанных с объектом для передачи соответствующих сигналов на сервер, представляет собой формирование пакета данных для отправки на сервер.
На этапе 21 проверки наличия комментариев других пользователей, связанных с координатами, в которых было получено изображение, проверяют была ли оставлена дополнительная информация другими зарегистрированными пользователями в месте, характеризуемом данными координатами. На этапе 22 отображают комментарии других зарегистрированных пользователей, связанных с координатами места нахождения устройства обработки изображения пользователя.
По команде 20 формируется сигнал, содержащий дополнительную информацию, связанную с изображением, и отправляют на сервер.
На этапе 24 проверяется наличие команды выхода из программы. Если таковая была, то программу заканчивают - 27, если нет, то начинают обработку следующих 25 кадров изображения.
Пример 1
В качестве устройства обработки изображения используют мобильное средство связи - телефон, снабженный камерой, процессором с программным обеспечением, встроенным накопителем, модулем геолокации, дисплеем и модулем беспроводной связи, например, GPRS.
Пользователь, имеющий подписчиков своих блогов соответствующего социального интернет-ресурса, обозначаемых далее как другие зарегистрированные пользователи, находясь в Риме, наводит камеру телефона на заинтересовавшее его архитектурное сооружение (Фиг. 1). При этом телефон пользователя обращается к базе данных сервера, где хранятся образы для распознавания известных архитектурных объектов. Полученное пользователем изображение обрабатывают средствами вычисления сервера в целях распознавания архитектурного объекта на изображении так, что попавший в поле зрения камеры архитектурный объект может быть распознан с определенной вероятностью как Колизей.
Средства вычисления телефона пользователя также могут быть привлечены к процессу распознавания, в этом случае на удаленный сервер постоянно передают данные гелокации телефона пользователя, вследствие чего образы расположенных в этом географическом месте архитектурных объектов через Интернет подкачивают в цифровой накопитель телефона пользователя и используют посредством средствами вычисления телефона пользователя для распознавания конкретных объектов на изображении.
После распознавания объекта средствами вычисления телефона формируют и выводят на дисплей телефона соответствующее сообщение, информирующее пользователя о факте распознавания. Такое сообщение может быть в виде подсветки или иного выделения распознанного объекта на изображении.
Пользователь имеет возможность формирования дополненной реальности. Желая зафиксировать факт посещения известного места, пользователь с помощью модуля средств ввода вводит текст со своим именем и формирует команду на отправку. При этом введенное сообщение связывается средствами вычисления телефона с образом распознанного объекта и может быть отображено на дисплее телефона другого зарегистрированного пользователя, в поле зрения камеры телефона которого попадет и будет распознан указанный архитектурный объект.
Таким образом, любой зарегистрированный пользователь может участвовать в процессе формирования дополненной реальности и, в то же время, имеет возможность оказаться в условиях дополненной реальностью, созданной другими зарегистрированными пользователями благодаря возможности получения сообщений с дополнительной информацией от других зарегистрированных пользователей. Эти сообщения могут быть получены при распознавании средствами вычисления телефона объектов, относительно которых были ранее введены сообщения другими зарегистрированными пользователями.
Распознавание объекта может не произойти, например, из-за неудачного ракурса съемки, недостаточного освещения или отсутствия образа объекта. В этом случае оставленное пользователем сообщение связывают с координатами места, в котором было сделано сообщение пользователем, так, что другой зарегистрированный пользователь телефона, оказавшийся в месте, характеризуемом теми же или близкими географическими координатами, получает на дисплее телефона введенное ранее сообщение, оставленное первым пользователем. Сообщение выводится поверх изображения, полученного с выхода встроенной камеры телефона этого другого зарегистрированного пользователя.
Пример 2
Способ управления устройством обработки изображений используется для контроля знаний ученика в рамках курса иностранного языка.
В качестве устройства обработки изображения используют мобильное средство связи, снабженное встроенной камерой, процессором с программным обеспечением, встроенным накопителем, дисплеем и средством воспроизведения звука, микрофоном и модулем беспроводной связи, например, Wi-Fi для связи с сервером.
Преподаватель и ученики объединены участием в соответствующем учебном интернет ресурсе в качестве зарегистрированных пользователей.
Преподаватель дает задание ученикам посетить после школы или по пути в школу известные в городе строения, связанные с определенным историческим событием и кратко охарактеризовать их на иностранном языке с позиции истории, значимости для города, характеристики владельца или иного, либо ответить на вопросы.
Ученик, проходя мимо здания, захватывает его встроенной камерой, произносит требуемый текст и отправляет его в качестве дополнительной информации.
При проверке преподаватель использует базу данных, содержащую заранее созданные образы архитектурных объектов или просто зданий и учреждений города, выбирая объекты, непосредственно связанные с его заданием.
После распознавания объекта средствами своего устройства обработки изображения, преподаватель получает список учеников, оставивших свои комментарии у выбранного им объекта и выбирая нужную фамилию прослушивает монолог соответствующего ученика.
Подобные задания привлекательны для учеников своей необычностью и новизной, позволяют осуществлять проверку знаний ученика в реальных условиях жизни города, а также позволяют получать представление о динамике освоения курса учеником при повторении задания через определенный промежуток времени.
Пример 3
Способ управления устройством обработки изображений используется как средство для обмена сообщениями преподавателя с родителями ученика.
В качестве устройства обработки изображения используют мобильное средство связи, снабженное встроенной камерой, процессором с программным обеспечением, встроенным накопителем, дисплеем и средством воспроизведения звука, микрофоном и модулем беспроводной связи, например, Wi-Fi для связи с сервером.
Преподаватель, ученики и их родители являются зарегистрированными пользователями ресурса, созданного в рамках учебного процесса. Предварительно создают образы для распознавания лиц учеников и заносят их в память сервера.
В процессе обучения у преподавателя периодически появляется необходимость проинформировать родителей об успехах или возникших проблемах с их ребенком. Преподаватель захватывает с помощью встроенной камеры своего телефона изображение лица ученика, которое распознается средствами вычисления телефона и делает звуковое или текстовое сообщение для родителей.
Родители, желающие узнать о наличии сообщений преподавателя и ознакомиться с их содержанием, захватывают с помощью камеры своих средств связи изображение лица своего ребенка и после распознавания получают соответствующее звуковое или текстовое сообщение, оставленное преподавателем.
В качестве реагирования родители с помощью своих средств связи могут оставить ответное сообщение преподавателю, которое он получит, когда увидит ученика и воспользуется камерой своего средства связи, получив изображение лица ученика.
Таким образом, сообщения формируются зарегистрированными пользователями в удобное для них свободное время, а ученик, относительно которого формируются сообщения, становится участником диалога или, по меньшей мере, находится в курсе отзывов преподавателя.
Способ управления устройством обработки изображения обеспечивает отображение или воспроизведение дополнительной информации лишь при условии попадания на изображение известного и распознанного объекта или при нахождении пользователя в географических координатах формирования этой дополнительной информации. Исключается необходимость передачи больших объемов информации на устройство обработки изображения зарегистрированного пользователя, что снижает требования к беспроводным линиям связи по скорости передачи данных. Кроме того, такая автоматическая селекция передаваемой для отображения информации повышает удобство пользования устройством обработки изображения, что облегчает реализацию устройства и обеспечивает возможность продуктивной работы с полученной дополнительной информацией.
Способ управления устройством обработки изображения обеспечивает пользователю возможность получения дополнительной информации к изображению, полученному в реальном времени, позволяя ощущать себя в условиях дополненной реальности, При этом пользователь не обязан определять адресата для сформированной им дополнительной информации, которая передается на устройство обработки изображения любого зарегистрированного пользователя при выполнении условия распознавания объекта или в случае необходимости близости географических координат, в которых была сформирована дополнительная информация, то есть для неограниченного круга пользователей.
Способ управления устройством обработки изображения может быть реализован с использованием стандартных компонентов и радиоэлектронной элементной базы, включая самостоятельные модули, такие как камера, дисплей, процессор и др.
Таким образом, способ управления устройством обработки изображения более прост в реализации за счет снижения требований к используемым беспроводным линиям связи, более удобен в использовании за счет исключения возможности отображения, не связанной с объектами на изображении дополнительной информации, обеспечивает возможность использования изображения в реальном времени, формируя условия дополненной реальности, а также обеспечивает возможность получения дополнительной информации для неограниченного круга пользователей.
Claims (9)
1. Способ управления устройством обработки изображения, заключающийся в передаче данных с возможностью их воспроизведения на устройстве обработки изображения другого зарегистрированного пользователя, отличающийся тем, что получают сигнал изображения с помощью формирователя сигнала изображения и отображают его в реальном времени с помощью дисплея, распознают, по меньшей мере, один объект на полученном изображении, осуществляют связывание дополнительной информации, введенной с помощью средств ввода, с образом распознанного объекта, передача данных представляет собой передачу дополнительной информации, связанной с образом распознанного объекта, с возможностью получения их на устройствах обработки изображения других зарегистрированных пользователей с использованием Интернет, получают и отображают введенную ранее с помощью устройств обработки изображения других зарегистрированных пользователей дополнительную информацию при условии наличия факта распознавания соответствующего объекта на полученном изображении, или соответствия координатам места, в котором пользователем было сделано сообщение «вывод на дисплей дополнительной информации», распознавание объектов на полученном изображении и связывание дополнительной информации с образом распознанного объекта осуществляют в реальном времени, вывод введенной ранее с помощью других устройств обработки изображений дополнительной информации осуществляют поверх изображения, полученного с выхода формирователя сигнала изображения, при этом распознавание объекта на изображении осуществляют с помощью средств вычисления устройства обработки изображения на основе сопоставления полученного изображения с хранящимися в памяти образами объектов.
2. Способ по п. 1, отличающийся тем, что дополнительную информацию формируют в виде изображения, в том числе текстового и/или звукового сигнала, и/или их комбинации.
3. Способ по п. 1, отличающийся тем, что формирователь сигнала изображения представляет собой встроенную камеру.
4. Способ по п. 1, отличающийся тем, что формирователь сигнала изображения представляет собой цифровой накопитель с данными.
5. Способ по п. 1, отличающийся тем, что передачу дополнительной информации, связанной с образом распознанного объекта, осуществляют на серверные средства обработки данных, связанные с устройствами обработки изображения других зарегистрированных пользователей с помощью Интернет.
6. Способ по п. 1, отличающийся тем, что появление зарегистрированного пользователя включает следующие шаги: предоставляют администратору или уже зарегистрированному пользователю данные пользователя в качестве запроса на регистрацию, формируют и направляют пользователю ответное сообщение о регистрации.
7. Способ по п. 1, отличающийся тем, что связывание дополнительной информации с распознанным объектом представляет собой формирование единого блока данных, так, что при распознавании соответствующего объекта на изображении осуществляют отображение включенной в этот блок данных дополнительной информации, связанной с указанным объектом.
8. Способ по п. 1, отличающийся тем, что связывание дополнительной информации с распознанным объектом осуществляют при формировании дополнительной информации любым зарегистрированным пользователем на своем устройстве обработки изображения.
9. Способ по п. 1, отличающийся тем, что устройство обработки изображения содержит формирователь сигнала изображения, средства ввода, средства вычисления и дисплей.
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015140595A RU2622843C2 (ru) | 2015-09-24 | 2015-09-24 | Способ управления устройством обработки изображения |
| US15/758,379 US20180249063A1 (en) | 2015-09-24 | 2016-09-09 | Method of controlling an image processing device |
| PCT/RU2016/050031 WO2017052420A1 (ru) | 2015-09-24 | 2016-09-09 | Способ управления устройством обработки изображения |
| EP16849095.1A EP3358505A4 (en) | 2015-09-24 | 2016-09-09 | METHOD FOR CONTROLLING IMAGE PROCESSING DEVICE |
| KR1020187011158A KR20180056728A (ko) | 2015-09-24 | 2016-09-09 | 이미지 처리 장치를 제어하는 방법 |
| CN201680065434.7A CN108351973A (zh) | 2015-09-24 | 2016-09-09 | 控制图像处理设备的方法 |
| US16/882,619 US20200285852A1 (en) | 2015-09-24 | 2020-05-25 | Method of controlling an image processing device |
| US17/959,488 US20230031587A1 (en) | 2015-09-24 | 2022-10-04 | System and method of controlling image processing devices |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015140595A RU2622843C2 (ru) | 2015-09-24 | 2015-09-24 | Способ управления устройством обработки изображения |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2015140595A RU2015140595A (ru) | 2017-03-29 |
| RU2622843C2 true RU2622843C2 (ru) | 2017-06-20 |
Family
ID=58386761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015140595A RU2622843C2 (ru) | 2015-09-24 | 2015-09-24 | Способ управления устройством обработки изображения |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20180249063A1 (ru) |
| EP (1) | EP3358505A4 (ru) |
| KR (1) | KR20180056728A (ru) |
| CN (1) | CN108351973A (ru) |
| RU (1) | RU2622843C2 (ru) |
| WO (1) | WO2017052420A1 (ru) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10469755B2 (en) | 2017-05-16 | 2019-11-05 | Google Llc | Storing metadata related to captured images |
| US20200219205A1 (en) | 2019-01-09 | 2020-07-09 | Charles Isgar | System for social interaction regarding features based on geolocation |
| US20200219214A1 (en) * | 2019-01-09 | 2020-07-09 | Charles Isgar | System for interaction regarding real estate sales |
| KR20220118545A (ko) * | 2019-12-31 | 2022-08-25 | 스냅 인코포레이티드 | 메시징 시스템에서의 캡처후 처리 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100260426A1 (en) * | 2009-04-14 | 2010-10-14 | Huang Joseph Jyh-Huei | Systems and methods for image recognition using mobile devices |
| RU2463663C2 (ru) * | 2007-05-31 | 2012-10-10 | Панасоник Корпорэйшн | Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации |
| US20130287256A1 (en) * | 2012-04-30 | 2013-10-31 | Telibrahma Convergent Communications Private Limited | Method and system for real time image recognition on a mobile device |
| RU2013158163A (ru) * | 2011-06-08 | 2015-07-20 | Кэнон Кабусики Кайся | Устройство обработки изображений, способ управления для него и программа |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080317346A1 (en) * | 2007-06-21 | 2008-12-25 | Microsoft Corporation | Character and Object Recognition with a Mobile Photographic Device |
| KR101661269B1 (ko) * | 2008-09-02 | 2016-09-29 | 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) | 휴대용 디바이스 상의 이미지 주석 |
| US8155698B2 (en) * | 2009-03-25 | 2012-04-10 | Embarq Holdings LLC | System and method for storing and displaying data with digital images |
| JP5343676B2 (ja) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
| US20130259387A1 (en) * | 2012-03-29 | 2013-10-03 | Otter Creek Holdings, Llc | Systems and methods for landmark detection |
| US10943111B2 (en) * | 2014-09-29 | 2021-03-09 | Sony Interactive Entertainment Inc. | Method and apparatus for recognition and matching of objects depicted in images |
-
2015
- 2015-09-24 RU RU2015140595A patent/RU2622843C2/ru active
-
2016
- 2016-09-09 KR KR1020187011158A patent/KR20180056728A/ko not_active Application Discontinuation
- 2016-09-09 CN CN201680065434.7A patent/CN108351973A/zh active Pending
- 2016-09-09 EP EP16849095.1A patent/EP3358505A4/en not_active Ceased
- 2016-09-09 WO PCT/RU2016/050031 patent/WO2017052420A1/ru active Application Filing
- 2016-09-09 US US15/758,379 patent/US20180249063A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2463663C2 (ru) * | 2007-05-31 | 2012-10-10 | Панасоник Корпорэйшн | Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации |
| US20100260426A1 (en) * | 2009-04-14 | 2010-10-14 | Huang Joseph Jyh-Huei | Systems and methods for image recognition using mobile devices |
| RU2013158163A (ru) * | 2011-06-08 | 2015-07-20 | Кэнон Кабусики Кайся | Устройство обработки изображений, способ управления для него и программа |
| US20130287256A1 (en) * | 2012-04-30 | 2013-10-31 | Telibrahma Convergent Communications Private Limited | Method and system for real time image recognition on a mobile device |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3358505A1 (en) | 2018-08-08 |
| RU2015140595A (ru) | 2017-03-29 |
| WO2017052420A1 (ru) | 2017-03-30 |
| US20180249063A1 (en) | 2018-08-30 |
| KR20180056728A (ko) | 2018-05-29 |
| CN108351973A (zh) | 2018-07-31 |
| EP3358505A4 (en) | 2019-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11783862B2 (en) | Routing messages by message parameter | |
| US11936720B2 (en) | Sharing digital media assets for presentation within an online social network | |
| US11372608B2 (en) | Gallery of messages from individuals with a shared interest | |
| US8743144B2 (en) | Mobile terminal, server device, community generation system, display control method, and program | |
| US9854219B2 (en) | Gallery of videos set to an audio time line | |
| EP3131263B1 (en) | Method and system for mobile terminal to simulate real scene to achieve user interaction | |
| RU2622843C2 (ru) | Способ управления устройством обработки изображения | |
| TWI617931B (zh) | 適地性空間物件遠距管理方法與系統 | |
| CA2930481A1 (en) | System and method for reporting and tracking incidents | |
| JP2015106223A (ja) | コンテンツの評価装置、システム、サーバ装置及び端末装置 | |
| WO2018103544A1 (zh) | 一种在图像中展现业务对象数据的方法和装置 | |
| US20230031587A1 (en) | System and method of controlling image processing devices | |
| US9471695B1 (en) | Semantic image navigation experiences | |
| TW201508661A (zh) | 事件整合方法及系統 | |
| US20200285852A1 (en) | Method of controlling an image processing device | |
| US11195336B2 (en) | Framework for augmented reality applications | |
| US20150087339A1 (en) | Wireless Location Information Request | |
| CN110674322A (zh) | 多媒体内容整合方法、系统及介质 | |
| CN112115284B (zh) | 多媒体推荐方法、装置、设备及存储介质 | |
| CN111046234B (zh) | 信息显示方法、对应装置、终端、服务器和存储介质 | |
| JP2016152593A (ja) | サーバ装置、携帯装置、撮像支援方法、コンピュータプログラム | |
| US20180033178A1 (en) | Method of Augmenting a Geospatially-Accurate Virtual Reality with Annotations | |
| KR101572349B1 (ko) | 컴퓨팅 장치를 이용한 투표 시스템, 물체 인식 시스템 및 그 동작 방법 | |
| CN117128994A (zh) | 一种基于ar弹幕的导航方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20180522 |