RU2602386C1 - Способ визуализации объекта - Google Patents
Способ визуализации объекта Download PDFInfo
- Publication number
- RU2602386C1 RU2602386C1 RU2015119725/08A RU2015119725A RU2602386C1 RU 2602386 C1 RU2602386 C1 RU 2602386C1 RU 2015119725/08 A RU2015119725/08 A RU 2015119725/08A RU 2015119725 A RU2015119725 A RU 2015119725A RU 2602386 C1 RU2602386 C1 RU 2602386C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- additional information
- detected
- objects
- captured image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Изобретение относится к области обработки и генерации данных изображения. Технический результат - обеспечение возможности идентифицировать объект на захваченном изображении и повышение точности локализации визуализируемого объекта. Способ визуализации объекта заключается в: захвате цифрового изображения, получении элементов дополнительной информации из электронной памяти, каждый из которых соответствует заранее заданному объекту, отображении, по меньшей мере, одного элемента дополнительной информации с наложением на цифровое изображение; в электронной памяти хранят данные образов соответствующих объектов, осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения, отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на захваченном изображении, если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом. 7 з.п. ф-лы, 4 ил.
Description
Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображений для машинной графики, и может быть использовано для поиска, извлечения и обработки и отображения данных изображения.
Наиболее близким по технической сущности является способ захвата изображения, содержащий этапы, на которых: захватывают цифровое изображение; получают информацию позиции захвата изображения, указывающую позицию, в которой захвачено цифровое изображение; получают информацию направления захвата изображения, указывающую направление, в котором захвачено цифровое изображение; получают множество элементов дополнительной информации из устройства хранения дополнительной информации, которое хранит множество элементов дополнительной информации, при этом в множестве элементов дополнительной информации каждый элемент соответствует заранее заданному объекту, и каждый элемент содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов; разделяют на подполя пространство обзора, определенное информацией позиции захвата изображения и информацией направления захвата изображения, и выбирают для каждого из подполей соответствующий один или более элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащего множество элементов информации позиций объектов, соответственно указывающих позиции, содержащиеся в подполях; и отображают соответствующий один или более элементов из множества элементов дополнительной информации с наложением на цифровое изображение, причем соответствующий один или более элементов из множества элементов дополнительной информации выбраны на упомянутом этапе выбора (см. RU 2463663 С2, кл. G06T 19/00, G06T 11/60).
Известный способ может быть реализован для визуализации и фильтрации дополнительной информации наземных ориентиров, накладываемой на изображение местности, захваченное с помощью видеокамеры.
Недостатком известного способа является ограниченность его применения лишь отображением ориентиров местности и требует получения данных о направлении и позиции захвата. Известный способ не может быть использован для отображения дополнительной информации о движимых объектах или объектах, не привязанных к местности. Кроме того, необходимость получения данных о позиции и направлении захвата изображения подразумевает наличие соответствующих координатных систем, например GPS и компаса, которые не достаточно точны (особенно в условиях перепада высот местности или в условиях городской застройки).
Указанные недостатки ограничивают область применения известного способа.
Техническим результатом является расширение области применения за счет обеспечения возможности идентифицировать объект на захваченном изображении на основе данных изображения самого объекта, а также повышения точности локализации визуализируемого объекта.
Указанный результат достигается тем, что в способе визуализации объекта, заключающемся в захвате цифрового изображения, получении элементов дополнительной информации из электронной памяти, которое хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, отображении, по меньшей мере, одного элемента из множества элементов дополнительной информации с наложением на цифровое изображение, при этом помимо дополнительной информации об объекте в электронной памяти хранят данные образов соответствующих объектов, осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения, используя полученные из электронной памяти данные образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении, если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом, захват изображения осуществляют цифровой камерой устройства визуализации и выводят его на дисплей.
Кроме того: - осуществляют распознавание объекта на основе данных изображения его формы, и/или цвета, и/или текстуры;
- выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта, является каждый n-й кадр видеоизображения, где n - натуральное число 1, 2, 3, 4…, или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию на нем объекта;
- данные образов объектов включают, по меньшей мере, общие признаки и специальные признаки, при этом обнаружение и распознавание объектов осуществляют в следующей последовательности, используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, вычисляют координаты обнаруженного объекта на выбранном кадре, используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения;
- вычисляют ожидаемые координаты объекта в следующем кадре на основе координат объекта в предыдущих кадрах и ограничивают область распознавания объекта на следующем кадре множеством указанных ожидаемых координат объекта, при этом если время отсутствия распознавания объекта на указанной ограниченной области распознавания в последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всем выбранном кадре;
- выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения;
- выделение распознанного объекта осуществляют путем подсвечивания части изображения, содержащего изображение объекта;
- захват изображения осуществляют камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения;
- создание данных образов объектов и занесение их в электронную память осуществляют предварительно.
Способ визуализации объекта поясняется с помощью чертежей, где на фиг. 1 показана структурная схема устройства для реализации способа визуализации объекта, выполненного на основе цифрового фотоаппарата, на фиг. 2 представлено реальное изображение, на котором присутствует объект и изображение визуализированного объекта на мобильном устройстве визуализации, на фиг. 3 - структурная схема работы вычислительных средств устройства визуализации, на фиг. 4 - функциональная схема вычислительных средств.
На чертежах сделаны следующие обозначения: 1 - видеокамера, 2 - вычислительные средства (вычислительная машина), 3 - сервер, 4 - цифровой дисплей, 5 - сеть интернет, 6 - электронная память, 7 - устройство связи с сервером - модем, 8 - изображение реального объекта, 9 - визуализированное изображение объекта, 10 - дополнительная информация, 11 - мобильное устройство визуализации, 12 - захват изображения и вывод его на дисплей устройства визуализации, 13 - обращение к электронной памяти и извлечение данных образа объекта, 14 - анализ цифрового изображения на предмет обнаружения объекта, 15 - вычисление координат объекта на захваченном изображении, 16 - сравнение длительности отсутствия обнаружения объектов на выбранных кадрах с пороговым значением времени Tmin, 17 - распознавание объекта, 18 - выделение объекта, 19 - обращение к электронной памяти и извлечение дополнительной информации, 20 - формирование сигнала наложения дополнительной информации на захваченное изображения для вывода на дисплей, 21 - вывод дополнительной информации на дисплей, 22 - анализ наличия сигнала цифрового изображения, 23 - завершение программы в случае отсутствия цифрового изображения, 24 - переход к следующему выбранному кадру, 25 - цифровой фотоаппарат (видеокамера), 26 - средства извлечения данных образа объектов, 27 - средства обнаружения объекта в кадре видеоизображения, 28 - средства вычисления координат объекта в кадре, 29 - средства вычисления ожидаемых координат объекта в следующем кадре, 30 - средства извлечения дополнительной информации из электронной памяти, 31 - средства формирования сигнала наложения дополнительной информации и подсвечивания объекта, 32 - цифровое изображение с выхода видеокамеры, 33 - данные образов объектов и дополнительная информация, сохраняемая в электронной памяти, 34 - сигнал визуализации объекта для вывода на дисплей.
Способ визуализации объекта заключается в том, что предварительно создают образы объектов и множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, связанной с объектами, и заносят их в электронную память.
Захватывают изображение цифровой камерой устройства визуализации и выводят на дисплей, затем осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения на основе данных изображения его формы, и/или цвета, и/или текстуры, используя полученную из электронной памяти информацию образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, получают из электронной памяти и отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении с наложением на цифровое изображение. При этом если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом.
При этом каждым выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта, является каждый n-й кадр видеоизображения, где n - натуральное число 1, 2, 3, 4…, или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию объекта.
Данные образов объектов содержат, по меньшей мере, общие признаки, характерные для всех обнаруживаемых объектов, и специальные признаки, характерные лишь для конкретного объекта. Используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, на всей его площади, вычисляют координаты обнаруженного объекта на выбранном кадре, а затем используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения.
При распознавании уже обнаруженного ранее на предыдущих выбранных кадрах объекта осуществляют на ограниченной площади кадра, координаты которой прогнозируют на основе вычисленных координат объекта на предыдущих выбранных кадрах. При этом если время отсутствия обнаружения объекта на указанной ограниченной площади последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всей площади выбранного кадра.
Выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения путем подсвечивания части изображения, содержащего изображение объекта.
Захват изображения осуществляют цифровой камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения, вычислительные средства и электронную память.
Способ визуализации объекта реализуется следующим образом.
Предварительно определяют состав объектов визуализации и создают их образы для использования в процессе обнаружения и распознавания изображений этих объектов. Образы объектов представляют собой наборы признаков изображения объекта, характерных для соответствующего объекта, используемые в процессе обнаружения и распознавания изображения объекта на захваченном изображении. При этом образы объектов представляют собой, по меньшей мере, две группы признаков, одна из которых - общие, характерные для всех установленных заранее объектов. Признаки этой группы используют для определения факта наличия любого объекта на изображении, то есть обнаружения объекта. Признаки другой группы используют для распознавания конкретного объекта на изображении.
Создают также массив дополнительной информации, относящейся к определенным ранее указанным объектам в виде элементов дополнительной информации, ассоциируемых с одним из указанных объектов, такой как текст, изображение или мультимедиа. Сохраняют в электронной памяти, соединенной с устройством визуализации, данные образов объектов и дополнительную информацию об этих объектах вместе с данными о связях элементов дополнительной информации с конкретными объектами.
После включения видеокамеры устройства визуализации осуществляют захват изображения с помощью видеокамеры, и отображение его на дисплее устройства визуализации. Захваченное цифровое изображение направляют в виде сигналов на вход вычислительных средств.
Вычислительные средства обращаются к электронной памяти в процессе обнаружения и распознавания заранее определенных указанных объектов на захваченном изображении, используя ранее созданные образы объектов. Распознавание объекта осуществляют на каждом выбранном кадре видеоизображения, на основе данных изображения его формы, и/или цвета, и/или текстуры. При этом каждым выбранным кадром является каждый n-й кадр видеоизображения, где n - натуральное число 1, 2, 3, 4… Однако, если же производительность вычислительных средств недостаточна для обработки каждого n-го кадра, то выбранным кадром является каждый кадр видеоизображения, сформированный к моменту, когда вычислительные средства закончат предыдущий цикл обработки и будут готовы к обработке нового кадра для обнаружения и распознавания объекта.
Обнаружение и распознавание объектов осуществляют в несколько этапов, вначале используя общие признаки образов, характерные для всех объектов, осуществляют обнаружение объекта на выбранном кадре, в пределах всего кадра. Факт обнаружения свидетельствует о наличии одного из объектов без конкретизации, какой именно объект обнаружен. Далее вычисляют координаты обнаруженного объекта на выбранном кадре и затем, используя специальные признаки образов объектов, осуществляют распознавание конкретного объекта в выбранном кадре захваченного изображения, учитывая координаты обнаруженного объекта.
В целях экономии ресурсов устройства визуализации и повышения быстродействия визуализации объекта, распознавание уже обнаруженного на предыдущем выбранном кадре объекта осуществляют не по всей площади выбранного кадра, а на ограниченной его площади. Координаты этой площади прогнозируют на основе значений вычисленных координат объекта на предыдущих выбранных кадрах. Однако, если время, в течение которого обнаружение объекта на указанной ограниченной площади в последующих выбранных кадрах прекратилось, превысит установленное заранее пороговое значение, например, 100 кадров захваченного видеоизображения, то далее обнаружение вновь осуществляют на всей площади выбранного кадра.
При наличии факта распознавания одного из указанных объектов обращаются к массиву дополнительной информации, сохраняемой в электронной памяти и извлекают элементы дополнительной информации, ассоциируемые или связанные с распознанным объектом.
Далее формируют цифровой сигнал изображения дополнительной информации и отображают, по меньшей мере, один элемент из множества элементов дополнительной информации, определенный ранее как связанный с обнаруженным объектом путем наложения элементов дополнительной информации на цифровое видеоизображение с видеокамеры устройства визуализации. Выделяют также обнаруженный объект на выводимом на дисплей изображении путем подсветки места изображения объекта.
Вывод дополнительной информации на дисплее осуществляют так, чтобы дополнительная информация располагалась на выводимом изображении вблизи изображения соответствующего обнаруженного и распознанного объекта.
Если на последующем кадре захваченного изображения не удается обнаружить объект, в отношении которого уже визуализируется ассоциируемая с ним дополнительная информация, то вывода дополнительной информации на дисплей продолжают в течение установленного заранее времени, по истечении которого, если изображение объекта обнаруживают вновь, то делают вывод о наличии объекта и продолжении вывода дополнительной информации, если же в течение установленного времени обнаружить объект не удается, то делают вывод об отсутствии объекта на захваченном изображении и прекращении вывода дополнительной информации на дисплей.
Распознавание объекта на видеоизображении обеспечивает возможность идентификации конкретного объекта по его внешним признакам, что в свою очередь обеспечивает возможность осуществления способа без всякой привязки к местности или карте и идентифицировать в том числе движущиеся или перемещаемые объекты.
Благодаря обнаружению и распознаванию объекта непосредственно на видеоизображении и отслеживанию координат перемещающегося объекта в кадре, обеспечивается высокая точность локализации объекта на изображении, которая не зависит от ограничений каких-либо навигационных систем.
Вычислительные средства устройства визуализации выполнены на основе процессора, работающего под управлением соответствующей операционной системы. Схема работы вычислительных средств при реализации способа визуализации объекта включает следующие основные этапы (Фиг. 3).
Начало работы связано с включением видеокамеры и формированием цифрового изображения, которое в реальном времени выводят на дисплей устройства визуализации. Сформированное цифровое изображение подают на вход вычислительных средств, которые при появлении сигнала начинают обращаться к электронной памяти, где хранятся данные эталонных образов объектов, используемые при обнаружении и распознавании объектов. Обнаружение объекта повторяют на каждом выбранном кадре видеоизображения.
Если на захваченном видеокамерой изображении обнаруживают наличие объекта, то осуществляют вычисление его координат, которые используют, в частности, для работы средств прогнозирования координат объекта, обеспечивающих вычисление предполагаемых координат на будущем кадре.
Осуществляют распознавание обнаруженного объекта на вычисленных координатах кадра, в результате чего изображение обнаруженного объекта отождествляют с реальным объектом, попавшим в поле зрения видеокамеры.
Распознавание в последующих выбранных кадрах осуществляют на ограниченной площади кадра, координаты которой вычисляют средства прогнозирования координат объекта. Если в течение установленного заранее времени Tmin обнаружить объект на этой ограниченной площади кадра не удается, то обнаружение вновь выполняют по всей площади выбранного кадра. Таким образом, осуществляют одновременно отслеживание перемещения обнаруженного объекта в пределах кадра.
Вычислительные средства осуществляют обращение к электронной памяти для извлечения связанной с обнаруженным и распознанным объектом дополнительной информации.
Вычисленные координаты объекта используют также для привязки изображений дополнительной информации и выделения области нахождения изображения объекта на захваченном изображении.
Формируют сигнал вывода и наложения дополнительной информации на выводимое захваченное изображение и выводят дополнительную информацию дисплей устройства визуализации с учетом координат объекта на выводимом изображении.
Если в результате анализа цифрового изображения на текущем выбранном кадре обнаружить изображение объекта не удается, процесс анализа изображения продолжают при поступлении следующего выбранного кадра изображения. Анализ изображения продолжают до тех пор, пока запущена соответствующая программа.
Осуществляют также анализ наличия цифрового изображения на входе вычислительных средств. Если сигнал цифрового изображения поступает на вход вычислительных средств, процесс повторяется на каждом выбранном кадре, обеспечивая отслеживание перемещения изображения объекта на захваченном изображении и соответствующую корректировку визуализируемой дополнительной информации.
Процесс визуализации объекта заканчивают при отсутствии сигнала цифрового изображения, которое означает, например, отключение видеокамеры. Формируют команду на завершение программы.
Функциональная схема вычислительных средств (Фиг. 4) показывает взаимосвязь между элементами множества средств, обеспечивающих осуществление способа. Цифровое видеоизображение подают на средства обнаружения объекта, куда также поступают данные образов объектов с выхода средств извлечения образов объектов. Результаты обнаружения подают на средства вычисления координат, результаты вычисления которых анализируют в средствах вычисления ожидаемых координат объекта в следующем кадре. Текущие и ожидаемые координаты подают на входы средств распознавания, куда заводят также видеоизображение и данные образов. По результатам распознавания средства извлечения дополнительной информации получают дополнительную информацию, ассоциированную с объектом, и направляют ее на средства формирования сигнала, содержащего дополнительную информацию, для наложения ее на захваченное видеоизображение.
Пример 1
Устройством визуализации служит мобильное устройство (Фиг. 2), содержащее фронтальную видеокамеру, вычислительные средства на основе процессора, электронную память для хранения образов объектов и дополнительной информации и дисплей.
Во встроенную или съемную память мобильного устройства визуализации заносят созданные заранее данные образов объектов и дополнительную информацию, связанную с этими объектами.
Для визуализации объекта наводят видеокамеру на объект, предназначенный для отображения, и осуществляют захват изображения с помощью видеокамеры. При этом угол обзора объектива видеокамеры и расстояние до объекта выбирают так, чтобы на захваченном изображении была видна большая часть объекта или объект был представлен целиком. Захваченное изображение отображают на дисплее мобильного устройства визуализации.
Направляют сигналы цифрового изображения также на вход вычислительных средств, которые, при наличии на входе сигналов захваченного изображения, обращаются к электронной памяти, извлекая данные образов объектов для обнаружения и распознавания объекта на захваченном изображении. При распознавании используют такие признаки изображения объекта как контур, сформированный границами перепадов цветов и яркости, цвет и цветовые соотношения, наличие регулярных элементов, характеризующих текстуру и пр.
В процессе обнаружения используют общие для всех объектов признаки образов объектов. Результатом операции обнаружения может быть одно из двух событий: либо наличие объекта в выбранном кадре обнаружено, либо обнаружение отсутствует.
В первом случае вычисляют координаты объекта в кадре и, используя специальные признаки образов объектов, осуществляют распознавание обнаруженного объекта.
Координаты обнаруженного объекта в нескольких предыдущих выбранных кадрах используют для прогнозирования координат объекта в последующем кадре, формируя множество ожидаемых координат объекта, что позволяет снизить требования к производительности устройства визуализации. Распознавание в этом случае осуществляют на следующем кадре в пределах ограниченной площади или области кадра. Если в последующих выбранных кадрах в течении двух секунд объект не обнаруживают, то далее вновь переходят к обработке всего кадра изображения для обнаружения объекта.
После обнаружения и распознавания объекта на захваченном изображении, вычислительные средства, обращаясь к электронной памяти, извлекают связанную с обнаруженным и распознанным объектом дополнительную информацию, которую выводят на дисплей путем наложения на отображаемое захваченное изображение. Дополнительная информация представляет собой текст, содержащий буквы и/или цифры имеющий пояснительный или описательный характер, относящийся к обнаруженному объекту, а также изображения и мультимедийную информацию.
Отображаемую дополнительную информацию визуализируют на полупрозрачном транспаранте и выводят в непосредственной близости от изображения обнаруженного и распознанного объекта. Область изображения самого объекта при этом подсвечивается, так, что изображение объекта становится более ярким по сравнению с фоновым.
Если в процессе вывода дополнительной информации обнаружение и распознавание прекратилось и в течение 1 с. не возобновилось, то вывод дополнительной информации прекращают.
Пример 2
Устройством визуализации служит цифровой фотоаппарат (Фиг. 1), снабженный объективом с матрицей формирования цифрового изображения, образующих видеокамеру, цифровым дисплеем, вычислительными средствами с электронной памятью и устройством связи с сервером - модемом для связи вычислительных средств с сервером по радиоканалу с использованием сети Интернет. Сервер, обеспечивает хранение данных образов объектов и дополнительной информации.
Образы объектов для их обнаружения и распознавания, а также дополнительную информацию создают заранее и сохраняют на сервере, с возможностью связи с ним посредством сети Интернет и извлечения хранящейся на нем информации.
В процессе осуществления съемки наводят объектив фотоаппарата на объект съемки и осуществляют захват изображения, при этом формируемое матрицей видеоизображение выводят на дисплей фотоаппарата.
Захваченное цифровое изображение передают также на вход вычислительных средств, которые посредством модема через сеть Интернет связаны с сервером. Захваченное изображение после сжатия на вычислительных средствах передают на сервер, где осуществляют обработку изображения в целях обнаружения признаков объектов на изображении с использованием ранее созданных и хранящихся в памяти сервера образов.
При наличии факта обнаружения объекта на изображении и его распознавании из электронной памяти извлекают связанную с обнаруженным объектом дополнительную информацию и передают посредством сети Интернет соответствующий образ и дополнительную информацию на вход модема и затем в электронную память фотоаппарата.
С помощью вычислительных средств фотоаппарата осуществляют распознавание изображение объекта на захваченном изображении, извлекают из электронной памяти фотоаппарата связанную с объектом дополнительную информацию и визуализируют на дисплее фотоаппарата дополнительную информацию на выводимом захваченном изображении. При этом визуализируют изображение так, что обнаруженный и распознанный объект отображается в квадратной или овальной рамке, сформированной яркими линиями, а дополнительную информацию накладывают на изображение в непосредственной близости от изображения объекта.
Пример 3
Устройством визуализации являются очки со встроенными видеокамерой, вычислительными средствами с электронной памятью и дисплеем.
В электронной памяти устройства визуализации хранят заранее созданные образы объектов и массив дополнительной информации.
На дисплее устройства визуализации отображают изображение, захваченное фронтальной видеокамерой, встроенной в оправу очков. Захваченное цифровое изображение передают также для обработки на вычислительные средства, которые, обращаясь к электронной памяти, получают образы объектов и обеспечивают обнаружение и распознавание объектов на захваченном изображении. После распознавания объекта область вокруг объекта на дисплее выделяют прямоугольной рамкой, сформированной яркими линиями, которые накладывают на выводимое захваченное изображение и извлекают дополнительную информацию из электронной памяти, которую в виде изображения накладывают на выводимое захваченное изображение в непосредственной близости от обнаруженного объекта.
Вычислительные средства обеспечивают вычисление координат обнаруженного объекта на захваченном видеоизображении, которые используют при выборе координат визуализации рамки выделения объекта и дополнительной информации, так, что положение рамки и размещение дополнительной информации сопровождают изображение объекта при его перемещении, пока объект обнаружен на изображении.
Если в процессе вывода дополнительной информации обнаружение и распознавание обнаруженного ранее объекта прекратилось и в течение 30 выбранных кадров захваченного видеоизображения не возобновляется вновь, то прекращают вывод дополнительной информации и рамки выделения объекта.
Устройство визуализации объекта может быть выполнено при использовании стандартных электронных компонентов: LED дисплеев, процессоров, элементов твердотельной памяти, модемов и пр.
Таким образом, устройство визуализации объекта имеет более широкую область применения за счет обеспечения возможности идентификации объекта на захваченном изображении на основе данных изображения самого объекта, а также повышения точности локализации визуализируемого объекта.
Claims (8)
1. Способ визуализации объекта, заключающийся в захвате цифрового изображения, получении элементов дополнительной информации из электронной памяти, которая хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, отображении, по меньшей мере, одного элемента из множества элементов дополнительной информации с наложением на цифровое изображение, отличающийся тем, что помимо дополнительной информации об объекте в электронной памяти хранят данные образов соответствующих объектов, осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения, используя полученные из электронной памяти данные образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении, если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом, захват изображения осуществляют цифровой камерой устройства визуализации и выводят его на дисплей.
2. Способ по п. 1, отличающийся тем, что осуществляют распознавание объекта на основе данных изображения его формы, и/или цвета, и/или текстуры.
3. Способ по п. 1, отличающийся тем, что выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта, является каждый n-й кадр видеоизображения, где n - натуральное число 1, 2, 3, 4…, или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию на нем объекта.
4. Способ по п. 1, отличающийся тем, что данные образов объектов включают, по меньшей мере, общие, то есть характерные для всех объектов, признаки и специальные, то есть характерные для конкретного объекта, признаки, при этом обнаружение и распознавание объектов осуществляют в следующей последовательности, используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, вычисляют координаты обнаруженного объекта на выбранном кадре, используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения.
5. Способ по п. 1, отличающийся тем, что вычисляют ожидаемые координаты объекта в следующем кадре на основе координат объекта в предыдущих кадрах и ограничивают область распознавания объекта на следующем кадре множеством указанных ожидаемых координат объекта, при этом если время отсутствия распознавания объекта на указанной ограниченной области распознавания в последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всем выбранном кадре.
6. Способ по п. 1, отличающийся тем, что выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения.
7. Способ по п. 1, отличающийся тем, что захват изображения осуществляют камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения.
8. Способ по п. 1, отличающийся тем, что создание данных образов объектов и занесение их в электронную память осуществляют предварительно.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015119725/08A RU2602386C1 (ru) | 2015-05-26 | 2015-05-26 | Способ визуализации объекта |
| KR1020177036828A KR20180011794A (ko) | 2015-05-26 | 2016-05-25 | 오브젝트 시각화 방법 |
| PCT/RU2016/000315 WO2016190783A1 (ru) | 2015-05-26 | 2016-05-25 | Способ визуализации объекта |
| EP16800378.8A EP3306565A4 (en) | 2015-05-26 | 2016-05-25 | Entity visualization method |
| US15/569,174 US10347000B2 (en) | 2015-05-26 | 2016-05-25 | Entity visualization method |
| CN201680030305.4A CN107710280B (zh) | 2015-05-26 | 2016-05-25 | 对象可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015119725/08A RU2602386C1 (ru) | 2015-05-26 | 2015-05-26 | Способ визуализации объекта |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2602386C1 true RU2602386C1 (ru) | 2016-11-20 |
Family
ID=57393490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015119725/08A RU2602386C1 (ru) | 2015-05-26 | 2015-05-26 | Способ визуализации объекта |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10347000B2 (ru) |
| EP (1) | EP3306565A4 (ru) |
| KR (1) | KR20180011794A (ru) |
| CN (1) | CN107710280B (ru) |
| RU (1) | RU2602386C1 (ru) |
| WO (1) | WO2016190783A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2716415C1 (ru) * | 2019-02-04 | 2020-03-12 | Общество с ограниченной ответственностью "Сити Консьерж" | Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6919718B2 (ja) * | 2017-11-15 | 2021-08-18 | 村田機械株式会社 | 管理サーバ、管理システム、管理方法、及びプログラム |
| DE102019135676A1 (de) * | 2018-12-26 | 2020-07-02 | Htc Corporation | Objektverfolgungssystem und objektverfolgungsverfahren |
| JP7234718B2 (ja) * | 2019-03-18 | 2023-03-08 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
| KR102252110B1 (ko) | 2019-08-07 | 2021-05-17 | 한국과학기술연구원 | 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법 |
| CN110536154A (zh) * | 2019-08-16 | 2019-12-03 | 北京达佳互联信息技术有限公司 | 视频码流分析方法、装置、电子设备及存储介质 |
| KR20210045891A (ko) * | 2019-10-17 | 2021-04-27 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법 |
| WO2021213339A1 (en) * | 2020-04-22 | 2021-10-28 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and system for extracting and storing image metadata |
| CZ2021270A3 (cs) * | 2021-06-01 | 2022-12-14 | Marek MENSA | Způsob interakce s nosným médiem zvukového obsahu, způsob interakce s nosičem rozšířené reality, nosné médium zvukového obsahu a způsob přehrávání zvukového obsahu uživatelskou periferií |
| CN115883864B (zh) * | 2022-12-19 | 2024-08-06 | 国网河北省电力有限公司营销服务中心 | 一种记录多维数据的视频编解码方法、装置及终端设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2463663C2 (ru) * | 2007-05-31 | 2012-10-10 | Панасоник Корпорэйшн | Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100743485B1 (ko) * | 2003-04-21 | 2007-07-30 | 닛본 덴끼 가부시끼가이샤 | 영상 오브젝트 인식 장치 및 인식 방법, 영상 애너테이션부여 장치 및 부여 방법과 프로그램 |
| JP2005149409A (ja) * | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
| US20060195858A1 (en) | 2004-04-15 | 2006-08-31 | Yusuke Takahashi | Video object recognition device and recognition method, video annotation giving device and giving method, and program |
| US9910866B2 (en) | 2010-06-30 | 2018-03-06 | Nokia Technologies Oy | Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality |
| US9569891B2 (en) * | 2010-07-16 | 2017-02-14 | Tyoterveyslaitos | Method, an apparatus and an arrangement for visualizing information |
| JP2012065263A (ja) * | 2010-09-17 | 2012-03-29 | Olympus Imaging Corp | 撮影機器 |
| US20120201472A1 (en) * | 2011-02-08 | 2012-08-09 | Autonomy Corporation Ltd | System for the tagging and augmentation of geographically-specific locations using a visual data stream |
| US8447329B2 (en) * | 2011-02-08 | 2013-05-21 | Longsand Limited | Method for spatially-accurate location of a device using audio-visual information |
| JP5765019B2 (ja) * | 2011-03-31 | 2015-08-19 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| EP2754131B1 (en) * | 2011-09-08 | 2022-10-26 | Nautilus, Inc. | System and method for visualizing synthetic objects withinreal-world video clip |
| EP2610871A1 (en) * | 2011-12-30 | 2013-07-03 | Research In Motion Limited | Methods and apparatus for use in providing object indicators during video recording or playback |
| RU2600540C2 (ru) * | 2012-01-17 | 2016-10-20 | Сони Корпорейшн | Устройство и способ обработки информации, и программа |
| US9066200B1 (en) * | 2012-05-10 | 2015-06-23 | Longsand Limited | User-generated content in a virtual reality environment |
| US20140176606A1 (en) * | 2012-12-20 | 2014-06-26 | Analytical Graphics Inc. | Recording and visualizing images using augmented image data |
| CN105247573B (zh) * | 2013-06-11 | 2018-11-30 | 高通股份有限公司 | 用于捕获适合于对象检测的三维对象的紧凑表示的方法和装置 |
| JP6642968B2 (ja) * | 2014-03-20 | 2020-02-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2015
- 2015-05-26 RU RU2015119725/08A patent/RU2602386C1/ru active
-
2016
- 2016-05-25 US US15/569,174 patent/US10347000B2/en active Active
- 2016-05-25 CN CN201680030305.4A patent/CN107710280B/zh not_active Expired - Fee Related
- 2016-05-25 EP EP16800378.8A patent/EP3306565A4/en not_active Ceased
- 2016-05-25 KR KR1020177036828A patent/KR20180011794A/ko not_active Application Discontinuation
- 2016-05-25 WO PCT/RU2016/000315 patent/WO2016190783A1/ru active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2463663C2 (ru) * | 2007-05-31 | 2012-10-10 | Панасоник Корпорэйшн | Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2716415C1 (ru) * | 2019-02-04 | 2020-03-12 | Общество с ограниченной ответственностью "Сити Консьерж" | Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3306565A1 (en) | 2018-04-11 |
| US20180150967A1 (en) | 2018-05-31 |
| US10347000B2 (en) | 2019-07-09 |
| EP3306565A4 (en) | 2019-01-02 |
| CN107710280A (zh) | 2018-02-16 |
| CN107710280B (zh) | 2022-06-03 |
| WO2016190783A1 (ru) | 2016-12-01 |
| KR20180011794A (ko) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2602386C1 (ru) | Способ визуализации объекта | |
| US10535160B2 (en) | Markerless augmented reality (AR) system | |
| KR102166861B1 (ko) | 시선 추적을 이용한 증강 현실의 인에이블링 | |
| WO2016029939A1 (en) | Method and system for determining at least one image feature in at least one image | |
| EP3276951A1 (en) | Image processing system, image processing method, and program | |
| GB2584033A (en) | Object tracking in zoomed video | |
| WO2021258579A1 (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| WO2020236949A1 (en) | Forensic video exploitation and analysis tools | |
| US10185394B2 (en) | Gaze direction mapping | |
| WO2018036113A1 (zh) | 一种增强现实方法及系统 | |
| KR102042793B1 (ko) | 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스 | |
| US9595125B2 (en) | Expanding a digital representation of a physical plane | |
| US20130135446A1 (en) | Street view creating system and method thereof | |
| CN106101578B (zh) | 图像合成方法和设备 | |
| KR20240118764A (ko) | 이미지 변환 가능성 정보를 표시하는 컴퓨팅 디바이스 | |
| KR102000960B1 (ko) | 벡터를 이용한 증강 현실 영상 구현 방법 | |
| EP3048558A1 (en) | Object detecting method and object detecting apparatus | |
| RU2014101339A (ru) | Навигация по видеопоследовательности через местоположение объекта | |
| WO2014206274A1 (en) | Method, apparatus and terminal device for processing multimedia photo-capture | |
| JP6132996B1 (ja) | 画像処理装置，画像処理方法，画像処理プログラム | |
| US20220084314A1 (en) | Method for obtaining multi-dimensional information by picture-based integration and related device | |
| KR20120091749A (ko) | 혼합 현실 가시화 시스템 및 혼합 현실 가시화 방법 | |
| KR102152319B1 (ko) | 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템 | |
| CN111754543B (zh) | 图像处理方法、装置及系统 | |
| US20230119032A1 (en) | Display system and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20171123 |