RU2634225C1 - Способы и системы поиска объекта в видеопотоке - Google Patents

Способы и системы поиска объекта в видеопотоке Download PDF

Info

Publication number
RU2634225C1
RU2634225C1 RU2016124320A RU2016124320A RU2634225C1 RU 2634225 C1 RU2634225 C1 RU 2634225C1 RU 2016124320 A RU2016124320 A RU 2016124320A RU 2016124320 A RU2016124320 A RU 2016124320A RU 2634225 C1 RU2634225 C1 RU 2634225C1
Authority
RU
Russia
Prior art keywords
objects
search
images
image
interest
Prior art date
Application number
RU2016124320A
Other languages
English (en)
Inventor
Артем Владимирович Разумков
Александр Владимирович Коробков
Петр Владимирович Харебов
Алексей Георгиевич Ястребов
Александр Анатольевич Невельский
Константин Алексеевич Гаврилов
Андрей Викторович Дураков
Алексей Юрьевич Городилов
Алексей Георгиевич Краев
Андрей Валерьевич Заякин
Original Assignee
Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ")
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") filed Critical Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ")
Priority to RU2016124320A priority Critical patent/RU2634225C1/ru
Priority to US16/311,928 priority patent/US10957055B2/en
Priority to PCT/RU2016/000934 priority patent/WO2017222413A1/ru
Priority to EP16906419.3A priority patent/EP3474188A4/en
Application granted granted Critical
Publication of RU2634225C1 publication Critical patent/RU2634225C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Изобретение относится к области обработки данных. Техническим результатом является повышение точности определения искомого объекта в видеопотоке. Способ содержит этапы, на которых: получают последовательность видеокадров; определяют область интереса на одном из видеокадров; определяют на области интереса изображения объектов и осуществляют их классификацию; определяют классы объектов; осуществляют обработку всех выявленных изображений объектов в области интереса; создают топологию выявленных изображений объектов в области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами; создают набор признаков для каждого из изображений объектов согласно созданной топологии и сохраняют их в хранилище данных; задают критерий поиска; выполняют поиск объектов в видеопотоке на основании признаков, полученных из критерия поиска; осуществляют сопоставление предмета поиска с признаками изображений объектов, выявленных в видеопотоке; определяют кадр и/или совокупность кадров, содержащие изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов. 4 н. и 27 з.п. ф-лы, 10 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Заявленное изобретение относится к области обработки данных, в частности, к способам и системам анализа и поиска данных для обнаружения объекта в видеопотоке.
УРОВЕНЬ ТЕХНИКИ
Известна система автоматического выделения и отслеживания лица человека (RU 2370817, САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд, 20.10.2009). Данная система позволяет проводить идентификацию личности путем анализа видеоданных, записанных в архив системы видеонаблюдения, отслеживать заданного человека на нескольких камерах.
Недостатком данного подхода является высокая требовательность к качеству изображения и условиям съемки для каждой камеры, для которой выполняется анализ, так как признаками объекта являются характеристики лица человека, которое таким образом всегда должно быть видно в определенном ракурсе и с достаточным разрешением. Такие требования существенно ограничивают возможности применения данного изобретения для поиска людей в видеоархивах систем видеонаблюдения.
Известен способ индексирования видеоданных при помощи карты, позволяющий ускорить поиск данных в видеоархиве путем задания координат зоны поиска объекта, или получить траекторию передвижения объекта в двумерном пространстве (RU 2531876, Общество с ограниченной ответственностью "Синезис", 27.10.2014). Данный способ основан на установлении взаимосвязи изображения движущегося объекта с местоположением и/или параметрами движения найденного объекта на карте, вычисляемыми путем сопоставления изображений объекта, полученных с двух разных камер.
Недостатком данного способа является невозможность поиска объекта по цветовым признакам, объекты не разделяются на классы, поэтому невозможно задать класс объекта в качестве параметра поиска, например, найти всех людей в видеопотоке указанной видеокамеры. Требование к наличию двух камер, снимающих одно и то же место с разных ракурсов, увеличивает сложность системы и требовательность к ресурсам.
Наиболее близким к заявленному изобретению является способ, описанный в патенте US 8891880 (Nec Corp, 18.11.2014). Данный способ позволяет отслеживать человека в видеопотоке, даже если он не обладает существенными отличительными признаками, например, архив содержит большое количество людей в похожей одежде. В качестве основных признаков способ использует приметы лица и приметы одежды человека. Похожесть изображений людей определяется по совокупности признаков, полученных при определении лица и анализе частей одежды. Это накладывает требования на качество изображения, к тому же наличие признаков у объекта зависит от ракурса съемки в текущий момент.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Техническая задача, на решение которой направлено данное изобретение, состоит в создании эффективного способа автоматического поиска объекта по указанным приметам на изображениях, получаемых с различных камер или из предварительно записанных в архив данных системы видеонаблюдения.
Техническим результатом является повышение точности определения искомого изображения объекта в видеопотоке, а также повышение скорости обнаружения искомого объекта, за счет осуществления классификации объектов и определении признаков объектов, выявленных на кадрах видеопотока.
В первом предпочтительном варианте осуществления заявленного изобретения раскрывается способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объектов и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;
- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;
- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;;
определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;
- предоставляют результаты поиска.
В частном варианте последовательность видеокадров получают из хранилища информации или с одной или более камер в режиме видеонаблюдения.
В другом частном варианте область интереса задается вручную пользователем или создается при наличии движения в кадре.
В другом частном варианте при наличии движения в кадре область интереса создается для каждого объекта на кадре, осуществляющего движение.
В другом частном варианте процедура отделения изображения от фона включает в себя разделение участка изображения на группы пикселей, принадлежащие изображению объекта обработки и фону.
В другом частном варианте признаки элементов топологии представляют собой пространственно-цветовые признаки, являющиеся цветовыми кластерами.
В другом частном варианте группы пикселей, принадлежащие фону, не учитываются при построении кластеров.
В другом частном варианте кластеры определяются для каждой части структуры объекта.
В другом частном варианте каждый цветовой кластер включает в себя один или более атрибут, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности.
В другом частном варианте дополнительно определяют время фиксации, по меньшей мере, одного изображения объекта в кадре и идентификационный номер камеры, с которой получен конкретный кадр.
В другом частном варианте информация, содержащаяся в критерии поиска, включает в себя: цвет объекта или части объекта.
В другом частном варианте выбор изображения объекта, как образца в качестве критерия поиска, осуществляется с помощью выделения области на кадре.
В другом частном варианте изображение объекта, для использования как образца в качестве критерия поиска выбирается из внешнего хранилища данных.
В другом частном варианте при поиске изображения объекта по введенным критериям поиска вычисляется степень схожести объектов, на основании признаков объектов, содержащихся в хранилище данных.
В другом частном варианте степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре.
В другом частном варианте степень схожести цвета кластеров определяется с помощью классификации цвета кластера на один или несколько классов цветов.
В другом частном варианте на этапе классификации, изображения объектов, которые не имеют известного класса, учитываются как неизвестные объекты.
В другом частном варианте для выявленных неизвестных объектов осуществляется построение упрощенной топологии.
Во втором предпочтительном варианте осуществления заявленного изобретения раскрывается способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения;
- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;
- определяют последовательность кадров, содержащих изображение упомянутого объекта слежения;
- отображают результат поиска.
В частном варианте дополнительно определяется, по меньшей мере, одна видеокамера, на которой зафиксировано изображение объекта слежения.
В другом частном варианте определяется траектория движения объекта, которая отображается на схематическом плане помещения.
В другом частном варианте при нахождении объекта слежения учитывается пространственное расположение камер.
В другом частном варианте пользователь может задавать образец в качестве объекта слежения с помощью выделения объекта на кадре изображения, получаемого с камеры.
В другом частном варианте выполняется автоматическое переключение камер для отображения результата поиска.
В третьем предпочтительном варианте осуществления заявленного изобретения раскрывается система поиска объекта в видеопотоке, содержащая, по меньшей мере, одно средство хранения и обработки видеокадров, соединенное с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от упомянутого средства хранения и обработки видеокадров;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;
- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;
- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;
- определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;
- предоставляют результаты поиска.
В частном варианте, по меньшей мере, одно средство хранения и обработки видеокадров соединено с, по меньшей мере, одной камерой наблюдения.
В другом частном варианте камеры наблюдения представляют собой IP, статичные или PTZ-камеры.
В четвертом предпочтительном варианте осуществления заявленного изобретения раскрывается Система поиска объекта в видеопотоке, содержащая группу камер наблюдения, связанную с, по меньшей мере, одним средством хранения и обработки видеокадров, соединенным с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения;
- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;
- определяют последовательность кадров, содержащих упомянутое изображение объекта слежения;
- отображают результат поиска.
В частном варианте средство хранения и обработки видеокадров представляет собой сервер.
В другом частном варианте сервер является облачным сервером.
В другом частном варианте камеры слежения представляют собой IP-камеры.
В другом частном варианте камеры связаны со средством хранения и обработки видеокадров посредством проводного или беспроводного канала передачи данных.
В другом частном варианте дополнительно определяется, по меньшей мере, одна камера, на которой зафиксировано изображение объекта поиска.
КРАТКОЕ ОПИСАНИЯ ЧЕРТЕЖЕЙ
На Фиг. 1 изображена последовательность шагов при осуществлении способа согласно первому варианту осуществления.
На Фиг. 2-3 изображен пример области интереса.
На Фиг. 4 изображен пример выделения на кадре объекта с помощью классификатора.
На Фиг. 5 изображен пример кадра с отображением топологии объекта и выделение цветовых кластеров.
На Фиг. 6 изображен пример результата поискового запроса в сохраненном видеопотоке данных по заданному образцу.
На Фиг. 7 изображен пример поискового запроса в сохраненном видеопотоке данных по заданным приметам.
На Фиг. 8 изображен пример задания критерия поиска по образцу с помощью редактора.
На Фиг. 9 изображен пример использования карты цветов.
На Фиг. 10 изображена последовательность шагов при осуществлении способа согласно второму варианту осуществления.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На Фиг. 1 показан способ 100 определения объекта в видеопотоке согласно первому варианту осуществления заявленного изобретения.
На этапе 101 система поиска данных получает последовательность видеокадров их хранилища данных 150. Хранилище данных 150 может быть выполнено на базе широко используемых электронно-вычислительных устройств, например, персонального компьютера, суперкомпьютера или мейнфрейма, с использованием стандартных средств хранения информации, например, HDD, SSD, NAND Flash и т.п.
Информация, поступающая в хранилище данных 150, может быть получена от источников видеофиксации изображения, например, камеры (видеокамеры) (камеры наблюдения, IP камеры, статичного или PTZ типа, и т.п.), либо передаваться от внешнего источника информации, например, иного хранилища данных или электронного устройства. Информация представляет собой статичные кадры, зафиксированные с помощью упомянутых средств видеофиксации или последовательность видеокадров, записанную с помощью упомянутых средств. Каждый кадр представляет собой двумерную матрицу пикселей. Эта матрица имеет определенный размер, называемый разрешением кадра.
Кадры представляются растровыми изображениями в виде двумерной матрицы пикселей или средних цветов блоков пикселей, имеющей размер W×Н, где W - ширина изображения, а Н - высота. Пиксели или блоки пикселей изображения обладают цветом, значение которого сохраняется в виде значений компонент определенного цветового пространства, например RGB. На этапе 102 на полученной последовательности видеокадров (далее - последовательность кадров) выделяются одна или более областей интереса 120 (Фиг. 2, Фиг. 3), где производится детектирование объектов определенных типов 1201, 1202. Выделение областей интереса 120 позволяет сократить вычислительные затраты на обработку входных данных.
Область интереса 120 может представлять собой часть кадра и содержать в себе одно или более изображений объекта 1200. Область интереса 120 может также представлять собой весь кадр целиком, в этом случае все изображения объектов, попавших в кадр, будут в дальнейшем обработаны системой.
Область интереса 120 может задаваться пользователем системы видеонаблюдения или осуществляющего работу с информацией, хранящейся в хранилище данных 150, либо автоматически определяться по наличию движения в кадре, либо другим способом, причем область интереса 120 может создаваться одна для нескольких изображений объектов 1200 (Фиг. 2), содержащихся в ней, либо для каждого изображения объекта 1200 отдельно (Фиг. 3).
При создании областей интереса при движении объекта 1200 в кадре последовательность кадров обрабатывается детектором движения, который на каждом кадре выделяет области 130, состоящие из множеств связанных пикселей и относящиеся к объектам 1200, двигавшимся в кадре. Каждое такое множество соответствует отдельному движущемуся объекту 1200, причем каждый движущийся объект 1200 может содержать множество отдельных объектов. Для него также запоминается область 130, включающая данное множество пикселей - граница движущегося объекта. Принадлежность пикселей соответствующим движущимся объектам 1200 запоминается внутри карты движения. Вокруг движущихся объектов 1200 создаются области интереса 120, в которых будет производиться поиск объектов определенного типа.
На Фиг. 4 показан принцип классификации изображений объектов в кадре согласно этапу 103 заявленного способа 100. Классификация объектов 1200 на изображении выполняется при помощи применения к каждому кадру алгоритма, называемого классификатором. Классификатор принимает на вход часть кадра из области интереса 120, и выдает ответ, содержит ли эта часть кадра изображение объекта 1200 определенного класса. Набор классов задан заранее, например: человек, автомобиль, здание, дерево, столб, собака и т.п. На кадре выделяются и запоминаются области срабатывания классификатора. Классификатор находит области кадра, которые содержат изображение объекта 1200 определенного класса, например, изображение человека.
Классификация осуществляется путем применения классификатора к областям интереса 120 изображения. Каждый из классификаторов определяет класс объекта, находящегося в обрабатываемой области изображения. Классификатор возвращает индекс класса, которому принадлежит объект, или признак того, что изображение не может быть классифицировано, то есть отнесено к какому-либо из известных классов (отказ от классификации). Классификатор может применяться к различным масштабам изображения для того, чтобы обеспечить классификацию объектов независимо от их размера. Применение осуществляется, например, методом скользящего окна, перемещаемого с заданным шагом. Масштабы применения классификатора могут быть дополнительно ограничены настройками алгоритма снизу и/или сверху для ускорения работы. Результат применения классификатора типа "человек" показан на Фиг. 4. Классификатор, как правило, дает вокруг каждого из объектов 1200 множество откликов, из которых надо выбрать по одному отклику для каждого из объектов 1200, что осуществляется посредством применения алгоритма группировки рамок откликов, включающего метод кластеризации.
Если на этапе классификации выявляются изображения объектов, которые не имеют известного класса, то они учитываются как неизвестные объекты.
Далее на этапе 104 осуществляется обработка всех выявленных изображений объектов 1200 в одной или более областях интереса 120. Согласно Фиг. 5 для последующего анализа цветовых характеристик объекта изображение внутри выделенной классификатором области 120 разделяется на две части: передний план, содержащий изображение самого объекта, и фон. На этапе отделения фона применяется алгоритм, который относит каждый пиксель выделенной области 120 либо к переднему плану (объекту), либо к фону, используя априорные знания о виде объектов 1200 данного класса. Данный этап позволяет более точно отделить искомые изображения объектов от фона, что снижает количество зашумляющей информации и приводит к повышению скорости обработки данных и повышению точности определения необходимого изображения объекта.
После отделение фона на этапе 105 выполняется создания топологии каждого из объектов 1200, выявленных в областях интереса 120. Важной частью индексирования объектов 1200 является выделение частей изображения, относящихся к характерным существенным структурным частям объекта. Например, человек имеет голову, руки, ноги и туловище. Соответственно, на изображении человека, как правило, будут присутствовать участки, относящиеся к этим структурным элементам. Они также могут отсутствовать, например, из-за перекрытия другими объектами, скрытия одеждой и т.д. Обнаружение и сохранение информации о таких участках позволяет создавать более репрезентативную структуру пространственно-цветовых признаков объекта 1200. Знание общей структуры объекта определенного класса являются априорными, в то время как конкретные границы областей 140, относящихся к отдельным частям объекта 1200, определяются для каждого конкретного объекта 1200 в отдельности. При создании топологии учитывается фактическое расположение элементов, которые на основе априорных знаний могут быть отнесены к тем или иным частям объекта 1200. Для этого может использоваться алгоритм подгонки границы между частями объекта 1200, оптимальным образом разделяющий области различного цвета. Результат создания топологии приведен на Фиг. 5, где показаны границы областей 140, вмещающие определенную часть изображения человека, например, туловище и ноги.
Согласно Фиг. 1 на этапе 106 создают набор признаков для одного или более изображений объектов 1200 на основании созданной топологии. Изображение объекта 1200, отделенное от фона и разделенное на структурные части в соответствии с заданной топологией подвергается индексированию. Полученные наборы признаков для каждого объекта 1200 сохраняют в хранилище данных 150 с привязкой к конкретному упомянутому изображению объекта 1200. На этом этапе создается описание объектов 1200, которое можно использовать для сравнения объектов друг с другом, используя степень схожести. Данная степень работает таким образом, что если объекты не похожи, то расстояние между данными объектами в пространстве их описания должно получаться больше, чем между похожими объектами. В предложенном способе в качестве признаков могут быть выбраны пространственно-цветовые признаки, называемые цветовыми кластерами. Они описывают пространственные области изображения однородными цветовыми характеристиками, как правило, соответствующие характерным элементам объекта, например, отдельным предметам одежды у человека. Каждый цветовой кластер 150 может включать следующие атрибуты: положение центра относительно объекта, размер по отношению к размеру всего объекта 1200, средний цвет, часть объекта 1200, к которой он относится. На каждом объекте определяется набор кластеров 150 для каждой из его частей. После этого созданный предварительный набор кластеров подвергается преобразованиям, включающим операции объединение похожих кластеров и отбрасывание лишних (фоновых, шумовых) кластеров 150. На Фиг. 5 показаны полные предварительные наборы кластеров и выделены те, которые были отброшены 151. Совокупность полученных цветовых кластеров объекта 150, его размеры, положение в кадре и время наблюдения образуют набор признаков, по которым объекты 1200 можно сравнивать друг с другом. Данный набор признаков называется индексом объекта 1200, а объект 1200, которому сопоставлен индекс, называется проиндексированным.
Результат сравнения в общем виде дает ответ на следующие вопросы: 1) наблюдаем ли мы в данной области данного кадра, тот же объект, который ищем? 2) наблюдаем ли мы в данной области данного кадра объект, похожий на тот, который мы ищем? 3) наблюдаем ли мы объект, подходящий под заданные приметы в случае, если задано только описание примет, а не образец конкретного объекта. Для более точного описания объектов изображения могут выбираться и признаки других типов, например, описание особенностей движения объекта (траектория движения, тип траектории в зависимости от типа объекта, тип объекта как таковой (человек, автомобиль)). Для всех признаков создается функция, определяющая похожесть объектов 1200.
Для выявленных на этапе 103 классификации неизвестных объектов осуществляется построение упрощенной топологии, которая не учитывает структуру таких объектов, и цветовые кластеры для таких объектов привязываются к таким объектам, как к целому.
На этапе 107 признаки объектов, полученные на этапе 106, сохраняются в хранилище данных 150 для их последующего использования в осуществлении поисковых сессий, т.е. проиндексированные объекты 1200 передаются в средство памяти хранилища данных 150, в котором они хранятся в машиночитаемом виде, например, в виде базы данных. При сохранении проиндексированные объекты 1200 привязываются к кадрам, на которых были обнаружены с привязкой полученных признаков для каждого конкретного изображения объекта 1200, которому они принадлежат. Извлечение данных по проиндексированным объектам может осуществляться по заданному времени и заданным каналам (камерам).
Также проиндексированные объекты могут сравниваться с выбранным образцом в режиме реального времени. Тогда запись в хранилище необязательна.
На этапе 108 пользователь системы выполняет генерирование поискового запроса. Образец для поиска может быть выбран из записанного видео архива, хранимого в хранилище данных 150, нарисован или задан другим способом, позволяющим извлечь из объекта признаки в рамках способа 100. При рисовании образца пользователь закрашивает или выбирает цвет отдельных частей объекта выбранного типа с помощью инструментов рисования и выбора цвета.
При выборе образца из архива могут быть предоставлены две возможности: выбрать уже проиндексированный образец или выбрать участок архивного кадра, на котором изображен объект, а затем выполнить его автоматическое индексирование.
На Фиг. 6 показан пример осуществления поискового запроса, когда критерием поиска является образец изображения. Данный образец пользователь может выбрать с помощью указания области интереса 120 на кадре, выбранном из хранилища данных 150.
На Фиг. 7 показан пример, при котором критерием поиска является указание примет искомого изображения объекта, например, светлый верх, темный низ, указание конкретных частей одежды с их цветовой гаммой, например, синяя куртка, серый свитер, джинсы, желтая юбка и т.п.
На Фиг. 8 показан детализированный вид формы создания предмета поиска. С помощью данной автоматизированной формы происходит добавление образца, которая содержит набор функций, позволяющих задать конкретный тип объекта, цветовую палитру предметов одежды, задать образец для поиска с помощью загрузки изображения из файла.
Загрузка образца из файла может осуществляться с помощью ввода в систему данных из внешнего источника хранения информации, например, из сети Интернет или внешнего носителя данных.
На этапе 109 выполняется выделение признаков из введенных критериев поиска с созданием предмета поиска. На данном этапе выполняется определение признаков, описывающих структуру и/или цветовые кластеры, принадлежащие изображению, выбранного в качестве критерия поиска. Если пользователем был указан конкретный класс объекта, например, человек, то тогда система сразу определяет, что поиск по видеопотоку будет выполняться только по объектам со схожим классом. Если были указаны лишь признаки, описывающие приметы предмета поиска, например, цвет одежды, то сравнение будет происходить на основании параметров, описывающих структуру и/или цветовые кластеры и/или другие признаки.
Этап 110 инициирует непосредственно саму процедуру поиска, при котором осуществляется поиск кадров, содержащих объекты, сходные с образцом, представляющим собой предмет поиска на этапе 111. Поиск объектов, похожих на данный образец, может быть произведен либо в простом режиме, либо в режиме межкамерного слежения, по заранее заданным признакам. При поиске в межкамерном режиме учитывается пространственное расположение камер, что позволяет понять, когда и на какой камере был зафиксирован данный объект. В обоих случаях используется сопоставление объектов, хранящихся в базе данных хранилища данных 150 с выбранным образцом (образцами). Поиск возможен на всех камерах, подключенных к системе, реализующей заявленный способ 100.
Необходимо отметить, что приведенный выше термин «режим межкамерного слежения» относится к межкамерному трекингу, т.е. режиму наблюдения за интересующим объектом с помощью получения видеопотока от нескольких камер (см, например, http://www.osp.ru/lan/2014/06/13041879/; http://macroscop.com/o-kompanii/novosti/2013/mezhkamernyij-treking-macroscop-postroenie-traektorii-obekta-po-neskolkim-ip-kameram-sistemyi.html).
При выполнении поиска изображения объекта по введенным критериям поиска вычисляется степень схожести объектов 1200, на основании признаков объектов, содержащихся в хранилище данных 150.
Степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре. Для каждой части объекта производится поиск пар наиболее близких кластеров 150 образца и проверяемого объекта. Близость вычисляется как расстояние в цветовом пространстве LAB. Далее для каждой части объекта вычисляется степень несоответствия цвета и различие в размерах самых близких кластеров 150. Далее у кластеров 150, для которых не была найдена пара, устанавливается упомянутая степень несоответствия, зависящая от их размера. Далее для каждой части объекта находится максимальная степень несоответствия, которая является степенью схожести объектов.
Степень схожести цвета кластеров определяется также с помощью классификации цвета кластера на один или несколько классов цветов с помощью карты цветов, представленной на Фиг. 9. Карта цветов - это конечный набор, так называемых, основных цветов, цвет кластера изображения объекта ставится в соответствие одному или нескольким цветам карты. Карта цветов представляет собой разделенное на ячейки 10×10×10 цветовое пространство HSV. Каждой ячейке ставится в соответствие несколько (от 1 до 4) основных цветов.
Критерием схожести объекта при сравнении с образцом является наличие «похожих» цветовых кластеров 150 в каждой части объекта 1200. На шаблоне и на изображении проверяемого объекта выбираются для сравнения только те цветовые кластеры, размеры которых не менее заданной доли (~0.33) от максимального в той же части объекта.
Кластеры считаются обладающими высокой степенью схожести, если
a) среди основных цветов, сопоставленных им по цветовой карте, имеются одинаковые;
b) компоненты вектора в цветовом пространстве CIE Lab от среднего цвета образца до цвета данного кластера либо сонаправлены и не малы, либо обе малы.
Объект считается похожим, если все кластеры из шаблона были найдены на изображении проверяемого объекта.
При осуществлении поиска может использоваться специальный поисковый индекс в виде графа для ускорения извлечения изображений из реляционной базы данных (хранилища данных 150). Этот способ ускорения поиска является универсальным для любых реляционных СУБД и любых объектов, между которыми можно построить степень схожести. Каждый проиндексированный объект 1200 помещается в специальную структуру (граф), попадая либо в существующий узел, либо создавая новый узел в зависимости от близости к уже помещенным в поисковый граф объектам. Каждому узлу соответствует идентификатор, который вместе с объектом записывается в базу данных. При поиске это позволяет быстро извлечь все объекты, похожие на заданный объект поиска, что реализуется за счет применения упомянутого графа, благодаря которому получается идентификатор соответствующего узла, на основании которого выполняется извлечение из базы данных всех объектов с таким же идентификатором, т.е. похожих на него.
Поиск может производиться по заданному интервалу времени на выбранных камерах. Кроме интервала времени можно задать граничные размеры объекта, положение в кадре и цветовые признаки. Цветовые признаки задаются путем выбора одного или нескольких образцов. В процессе поиска из базы данных извлекаются все объекты, попадающие в указанный промежуток времени.
На этапе 112 система выдает результат проведенного поиска, который выдает пользователю кадр и/или совокупность кадров, содержащие упомянутые изображения объектов (этап 113), соответствующие предмету поиска, либо сообщают, что поиск не дал результатов (этап 114).
Результат поиска, как правило, представляется в виде совокупности отдельных кадров, на которых был выявлен объект, или содержит совокупность кадров, например, видеоролик с записью с камеры наблюдения. Каждый выявленный кадр или видеоролик может содержать дополнительную информацию, как например: время создания кадра (ролика), номер камеры, с которой получено изображение, координаты камеры.
Согласно Фиг. 10 второй вариант осуществления способа обнаружения объектов в видеопотоке 200 заключается в осуществлении наблюдения за объектом слежения с помощью получения информации с нескольких камер видеонаблюдения.
На этапе 201 последовательность кадров получается от группы камер 250, содержащей несколько связанных с хранилищем данных 150 камер 2501-2503.
На этапе 202 пользователь осуществляет выбор области интереса, которая может содержать интересующий объект слежения. Этапы 203-207 тождественны этапам 102-107 способа 100.
При выполнении способа 200 в качестве предмета поиска выступает конкретное изображение объекта на кадре, например, человек, который устанавливается в качестве объекта слежения на этапе 208.
На этапе 209 выполняется поиск объекта, который осуществляется таким же образом, как и поиск объекта на этапах 110-111 способа 100.
Если объект найден в зоне видимости камер 2501-2503, то пользователю предоставляется последовательность кадров, отображаемая одной или более камерой, на которых зафиксировано изображение объекта слежения.
В случае дополнительного задания сведений о пространственном расположении камер, поиск может производиться в режиме "межкамерное слежение". Функция межкамерного слежения позволяет пользователю отследить передвижение объекта (например, человека) между несколькими камерами в течение некоторого промежутка времени. Результаты работы функции, демонстрирующие перемещение человека в пределах камер, на которых он был обнаружен, могут быть показаны в виде набора кадров, видеоролика или траектории на схематичном плане помещения, или территории. Для того чтобы отображение траекторий было возможным, камеры должны быть "привязаны" к планам, т.е. указано, какой точке определенного плана соответствует месторасположение данной камеры. Данный режим является полуавтоматическим. Для достижения нужного результата используется подход, в котором полученный результат уточняется путем с помощью определения, какие из найденных объектов действительно соответствуют тому человеку, который был выбран в качестве образца, или наоборот, какие объекты ему не соответствуют. Уточненные результаты могут использоваться в следующей итерации поиска.
Выбор объекта слежения на этапе 208 может осуществляться с помощью указания области интереса на кадре, полученного с камеры видеонаблюдения, которая содержит объект интереса. Объект выделяется с помощью графического интерфейса пользователя, реализуемого системой.
При получении результата отслеживания на этапе 212 при перемещении объекта из зоны видимости одной камеры и при попадании в зону видимости другой камеры происходит автоматическое переключение изображения, получаемого от камер, для исключения потери из зоны видимости объекта слежения.
При отображении информации о перемещении объекта слежения на схематичном плане, на нем также отображаются подключенные к системе камеры видеонаблюдения. Дополнительно может отображаться схематическая зона видимости камер на плане с индикацией, по меньшей мере, одной камеры, с которой в данный момент получается изображение.
Система, представленная в третьем варианте, представляет собой вычислительное устройство, в частности, компьютер, который содержит один или более процессоров, средство памяти, содержащее исполняемые процессором инструкции, которые при их исполнении реализуют способ поиска объекта в видеопотоке 100.
Система, представленная в четвертом варианте, представляет собой вычислительное устройство, в частности, компьютер, который содержит один или более процессоров, средство памяти, содержащее исполняемые процессором инструкции, которые при их исполнении реализуют способ поиска объекта в видеопотоке 200.
Хранилище данных 150, входящее в состав систем по третьему и четвертому варианту реализации, может представлять собой облачное хранилище данных и связываться с камерами видеонаблюдения, с которых получается набор видеокадров, посредством проводной или беспроводной связи (IP-камеры с Wi-Fi приемопередатчиками).

Claims (79)

1. Способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объектов и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- определяют классы объектов, входящих в упомянутую область интереса;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;
- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;
- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;
- определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;
- предоставляют результаты поиска.
2. Способ по п. 1, характеризующийся тем, что последовательность видеокадров получают из хранилища информации или с одной или более видеокамер в режиме видеонаблюдения.
3. Способ по п. 2, характеризующийся тем, что область интереса задается вручную пользователем или создается при наличии движения в кадре.
4. Способ по п. 3, характеризующийся тем, что при наличии движения в кадре область интереса создается для каждого объекта на кадре, осуществляющего движение.
5. Способ по п. 1, характеризующийся тем, что процедура отделения изображения от фона включает в себя разделение участка изображения на группы пикселей, принадлежащие изображению объекта обработки и фону.
6. Способ по п. 5, характеризующийся тем, что группы пикселей, принадлежащие фону, не учитываются при построении кластеров.
7. Способ по п. 6, характеризующийся тем, что кластеры определяются для каждой части структуры объекта.
8. Способ по п. 2, характеризующийся тем, что дополнительно определяют время фиксации, по меньшей мере, одного изображения объекта в кадре и идентификационный номер камеры, с которой получен конкретный кадр.
9. Способ по п. 1, характеризующийся тем, что информация, содержащаяся в критерии поиска, включает в себя: цвет объекта или части объекта.
10. Способ по п. 1, характеризующийся тем, что выбор изображения объекта, как образца в качестве критерия поиска, осуществляется с помощью выделения области на кадре.
11. Способ по п. 1, характеризующийся тем, что изображение объекта для использования как образца в качестве критерия поиска выбирается из внешнего хранилища данных.
12. Способ по п. 1, характеризующийся тем, что при поиске изображения объекта по введенным критериям поиска вычисляется степень схожести объектов на основании признаков объектов, содержащихся в хранилище данных.
13. Способ по п. 12, характеризующийся тем, что степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре.
14. Способ по п. 13, характеризующийся тем, что степень схожести цвета кластеров определяется с помощью классификации цвета кластера на один или несколько классов цветов.
15. Способ по п. 1, характеризующийся тем, что на этапе классификации изображения объектов, которые не имеют известного класса, учитываются как неизвестные объекты.
16. Способ по п. 15, характеризующийся тем, что для выявленных неизвестных объектов осуществляется построение упрощенной топологии.
17. Способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- определяют классы объектов, входящих в упомянутую область интереса;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения;
- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;
- определяют последовательность кадров, содержащих изображение упомянутого объекта слежения;
- отображают результат поиска.
18. Способ по п. 17, характеризующийся тем, что дополнительно определяется по меньшей мере одна камера, на которой зафиксировано изображение объекта слежения.
19. Способ по п. 17, характеризующийся тем, что определяется траектория движения объекта, которая отображается на схематическом плане помещения.
20. Способ по п. 17, характеризующийся тем, что при нахождении объекта слежения учитывается пространственное расположение камер.
21. Способ по п. 17, характеризующийся тем, что пользователь может задавать образец в качестве объекта слежения с помощью выделения объекта в зоне видимости камеры.
22. Способ по п. 17, характеризующийся тем, что выполняется автоматическое переключение камер для отображения изображения объекта слежения.
23. Система поиска объекта в видеопотоке, содержащая, по меньшей мере, одно средство хранения и обработки видеокадров, соединенное с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от упомянутого средства хранения и обработки видеокадров;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- определяют классы объектов, входящих в упомянутую область интереса;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;
- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;
- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;
- определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;
- предоставляют результаты поиска.
24. Система по п. 23, характеризующаяся тем, что, по меньшей мере, одно средство хранения и обработки видеокадров соединено с, по меньшей мере, одной видеокамерой наблюдения.
25. Система по п. 24, характеризующаяся тем, что камеры наблюдения представляют собой IP-камеры, статичные и/или PTZ.
26. Система поиска объекта в видеопотоке, содержащая группу камер наблюдения, связанную с, по меньшей мере, одним средством хранения и обработки видеокадров, соединенным с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- определяют классы объектов, входящих в упомянутую область интереса;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов, представляющие собой пространственно-цветовые признаки, являющиеся цветовыми кластерами, при этом цветовой кластер включает в себя один или более атрибутов, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения;
- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;
- определяют последовательность кадров, содержащих упомянутые изображения объекта слежения;
- отображают результат поиска.
27. Система по п. 26, характеризующаяся тем, что средство хранения и обработки видеокадров представляет собой сервер.
28. Система по п. 27, характеризующаяся тем, что сервер является облачным сервером.
29. Система по п. 26, характеризующаяся тем, что камеры слежения представляют собой IP-камеры.
30. Система по п. 29, характеризующаяся тем, что камеры связаны со средством хранения и обработки видеокадров посредством проводного или беспроводного канала передачи данных.
31. Система по п. 26, характеризующаяся тем, что дополнительно определяется, по меньшей мере, одна камера, на которой зафиксировано изображение объекта поиска.
RU2016124320A 2016-06-20 2016-06-20 Способы и системы поиска объекта в видеопотоке RU2634225C1 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
RU2016124320A RU2634225C1 (ru) 2016-06-20 2016-06-20 Способы и системы поиска объекта в видеопотоке
US16/311,928 US10957055B2 (en) 2016-06-20 2016-12-27 Methods and systems of searching for an object in a video stream
PCT/RU2016/000934 WO2017222413A1 (ru) 2016-06-20 2016-12-27 Способы и системы поиска объекта в видеопотоке
EP16906419.3A EP3474188A4 (en) 2016-06-20 2016-12-27 METHOD AND SYSTEM FOR OBJECT SEARCHING IN A VIDEOSTREAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2016124320A RU2634225C1 (ru) 2016-06-20 2016-06-20 Способы и системы поиска объекта в видеопотоке

Publications (1)

Publication Number Publication Date
RU2634225C1 true RU2634225C1 (ru) 2017-10-24

Family

ID=60153828

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016124320A RU2634225C1 (ru) 2016-06-20 2016-06-20 Способы и системы поиска объекта в видеопотоке

Country Status (4)

Country Link
US (1) US10957055B2 (ru)
EP (1) EP3474188A4 (ru)
RU (1) RU2634225C1 (ru)
WO (1) WO2017222413A1 (ru)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2681364C1 (ru) * 2018-02-16 2019-03-06 ООО "Ай Ти Ви групп" Система и способ сокрытия объектов в видеоархиве по требованию пользователей
RU2693994C1 (ru) * 2018-11-06 2019-07-08 Сергей Юрьевич Подлесный Способ обработки видео для целей визуального поиска
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
RU2821377C1 (ru) * 2023-05-29 2024-06-21 Федеральное государственное автономное образовательное учреждение высшего образования "Уральский федеральный университет имени первого Президента России Б.Н. Ельцина" Способ отслеживания объектов на видео

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
US11210529B2 (en) * 2019-06-04 2021-12-28 Darvis, Inc. Automated surveillance system and method therefor
US11854266B2 (en) 2019-06-04 2023-12-26 Darvis, Inc. Automated surveillance system and method therefor
CN113537350B (zh) * 2021-07-16 2023-12-22 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN113269177B (zh) * 2021-07-21 2021-09-14 广州乐盈信息科技股份有限公司 一种基于监控设备的目标捕捉系统
CN115103155A (zh) * 2022-05-30 2022-09-23 广州工商学院 一种基于大数据的公共视频监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130166711A1 (en) * 2011-12-22 2013-06-27 Pelco, Inc. Cloud-Based Video Surveillance Management System
US20130201330A1 (en) * 2011-11-14 2013-08-08 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
RU2531876C2 (ru) * 2012-05-15 2014-10-27 Общество с ограниченной ответственностью "Синезис" Способ индексирования видеоданных при помощи карты
US20150178552A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Object Detection Techniques

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2370817C2 (ru) 2004-07-29 2009-10-20 Самсунг Электроникс Ко., Лтд. Система и способ отслеживания объекта
WO2007033351A2 (en) * 2005-09-12 2007-03-22 3Vr Security, Inc. Specifying search criteria for searching video data
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
GB2454213A (en) * 2007-10-31 2009-05-06 Sony Corp Analyzing a Plurality of Stored Images to Allow Searching
US9584710B2 (en) * 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8249301B2 (en) * 2008-08-28 2012-08-21 International Business Machines Corporation Video object classification
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
US8340435B2 (en) * 2009-06-11 2012-12-25 California Institute Of Technology Method and system for object recognition search
WO2011046128A1 (ja) 2009-10-16 2011-04-21 日本電気株式会社 人物服装特徴抽出装置、人物検索装置、及びその処理方法
JP5743142B2 (ja) * 2011-03-29 2015-07-01 ソニー株式会社 画像理装置および方法、並びにプログラム
JP6128910B2 (ja) * 2013-03-21 2017-05-17 キヤノン株式会社 学習装置、学習方法及びプログラム
US10687022B2 (en) * 2014-12-05 2020-06-16 Avigilon Fortress Corporation Systems and methods for automated visual surveillance
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201330A1 (en) * 2011-11-14 2013-08-08 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US20130166711A1 (en) * 2011-12-22 2013-06-27 Pelco, Inc. Cloud-Based Video Surveillance Management System
RU2531876C2 (ru) * 2012-05-15 2014-10-27 Общество с ограниченной ответственностью "Синезис" Способ индексирования видеоданных при помощи карты
US20150178552A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Object Detection Techniques

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2681364C1 (ru) * 2018-02-16 2019-03-06 ООО "Ай Ти Ви групп" Система и способ сокрытия объектов в видеоархиве по требованию пользователей
US10841642B2 (en) 2018-02-16 2020-11-17 Ooo Itv Group System and method for masking objects in a video archive upon the demand of users
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
WO2020046171A1 (ru) * 2018-08-29 2020-03-05 Александр Владимирович АБРАМОВ Способ построения системы видеонаблюдения для поиска и отслеживания объектов
US12069411B2 (en) 2018-08-29 2024-08-20 Retail Technologies, Llp Method of building a video surveillance system for searching for and tracking objects
RU2693994C1 (ru) * 2018-11-06 2019-07-08 Сергей Юрьевич Подлесный Способ обработки видео для целей визуального поиска
RU2824055C1 (ru) * 2023-05-03 2024-08-01 Федеральное государственное казенное учреждение "12 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Способ комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных
RU2821377C1 (ru) * 2023-05-29 2024-06-21 Федеральное государственное автономное образовательное учреждение высшего образования "Уральский федеральный университет имени первого Президента России Б.Н. Ельцина" Способ отслеживания объектов на видео

Also Published As

Publication number Publication date
WO2017222413A1 (ru) 2017-12-28
EP3474188A1 (en) 2019-04-24
US20190180456A1 (en) 2019-06-13
EP3474188A4 (en) 2020-02-26
US10957055B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
RU2634225C1 (ru) Способы и системы поиска объекта в видеопотоке
US10007862B2 (en) System and method for suspect search
US7136524B1 (en) Robust perceptual color identification
CN103996046B (zh) 基于多视觉特征融合的人员识别方法
WO2020206850A1 (zh) 基于高维图像的图像标注方法和装置
KR102098259B1 (ko) 무인항공기를 이용한 산림병해충 의심목 선별 시스템
WO2018036454A1 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
JP2018534714A (ja) 航空画像を収集及び分析するための方法
JP6254836B2 (ja) 画像検索装置、画像検索装置の制御方法およびプログラム
US9633264B2 (en) Object retrieval using background image and query image
US9245247B2 (en) Queue analysis
KR20160109761A (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
JP2014016968A (ja) 人物検索装置及びデータ収集装置
CN113935358A (zh) 一种行人追踪方法、设备和存储介质
CN104951440B (zh) 一种图像处理方法及电子设备
JP2011018238A (ja) 画像検索システム及び画像検索方法
CN105404682B (zh) 一种基于数字图像内容的图书检索方法
Akanksha et al. A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP.
CN117132805A (zh) 一种基于着装识别行人的目标定位方法及装置
CN111708907A (zh) 一种目标人员的查询方法、装置、设备及存储介质
CN104484324B (zh) 一种多模型和模糊颜色的行人检索方法
JP2015187770A (ja) 画像認識装置、画像認識方法及びプログラム
Jurecka et al. Impact of boosting saturation on automatic human detection in imagery acquired by unmanned aerial vehicles