RU2688757C1 - Устройство и способ для анализа импортированного видео - Google Patents

Устройство и способ для анализа импортированного видео Download PDF

Info

Publication number
RU2688757C1
RU2688757C1 RU2018131164A RU2018131164A RU2688757C1 RU 2688757 C1 RU2688757 C1 RU 2688757C1 RU 2018131164 A RU2018131164 A RU 2018131164A RU 2018131164 A RU2018131164 A RU 2018131164A RU 2688757 C1 RU2688757 C1 RU 2688757C1
Authority
RU
Russia
Prior art keywords
video
search
user
specified
objects
Prior art date
Application number
RU2018131164A
Other languages
English (en)
Inventor
Мурат Казиевич Алтуев
Анзор Заурбиевич Апшев
Original Assignee
ООО "Ай Ти Ви групп"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ООО "Ай Ти Ви групп" filed Critical ООО "Ай Ти Ви групп"
Priority to RU2018131164A priority Critical patent/RU2688757C1/ru
Priority to US16/377,130 priority patent/US10990827B2/en
Priority to DE102019109288.4A priority patent/DE102019109288A1/de
Application granted granted Critical
Publication of RU2688757C1 publication Critical patent/RU2688757C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат − повышение скорости поиска необходимого события или объекта в импортированном видео, полученном от стороннего устройства. Устройство для анализа импортированного видео содержит: память, базу данных для хранения метаданных, графический пользовательский интерфейс и устройство обработки данных, причем устройство обработки данных сконфигурировано для загрузки видео в общедоступном формате в память и импорта загруженного видео в программное обеспечение (ПО) устройства для анализа импортированного видео, причем ПО позволяет выполнять декомпрессию и анализ импортированного видео для формирования метаданных, характеризующих данные обо всех объектах в видео, и для записи упомянутых метаданных в базу данных. 3 н. и 30 з.п. ф-лы, 2 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к области анализа видеоданных при помощи методов компьютерного зрения, а более конкретно к технологиям, направленным на поиск необходимых объектов или событий в проанализированном видео, изначально полученном от стороннего устройства.
УРОВЕНЬ ТЕХНИКИ
Анализ видео с использованием методов компьютерного зрения сопряжен с высокими требованиями к производительности и соответственно цене оборудования. В результате во многих существующих системах видеонаблюдения видео записывается при помощи простых дешевых устройств, у которых нет средств и возможностей проводить анализ записанного видео с необходимой точностью и скоростью.
Основная задача заявляемого технического решения - обеспечить быстрый поиск интересующего события или объекта в видео, если неизвестно конкретного времени или конкретного объекта. Для решения этой задачи в предшествующем уровне техники оператору такой системы пришлось бы просматривать весь видеоархив и визуально выявлять требуемые события, что занимает очень много времени и не отличается высоким качеством выполняемой задачи. С другой стороны, для решения поставленной задачи можно закупить более новое и дорогое оборудование, способное анализировать видео и выполнять поиск достаточно быстро и качественно, однако экономически это очень невыгодно, особенно если задача поиска возникает не слишком часто или если предприятие не имеет достаточного количества средств на обновление всей системы видеонаблюдения.
Из уровня техники известно решение, раскрытое в патенте US 6718336, B1, G06F 17/30, опубл. 06.04.2004, в котором описана система импорта данных, обеспечивающая доступ к данным нескольких типов из нескольких источников данных и предоставляющая интерфейс для импорта данных в систему анализа данных. Интерфейс позволяет пользователю настраивать форматирование данных по мере импорта данных в систему анализа данных. Пользователь может выбирать первые пользовательские параметры для работы с первым набором данных, полученным во время процесса импорта данных.
Данная технология хоть и характеризует импорт данных для последующего анализа, однако в данном решении очень обобщенно идет речь о любых данных, а также вообще не подразумевается анализ именно видео и дальнейшее выполнение поиска событий или объектов по полученным проанализированным данным.
Наиболее близким по технической сущности является известное решение, раскрытое в патенте US 7460149, B1, H04N 7/18, опубл. 02.12.2008, в котором описана система видеонаблюдения, содержащая: камеры видеонаблюдения для захвата видеоданных; одну или несколько областей хранения видеоданных; область хранения метаданных; область хранения атрибутов; и процессор, адаптированный для выполнения программного кода для того, чтобы: захватывать видеоданные с одной или нескольких камер наблюдения; генерировать метаданные путем проведения видеоанализа на видеоданных из камер наблюдения; определять вес атрибутов, представляющий информацию об актуальности метаданных; хранить видеоданные в области хранения видео; хранить метаданные, индексированные по дате и отметке времени для видеоданных, в области хранения метаданных; а также хранить вес атрибутов в области хранения атрибутов. Кроме того, в данном решении также описан способ поиска и извлечения видеоданных из системы видеонаблюдения, причем способ содержит: ввод критериев поиска; поиск метаданных, связанных с видеоданными; получение метаданных, соответствующих критериям поиска, из модуля метаданных; извлечение видеоданных, индексированных метаданными из модуля хранения видео.
Недостатком данной группы изобретений является отсутствие возможности импортировать видео в специализированное программное обеспечение для последующего анализа. То есть в данном случае вообще не идет речи о такой проблеме, как невозможность проведения поиска на имеющемся оборудовании и, следовательно, все операции выполняются не над предварительно импортированным видео из более простой системы.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.
Техническим результатом заявленной группы изобретений является повышение скорости поиска необходимого события или объекта в импортированном видео, полученном от стороннего устройства.
Данный технический результат достигается за счет того, что устройство для анализа импортированного видео содержит: память, выполненную с возможностью хранения данных; базу данных для хранения метаданных; графический пользовательский интерфейс; по меньшей мере, одно устройство обработки данных, сконфигурированное для: загрузки видео в общедоступном формате в память, причем упомянутое видео было записано сторонним устройством захвата изображений; импорта загруженного видео в программное обеспечение (ПО) устройства для анализа импортированного видео, причем упомянутое ПО позволяет устройству для анализа импортированного видео выполнять: декомпрессию и анализ импортированного видео для формирования метаданных, характеризующих данные обо всех объектах в видео, и для записи упомянутых метаданных в базу данных; получение запроса от пользователя через графический пользовательский интерфейс или через интерфейс прикладного программирования (API), а также параметров и/или критериев поиска, для выполнения поиска, по меньшей мере, одного события или объекта в видео; выполнение поиска, по меньшей мере, одного запрашиваемого пользователем события или объекта в проанализированном видео с использованием сформированных метаданных и параметров и/или критериев поиска, заданных пользователем.
Указанный технический результат также достигается за счет способа анализа импортированного видео, реализуемого, по меньшей мере, одним устройством обработки данных, причем способ содержит этапы, на которых: загружают видео в общедоступном формате в память, причем упомянутое видео было записано сторонним устройством захвата изображений; импортируют загруженное видео в программное обеспечение (ПО) устройства для анализа импортированного видео; выполняют посредством упомянутого ПО декомпрессию и анализ импортированного видео для формирования метаданных, характеризующих данные обо всех объектах в видео, и для записи упомянутых метаданных в базу данных; получают запрос от пользователя через графический пользовательский интерфейс или через интерфейс прикладного программирования (API), а также параметры и/или критерии поиска, для выполнения поиска, по меньшей мере, одного события или объекта в видео; выполняют поиск, по меньшей мере, одного запрашиваемого пользователем события или объекта в проанализированном видео с использованием сформированных метаданных и параметров и/или критериев поиска, заданных пользователем.
В одном частном варианте заявленного решения сторонним устройством захвата изображений является видеокамера или сетевой видеорегистратор (NVR).
В еще одном частном варианте заявленного решения при импорте загруженного видео в ПО, указанное видео привязывается к конкретному времени на основании временной метки.
В другом частном варианте заявленного решения временная метка является именем загруженного видео, если оно указано в формате ISO 8601, или датой создания загруженного видео.
В еще одном частном варианте заявленного решения на этапе загрузки видео можно добавить сразу папку с несколькими видеозаписями, при этом если в имени папки есть временная метка, то она будет являться временной меткой первой видеозаписи по алфавитному порядку в указанной папке.
В другом частном варианте заявленного решения импорт, декомпрессия и анализ видео осуществляются по требованию пользователя или по расписанию, или в реальном времени по мере поступления данных в память.
В еще одном частном варианте заявленного решения поиск выполняется по всему загруженному видео или по определенному промежутку времени.
В другом частном варианте заявленного решения поиск выполняется по алгоритму визуального поиска событий или объектов в архиве, который основан на отображении синтетических кадров, в каждом из которых могут быть совмещены объекты, зарегистрированные в разных исходных кадрах.
В еще одном частном варианте заявленного решения поиск выполняется по лицам, с применением алгоритма распознавания лиц.
В другом частном варианте заявленного решения поиск выполняется по номерам транспортных средств.
В еще одном частном варианте заявленного решения выполняется поиск движущихся объектов.
В другом частном варианте заявленного решения критерием поиска движущихся объектов является, по меньшей мере, одно из: движения, по меньшей мере, одного объекта в определенной области; длительного пребывания, по меньшей мере, одного объекта в определенной области; одновременного пребывания в определенной области N объектов, когда N больше предварительно заданного пользователем числа.
В еще одном частном варианте заявленного решения критерием поиска движущихся объектов является переход, по меньшей мере, одного объекта из одной заданной области в другую или пересечение, по меньшей мере, одним объектом заданной пользователем линии в данных видео.
В другом частном варианте заявленного решения перед выполнением поиска можно дополнительно задавать фильтрацию по одному или нескольким параметрам движущихся объектов.
В еще одном частном варианте заявленного решения параметрами движущихся объектов являются: направление движения, максимальный и минимальный размер объекта, максимальная и минимальная скорость движения объекта, цвет объекта, тип объекта.
В другом частном варианте заявленного решения к типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.
Данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые, по меньшей мере, одним процессором компьютера инструкции для осуществления вариантов способов анализа импортированного видео.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - блок-схема устройства для анализа импортированного видео;
Фиг. 2 - блок-схема одного из вариантов реализации способа анализа импортированного видео.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам в данной области техники будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.
Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде устройств и способов для анализа импортированного видео, а также в виде считываемого компьютером носителя данных.
На фиг. 1 представлена блок-схема одного из вариантов реализации устройства для анализа импортированного видео. В базовой комплектации устройство включает в себя: память (10); базу данных для хранения метаданных (20); графический пользовательский интерфейс (30); и, по меньшей мере, одно устройство обработки данных (40, …, 4n).
В данном контексте под устройствами понимаются любые вычислительные устройства, построенные на базе программно-аппаратных средств, например, такие как: персональные компьютеры, смартфоны, ноутбуки, планшеты и т.д.
В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных. Процессор может быть многоядерным, для параллельной обработки данных.
В роли устройства памяти могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д.
Графический пользовательский интерфейс (GUI) представляет собой систему средств, для взаимодействия пользователя с вычислительным устройством, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков и т.п.). При этом пользователь имеет произвольный доступ ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее.
Следует отметить, что в указанное устройство могут входить и любые другие известные в данном уровне техники устройства, например, такие как датчики, устройства ввода/вывода данных, устройства отображения (дисплеи) и т.п.
Устройство ввода/вывода данных может представлять собой, но не ограничиваться, например, манипулятор мышь, клавиатуру, тачпад, стилус, джойстик, трекпад и т.п.
Далее будет описан пример работы вышеупомянутого устройства для анализа импортированного видео.
Предположим для примера, что есть предприятие, которое имеет охранную систему, состоящую из нескольких простых устройств захвата изображений, размещенных на охраняемой территории. Устройством захвата изображений может являться видеокамера или сетевой видеорегистратор (NVR). Указанные устройства записывают видеоданные и сохраняют их в свою память.
Если у оператора такой охранной системы возникает потребность определить, в какой именно момент времени на территорию проник человек и получить видеоданные, показывающие все его действия на территории, то оператор должен просмотреть весь видеоархив. Однако такой подход займет много времени, за счет чего вероятность привлечь к ответственности этого человека будет уже невелика. В случае совершения кражи вопрос времени становится важным. Тогда оператор охранной системы принимает решение выполнить анализ видео с использованием более быстрых методов компьютерного зрения. Посколько охранная система рассматриваемого предприятия не содержит необходимых технических средств для анализа видеоданных, то предприятие обращается к поставщику программного обеспечения и приобретает необходимое ПО, позволяющее оператору загружать и анализировать видео быстро и с высокой точностью.
После загрузки и установки ПО на свое компьютерное устройство оператор охранной системы загружает видео, изначально полученное устройством захвата изображений, в любом общедоступном формате (таком, как AVI, MPEG, MKV и т.п.) в память упомянутого устройства. Следует напомнить, что полученное таким образом устройство для анализа импортированного видео и устройство захвата изображений никак не связаны между собой. Видео может быть загружено абсолютно с любого устройства.
Далее выполняется импорт загруженного видео в программное обеспечение (ПО) упомянутого устройства для его последующего анализа. При этом указанное видео привязывается к конкретному времени на основании временной метки. Временной меткой может являться дата создания загруженного видео. Или же имя загруженного видео может являться временной меткой, в том случае если оно указано в формате ISO 8601 (ГГГГММДДТЧЧММСС).
Например, если имя видео файла 20160719T100000.avi, то видео привяжется на интервал [19 июля 2016 года, 10:00:00; 19 июля 2016 года, 10:00:00 + длительность видео (Т)].
Следует отметить, что на этапе загрузки видео пользователь может добавить сразу папку с несколькими видеозаписями, при этом если в имени папки содержится временная метка, то она будет являться временной меткой первой видеозаписи по алфавитному порядку в указанной папке.
Далее упомянутое ПО позволяет выполнять декомпрессию и анализ импортированного видео для формирования метаданных, характеризующих данные обо всех объектах в видео. Метаданными в данном случае являются подробные сведения обо всех объектах, перемещающихся в поле зрения устройста захвата изображений (траектории движений, описатели лиц, распознанные номера ивтомобилей и т.п.). Полученные метаданные записываются в базу данных. Впоследствии, полученные метаданные могут использоваться для неограниченного количества операций поиска.
Следует отметить, что импорт, декомпрессия и анализ видео осуществляются по требованию пользователя или по расписанию, предварительно заданному пользователем, или в реальном времени по мере поступления данных в память.
Следующим этапом является получение запроса от пользователя. Упомянутый запрос устройство получает либо через графический пользовательский интерфейс либо через интерфейс прикладного программирования (API) - в таком случае в качестве пользователя может выступать сторонняя программная система.
На данном этапе пользователь указывает, что именно его интересует: определенные события или объекты в видео. Например, пользователь может хотеть найти момент времени в видеоданных, на котором происходит кража. При этом пользователь не знает, кто именно и когда совершил эту кражу. Далее пользователь задает параметры и/или критерии поиска. Благодаря высокой скорости работы устройства поиск можно произвести несколько раз, уточняя параметры и/или критерии поиска для более точного выполнения поиска.
Далее устройство анализа импортированного видео выполняет поиск, по меньшей мере, одного запрашиваемого пользователем события или объекта в проанализированном видео с использованием сформированных ранее метаданных и параметров и/или критериев поиска, заданных пользователем. Первые результаты поиска появляются на экране уже через несколько секунд после начала поиска.
Следует отметить, что поиск может выполняться либо по всему загруженному видео, либо по определенному промежутку времени, если пользователь задал его в качестве параметра поиска. Такой вариант актуален, если пользователь точно знает, что кража была совершена, например, с 18:00 до 23:30. Этот промежуток времени характеризует моменты времени, когда охраняемый объект был еще на месте и соответственно момент, когда была обнаружена его пропажа. Поиск по определенному промежутку времени производится гораздо быстрее, нежели по всему видео.
Заявляемое решение подразумевает выполнение поиска любым доступным средством или способом, способным повысить скорость упомянутого поиска. Например, поиск может выполняться по лицам. В таком случае дополнительно применяется алгоритм распознавания лиц. Или же поиск может осуществляться по номерам транспортных средств, также с применением алгоритмов распознавания и верификации/сравнения.
Кроме того, в контексте данной заявки поиск может выполняться по алгоритму визуального поиска событий или объектов в архиве, который основан на отображении синтетических кадров, в каждом из которых могут быть совмещены объекты, зарегистрированные в разных исходных кадрах. Подробности и конкретные характеристики данного алгоритма раскрыты в патенте на изобретение RU 2471231, C1, G06K 9/00, опубл. 27.12.2012.
Однако чаще всего пользователь не знает, какой конкретно объект нужно найти (человека или транспортное средство). Следовательно, наиболее распространенным и востребованным способом поиска в данной области техники является поиск движущихся объектов.
Для выполнения такого поиска пользователь выбирает один из критериев поиска движущихся объектов, например, такие как:
- движение, по меньшей мере, одного объекта в определенной области;
- длительность пребывания, по меньшей мере, одного объекта в определенной области;
- одновременное пребывание в определенной области N объектов, причем N положительное целое число, большее предварительно заданного пользователем числа.
Более точными критериями поиска являются такие критерии, как:
- переход, по меньшей мере, одного объекта из одной заданной области в другую или
- пересечение, по меньшей мере, одним объектом заданной пользователем линии в данных видео.
Кроме того, перед выполнением поиска можно дополнительно задавать фильтрацию по одному или нескольким параметрам движущихся объектов. Причем, параметрами движущихся объектов являются: направление движения, максимальный и минимальный размер объекта, максимальная и минимальная скорость движения объекта, цвет объекта или диапазон цветов объекта, тип объекта. При этом, к типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.
Чем больше критериев и параметров задано, тем выше будет точность результатов поиска.
Дополнительно необходимо отметить, что все упомянутые выше действия (импорт, декомпрессия, анализ, поиск) могут выполняться параллельно либо на нескольких ядрах процессора, либо на нескольких процессорах, либо на нескольких серверах. В результате такого подхода скорость анализа будет значительно быстрее реального времени и, следовательно, время ожидания завершения анализа будет очень маленьким.
Подводя итог, применение программного обеспечения для анализа импортированного видео дополнительно позволяет снизить финансивые затраты на необходимые вычислительные мощности специализированного для анализа оборудования. При этом обеспечивается достижение технического результата, заключающегося в повышении скорости поиска необходимого события или объекта в импортированном видео, полученном от стороннего устройства.
На фиг. 2 представлена блок-схема одного из вариантов реализации способа анализа импортированного видео. Указанный способ реализуется, по меньшей мере, одним устройством обработки данных и содержит этапы, на которых:
(100) загружают видео в общедоступном формате в память, причем упомянутое видео было записано сторонним устройством захвата изображений;
(200) импортируют загруженное видео в программное обеспечение (ПО) устройства для анализа импортированного видео;
(300) выполняют посредством упомянутого ПО декомпрессию и анализ импортированного видео для формирования метаданных, характеризующих данные обо всех объектах в видео, и для записи упомянутых метаданных в базу данных;
(400) получают запрос от пользователя через графический пользовательский интерфейс или через интерфейс прикладного программирования (API), а также параметры и/или критерии поиска, для выполнения поиска, по меньшей мере, одного события или объекта в видео;
(500) выполняют поиск, по меньшей мере, одного запрашиваемого пользователем события или объекта в проанализированном видео с использованием сформированных метаданных и параметров и/или критериев поиска, заданных пользователем.
Следует еще раз отметить, что данный способ реализуется средствами описанного ранее устройства для анализа импортированного видео и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации устройства для анализа импортированного видео.
Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.
В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средство, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительным устройством, например, таким как компьютер. При этом носитель данных может являться энергозависимым или энергонезависимым машиночитаемым носителем данных.
При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.
Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Claims (46)

1. Устройство для анализа импортированного видео, содержащее:
память, выполненную с возможностью хранения данных;
базу данных для хранения метаданных; графический пользовательский интерфейс;
по меньшей мере, одно устройство обработки данных, сконфигурированное для:
загрузки видео в общедоступном формате в память, причем упомянутое видео было записано сторонним устройством захвата изображений;
импорта загруженного видео в программное обеспечение (ПО) устройства для анализа импортированного видео, причем упомянутое ПО позволяет устройству для анализа импортированного видео выполнять:
декомпрессию и анализ импортированного видео для формирования метаданных, характеризующих данные обо всех объектах в видео, и для записи упомянутых метаданных в базу данных;
получение запроса от пользователя через графический пользовательский интерфейс или через интерфейс прикладного программирования (API), а также параметров и/или критериев поиска для выполнения поиска, по меньшей мере, одного события или объекта в видео;
выполнение поиска, по меньшей мере, одного запрашиваемого пользователем события или объекта в проанализированном видео с использованием сформированных метаданных и параметров и/или критериев поиска, заданных пользователем.
2. Устройство по п. 1, в котором сторонним устройством захвата изображений является видеокамера или сетевой видеорегистратор (NVR).
3. Устройство по п. 1, в котором при импорте загруженного видео в ПО указанное видео привязывается к конкретному времени на основании временной метки.
4. Устройство по п. 3, в котором временная метка является именем загруженного видео, если оно указано в формате ISO 8601, или датой создания загруженного видео.
5. Устройство по п. 1, в котором на этапе загрузки видео можно добавить сразу папку с несколькими видеозаписями, при этом если в имени папки есть временная метка, то она будет являться временной меткой первой видеозаписи по алфавитному порядку в указанной папке.
6. Устройство по п. 1, в котором импорт, декомпрессия и анализ видео осуществляются по требованию пользователя или по расписанию, или в реальном времени по мере поступления данных в память.
7. Устройство по п. 1, в котором поиск выполняется по всему загруженному видео или по определенному промежутку времени.
8. Устройство по п. 1, в котором поиск выполняется по алгоритму визуального поиска событий или объектов в архиве, который основан на отображении синтетических кадров, в каждом из которых могут быть совмещены объекты, зарегистрированные в разных исходных кадрах.
9. Устройство по п. 1, в котором поиск выполняется по лицам с применением алгоритма распознавания лиц.
10. Устройство по п. 1, в котором поиск выполняется по номерам транспортных средств.
11. Устройство по п. 1, в котором выполняется поиск движущихся объектов.
12. Устройство по п. 11, в котором критерием поиска движущихся объектов является, по меньшей мере, одно из: движения, по меньшей мере, одного объекта в определенной области; длительного пребывания, по меньшей мере, одного объекта в определенной области; одновременного пребывания в определенной области N объектов, когда N больше предварительно заданного пользователем числа.
13. Устройство по п. 11, в котором критерием поиска движущихся объектов является переход, по меньшей мере, одного объекта из одной заданной области в другую или пересечение, по меньшей мере, одним объектом заданной пользователем линии в данных видео.
14. Устройство по любому из пп. 11-13, в котором перед выполнением поиска можно дополнительно задавать фильтрацию по одному или нескольким параметрам движущихся объектов.
15. Устройство по п. 14, в котором параметрами движущихся объектов являются: направление движения, максимальный и минимальный размер объекта, максимальная и минимальная скорость движения объекта, цвет объекта, тип объекта.
16. Устройство по п. 15, в котором к типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.
17. Способ анализа импортированного видео, реализуемый, по меньшей мере, одним устройством обработки данных, причем способ содержит этапы, на которых:
загружают видео в общедоступном формате в память, причем упомянутое видео было записано сторонним устройством захвата изображений;
импортируют загруженное видео в программное обеспечение (ПО) устройства для анализа импортированного видео;
выполняют посредством упомянутого ПО декомпрессию и анализ импортированного видео для формирования метаданных, характеризующих данные обо всех объектах в видео, и для записи упомянутых метаданных в базу данных;
получают запрос от пользователя через графический пользовательский интерфейс или через интерфейс прикладного программирования (API), а также параметры и/или критерии поиска для выполнения поиска, по меньшей мере, одного события или объекта в видео;
выполняют поиск, по меньшей мере, одного запрашиваемого пользователем события или объекта в проанализированном видео с использованием сформированных метаданных и параметров и/или критериев поиска, заданных пользователем.
18. Способ по п. 17, в котором сторонним устройством захвата изображений является видеокамера или сетевой видеорегистратор (NVR).
19. Способ по п. 17, в котором при импорте загруженного видео в ПО указанное видео привязывается к конкретному времени на основании временной метки.
20. Способ по п. 19, в котором временная метка является именем загруженного видео, если оно указано в формате ISO 8601, или датой создания загруженного видео.
21. Способ по п. 17, в котором на этапе загрузки видео можно добавить сразу папку с несколькими видеозаписями, при этом если в имени папки есть временная метка, то она будет являться временной меткой первой видеозаписи по алфавитному порядку в указанной папке.
22. Способ по п. 17, в котором импорт, декомпрессия и анализ видео осуществляются по требованию пользователя или по расписанию, или в реальном времени по мере поступления данных в память.
23. Способ по п. 17, в котором поиск выполняется по всему загруженному видео или по определенному промежутку времени.
24. Способ по п. 17, в котором поиск выполняется по алгоритму визуального поиска событий или объектов в архиве, который основан на отображении синтетических кадров, в каждом из которых могут быть совмещены объекты, зарегистрированные в разных исходных кадрах.
25. Способ по п. 17, в котором поиск выполняется по лицам с применением алгоритма распознавания лиц.
26. Способ по п. 17, в котором поиск выполняется по номерам транспортных средств.
27. Способ по п. 17, в котором выполняется поиск движущихся объектов.
28. Способ по п. 27, в котором критерием поиска движущихся объектов является, по меньшей мере, одно из: движения, по меньшей мере, одного объекта в определенной области; длительного пребывания, по меньшей мере, одного объекта в определенной области; одновременного пребывания в определенной области N объектов, когда N больше предварительно заданного пользователем числа.
29. Способ по п. 27, в котором критерием поиска движущихся объектов является переход, по меньшей мере, одного объекта из одной заданной области в другую или пересечение, по меньшей мере, одним объектом заданной пользователем линии в данных видео.
30. Способ по любому из пп. 27-29, в котором перед выполнением поиска можно дополнительно задавать фильтрацию по одному или нескольким параметрам движущихся объектов.
31. Способ по п. 30, в котором параметрами движущихся объектов являются: направление движения, максимальный и минимальный размер объекта, максимальная и минимальная скорость движения объекта, цвет объекта, тип объекта.
32. Способ по п. 31, в котором к типам объекта относятся: человек, группа людей, транспортное средство или оставленный предмет.
33. Считываемый компьютером носитель данных, содержащий исполняемые, по меньшей мере, одним процессором компьютера инструкции для осуществления способов по любому из пп. 17-32.
RU2018131164A 2018-08-29 2018-08-29 Устройство и способ для анализа импортированного видео RU2688757C1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2018131164A RU2688757C1 (ru) 2018-08-29 2018-08-29 Устройство и способ для анализа импортированного видео
US16/377,130 US10990827B2 (en) 2018-08-29 2019-04-05 Imported video analysis device and method
DE102019109288.4A DE102019109288A1 (de) 2018-08-29 2019-04-09 Anlage und Verfahren für Analyse des importierten Videos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018131164A RU2688757C1 (ru) 2018-08-29 2018-08-29 Устройство и способ для анализа импортированного видео

Publications (1)

Publication Number Publication Date
RU2688757C1 true RU2688757C1 (ru) 2019-05-22

Family

ID=66636657

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018131164A RU2688757C1 (ru) 2018-08-29 2018-08-29 Устройство и способ для анализа импортированного видео

Country Status (3)

Country Link
US (1) US10990827B2 (ru)
DE (1) DE102019109288A1 (ru)
RU (1) RU2688757C1 (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11482049B1 (en) 2020-04-14 2022-10-25 Bank Of America Corporation Media verification system
CN111506769B (zh) * 2020-04-21 2023-08-29 浙江大华技术股份有限公司 视频文件的处理方法、装置、存储介质及电子装置
US11594032B1 (en) 2021-02-17 2023-02-28 Bank Of America Corporation Media player and video verification system
US11928187B1 (en) 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
US11527106B1 (en) 2021-02-17 2022-12-13 Bank Of America Corporation Automated video verification
US11790694B1 (en) 2021-02-17 2023-10-17 Bank Of America Corporation Video player for secured video stream
US11526548B1 (en) 2021-06-24 2022-12-13 Bank Of America Corporation Image-based query language system for performing database operations on images and videos
US11941051B1 (en) 2021-06-24 2024-03-26 Bank Of America Corporation System for performing programmatic operations using an image-based query language
US11784975B1 (en) 2021-07-06 2023-10-10 Bank Of America Corporation Image-based firewall system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718336B1 (en) * 2000-09-29 2004-04-06 Battelle Memorial Institute Data import system for data analysis system
RU2268497C2 (ru) * 2003-06-23 2006-01-20 Закрытое акционерное общество "ЭЛВИИС" Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
US7460149B1 (en) * 2007-05-28 2008-12-02 Kd Secure, Llc Video data storage, search, and retrieval using meta-data and attribute data in a video surveillance system
US20100295944A1 (en) * 2009-05-21 2010-11-25 Sony Corporation Monitoring system, image capturing apparatus, analysis apparatus, and monitoring method
RU2471231C1 (ru) * 2011-09-30 2012-12-27 Общество с ограниченной ответственностью "Ай Ти Ви групп" Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
US20170201724A1 (en) * 2010-11-05 2017-07-13 Razberi Technologies, Inc. System and method for a security system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718336B1 (en) * 2000-09-29 2004-04-06 Battelle Memorial Institute Data import system for data analysis system
RU2268497C2 (ru) * 2003-06-23 2006-01-20 Закрытое акционерное общество "ЭЛВИИС" Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
US7460149B1 (en) * 2007-05-28 2008-12-02 Kd Secure, Llc Video data storage, search, and retrieval using meta-data and attribute data in a video surveillance system
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
US20100295944A1 (en) * 2009-05-21 2010-11-25 Sony Corporation Monitoring system, image capturing apparatus, analysis apparatus, and monitoring method
US20170201724A1 (en) * 2010-11-05 2017-07-13 Razberi Technologies, Inc. System and method for a security system
RU2471231C1 (ru) * 2011-09-30 2012-12-27 Общество с ограниченной ответственностью "Ай Ти Ви групп" Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры

Also Published As

Publication number Publication date
DE102019109288A1 (de) 2020-03-05
US20200074183A1 (en) 2020-03-05
US10990827B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
RU2688757C1 (ru) Устройство и способ для анализа импортированного видео
US11210504B2 (en) Emotion detection enabled video redaction
WO2021017998A1 (zh) 文本位置定位方法和系统以及模型训练方法和系统
CN110321958B (zh) 神经网络模型的训练方法、视频相似度确定方法
CN109871490B (zh) 媒体资源匹配方法、装置、存储介质和计算机设备
CN112637629B (zh) 直播内容推荐方法及装置、电子设备和介质
US20160078308A1 (en) Place-based image organization
US20210390317A1 (en) Method and system for editing video on basis of context obtained using artificial intelligence
US9633272B2 (en) Real time object scanning using a mobile phone and cloud-based visual search engine
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
US20130343618A1 (en) Searching for Events by Attendants
CN113190695B (zh) 多媒体数据搜索方法及装置、计算机设备和介质
US11962874B2 (en) Systems and methods for generating, analyzing, and storing data snippets
US20220369001A1 (en) Systems and methods for generating, analyzing, and storing data snippets
US20200097735A1 (en) System and Method for Display of Object Movement Scheme
CN109116718B (zh) 设置闹钟的方法及设备
US20160284381A1 (en) Systems and Methods for Quick Decision Editing of Media Content
US10283166B2 (en) Video indexing method and device using the same
CN110704294B (zh) 用于确定响应时间的方法和装置
CN113139093A (zh) 视频搜索方法及装置、计算机设备和介质
CN113973235A (zh) 互动信息显示方法、装置、计算机设备
CN111949819A (zh) 用于推送视频的方法和装置
CN112970025A (zh) 图像搜索方法、装置、存储介质及电子设备
CN113139094B (zh) 视频搜索方法及装置、电子设备和介质
CN113190713B (zh) 视频搜索方法及装置、电子设备和介质