RU2676950C1 - Method for processing video stream in video surveillance system - Google Patents
Method for processing video stream in video surveillance system Download PDFInfo
- Publication number
- RU2676950C1 RU2676950C1 RU2018110865A RU2018110865A RU2676950C1 RU 2676950 C1 RU2676950 C1 RU 2676950C1 RU 2018110865 A RU2018110865 A RU 2018110865A RU 2018110865 A RU2018110865 A RU 2018110865A RU 2676950 C1 RU2676950 C1 RU 2676950C1
- Authority
- RU
- Russia
- Prior art keywords
- video stream
- microserver
- video
- processing
- main server
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Изобретение относится к средствам видеонаблюдения, идентификации и сопровождения объектов, в частности к средствам обработки цифровых видеопотоков.The invention relates to video surveillance, identification and tracking of objects, in particular to means for processing digital video streams.
Уровень техникиState of the art
В уровне техники известно большое количество средств обработки видеопотоков.In the prior art, a large number of means for processing video streams.
В качестве наиболее близкого аналога выбран известный способ анализа видеопотока, состоящий в сжатии видеопотока видеокамерой наблюдения и пересылке метаданных аналитики на сервер для дальнейшей обработки по существующим каналам связи параллельно со сжатым видеопотоком (патент RU 2632473, H04N 7/18, опубликовано 05.10.2017). Недостатками данного известного средства является невозможность программирования подсистемы анализа видео на IP-камере и дополнительная нагрузка на каналы связи. Указанные недостатки не позволяют значительно повысить качество обработки видео на сервере системы наблюдения известными методами.As the closest analogue, the well-known method of analyzing the video stream is selected, which consists in compressing the video stream with a surveillance camera and sending analytics metadata to the server for further processing through existing communication channels in parallel with the compressed video stream (patent RU 2632473, H04N 7/18, published 05.10.2017). The disadvantages of this known tool is the inability to program the video analysis subsystem on the IP camera and the additional load on the communication channels. These shortcomings do not significantly improve the quality of video processing on the server of the monitoring system by known methods.
Сущность изобретенияSUMMARY OF THE INVENTION
Задача, на решение которой направлено настоящее изобретение, состоит в повышении качества обработки видеопотока в системах видеонаблюдения.The problem to which the present invention is directed, is to improve the quality of video stream processing in video surveillance systems.
В ходе решения указанной задачи обеспечивается возможность получения следующей совокупности технических результатов: равномерная загрузка вычислительных мощностей за счет переноса части функционала главного сервера системы на уровень средств фиксирования видеопотока, повышение надежности обработки видеопотока за счет автономной работы средств фиксирования видеопотока.In the course of solving this problem, it is possible to obtain the following set of technical results: uniform loading of computing power by transferring part of the functionality of the main server of the system to the level of video stream fixation tools, increasing the reliability of video stream processing due to the autonomous operation of the video stream fixing means.
Указанные технические результаты достигаются тем, что способ обработки видеопотока в системе видеонаблюдения состоит в том, чтоThese technical results are achieved by the fact that the method of processing a video stream in a video surveillance system is that
- обеспечивают, по крайней мере, один программируемый микросервер на базе аппаратной платформы система-на-кристалле;- provide at least one programmable microserver based on a hardware platform system-on-chip;
- к упомянутому микросерверу напрямую через высокоскоростной аппаратный интерфейс подключают сенсор, выполненный с возможностью формирования кадров видеопотока;- to the said microserver directly through a high-speed hardware interface connect a sensor configured to form frames of the video stream;
- обеспечивают связь упомянутого микросервера с главным сервером системы видеонаблюдения;- provide the connection of the mentioned microserver with the main server of the video surveillance system;
- осуществляют высокоуровневую обработку упомянутым микросервером полученного видеопотока до его преобразования;- carry out high-level processing by the mentioned microserver of the received video stream before its conversion;
- в случае нарушения связи с главным сервером обеспечивают высокоуровневую обработку видеопотока непосредственно в упомянутом микросервером в автономном режиме с последующей передачей результатов обработки главному серверу после восстановления канала связи.- in the event of a communication failure with the main server, they provide high-level processing of the video stream directly in the aforementioned microserver offline, followed by the transmission of the processing results to the main server after restoring the communication channel.
Указанные технические результаты достигаются также тем, что высокоуровненая обработка видеопотока включает метаописание видеопотока, ранжирование кадров видеопотока по важности с точки зрения критериев наблюдения, сегментацию отдельных кадров по степени важности, идентификацию в кадре элементов, представляющих собой конфиденциальную или персональную информацию.The indicated technical results are also achieved by the fact that the high-level processing of the video stream includes a meta description of the video stream, ranking the frames of the video stream by importance in terms of observation criteria, segmentation of individual frames by degree of importance, identification of elements representing confidential or personal information in the frame.
Указанные технические результаты достигаются также тем, что на главный сервер передают данные с нескольких микросерверов для централизованного хранения.The indicated technical results are also achieved by the fact that data from several microservers for centralized storage are transferred to the main server.
Сведения, подтверждающие возможность осуществления изобретенияInformation confirming the possibility of carrying out the invention
Обработка потока видеокадров в системах наблюдения подразумевает:Processing video stream in surveillance systems involves:
- низкоуровневую обработку видео с помощью известных алгоритмов цифровой обработки сигналов: подавление шума, повышение визуального качества, компрессию для передачи по каналам связи, декомпрессию на принимающей стороне, и- low-level video processing using well-known digital signal processing algorithms: noise reduction, improving visual quality, compression for transmission over communication channels, decompression on the receiving side, and
- высокоуровневую обработку видео с помощью алгоритмов машинного зрения, распознавания образов и пр.- high-level video processing using machine vision algorithms, pattern recognition, etc.
Существующие программно-аппаратные решения предполагают, что низкоуровневая обработка видео производится непосредственно на IP-камере наблюдения аппаратным способом и в незначительной степени на сервере видеонаблюдения (декомпрессия). Высокоуровневая обработка видео со множества камер производится на сервере видеонаблюдения программным способом и в незначительной степени на IP-камере наблюдения (детектирование движения в кадре). Сервер видеонаблюдения и IP-камеры наблюдения связаны цифровыми каналами связи, качество которых в общем случае не гарантировано, а пропускная способность не позволяет транслировать цифровое видео без значительного сжатия.Existing software and hardware solutions suggest that low-level video processing is performed directly on the IP surveillance camera in hardware and to a small extent on the video surveillance server (decompression). High-level video processing from multiple cameras is performed on the video surveillance server programmatically and to a small extent on the IP surveillance camera (motion detection in the frame). The video surveillance server and IP surveillance cameras are connected by digital communication channels, the quality of which is generally not guaranteed, and the bandwidth does not allow broadcasting digital video without significant compression.
Таким образом, в известных системах значительная часть обработки видео (компрессия и декомпрессия) является вынужденной, не несет полезного функционала и неэффективно расходует вычислительные ресурсы. При этом качество высокоуровневой обработки на сервере заведомо ухудшается из-за потерь качества видео при его вынужденном сжатии перед передачей в сервер на базе узких и нестабильных каналов связи.Thus, in known systems, a significant part of video processing (compression and decompression) is forced, does not carry useful functionality and inefficiently consumes computing resources. At the same time, the quality of high-level processing on the server is deliberately deteriorated due to loss of video quality when it is forced to be compressed before being transferred to the server based on narrow and unstable communication channels.
Настоящее изобретение позволяет повысить качество обработки видеопотоков. Суть изобретения состоит в распределении обработки видеопотоков по всем компонентам системы видеонаблюдения, включая средства фиксирования видеопотока (например, IP-камеры) и серверы обработки видео. Способ предполагает автоматическую обработку видео для:The present invention improves the quality of processing video streams. The essence of the invention is to distribute the processing of video streams across all components of a video surveillance system, including means for fixing the video stream (for example, IP cameras) and video processing servers. The method involves automatic video processing for:
- метаописания видео в терминах: объект, класс объекта (человек, автомобиль, животное и т.п.), параметры движения, взаимодействия с другими объектами; с целью быстрого поиска в архиве фрагментов видео по описанию сцены;- meta-description of the video in terms of: object, class of the object (person, car, animal, etc.), motion parameters, interaction with other objects; for the purpose of quick search in the archive of video fragments according to the description of the scene;
- ранжирования кадров видеопотока по важности с точки зрения системы наблюдения с целью долговременного архивирования важных фрагментов видео;- ranking the frames of the video stream by importance from the point of view of the monitoring system for the purpose of long-term archiving of important video fragments;
- сегментации отдельных кадров видео на важные и неважные с точки зрения системы участки с целью долговременного архивирования важных участков с наивысшим качеством;- segmentation of individual frames of video into important and unimportant sections from the point of view of the system for the purpose of long-term archiving of important sections with the highest quality;
- нахождения в видеопотоке элементов кадра, содержащих конфиденциальную информацию или персональные данные с целью маскирования найденных данных в видеопотоке, публикуемых в сетях общего доступа.- the presence in the video stream of frame elements containing confidential information or personal data in order to mask the data found in the video stream published in public networks.
В результате переноса части высокоуровневой обработки в качестве функционала средства фиксирования вдеокадров, повышается качества обработки видео в целом.As a result of the transfer of part of the high-level processing as the functionality of the capture tool, the quality of video processing as a whole is improved.
В предлагаемом способе IP-камера наблюдения замещается программируемой вычислительной платформой (микросервером), достаточной для обработки единичного видеопотока мощности. Микросервер создается на базе аппаратной платформы система-на-кристалле (SoC) и позволяет перенести с сервера программное обеспечение, реализующего требуемый функционал. По сути функционал IP-камеры реализуется микросервером, который выступает в качестве одной из компонент системы видеонаблюдения.In the proposed method, the IP surveillance camera is replaced by a programmable computing platform (microserver), sufficient to process a single power video stream. The microserver is created on the basis of the hardware system-on-chip (SoC) platform and allows transferring software that implements the required functionality from the server. In fact, the functionality of an IP camera is implemented by a microserver, which acts as one of the components of a video surveillance system.
Типичная SoC содержит:A typical SoC contains:
- один или несколько микроконтроллеров, микропроцессоров или ядер цифровой обработки сигналов (DSP);- one or more microcontrollers, microprocessors or digital signal processing cores (DSP);
- банк памяти, состоящий из модулей ПЗУ, ОЗУ, ППЗУ или флеш;- a memory bank consisting of ROM, RAM, EPROM or flash modules;
- источники опорной частоты, например, кварцевые резонаторы и схемы ФАПЧ (фазовой автоподстройки частоты);- reference frequency sources, for example, quartz resonators and PLL (phase locked loop);
- таймеры, счетчики, цепи задержки после включения;- timers, counters, delay circuits after switching on;
- блоки, реализующие стандартные интерфейсы для подключения внешних устройств: USB, FireWire, Ethernet, USART, SPI;- Blocks that implement standard interfaces for connecting external devices: USB, FireWire, Ethernet, USART, SPI;
- блоки цифро-аналоговых и аналого-цифровых преобразователей;- blocks of digital-to-analog and analog-to-digital converters;
- регуляторы напряжения и стабилизаторы питания.- voltage regulators and power stabilizers.
В программируемые SOC часто входят также блоки программируемых логических матриц - ПЛМ, а в программируемые аналого-цифровые SOC - еще и программируемые аналоговые блоки.Programmable SOCs often also include programmable logic matrix blocks - PLMs, and programmable analog-to-digital SOCs also include programmable analog blocks.
Блоки могут быть соединены с помощью шины собственной разработки или стандартной конструкции, например, АМВА в чипах компании ARM. Если в составе чипа есть контроллер прямого доступа к памяти (ПДП), то с его помощью можно заносить данные с большой скоростью из внешних устройств напрямую в память чипа, минуя процессорное ядро.The blocks can be connected using a bus of their own design or a standard design, for example, AMBA in ARM chips. If the chip contains a direct memory access controller (DMA), then it can be used to enter data at high speed from external devices directly into the chip memory, bypassing the processor core.
Микросервер SoC в соответствии с настоящим изобретением реализует полный серверный функционал высокоуровневой обработки для единичного видеопотока и в общем случае может действовать автономно, без связи с сервером наблюдения. На сервере системы наблюдения реализуется функционал обработки еще более высокого уровня, в частности сбор и централизованное индексируемое архивирование видеопотоков и метаданных со множества микросерверов, а также функционал анализа видео сразу со множества источников.The SoC microserver in accordance with the present invention implements the full server functionality of high-level processing for a single video stream and, in the general case, can operate autonomously, without communication with the monitoring server. The monitoring system server implements the processing functionality of an even higher level, in particular, the collection and centralized indexed archiving of video streams and metadata from many microservers, as well as the video analysis functionality immediately from many sources.
Технический результат достигается за счет высокоуровневой обработки видео непосредственно на месте наблюдения, когда кадры видеопотока доступны в исходном максимальном качестве и отсутствуют артефакты сжатия, задержки и потери при передаче видео по сети, а также за счет выполнения аналитики более высокого уровня на главном сервере системы видеонаблюдения.The technical result is achieved due to the high-level video processing directly at the place of observation, when the video stream frames are available in the initial maximum quality and there are no compression artifacts, delays and losses during video transmission over the network, as well as due to the performance of higher-level analytics on the main server of the video surveillance system.
Одним из сценариев высокоуровневой обработки на главном сервере, к которому подключены множество микросерверов, является межкамерное сопровождение объектов по всей наблюдаемой территории.One of the scenarios of high-level processing on the main server, to which many microservers are connected, is the inter-chamber tracking of objects throughout the observed territory.
Другим сценарием является сбор видеопотоков и метаданных с микросерверов в исходном виде и ретрансляция во внешние сети, в том числе в интернет, доработанных видеопотоков с замаскировынными по метаданным конфиденциальными частями видео.Another scenario is the collection of video streams and metadata from microservers in their original form and relaying to external networks, including the Internet, modified video streams with confidential parts of the video disguised as metadata.
Еще одним возможным сценарием является интеллектуальное ведение архива видео и метаданных с микросерверов, когда в долговременное хранилище помещаются только значимые фрагменты видео.Another possible scenario is the intelligent archiving of video and metadata from microservers when only significant video fragments are placed in long-term storage.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018110865A RU2676950C1 (en) | 2018-03-27 | 2018-03-27 | Method for processing video stream in video surveillance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018110865A RU2676950C1 (en) | 2018-03-27 | 2018-03-27 | Method for processing video stream in video surveillance system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2676950C1 true RU2676950C1 (en) | 2019-01-11 |
Family
ID=65025233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018110865A RU2676950C1 (en) | 2018-03-27 | 2018-03-27 | Method for processing video stream in video surveillance system |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2676950C1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140015964A1 (en) * | 2012-07-13 | 2014-01-16 | Yen Hsiang Chew | Techniques for video analytics of captured video content |
| US20140099028A1 (en) * | 2012-10-09 | 2014-04-10 | Samsung Electronics Co., Ltd. | System and method for video recognition based on visual image matching |
| US8897512B1 (en) * | 2007-03-07 | 2014-11-25 | MotionDSP, Inc. | Video hashing system and method |
| RU2632473C1 (en) * | 2016-09-30 | 2017-10-05 | ООО "Ай Ти Ви групп" | Method of data exchange between ip video camera and server (versions) |
-
2018
- 2018-03-27 RU RU2018110865A patent/RU2676950C1/en active IP Right Revival
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8897512B1 (en) * | 2007-03-07 | 2014-11-25 | MotionDSP, Inc. | Video hashing system and method |
| US20140015964A1 (en) * | 2012-07-13 | 2014-01-16 | Yen Hsiang Chew | Techniques for video analytics of captured video content |
| US20140099028A1 (en) * | 2012-10-09 | 2014-04-10 | Samsung Electronics Co., Ltd. | System and method for video recognition based on visual image matching |
| RU2632473C1 (en) * | 2016-09-30 | 2017-10-05 | ООО "Ай Ти Ви групп" | Method of data exchange between ip video camera and server (versions) |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10284808B2 (en) | System and method for supporting selective backtracking data recording | |
| Ali et al. | Edge enhanced deep learning system for large-scale video stream analytics | |
| KR20160073409A (en) | Service processing method, system and device | |
| CN111147403B (en) | Message processing method and device, storage medium and electronic device | |
| DE102009043278A1 (en) | Network synchronization via IP networks | |
| US20230144483A1 (en) | Method for encoding video data, device, and storage medium | |
| CN104115492A (en) | System for video broadcasting a plurality of simultaneously occurring geographically dispersed events | |
| Itoh et al. | Data flow and high level trigger of Belle II DAQ system | |
| CN111698555A (en) | Video frame extraction processing method and device | |
| CN111259839A (en) | Target object behavior monitoring method, device, equipment, system and storage medium | |
| RU2676950C1 (en) | Method for processing video stream in video surveillance system | |
| CN112039936B (en) | Data transmission method, first data processing equipment and monitoring system | |
| CN103974037A (en) | Real-time retrieval system and method based on network video cloud | |
| DE102009043279A1 (en) | Network synchronization via IP networks | |
| DE60038589T2 (en) | Method and device for controlling the synchronization between two serial communication buses of a network | |
| CN111263113A (en) | Data packet sending method and device and data packet processing method and device | |
| US10712994B2 (en) | Image compressing method, image reconstructing method, image compressing device, image reconstructing device, image compressing program product, and image reconstructing program product | |
| CN113068024B (en) | Real-time capture analysis method and storage medium | |
| CN114422776A (en) | Detection method and device for camera equipment, storage medium and electronic device | |
| CN110545447B (en) | Audio and video synchronization method and device | |
| CN106485412A (en) | A kind of transformer station image intelligent level of analysis multiple task distributive computational methods | |
| US10666711B2 (en) | Automated adaption of a codec | |
| CN106658154A (en) | Method, device and equipment for video capture, and method, device and equipment for video processing | |
| CN110868572A (en) | Image acquisition processing device, image acquisition method and system | |
| CN116938895B (en) | Media data packet acquisition method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200328 |
|
| NF4A | Reinstatement of patent |
Effective date: 20210208 |