WO2021262030A1 - Modular system for monitoring production safety and technical procedures - Google Patents

Modular system for monitoring production safety and technical procedures Download PDF

Info

Publication number
WO2021262030A1
WO2021262030A1 PCT/RU2021/000194 RU2021000194W WO2021262030A1 WO 2021262030 A1 WO2021262030 A1 WO 2021262030A1 RU 2021000194 W RU2021000194 W RU 2021000194W WO 2021262030 A1 WO2021262030 A1 WO 2021262030A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
recognition
data
complex according
modular complex
Prior art date
Application number
PCT/RU2021/000194
Other languages
French (fr)
Russian (ru)
Inventor
Дмитрий Петрович НИКОЛАЕВ
Антон Сергеевич ГРИГОРЬЕВ
Андрей Сергеевич БОЛЬШАКОВ
Филипп Владимирович БЕЛЯЕВ
Дмитрий Александрович БОЧАРОВ
Евгений Александрович ШВЕЦ
Original Assignee
Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс" filed Critical Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс"
Publication of WO2021262030A1 publication Critical patent/WO2021262030A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Definitions

  • the proposed solution differs from the known from the prior art solution in that it contains a module for storing and analyzing the processed data, made with the possibility of automatic detection and archiving of data, inaccurate event recognition and detection of changes in statistics received for subsequent automatic additional training of at least one recognition module, as well as a module for automatic additional training in of at least one recognition module, configured to retrain at least one recognition module to dynamically adjust a plurality of automatically detected events in production, and, as a consequence, reduce the time for notifying the responsible personnel in the event of such violations.
  • the video capture module is used to capture large-range digital video images; a temperature collection module is used to collect temperature information through a thermal imaging device; the video quality enhancer is used to improve the video image quality; the module for extracting characteristics of a fire disaster is used to highlight the foreground, match targets and classify targets on the video sequence; the module for identifying characteristics of a fire disaster is used to compare and identify a video object with a database of characteristics of a fire disaster in accordance with the parameters set by the user; The fire alarm management and control rule evaluation module is used to evaluate whether a rule is violated or not according to a user-defined rule by combining video characteristics and temperature values and, if so, sending anomalous information.
  • the technical result consists in expanding the dynamic settings of the set of automatically detected violations at the infrastructure facility. Additional technical results are a reduction in the time for alerting the responsible personnel in case of violations, ensuring the stable operation of the monitoring system in the event of increased server loads and / or in the event of a piece of equipment failure, an increase in the service life of the system, as well as a decrease in the operating time below the required efficiency, due to autodiagnostics and autocalibration of the system.
  • the claimed result is achieved due to the operation of a modular complex for monitoring industrial safety and technological processes, connected to the video surveillance system of an object, containing: a module for reading and primary processing of data from cameras, configured to automatically adjust the parameters of at least one camera, as well as detect failures in system; a module for prioritizing video streams and distributing data between recognition modules; at least one recognition module configured to recognize an event using machine learning algorithms and / or computer vision and / or statistical analysis algorithms; a module for integrating recognition results, configured to make decisions about the presence or likelihood of an event, and also to communicate with the video stream prioritization module for rechecking inaccurate recognized events; a processed data storage and analysis module capable of automatically detecting and archiving inaccurate recognized events and detecting changes in statistics supplied for subsequent automatic retraining of at least one recognition module; a module for automatic retraining of at least one recognition module, configured to retrain at least one recognition module; a module for integration with enterprise notification systems, designed to interact with the information infrastructure of the facility; a module for monitoring parameters of at least one
  • the module for reading and primary processing of data from cameras is configured to be installed on at least one camera, while the module sets the parameters of exposure, regulation of compression, white balance, camera position, color and brightness, exposure and optical approximation, on at least one camera.
  • the module for reading and primary processing of data from cameras is configured to determine non-working conditions at the facility.
  • the module for prioritizing video streams and distributing data between recognition modules is configured to analyze incoming video data and / or past recognition results and / or in manual control mode.
  • At least one recognition module can be replaceable.
  • At least one recognition module is additionally configured to recognize part of the events by the operator.
  • At least one recognition module is additionally configured to transmit inaccurate detected events to the control center for confirmation by the operator.
  • the module for integrating the recognition results sends signals to the module for integrating with enterprise systems in the event of an event being recognized.
  • the module for integrating the recognition results is configured to receive signals from operators or from at least one sensor located on the territory of the object.
  • the module for storing and analyzing the processed data automatically archives incidents, creates an index of violations to be able to search the incident database, and has the functionality of deleting incidents that are older than the specified storage period.
  • the module for automatic additional training of at least one recognition module carries out additional training based on at least inaccurate recognized events that are received from the storage module, as well as on the basis of a notification signal about a systematic change in the statistics of incoming data.
  • a module for automatic retraining of at least one recognition module made with the possibility of retraining in manual mode.
  • the module for integration with enterprise notification systems is configured to notify the responsible circle of persons by sending messages by e-mail and / or SMS and / or Internet messengers.
  • the information output module is configured to provide web access to visualization, work history and control module, and also provides authorized users to monitor and configure the operation of the complex using the web interface.
  • Figure 1 illustrates an example of the operation of a modular complex for monitoring industrial safety and technological processes.
  • FIG. 2 illustrates an example of a general arrangement of a computing device. DETAILED DESCRIPTION OF THE INVENTION
  • the proposed modular complex for monitoring industrial safety and technological processes is aimed at: automating and optimizing detection processes, preventing and responding to events, that is, violations of technological safety rules and non-compliance with technological processes at production, field and transport facilities; automation of security support procedures, in particular, automatic creation and maintenance of an indexed archive of violations, automatic detection and correction of incorrect operation of video cameras and recognition modules.
  • the use of a modular complex for monitoring industrial safety and technological processes is possible, but not limited, for monitoring compliance with the rules for drilling wells, loading and unloading cargo, monitoring the rules for slinging, monitoring the degree of loading of cars, observing the rules for working with a fuel hose, monitoring the traffic situation on railway crossing, correct connection and correct position of covers, batteries, cables, keys, etc. production facilities, determining the authorization of vehicle access by analyzing its license plate and vehicle class, as well as for the automation of any other technological processes where human recognition is possible.
  • the modular complex for monitoring industrial safety and technological processes can be used with existing video surveillance cameras of the enterprise and can be located both at the facility itself and in a remote data processing center, depending on the specifics of production, as well as taking into account the possibilities for organizing high-speed data transmission.
  • Markers can be, at least, but not limited to, any kind of occupational, human or non-human disorder. Recognition of markers is performed in real time using both frame-by-frame recognition and analysis of dynamics over time.
  • the proposed modular complex has built-in adaptive tracking of recognized objects (people, cars, given parts of production plants), which makes it possible to efficiently use computational resources, limiting the areas of application of recognition algorithms to predicted possible positions of objects.
  • tracking can be used to reduce the delay between the occurrence of an event and the reaction to it due to predictive recognition (for example, predicting a likely person crossing the border of a danger zone based on the data that a person is walking in its direction and does not slow down).
  • Tracking is primarily built in the integration module, however, due to the use of recurrent neural networks, it can be built directly into the recognition module.
  • the proposed modular complex for monitoring industrial safety and technological processes contains automatic calibration.
  • one of the most labor-intensive parts is the initial setup and calibration of cameras and lighting, as well as further control of their correct position and operating conditions, the proposed modular complex significantly reduces the time and costs for deployment and operation through the use of auto-calibration algorithms and autodiagnostics.
  • the proposed modular complex is resistant to changing operating conditions.
  • Industrial recognition systems are required to operate around the clock throughout the year, in a variety of conditions. It is necessary to take into account the whole range of weather and lighting conditions in which the correct operation of the module may be required: for training and setting up the system, large amounts of data are required, captured in such conditions. At the same time, some of these conditions are difficult to reproduce and the prompt collection of a relevant training sample of sufficient volume seems impossible.
  • one or another data augmentation technology can be used, which makes it possible to simulate a survey in problematic weather conditions.
  • the proposed modular complex performs load balancing in real time.
  • tens of streams of video data are processed simultaneously.
  • the complexity of processing frames of various video streams can vary significantly: for example, if it is necessary to track each object, the computational cost of processing a frame grows with an increase in the number of analyzed objects.
  • Centralized processing of video streams allows you to reduce the required processing power by dynamically allocating resources to work with different streams.
  • the architecture of the proposed modular complex for monitoring industrial safety and technological processes is shown in Fig. 1.
  • a module for reading and processing data from cameras configured to automatically adjust the parameters of at least one camera and detect system failures.
  • Adjusting camera settings includes at least but not limited to setting shutter speed, adjusting video compression, setting white balance, camera position (in case of rotary mechanism), color and brightness, exposure and optical zoom.
  • the module is also capable of detecting non-working conditions at the enterprise (lack of lighting, high smoke, etc.).
  • the module for reading and processing data reads data from cameras and sends it to the module for prioritizing video streams and distributing data between recognition modules.
  • the module for prioritizing video streams and distributing data between recognition modules analyzes incoming video data, as well as past recognition results to prioritize and distribute data between recognition modules.
  • Prioritization is carried out in order to load the computing resources evenly, to ensure that information from each camera is regularly checked for violations, to allocate additional resources to launch additional clarifying algorithms for complex cases, to ensure the fastest response to violations in high-risk areas.
  • the stream prioritization and data distribution module can also operate in manual control mode, when the priority and importance of various markers are adjusted in real time by the operator.
  • At least one recognition module capable of recognizing events using machine learning algorithms and / or computer vision and / or statistical analysis algorithms.
  • Recognition modules are replaceable modules, that is, a module can be trained for each required scenario. For example, in an enterprise it is mandatory to wear a helmet in the work area, therefore, the recognition module is trained to identify persons who do not wear a helmet in the work area.
  • Recognition modules use various models of ultra-precise neural networks operating on the image pyramid to ensure high recognition accuracy at different scales, including anchored or anchorless ones with early exit branches from computing (for quick decision making in simple cases), including using retrained ones. transfer of models originally trained on third-party datasets. Learning is carried out using traditional methods of teaching neural networks, including using transfer learning technologies and multitasking (broad) learning.
  • the modular complex can support hybrid modes of operation, in which part of the violations are detected by the operator.
  • especially important or, conversely, inaccurately recognized violations can be submitted to a special control center for confirmation by the operator.
  • the difference between the stream prioritization module and data distribution and recognition models from the existing solutions is that the proposed recognition modules have different detecting functionality and speed and / or are implemented in the form of anytime algorithms, which allows using the stream prioritization module to dynamically vary the balance between quality and recognition speed.
  • a module for integrating recognition results configured to make decisions on the presence or probability of an event (violation), as well as to communicate with the video stream prioritization module for rechecking inaccurate event recognition.
  • the above module makes the final decision about the presence or the likelihood of a violation, based on the data received from the recognition modules, and sends signals to the module for integration with enterprise systems.
  • the difference between the integration module and analogs lies in the presence of feedback with the prioritization module, which makes it possible to re-check or clarify inaccurate recognition, including taking into account the understanding of the recognition of an event in the past or recognition by other modules and / or from other angles.
  • the module for integrating recognition results can receive signals from operators or from sensors (temperature, movement, etc.) located on the territory of the enterprise.
  • a module for storing and analyzing processed data capable of automatically detecting and archiving inaccurate recognized events and detecting changes in statistics coming in for subsequent automatic additional training of at least one recognition module.
  • the specified module for storing and analyzing the processed data automatically archives incidents, creates an index of violations to make it possible to search through the incident database, for example, all violations with the tag "helmet not worn in the working area" are automatically recognized, and at the user's request, "a man without a mask” will be automatically a report was generated that contains information about the time and place of the violation, as well as the ability to view a short video with the moment of the violation.
  • the specified module has the functionality of deleting incidents, the storage period of which is longer than the specified storage period.
  • the function that distinguishes this module from analogues is the automatic detection and archiving of inaccurate (problematic) cases of recognition and detection of changes in statistics, incoming data for subsequent automatic additional training of recognition modules.
  • the mount on which the camera stands is slowly (over the course of months) deformed, and thus the scene image becomes gradually rotated relative to the image on which the camera was initially calibrated.
  • the module allows you to automatically detect such systematic deviations. Other examples would be the changing seasons.
  • Module for automatic retraining of at least one recognition module configured to retrain at least one recognition module.
  • the automatic retraining module receives inaccurate (problematic) data from the storage module, as well as a notification about systematic changes in the statistics of incoming data. Using this data, the module performs automatic additional training of recognition modules to ensure high recognition quality in the event of a gradual change in the sample supplied to the input (for example, a change in the type of overalls, a change in the season, etc.). Additional training is carried out using traditional methods of teaching neural networks, including using transfer learning technologies and multitasking (broad) learning.
  • Additional training of recognition modules in addition to using the automatic additional training module, can be carried out by engineers in manual mode. It is possible to set the desired parameters of the trained system to achieve the necessary balance between various consumer qualities of the resulting system, such as the proportion of false alarms (both positive and negative), the speed of the system, the minimum time of a detected violation, the minimum size of the detected object, the number of missed cases, the relative the importance of violations of various kinds.
  • a signal is sent to the module for integration with enterprise notification systems, made with the ability to interact with the information infrastructure of the facility.
  • the module for integration with enterprise information systems is also capable of notifying the responsible circle of persons by sending messages by e-mail, SMS or Internet messengers (for example, but not limited to Telegram, Whatsapp).
  • a module for monitoring parameters of at least one camera and at least one recognition module configured to transfer at least one recognition module to another mode without significant interaction with other modules of the complex.
  • the modular recognition system allows flexible and timed implementation and development of different scenarios.
  • the unification of the interfaces of integrating systems allows the use of recognition solutions from different vendors for different scenarios, as well as intelligently combine recognition solutions from different vendors for the same script in order to improve the quality of recognition by means of a voting scheme or any other method of integration.
  • the information output module provides web access to visualization, work history and control module, where authorized users can monitor and configure the system using the web interface.
  • the web application which is used to monitor and control the state of the system, it is possible to use desktop or mobile applications.
  • FIG. 2 a general diagram of a computing device (200) that provides data processing necessary for the implementation of the claimed solution will be presented below.
  • the device (200) contains components such as: one or more processors (201), at least one memory (202), data storage (203), input / output interfaces (204), I / O means ( 205), networking tools (206).
  • processors 201
  • memory 202
  • data storage 203
  • input / output interfaces 204
  • I / O means 205
  • networking tools 206
  • the processor (201) of the device performs the basic computational operations necessary for the operation of the device (200) or the functionality of one or more of its components.
  • the processor (201) executes the necessary computer readable instructions contained in the main memory (202).
  • Memory (202) is made in the form of RAM and contains the necessary program logic that provides the required functionality.
  • the data storage medium (203) can be performed in the form of HDD, SSD disks, raid array, network storage, flash memory, optical information storage devices (CD, DVD, MD, Blue-Ray disks), etc.
  • the means (203) allows performing long-term storage of various types of information, for example, the aforementioned files with user data sets, a database containing records of time intervals measured for each user, user identifiers, etc.
  • Interfaces (204) are standard means for connecting and working with the server side, for example, USB, RS232, RJ45, LPT, COM, HDMI, PS / 2, Lightning, FireWire, etc.
  • keyboard can be used.
  • the hardware design of the keyboard can be any known: it can be either a built-in keyboard used on a laptop or netbook, or a stand-alone device connected to a desktop computer, server or other computer device.
  • connection can be either wired, in which the connecting cable of the keyboard is connected to the PS / 2 or USB port located on the system unit of the desktop computer, or wireless, in which the keyboard exchanges data via a wireless communication channel, for example, a radio channel, with base station, which, in turn, is directly connected to the system unit, for example, to one of the USB ports.
  • I / O data can also include: joystick, display (touch screen), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
  • Networking means (206) are selected from a device that provides network reception and transmission of data, for example, Ethernet card, WLAN / Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc.
  • the means (205) provide the organization of data exchange via a wired or wireless data transmission channel, for example, WAN, PAN, LAN, Intranet, Internet, WLAN, WMAN or GSM.
  • the components of the device (200) are interfaced through a common data bus (210).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to the field of computing. The technical result is that of broadening the dynamic settings for a wide variety of automatically detectable errors at an infrastructure facility. A modular system for monitoring production safety and technical procedures, which can be connected to the video surveillance system of a facility, comprises: a module for reading and performing primary processing of data from cameras, a module for prioritizing video streams and distributing data among recognition modules, at least one recognition module, a module for integrating recognition results, a module for storing and analyzing processed data, a module for performing automatic retraining, a module for integration with operator warning systems, a module for monitoring parameters of at least one camera and at least one recognition module, and a module for outputting information.

Description

МОДУЛЬНЫЙ КОМПЛЕКС КОНТРОЛЯ ПРОИЗВОДСТВЕННОЙ БЕЗОПАСНОСТИ И ТЕХНОЛОГИЧЕСКИХ ПРОЦЕССОВ MODULAR COMPLEX FOR CONTROL OF PRODUCTION SAFETY AND TECHNOLOGICAL PROCESSES
ОБЛАСТЬ ТЕХНИКИ FIELD OF TECHNOLOGY
Настоящее техническое решение относится к области вычислительной техники, в частности, к модульному комплексу контроля производственной безопасности и технологических процессов. This technical solution relates to the field of computer technology, in particular, to a modular complex for monitoring industrial safety and technological processes.
УРОВЕНЬ ТЕХНИКИ LEVEL OF TECHNOLOGY
Из уровня техники известен источник информации US 8,599,266 В2, 03.12.2013, раскрывающий цифровую обработку видеосигнала, где видеосистема может использоваться в ситуациях, когда желательно или необходимо, чтобы оператор или пользователь видеосистемы отсутствовал в месте расположения видеокамеры. Например, в охранных и антитеррористических видеосистемах, сеть видеокамер может быть установлена в критических местах, таких как аэропорты, автобусные и железнодорожные станции, военные базы и т.д. Заявленная видеосистема содержит по меньшей мере одну видеокамеру для захвата подверженных дисторсии панорамных видеоизображений сцены и создания видеопотока. Видеосистема также содержит процессор для приема и обработки указанного видеопотока, причем указанный процессор содержит: первый модуль обработки для развертывания упомянутых подверженных дисторсии панорамных видеоизображений для получения ректифицированных видеоизображений сцены, при этом упомянутый первый модуль обработки обеспечивает настройки панорамирования, наклона и масштабирования для обеспечения настраиваемого просмотра сцены и второй модуль обработки для обнаружения и отслеживания головы человека в прямолинейных (ректифицированных) видеоизображениях и для извлечения видеоизображений в виде человека из прямолинейных видеоизображений. A source of information US 8,599,266 B2, 03.12.2013, disclosing digital processing of a video signal, where a video system can be used in situations where it is desirable or necessary that the operator or user of the video system be absent from the location of the video camera, is known from the prior art. For example, in security and anti-terrorist video systems, a network of video cameras can be installed in critical locations such as airports, bus and train stations, military bases, etc. The claimed video system contains at least one video camera for capturing distorted panoramic video images of a scene and creating a video stream. The video system also comprises a processor for receiving and processing said video stream, said processor comprising: a first processing unit for deploying said distorted panoramic video images to obtain rectified video images of a scene, said first processing unit providing pan, tilt and zoom settings to provide a custom scene view and a second processing unit for detecting and tracking a human head in rectilinear (rectified) video images and for extracting human video images from rectilinear video images.
Предлагаемое решение, отличается от известного из уровня техники решения тем, что содержит модуль хранения и анализа обработанных данных, выполненный с возможностью автоматического детектирования и архивирования данных, неточных распознаваний события и детектирования изменения статистик, поступающих для последующего автоматического дообучения по меньшей мере одного модуля распознавания, а также модуль автоматического дообучения по меньшей мере одного модуля распознавания, выполненный с возможностью дообучения по меньшей мере одного модуля распознавания, для динамической настройки множества автоматически обнаруживаемых событий на производстве, и как следствие - уменьшение времени оповещения ответственного персонала в случае таких нарушений. The proposed solution differs from the known from the prior art solution in that it contains a module for storing and analyzing the processed data, made with the possibility of automatic detection and archiving of data, inaccurate event recognition and detection of changes in statistics received for subsequent automatic additional training of at least one recognition module, as well as a module for automatic additional training in of at least one recognition module, configured to retrain at least one recognition module to dynamically adjust a plurality of automatically detected events in production, and, as a consequence, reduce the time for notifying the responsible personnel in the event of such violations.
Из уровня техники известно также решение, раскрытое в источнике информации CN101833838 В, 06.06.2012, которое направлено на анализ видеопотока и раннее предупреждение о пожаре большого радиуса действия. Система анализа и раннего предупреждения о пожаре большого радиуса действия, содержит базу данных характеристик пожара, модуль захвата видео, модуль сбора температуры, модуль улучшения качества видео, модуль извлечения характеристики пожара, модуль идентификации характеристик пожара , модуль оценки правил управления и контроля при пожаре, а также платформу управления и контроля в случае пожара в режиме реального времени, в которой база данных характеристик пожара включает модель изображения дыма / пламени. Модуль видеозахвата используется для захвата цифровых видеоизображений в большом диапазоне; модуль сбора температуры используется для сбора информации о температуре через тепловизионное устройство; модуль улучшения качества видео используется для улучшения качества видеоизображения; модуль извлечения характеристик пожарной катастрофы используется для выделения переднего плана, сопоставления целей и классификации целей на видеопоследовательности; модуль идентификации характеристик пожарной катастрофы используется для сравнения и идентификации видеообъекта с базой данных характеристик пожарной катастрофы в соответствии с параметрами, установленными пользователем; модуль оценки правил управления пожарными авариями и управления ими используется для оценки того, нарушено ли правило или нет в соответствии с правилом, заданным пользователем, путем объединения характеристик видео и значений температуры и, если это так, отправки аномальной информации. A solution is also known from the prior art, disclosed in the information source CN101833838 B, 06.06.2012, which is aimed at analyzing the video stream and early warning of a long-range fire. A long-range fire analysis and early warning system, contains a database of fire characteristics, a video capture module, a temperature collection module, a video quality improvement module, a fire characteristics extraction module, a fire characteristics identification module, a fire control and monitoring rules evaluation module, and also a real-time fire command and control platform in which the fire performance database includes a smoke / flame image model. The video capture module is used to capture large-range digital video images; a temperature collection module is used to collect temperature information through a thermal imaging device; the video quality enhancer is used to improve the video image quality; the module for extracting characteristics of a fire disaster is used to highlight the foreground, match targets and classify targets on the video sequence; the module for identifying characteristics of a fire disaster is used to compare and identify a video object with a database of characteristics of a fire disaster in accordance with the parameters set by the user; The fire alarm management and control rule evaluation module is used to evaluate whether a rule is violated or not according to a user-defined rule by combining video characteristics and temperature values and, if so, sending anomalous information.
Предлагаемое решение использует алгоритмы видеоаналитики, позволяющие обнаруживать более широкий спектр нарушений, которые создают опасность для персонала, например, неиспользование средств индивидуальной защиты, некорректная техника работы с аппаратом. The proposed solution uses video analytics algorithms that allow detecting a wider range of violations that pose a danger to personnel, for example, non-use of personal protective equipment, incorrect technique for working with the device.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ Технической проблемой, на решение которой направлено заявленное решение, является создание модульного комплекса контроля производственной безопасности и технологических процессов, который охарактеризован в независимом пункте формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения. SUMMARY OF THE INVENTION The technical problem to be solved by the claimed solution is the creation of a modular complex for monitoring industrial safety and technological processes, which is described in an independent paragraph of the formula. Additional embodiments of the present invention are presented in the dependent claims.
Технический результат заключается в расширении динамических настроек множества автоматически обнаруживаемых нарушений на объекте инфраструктуры. Дополнительными техническими результатами являются уменьшение времени оповещения ответственного персонала в случае обнаружения нарушений, обеспечение устойчивой работы системы мониторинга в случае повышенных нагрузок на сервер и/или при выходе из строя части оборудования, увеличение срока эксплуатации системы, а также снижение времени работы, ниже требуемой эффективности, за счет автодиагностирования и автокалибровки системы. The technical result consists in expanding the dynamic settings of the set of automatically detected violations at the infrastructure facility. Additional technical results are a reduction in the time for alerting the responsible personnel in case of violations, ensuring the stable operation of the monitoring system in the event of increased server loads and / or in the event of a piece of equipment failure, an increase in the service life of the system, as well as a decrease in the operating time below the required efficiency, due to autodiagnostics and autocalibration of the system.
Заявленный результат достигается за счет работы модульного комплекса контроля производственной безопасности и технологических процессов, подключаемый к системе видеонаблюдения объекта, содержащий: модуль чтения и первичной обработки данных с камер, выполненный с возможностью в автоматическом режиме настраивать параметры по меньшей мере одной камеры, а также обнаружения сбоев в системе; модуль приоритизации видеопотоков и распределения данных между модулями распознавания; по меньшей мере один модуль распознавания, выполненный с возможностью распознавания события при помощи алгоритмов машинного обучения и\или алгоритмов компьютерного зрения и\или статистического анализа; модуль интегрирования результатов распознавания, выполненный с возможностью принятия решений о наличии или вероятности события, а также с возможностью связи с модулем приоритезации видеопотоков для перепроверки неточных распознанных событий; модуль хранения и анализа обработанных данных, выполненный с возможностью автоматического детектирования и архивирования неточных распознанных событий и детектирования изменения статистик, поступающих для последующего автоматического дообучения по меньшей мере одного модуля распознавания; модуль автоматического дообучения по меньшей мере одного модуля распознавания, выполненный с возможностью дообучения по меньшей мере одного модуля распознавания; модуль интеграции с системами оповещения предприятий, выполненный с возможностью взаимодействия с информационной инфраструктурой объекта; модуль контроля параметров по меньшей мере одной камеры и по меньшей мере одного модуля распознавания, выполненный с возможностью изменения конфигурации по меньшей мере одного модуля распознавания без взаимодействия с другими модулями комплекса; модуль вывода информации. The claimed result is achieved due to the operation of a modular complex for monitoring industrial safety and technological processes, connected to the video surveillance system of an object, containing: a module for reading and primary processing of data from cameras, configured to automatically adjust the parameters of at least one camera, as well as detect failures in system; a module for prioritizing video streams and distributing data between recognition modules; at least one recognition module configured to recognize an event using machine learning algorithms and / or computer vision and / or statistical analysis algorithms; a module for integrating recognition results, configured to make decisions about the presence or likelihood of an event, and also to communicate with the video stream prioritization module for rechecking inaccurate recognized events; a processed data storage and analysis module capable of automatically detecting and archiving inaccurate recognized events and detecting changes in statistics supplied for subsequent automatic retraining of at least one recognition module; a module for automatic retraining of at least one recognition module, configured to retrain at least one recognition module; a module for integration with enterprise notification systems, designed to interact with the information infrastructure of the facility; a module for monitoring parameters of at least one camera and at least one recognition module, configured to change the configuration of at least one recognition module without interacting with other modules of the complex; information output module.
В частном варианте реализации предлагаемого решения, модуль чтения и первичной обработки данных с камер, выполнен с возможностью установки, на по меньшей мере одну камеру, при этом модуль устанавливает параметры выдержки, регулирования сжатия, баланса белого, положения камеры, цвета и яркости, экспозиции и оптического приближения, на по меньшей мере одной камере. In a particular embodiment of the proposed solution, the module for reading and primary processing of data from cameras is configured to be installed on at least one camera, while the module sets the parameters of exposure, regulation of compression, white balance, camera position, color and brightness, exposure and optical approximation, on at least one camera.
В другом частном варианте реализации предлагаемого решения, модуль чтения и первичной обработки данных с камер, выполнен с возможностью определения нерабочих условий на объекте. In another particular embodiment of the proposed solution, the module for reading and primary processing of data from cameras is configured to determine non-working conditions at the facility.
В другом частном варианте реализации предлагаемого решения, модуль приоритизации видеопотоков и распределения данных между модулями распознавания, выполнен с возможностью анализа поступающих видеоданных и/или прошлых результатов распознавания и/или в ручном режиме управления. In another particular embodiment of the proposed solution, the module for prioritizing video streams and distributing data between recognition modules is configured to analyze incoming video data and / or past recognition results and / or in manual control mode.
В другом частном варианте реализации предлагаемого решения, по меньшей мере один модуль распознавания может быть заменяемым. In another particular embodiment of the proposed solution, at least one recognition module can be replaceable.
В другом частном варианте реализации предлагаемого решения, по меньшей мере один модуль распознавания дополнительно выполнен с возможностью распознавания части событий оператором. In another particular embodiment of the proposed solution, at least one recognition module is additionally configured to recognize part of the events by the operator.
В другом частном варианте реализации предлагаемого решения, по меньшей мере один модуль распознавания дополнительно выполнен с возможностью передачи неточных распознанных событий на диспетчерский пункт для подтверждения оператором. In another particular embodiment of the proposed solution, at least one recognition module is additionally configured to transmit inaccurate detected events to the control center for confirmation by the operator.
В другом частном варианте реализации предлагаемого решения, модуль интегрирования результатов распознавания отправляет сигналы в модуль интеграции с системами предприятия, в случае распознавания события. В другом частном варианте реализации предлагаемого решения, модуль интегрирования результатов распознавания выполнен с возможностью принимать сигналы от операторов или от по меньшей мере одного датчика, который расположен на территории объекта. In another particular embodiment of the proposed solution, the module for integrating the recognition results sends signals to the module for integrating with enterprise systems in the event of an event being recognized. In another particular embodiment of the proposed solution, the module for integrating the recognition results is configured to receive signals from operators or from at least one sensor located on the territory of the object.
В другом частном варианте реализации предлагаемого решения, модуль хранения и анализа обработанных данных осуществляет автоматическое архивирование инцидентов, создает индекс нарушений для возможности поиска по базе инцидентов, имеет функционал удаления инцидентов давности больше установленного срока хранения. In another particular embodiment of the proposed solution, the module for storing and analyzing the processed data automatically archives incidents, creates an index of violations to be able to search the incident database, and has the functionality of deleting incidents that are older than the specified storage period.
В другом частном варианте реализации предлагаемого решения, модуль автоматического дообучения по меньшей мере одного модуля распознавания, осуществляет дообучение на основании по меньшей мере неточных распознанных событий, которые получены от модуля хранения, а также на основании сигнала оповещения о систематическом изменении статистик входящих данных. In another particular embodiment of the proposed solution, the module for automatic additional training of at least one recognition module carries out additional training based on at least inaccurate recognized events that are received from the storage module, as well as on the basis of a notification signal about a systematic change in the statistics of incoming data.
В другом частном варианте реализации предлагаемого решения, модуль автоматического дообучения по меньшей мере одного модуля распознавания, выполненный с возможностью дообучения в ручном режиме. In another particular embodiment of the proposed solution, a module for automatic retraining of at least one recognition module, made with the possibility of retraining in manual mode.
В другом частном варианте реализации предлагаемого решения, модуль интеграции с системами оповещения предприятий, выполнен с возможностью оповещения ответственного круга лиц, посредством рассылки сообщений по электронной почте и/или СМС и/или интернет-мессенджерам. In another particular embodiment of the proposed solution, the module for integration with enterprise notification systems is configured to notify the responsible circle of persons by sending messages by e-mail and / or SMS and / or Internet messengers.
В другом частном варианте реализации предлагаемого решения, модуль вывода информации, выполненный с возможностью предоставления веб-доступа к визуализации, истории работы и модулю контроля, а также предоставляет авторизованным пользователям отслеживать и настраивать работу комплекса с использованием веб-интерфейса. In another particular embodiment of the proposed solution, the information output module is configured to provide web access to visualization, work history and control module, and also provides authorized users to monitor and configure the operation of the complex using the web interface.
ОПИСАНИЕ ЧЕРТЕЖЕЙ DESCRIPTION OF DRAWINGS
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи: The implementation of the invention will be described in the following in accordance with the accompanying drawings, which are presented to explain the essence of the invention and in no way limit the scope of the invention. The following drawings are attached to the application:
Фиг.1 , иллюстрирует пример работы модульного комплекса контроля производственной безопасности и технологических процессов. Figure 1 illustrates an example of the operation of a modular complex for monitoring industrial safety and technological processes.
Фиг. 2, иллюстрирует пример общей схемы вычислительного устройства. ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ FIG. 2 illustrates an example of a general arrangement of a computing device. DETAILED DESCRIPTION OF THE INVENTION
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения. In the following detailed description of an implementation of the invention, numerous implementation details are set forth in order to provide a thorough understanding of the present invention. However, it will be obvious to those skilled in the art how the present invention can be used, with or without these implementation details. In other instances, well-known techniques, procedures, and components have not been described in detail so as not to obscure the details of the present invention.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов. In addition, it will be clear from the above description that the invention is not limited to the above implementation. Numerous possible modifications, changes, variations and substitutions, while retaining the spirit and form of the present invention, will be apparent to those skilled in the art.
Предлагаемый модульный комплекс контроля производственной безопасности и технологических процессов направлен на: автоматизацию и оптимизацию процессов обнаружения, предотвращение и реагирование на факты событий, то есть нарушений правил технологической безопасности й несоблюдения технологических процессов на производственных, промысловых и транспортных объектах; автоматизацию процедур поддержки системы безопасности, в частности, автоматическое создание и поддержка индексированного архива нарушений, автоматическое обнаружение и исправление некорректной работы видеокамер и модулей распознавания. The proposed modular complex for monitoring industrial safety and technological processes is aimed at: automating and optimizing detection processes, preventing and responding to events, that is, violations of technological safety rules and non-compliance with technological processes at production, field and transport facilities; automation of security support procedures, in particular, automatic creation and maintenance of an indexed archive of violations, automatic detection and correction of incorrect operation of video cameras and recognition modules.
Использование модульного комплекса контроля производственной безопасности и технологических процессов возможно, но не ограничивается, для контроля соблюдения правил бурения скважин, погрузки-разгрузки грузов, контроля за правилами строповки, слежения за степенью загрузки вагонов, соблюдения правил работы с топливным рукавом, мониторинга за дорожной ситуацией на железнодорожном переезде, правильного подключения и правильного положения крышек, элементов питания, тросов, ключей и т.д. производственных установок, определения санкционированности доступа транспортного средства путем анализа его номерного знака и класса транспортного средства, а также для автоматизации любых других технологических процессов, где возможно распознавание человеком. Модульный комплекс контроля производственной безопасности и технологических процессов может использоваться с существующими камерами видеонаблюдения предприятия и размещаться как на самом объекте, так и в удаленном центре обработки данных, в зависимости от специфики производства, а также с учетом возможностей по организации высокоскоростной передачи данных. The use of a modular complex for monitoring industrial safety and technological processes is possible, but not limited, for monitoring compliance with the rules for drilling wells, loading and unloading cargo, monitoring the rules for slinging, monitoring the degree of loading of cars, observing the rules for working with a fuel hose, monitoring the traffic situation on railway crossing, correct connection and correct position of covers, batteries, cables, keys, etc. production facilities, determining the authorization of vehicle access by analyzing its license plate and vehicle class, as well as for the automation of any other technological processes where human recognition is possible. The modular complex for monitoring industrial safety and technological processes can be used with existing video surveillance cameras of the enterprise and can be located both at the facility itself and in a remote data processing center, depending on the specifics of production, as well as taking into account the possibilities for organizing high-speed data transmission.
При установке непосредственно на объекте возможно использование вычислительных блоков в пыле- и гидростойком исполнении, с возможностью одновременного подключения от 2 до 16 видеокамер на один модуль чтения и первичной обработки данных в зависимости от конкретного набора распознаваемых маркеров и требований к скорости реакции на события. When installed directly at the facility, it is possible to use dust and water resistant computing units, with the ability to simultaneously connect from 2 to 16 video cameras per reading and primary data processing module, depending on a specific set of recognizable markers and requirements for the speed of reaction to events.
Маркерами могут быть, по меньшей мере, но не ограничиваясь, любой вид нарушений на производстве, нарушения, связанные с человеком или не связанные с человеком. Распознавание маркеров производится в реальном времени с использованием как покадрового распознавания, так и анализа динамики в течение времени. Markers can be, at least, but not limited to, any kind of occupational, human or non-human disorder. Recognition of markers is performed in real time using both frame-by-frame recognition and analysis of dynamics over time.
В предлагаемый модульный комплекс встроен адаптивный трекинг распознаваемых объектов (людей, автомобилей, заданных частей производственных установок), который позволяет эффективно использовать вычислительные ресурсы, ограничивая области применения распознающих алгоритмов предсказанными возможными положениями объектов. Аналогично, трекинг может быть применен для сокращения задержки между возникновением события и реакции на него за счет предсказательного распознавания (например, предсказание вероятного пересечения человеком границы опасной зоны на основании данных, что человек идет в ее направлении и не замедляет своего движения). The proposed modular complex has built-in adaptive tracking of recognized objects (people, cars, given parts of production plants), which makes it possible to efficiently use computational resources, limiting the areas of application of recognition algorithms to predicted possible positions of objects. Similarly, tracking can be used to reduce the delay between the occurrence of an event and the reaction to it due to predictive recognition (for example, predicting a likely person crossing the border of a danger zone based on the data that a person is walking in its direction and does not slow down).
В первую очередь трекинг строится в модуле интегрирования, однако за счет использования рекуррентных нейронных сетей он может быть встроен прямо в модуль распознавания. Tracking is primarily built in the integration module, however, due to the use of recurrent neural networks, it can be built directly into the recognition module.
Для минимизации количества ошибок и достижения оптимального (проблемно-специфичного) баланса ложных срабатываний и пропусков событий возможно использования ряда подходов: To minimize the number of errors and achieve an optimal (problem-specific) balance of false positives and missing events, it is possible to use a number of approaches:
• Трекинг объектов на основе модели движения и/или динамически созданной модели сцены предотвращает потерю объектов при частичном либо кратковременном полном заслонении. • Использование меток уверенности в модулях распознавания позволяет учитывать при принятии итогового решения только высокоинформативные моменты, таким образом избегая ошибок, в частности, при детектировании наличия средств индивидуальной защиты (каски, перчатки, жилеты) при невозможности их уверенно различить вследствие временного полного перекрытия; • Tracking of objects based on a motion model and / or a dynamically created scene model prevents the loss of objects in case of partial or short-term complete occlusion. • The use of confidence marks in recognition modules allows only highly informative moments to be taken into account when making a final decision, thus avoiding mistakes, in particular, when detecting the presence of personal protective equipment (helmets, gloves, vests) when it is impossible to reliably distinguish them due to temporary complete overlap;
•Учет геометрии сцены позволяет дополнительно сузить пространство поиска интересующих объектов, исключая заведомо невозможные результаты. • Taking into account the geometry of the scene allows you to further narrow the search space for objects of interest, excluding obviously impossible results.
Предлагаемый модульный комплекс контроля производственной безопасности и технологических процессов содержит автоматическую калибровку. При развертывании и поддержке индустриальных систем распознавания одной из наиболее трудозатратных частей является первоначальная настройка и калибровка камер и освещения, а также дальнейший контроль их правильного положения и условий эксплуатации, предлагаемый модульный комплекс значительно снижает время и затраты на развертывание и эксплуатацию за счет использования алгоритмов автокалибровки и автодиагностики. The proposed modular complex for monitoring industrial safety and technological processes contains automatic calibration. When deploying and supporting industrial recognition systems, one of the most labor-intensive parts is the initial setup and calibration of cameras and lighting, as well as further control of their correct position and operating conditions, the proposed modular complex significantly reduces the time and costs for deployment and operation through the use of auto-calibration algorithms and autodiagnostics.
Предлагаемый модульный комплекс устойчив к смене условий эксплуатации. От индустриальных распознающих систем требуется круглосуточная работа в течение года, в самых разных условиях. Необходимо учитывать весь спектр погодных условий и условий освещения, в которых может потребоваться корректная работа модуля: для обучения и настройки системы необходимы большие объемы данных, снятых в таких условиях. При этом некоторые из этих условий трудно воспроизводимы и оперативный сбор релевантной обучающей выборки достаточного объема представляется невозможным. При обучении модульного комплекса может использоваться та или иная технология аугментации данных, позволяющая моделировать съемку в проблемных погодных условиях. The proposed modular complex is resistant to changing operating conditions. Industrial recognition systems are required to operate around the clock throughout the year, in a variety of conditions. It is necessary to take into account the whole range of weather and lighting conditions in which the correct operation of the module may be required: for training and setting up the system, large amounts of data are required, captured in such conditions. At the same time, some of these conditions are difficult to reproduce and the prompt collection of a relevant training sample of sufficient volume seems impossible. When training a modular complex, one or another data augmentation technology can be used, which makes it possible to simulate a survey in problematic weather conditions.
Предлагаемый модульный комплекс осуществляет балансировку нагрузки в режиме реального времени. В масштабной распознающей системе одновременно происходит обработка десятков потоков видеоданных. При этом сложность обработки кадров различных видеопотоков может значительно различаться: например, при необходимости трекинга каждого объекта, вычислительная стоимость обработки кадра растет с увеличением числа анализируемых объектов. Централизованная обработка видеопотоков позволяет сократить требуемые вычислительные мощности за счет динамического распределения ресурсов для работы с различными потоками. Архитектура предлагаемого модульного комплекса контроля производственной безопасности и технологических процессов представлена на фиг.1. The proposed modular complex performs load balancing in real time. In a large-scale recognition system, tens of streams of video data are processed simultaneously. At the same time, the complexity of processing frames of various video streams can vary significantly: for example, if it is necessary to track each object, the computational cost of processing a frame grows with an increase in the number of analyzed objects. Centralized processing of video streams allows you to reduce the required processing power by dynamically allocating resources to work with different streams. The architecture of the proposed modular complex for monitoring industrial safety and technological processes is shown in Fig. 1.
Модуль чтения и обработки данных с камер, выполненный с возможностью в автоматическом режиме настраивать параметры по меньшей мере одной камеры и обнаруживать сбои в системе. Настойка параметров камеры включает по меньшей мере, но не ограничиваясь, установка выдержки, регулирование сжатия видео, установка баланса белого, положение камеры (в случае наличия вращательного механизма), цвета и яркости, экспозиции и оптического приближения. A module for reading and processing data from cameras, configured to automatically adjust the parameters of at least one camera and detect system failures. Adjusting camera settings includes at least but not limited to setting shutter speed, adjusting video compression, setting white balance, camera position (in case of rotary mechanism), color and brightness, exposure and optical zoom.
Кроме сбоев в работе камеры (сбитие, загрязнение и другие) модуль также способен обнаруживать нерабочие условия на предприятии (отсутствие освещения, высокая задымленность и др.). In addition to camera malfunctions (knocking down, pollution, etc.), the module is also capable of detecting non-working conditions at the enterprise (lack of lighting, high smoke, etc.).
Модуль чтения и обработки данных считывает данные с камер и направляет их в модуль приоритизации видеопотоков и распределения данных между распознавательными модулями. The module for reading and processing data reads data from cameras and sends it to the module for prioritizing video streams and distributing data between recognition modules.
Модуль приоритизации видеопотоков и распределения данных между распознавательными модулями, анализирует поступающие видеоданные, а также прошлые результаты распознавания для приоритизации и распределения данных между распознавательными модулями. The module for prioritizing video streams and distributing data between recognition modules analyzes incoming video data, as well as past recognition results to prioritize and distribute data between recognition modules.
Приоритизация осуществляется с целью равномерной загрузки вычислительных ресурсов, обеспечения регулярной проверки информации с каждой камеры на предмет нарушений, выделения дополнительных ресурсов для запуска дополнительных уточняющих алгоритмов для сложных случаев, обеспечения наиболее быстрого отклика на нарушения в зонах повышенной опасности. Prioritization is carried out in order to load the computing resources evenly, to ensure that information from each camera is regularly checked for violations, to allocate additional resources to launch additional clarifying algorithms for complex cases, to ensure the fastest response to violations in high-risk areas.
Модуль приоритизации потоков и распределения данных может работать также и в ручном режиме управления, когда приоритет и важность различных маркеров регулируются в реальном времени оператором. The stream prioritization and data distribution module can also operate in manual control mode, when the priority and importance of various markers are adjusted in real time by the operator.
По меньшей мере один модуль распознавания, выполненный с возможностью распознавания событий при помощи алгоритмов машинного обучения и\или алгоритмов компьютерного зрения и\или статистического анализа. At least one recognition module capable of recognizing events using machine learning algorithms and / or computer vision and / or statistical analysis algorithms.
Модули распознавания являются заменяемыми модулями, то есть под каждый необходимый сценарий можно обучить модуль. Например, на предприятии обязательно ношение каски в рабочей зоне, следовательно, модуль распознавания обучают на определение лиц, которые не носят каски в рабочей зоне. Модули распознавания используют различные модели сверхточных нейронных сетей, работающих на пирамиде изображений для обеспечения высокой точности распознавания на разных масштабах, в том числе якорных или безъякорных с ветками раннего выхода из вычислений (для быстрого принятия решения в простых случаях), в том числе с использованием дообученных переносом моделей, изначально обученных на сторонних датасетах. Обучение осуществляется традиционными методами обучения нейронных сетей, в том числе с использованием технологий обучения переносом и многозадачного (широкого) обучения. Recognition modules are replaceable modules, that is, a module can be trained for each required scenario. For example, in an enterprise it is mandatory to wear a helmet in the work area, therefore, the recognition module is trained to identify persons who do not wear a helmet in the work area. Recognition modules use various models of ultra-precise neural networks operating on the image pyramid to ensure high recognition accuracy at different scales, including anchored or anchorless ones with early exit branches from computing (for quick decision making in simple cases), including using retrained ones. transfer of models originally trained on third-party datasets. Learning is carried out using traditional methods of teaching neural networks, including using transfer learning technologies and multitasking (broad) learning.
Дополнительно, модульный комплекс может поддерживать гибридные режимы работы, в которых часть нарушений обнаруживается оператором. Кроме того, особенно важные или, наоборот, неточно распознанные нарушения могут подаваться на специальный диспетчерский пункт для подтверждения оператором. Additionally, the modular complex can support hybrid modes of operation, in which part of the violations are detected by the operator. In addition, especially important or, conversely, inaccurately recognized violations can be submitted to a special control center for confirmation by the operator.
Отличием модуля приоритезации потоков и распределения данных и моделей распознавания от существующих уже решений состоит в том, что предлагаемые модули распознавания обладают различным детектирующим функционалом и скоростью и/или реализованы в виде anytime алгоритмов, что позволяет с помощью модуля приоритизации потоков динамически варьировать баланс между качеством и скоростью распознавания. The difference between the stream prioritization module and data distribution and recognition models from the existing solutions is that the proposed recognition modules have different detecting functionality and speed and / or are implemented in the form of anytime algorithms, which allows using the stream prioritization module to dynamically vary the balance between quality and recognition speed.
Модуль интегрирования результатов распознавания, выполненный с возможностью принятия решений о наличии или вероятности события (нарушения), а также связи с модулем приоритезации видеопотоков для перепроверки неточных распознаваний событий. A module for integrating recognition results, configured to make decisions on the presence or probability of an event (violation), as well as to communicate with the video stream prioritization module for rechecking inaccurate event recognition.
Вышеуказанный модуль принимает окончательное решение о наличии или вероятности нарушения, на основе данных, полученных с модулей распознавания, и посылает сигналы в модуль интеграции с системами предприятия. Отличие модуля интеграции от аналогов заключается в наличии обратной связи с модулем приоритизации, что дает возможность перепроверить или уточнить неточные распознавания, в том числе с учетом понимания о распознавании события в прошлом или распознавании другими модулями и/или с других ракурсов. The above module makes the final decision about the presence or the likelihood of a violation, based on the data received from the recognition modules, and sends signals to the module for integration with enterprise systems. The difference between the integration module and analogs lies in the presence of feedback with the prioritization module, which makes it possible to re-check or clarify inaccurate recognition, including taking into account the understanding of the recognition of an event in the past or recognition by other modules and / or from other angles.
Также модуль интегрирования результатов распознавания может получать сигналы от операторов или от датчиков (температуры, движения и др.), расположенных на территории предприятия. Also, the module for integrating recognition results can receive signals from operators or from sensors (temperature, movement, etc.) located on the territory of the enterprise.
Модуль хранения и анализа данных обработанных данных, выполненный с возможностью автоматического детектирования и архивирования неточных распознанных событий и детектирования изменения статистик, поступающих для последующего автоматического дообучения по меньшей мере одного модуля распознавания. A module for storing and analyzing processed data, capable of automatically detecting and archiving inaccurate recognized events and detecting changes in statistics coming in for subsequent automatic additional training of at least one recognition module.
Указанный модуль хранения и анализа обработанных данных осуществляет автоматическое архивирование инцидентов, создает индекс нарушений для возможности поиска по базе инцидентов, например, все нарушения с меткой «каска не надета в рабочей зоне» автоматически распознаются, и по запросу пользователя «человек без маски» будет автоматически сгенерирован отчет, который содержит информацию о времени и месте нарушения, а также осуществлена возможность просмотра короткого видеоролика с моментом нарушения. Кроме того, указанный модуль имеет функционал удаления инцидентов, срок хранения которых больше установленного срока хранения. The specified module for storing and analyzing the processed data automatically archives incidents, creates an index of violations to make it possible to search through the incident database, for example, all violations with the tag "helmet not worn in the working area" are automatically recognized, and at the user's request, "a man without a mask" will be automatically a report was generated that contains information about the time and place of the violation, as well as the ability to view a short video with the moment of the violation. In addition, the specified module has the functionality of deleting incidents, the storage period of which is longer than the specified storage period.
Функцией которая отличает данный модуль от аналогов является автоматическое детектирование и архивирование неточных (проблемных) случаев распознавания и детектирования изменения статистик, поступающих данных для последующего автоматического дообучения модулей распознавания. Допустим, в процессе эксплуатации, крепление, на котором стоит камера, медленно (в течение месяцев) деформируется, и таким образом изображение сцены становится постепенно повернутым, относительно того изображения, на котором камера была изначально откалибрована. Модуль позволяет автоматически обнаруживать такие систематические отклонения. Другими примерами могут быть смена времени года. The function that distinguishes this module from analogues is the automatic detection and archiving of inaccurate (problematic) cases of recognition and detection of changes in statistics, incoming data for subsequent automatic additional training of recognition modules. Suppose, during operation, the mount on which the camera stands is slowly (over the course of months) deformed, and thus the scene image becomes gradually rotated relative to the image on which the camera was initially calibrated. The module allows you to automatically detect such systematic deviations. Other examples would be the changing seasons.
Модуль автоматического дообучения по меньшей мере одного модуля распознавания, выполненный с возможностью дообучения по меньшей мере одного модуля распознавания. Module for automatic retraining of at least one recognition module, configured to retrain at least one recognition module.
Модуль автоматического дообучения получает неточные (проблемные) данные от модуля хранения, а также оповещение о систематическом изменении статистик входящих данных. С использованием этих данных модуль производит автоматическое дообучение распознавательных модулей для обеспечения высокого качества распознавания в случае постепенного изменения подаваемой на вход выборки (например, изменения вида спецодежды, изменение времени года и т.д.). Дообучение осуществляется традиционными методами обучения нейронных сетей, в том числе с использованием технологий обучения переносом и многозадачного (широкого) обучения. The automatic retraining module receives inaccurate (problematic) data from the storage module, as well as a notification about systematic changes in the statistics of incoming data. Using this data, the module performs automatic additional training of recognition modules to ensure high recognition quality in the event of a gradual change in the sample supplied to the input (for example, a change in the type of overalls, a change in the season, etc.). Additional training is carried out using traditional methods of teaching neural networks, including using transfer learning technologies and multitasking (broad) learning.
Дообучение модулей распознавания, кроме использования модуля автоматического дообучения, может проводиться инженерами в ручном режиме. Возможно выставление желаемых параметров обученной системы для достижения необходимого баланса между различными потребительскими качествами полученной системы, такими как доля ложных срабатываний (как положительных, так и отрицательных), скорость работы системы, минимальное время детектируемого нарушения, минимальный размер обнаруживаемого объекта, число пропущенных случаев, относительная важность нарушений разного рода. Additional training of recognition modules, in addition to using the automatic additional training module, can be carried out by engineers in manual mode. It is possible to set the desired parameters of the trained system to achieve the necessary balance between various consumer qualities of the resulting system, such as the proportion of false alarms (both positive and negative), the speed of the system, the minimum time of a detected violation, the minimum size of the detected object, the number of missed cases, the relative the importance of violations of various kinds.
В случае изменения выходных данных, которые не были предусмотрены на этапе обучения развертывания системы (например, изменение геометрии сцены, изменение освещения, изменение содержимого комнаты, изменение типа камеры, изменения формы, используемой персоналом, загрязнение и сбитие камеры) для борьбы с падением качества распознавания предлагается использовать системы, автоматически детектирующие работу модулей распознавания вне настроенного диапазона параметров. Кроме автоматического обнаружения таких случаев, возможна диагностировка системы в ручном режиме с помощью веб-приложения. In case of changes in the output data that were not foreseen during the training phase of the deployment of the system (for example, changing the geometry of the scene, changing the lighting, changing the contents of the room, changing the camera type, changing the shape used by the staff, pollution and shooting down the camera) to combat the decline in recognition quality it is proposed to use systems that automatically detect the operation of recognition modules outside the configured range of parameters. In addition to automatically detecting such cases, it is possible to manually diagnose the system using a web application.
В случае обнаружения модулем хранения и анализа обработанных данных нарушения, поступает сигнал на модуль интеграции с системами оповещения предприятий, выполненный с возможностью взаимодействия с информационной инфраструктурой объекта. In the event that the storage and analysis module detects a violation of the processed data, a signal is sent to the module for integration with enterprise notification systems, made with the ability to interact with the information infrastructure of the facility.
Например, предупреждение по громкоговорителю помещения, где осуществляется нарушение техники безопасности, звук сирены, сообщение ответственному за безопасность, сигнал на остановку станка и т.д. Модуль интеграции с информационными системами предприятия также способен оповещать ответственный круг лиц посредством рассылки сообщений по электронной почте, СМС или интернет-мессенджерам (например, но не ограничиваясь, Телеграм, Whatsapp). For example, a warning from the loudspeaker of a room where a safety violation is taking place, a siren sound, a message to the person in charge of safety, a signal to stop the machine, etc. The module for integration with enterprise information systems is also capable of notifying the responsible circle of persons by sending messages by e-mail, SMS or Internet messengers (for example, but not limited to Telegram, Whatsapp).
Модуль контроля параметров по меньшей мере одной камеры и по меньшей мере одного модуля распознавания, выполненный с возможностью перевода по меньшей мере одного распознающего модуля в другой режим без значительного взаимодействия с другими модулями комплекса. A module for monitoring parameters of at least one camera and at least one recognition module, configured to transfer at least one recognition module to another mode without significant interaction with other modules of the complex.
Модульная система распознавания позволяет гибкое и распределенное по времени внедрение и разработку разных сценариев. Унификация интерфейсов интегрирующих систем позволяет использовать распознавательные решения различных поставщиков для различных сценариев, а также интеллектуально объединять распознавательные решения разных поставщиков для одного и того же сценария с целью повысить качество распознавания за счет голосующей схемы или любого другого метода комплексирования. The modular recognition system allows flexible and timed implementation and development of different scenarios. The unification of the interfaces of integrating systems allows the use of recognition solutions from different vendors for different scenarios, as well as intelligently combine recognition solutions from different vendors for the same script in order to improve the quality of recognition by means of a voting scheme or any other method of integration.
Модуль вывода информации предоставляет веб-доступ к визуализации, истории работы и модулю контроля, где авторизованные пользователи могут отслеживать и настраивать работу системы с использованием веб-интерфейса. Кроме веб-приложения, которое используется для мониторинга состояния системы и контроля за ним, возможно использование десктопных или мобильных приложений. The information output module provides web access to visualization, work history and control module, where authorized users can monitor and configure the system using the web interface. In addition to the web application, which is used to monitor and control the state of the system, it is possible to use desktop or mobile applications.
На Фиг. 2 далее будет представлена общая схема вычислительного устройства (200), обеспечивающего обработку данных, необходимую для реализации заявленного решения. FIG. 2, a general diagram of a computing device (200) that provides data processing necessary for the implementation of the claimed solution will be presented below.
В общем случае устройство (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну память (202), средство хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206). In general, the device (200) contains components such as: one or more processors (201), at least one memory (202), data storage (203), input / output interfaces (204), I / O means ( 205), networking tools (206).
Процессор (201) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (200) или функциональности одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202). The processor (201) of the device performs the basic computational operations necessary for the operation of the device (200) or the functionality of one or more of its components. The processor (201) executes the necessary computer readable instructions contained in the main memory (202).
Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Memory (202), as a rule, is made in the form of RAM and contains the necessary program logic that provides the required functionality.
Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п. The data storage medium (203) can be performed in the form of HDD, SSD disks, raid array, network storage, flash memory, optical information storage devices (CD, DVD, MD, Blue-Ray disks), etc. The means (203) allows performing long-term storage of various types of information, for example, the aforementioned files with user data sets, a database containing records of time intervals measured for each user, user identifiers, etc.
Интерфейсы (204) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Interfaces (204) are standard means for connecting and working with the server side, for example, USB, RS232, RJ45, LPT, COM, HDMI, PS / 2, Lightning, FireWire, etc.
Выбор интерфейсов (204) зависит от конкретного исполнения устройства (N00), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п. В качестве средств В/В данных (205) в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п. The choice of interfaces (204) depends on the specific design of the device (N00), which can be a personal computer, mainframe, server cluster, thin client, smartphone, laptop, etc. As means of I / O data (205) in any embodiment of the system that implements the described method, a keyboard can be used. The hardware design of the keyboard can be any known: it can be either a built-in keyboard used on a laptop or netbook, or a stand-alone device connected to a desktop computer, server or other computer device. In this case, the connection can be either wired, in which the connecting cable of the keyboard is connected to the PS / 2 or USB port located on the system unit of the desktop computer, or wireless, in which the keyboard exchanges data via a wireless communication channel, for example, a radio channel, with base station, which, in turn, is directly connected to the system unit, for example, to one of the USB ports. In addition to the keyboard, I / O data can also include: joystick, display (touch screen), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (205) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM. Networking means (206) are selected from a device that provides network reception and transmission of data, for example, Ethernet card, WLAN / Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc. The means (205) provide the organization of data exchange via a wired or wireless data transmission channel, for example, WAN, PAN, LAN, Intranet, Internet, WLAN, WMAN or GSM.
Компоненты устройства (200) сопряжены посредством общей шины передачи данных (210). The components of the device (200) are interfaced through a common data bus (210).
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники. In the present application materials, the preferred disclosure of the implementation of the claimed technical solution was presented, which should not be used as limiting other, particular embodiments of its implementation, which do not go beyond the scope of the claimed scope of legal protection and are obvious to specialists in the relevant field of technology.

Claims

Формула Formula
1. Модульный комплекс контроля производственной безопасности и технологических процессов, подключаемый к системе видеонаблюдения объекта, включающий: модуль чтения и первичной обработки данных с камер, выполненный с возможностью в автоматическом режиме настраивать параметры по меньшей мере одной камеры и обнаруживать сбои в комплексе; модуль приоритизации видеопотоков и распределения данных между модулями распознавания; по меньшей мере один модуль распознавания, выполненный с возможностью распознавания события при помощи алгоритмов машинного обучения и\или алгоритмов компьютерного зрения и\или статистического анализа; модуль интегрирования результатов распознавания, выполненный с возможностью принятия решений о наличии или вероятности события, а также с возможностью связи с модулем приоритезации видеопотоков для перепроверки неточных распознаваний событий; модуль хранения и анализа обработанных данных, выполненный с возможностью автоматического детектирования и архивирования неточных распознанных событий и детектирования изменения статистик, поступающих для последующего автоматического дообучения по меньшей мере одного модуля распознавания; модуль автоматического дообучения по меньшей мере одного модуля распознавания, выполненный с возможностью дообучения по меньшей мере одного модуля распознавания; модуль интеграции с системами оповещения предприятий, выполненный с возможностью взаимодействия с информационной инфраструктурой объекта; модуль контроля параметров по меньшей мере одной камеры и распознающих систем, выполненный с возможностью изменения конфигурации по меньшей мере одного распознающего модуля без взаимодействия с другими модулями комплекса; модуль вывода информации. 1. A modular complex for monitoring industrial safety and technological processes, connected to the video surveillance system of the facility, including: a module for reading and primary processing of data from cameras, configured to automatically adjust the parameters of at least one camera and detect failures in the complex; a module for prioritizing video streams and distributing data between recognition modules; at least one recognition module configured to recognize an event using machine learning algorithms and / or computer vision and / or statistical analysis algorithms; a module for integrating recognition results, configured to make decisions about the presence or likelihood of an event, and also to communicate with the video stream prioritization module for rechecking inaccurate recognitions of events; a processed data storage and analysis module capable of automatically detecting and archiving inaccurate recognized events and detecting changes in statistics supplied for subsequent automatic additional training of at least one recognition module; a module for automatic retraining of at least one recognition module, configured to retrain at least one recognition module; a module for integration with enterprise notification systems, designed to interact with the information infrastructure of the facility; a module for monitoring parameters of at least one camera and recognition systems, configured to change the configuration of at least one recognition module without interacting with other modules of the complex; information output module.
2. Модульный комплекс по п.1 , отличающийся тем, что модуль чтения и первичной обработки данных с камер, выполнен с возможностью установки, на по меньшей мере одну камеру, выдержки, регулирования сжатия, баланса белого, положения камеры, цвета и яркости, экспозиции и оптического приближения. 2. The modular complex according to claim 1, characterized in that the module for reading and primary processing of data from cameras is configured to install, on at least one camera, exposure, regulation of compression, white balance, camera position, color and brightness, exposure and optical approximation.
3. Модульный комплекс по п.1, отличающийся тем, что модуль чтения и первичной обработки данных с камер, выполнен с возможностью определять нерабочие условия на объекте. 3. The modular complex according to claim 1, characterized in that the module for reading and primary processing of data from cameras is configured to determine non-working conditions at the facility.
4. Модульный комплекс по п.1, отличающийся тем, что модуль приоритизации видеопотоков и распределения данных между распознавательными модулями, выполнен с возможностью анализа поступающих видеоданные и/или прошлых результатов распознавания и/или в ручном режиме управления. 4. Modular complex according to claim 1, characterized in that the module for prioritizing video streams and distributing data between recognition modules is configured to analyze incoming video data and / or past recognition results and / or in manual control mode.
5. Модульный комплекс по п.1, отличающийся тем, что по меньшей мере один модуль распознавания может быть заменяемым. 5. The modular complex according to claim 1, characterized in that at least one recognition module can be replaceable.
6. Модульный комплекс по п.1, отличающийся тем, что по меньшей мере один модуль распознавания дополнительно выполнен с возможностью распознавания части событий оператором. 6. The modular complex according to claim 1, characterized in that at least one recognition module is additionally configured to recognize part of the events by an operator.
7. Модульный комплекс по п.1 , отличающийся тем, что по меньшей мере один модуль распознавания дополнительно выполнен с возможностью передачи неточных распознанных событий на диспетчерский пункт для подтверждения оператором. 7. The modular complex according to claim 1, characterized in that at least one recognition module is additionally configured to transmit inaccurate detected events to the control center for confirmation by the operator.
8. Модульный комплекс по п.1, отличающийся тем, что модуль интегрирования результатов распознавания отправляет сигналы в модуль интеграции с системами предприятия, в случае распознавания нарушения. 8. The modular complex according to claim 1, characterized in that the module for integrating the recognition results sends signals to the module for integrating with enterprise systems in case of a violation.
9. Модульный комплекс по п.1, отличающийся тем, что модуль интегрирования результатов распознавания выполнен с возможностью принимать сигналы от операторов, по меньшей мере одного датчика, который расположен на территории объекта. 9. The modular complex according to claim 1, characterized in that the module for integrating the recognition results is configured to receive signals from operators of at least one sensor located on the territory of the object.
10. Модульный комплекс по п.1, отличающийся тем, что модуль хранения и анализа обработанных данных осуществляет автоматическое архивирование инцидентов, создает индекс нарушений для возможности поиска по базе инцидентов, имеет функционал удаления инцидентов давности больше установленного срока хранения. 10. The modular complex according to claim 1, characterized in that the module for storing and analyzing the processed data automatically archives incidents, creates an index of violations to be able to search the incident database, and has the functionality of deleting incidents that are older than the specified storage period.
11. Модульный комплекс по п.1, отличающийся тем, что модуль автоматического дообучения по меньшей мере одного модуля распознавания, осуществляет дообучение на основании по меньшей мере данных неточных распознанных событий, которые получены от модуля хранения, а также на основании сигнала оповещения о систематическом изменении статистик входящих данных. 11. The modular complex according to claim 1, characterized in that the module for automatic additional training of at least one recognition module carries out additional training based on at least the data of inaccurate recognized events that are received from the storage module, as well as on the basis of a systematic change notification signal statistics of incoming data.
12. Модульный комплекс по п.1, отличающийся тем, что модуль автоматического дообучения по меньшей мере одного модуля распознавания, выполненный с возможностью дообучения в ручном режиме. 12. The modular complex according to claim 1, characterized in that the module for automatic retraining of at least one recognition module is configured to retrain in manual mode.
13. Модульный комплекс по п.1, отличающийся тем, что модуль интеграции с системами оповещения предприятий, выполнен с возможностью оповещения ответственного круга лиц, посредством рассылки сообщений по электронной почте, СМС или интернет-мессенджерам. 13. The modular complex according to claim 1, characterized in that the module for integration with enterprise notification systems is configured to notify the responsible circle of persons by sending messages by e-mail, SMS or Internet messengers.
14. Модульный комплекс по п.1, отличающийся тем, что модуль вывода информации, выполненный с возможностью предоставления веб-доступа к визуализации, истории работы и модулю контроля, а также предоставляет авторизованным пользователям отслеживать и настраивать работу комплекса с использованием веб-интерфейса. 14. The modular complex according to claim 1, characterized in that the information output module is configured to provide web access to visualization, the work history and the control module, and also provides authorized users to monitor and configure the operation of the complex using a web interface.
PCT/RU2021/000194 2020-06-22 2021-05-13 Modular system for monitoring production safety and technical procedures WO2021262030A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2020120657 2020-06-22
RU2020120657A RU2746652C1 (en) 2020-06-22 2020-06-22 Modular system to control process safety and technological processes

Publications (1)

Publication Number Publication Date
WO2021262030A1 true WO2021262030A1 (en) 2021-12-30

Family

ID=75521314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2021/000194 WO2021262030A1 (en) 2020-06-22 2021-05-13 Modular system for monitoring production safety and technical procedures

Country Status (2)

Country Link
RU (1) RU2746652C1 (en)
WO (1) WO2021262030A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743154A (en) * 2022-06-14 2022-07-12 广州英码信息科技有限公司 Work clothes identification method based on registration form and computer readable medium
CN116147714A (en) * 2023-04-24 2023-05-23 北京众驰伟业科技发展有限公司 Method for monitoring abnormality of production process of D-dimer and FDP composite quality control product

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187305A1 (en) * 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US20120036500A1 (en) * 2006-06-02 2012-02-09 Rockwell Automation Technologies, Inc. Change management methodologies for industrial automation and information systems
RU2498408C2 (en) * 2007-12-10 2013-11-10 Абб Рисерч Лтд Computer-implemented method and system for remote control of production process
RU2672307C2 (en) * 2013-07-31 2018-11-13 Общество с ограниченной ответственностью "Камера Биай" (ООО "Камера Биай") Method (options) for systematization of video data production process and system (options)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187305A1 (en) * 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US20120036500A1 (en) * 2006-06-02 2012-02-09 Rockwell Automation Technologies, Inc. Change management methodologies for industrial automation and information systems
RU2498408C2 (en) * 2007-12-10 2013-11-10 Абб Рисерч Лтд Computer-implemented method and system for remote control of production process
RU2672307C2 (en) * 2013-07-31 2018-11-13 Общество с ограниченной ответственностью "Камера Биай" (ООО "Камера Биай") Method (options) for systematization of video data production process and system (options)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743154A (en) * 2022-06-14 2022-07-12 广州英码信息科技有限公司 Work clothes identification method based on registration form and computer readable medium
CN116147714A (en) * 2023-04-24 2023-05-23 北京众驰伟业科技发展有限公司 Method for monitoring abnormality of production process of D-dimer and FDP composite quality control product
CN116147714B (en) * 2023-04-24 2023-06-20 北京众驰伟业科技发展有限公司 Method for monitoring abnormality of production process of D-dimer and FDP composite quality control product

Also Published As

Publication number Publication date
RU2746652C1 (en) 2021-04-19

Similar Documents

Publication Publication Date Title
CN109447048B (en) Artificial intelligence early warning system
CN109300471B (en) Intelligent video monitoring method, device and system for field area integrating sound collection and identification
CN108833831A (en) A kind of power construction intelligent safety monitor system
CN101465033B (en) Automatic tracking recognition system and method
CN110163485A (en) A kind of computer room cruising inspection system
CN101329804B (en) A security device and system
WO2021262030A1 (en) Modular system for monitoring production safety and technical procedures
CN110223208A (en) A kind of garden safety monitoring system and method
CN112112629A (en) Safety business management system and method in drilling operation process
CN116165981A (en) Intelligent monitoring system for industrial industry safety production
CN115248880A (en) Smart city security monitoring system
KR102219809B1 (en) Safety Work Management System by Image Analysis
CN112613361A (en) Intelligent behavior analysis system for security monitoring
CN112671104A (en) Transformer substation multidimensional scene control platform facing complex scene
CN109544870A (en) Alarm decision method and intelligent monitor system for intelligent monitor system
KR20190041704A (en) A cctv divided management system and method it
CN117319609A (en) Internet of things big data intelligent video monitoring system and method
CN114979585A (en) Filling station intelligent safety system based on edge calculation
KR101989376B1 (en) Integrated track circuit total monitoring system
CN113168528A (en) Continuous learning image stream processing system
CN113044694A (en) Construction site elevator people counting system and method based on deep neural network
CN116862740A (en) Intelligent prison management and control system based on Internet
RU2684484C1 (en) Method and cognitive system for video analysis, monitoring, control of driver and vehicle state in real time
CN115953815A (en) Monitoring method and device for infrastructure site
CN114387542A (en) Video acquisition unit abnormity identification system based on portable ball arrangement and control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21830296

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21830296

Country of ref document: EP

Kind code of ref document: A1