WO2020167155A1 - Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания - Google Patents

Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания Download PDF

Info

Publication number
WO2020167155A1
WO2020167155A1 PCT/RU2019/000085 RU2019000085W WO2020167155A1 WO 2020167155 A1 WO2020167155 A1 WO 2020167155A1 RU 2019000085 W RU2019000085 W RU 2019000085W WO 2020167155 A1 WO2020167155 A1 WO 2020167155A1
Authority
WO
WIPO (PCT)
Prior art keywords
human
person
self
interaction
analysis
Prior art date
Application number
PCT/RU2019/000085
Other languages
English (en)
French (fr)
Inventor
Александр Викторович БАЛАШОВ
Дмитрий Георгиевич ДАВИДОВ
Original Assignee
Публичное Акционерное Общество "Сбербанк России"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Публичное Акционерное Общество "Сбербанк России" filed Critical Публичное Акционерное Общество "Сбербанк России"
Publication of WO2020167155A1 publication Critical patent/WO2020167155A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms

Definitions

  • the presented technical solution relates, in general, to the field of video image analysis for detecting alarm events when interacting with self-service devices (hereinafter referred to as "US"), and in particular to methods and a system for detecting alarm events when interacting with ATMs.
  • US self-service devices
  • a solution is known from the prior art for analyzing visitor behavior based on the application of machine learning models, which implements determination of deviations from the norm of behavior, for example, the identification of non-standard or illegal actions based on the processing of images received from CCTV cameras (US 20160005050, publication date: 01/07/2016).
  • a significant drawback of the known solutions is the lack of accuracy in determining a certain type of position of a human figure, in particular when a person is in a bent, seated or semi-seated position in a certain time range near the US, which makes it possible to clearly classify an event as alarming.
  • the technical problem or technical problem to be solved using the proposed approach is to create a new effective method for detecting alarming events when users interact with the RS, for example, in a bank.
  • the technical result is to improve the accuracy of detecting alarming events, which is achieved through the use of machine learning models for analyzing human postures when interacting with the RS in a given time period.
  • An additional technical result is to increase the efficiency of the system's response to the occurrence of an alarm event.
  • analysis of key points is performed to determine the posture taken by the human figure; determine the posture of the human figure in a sitting, bent or crouching position; analyzing the presence of interaction of the human figure in the identified position with the US;
  • the image obtained from the CD camera is additionally captured.
  • data received from the DC sensors is additionally recorded.
  • the resulting image from CCTV cameras is analyzed for identifying the identity of a person who is near the CD.
  • the obtained image from the CCTV cameras is analyzed for the presence of elements covering the face of the person interacting with the CD.
  • the analysis of a person's posture is carried out by constructing a graphical skeleton of a human figure using a machine learning model.
  • posture is determined by analyzing the angles between key points of the digital skeleton of a human figure.
  • vectors are constructed between key points to analyze the angles between them.
  • access to the room where the CD is installed is additionally blocked.
  • a notification is generated containing at least an image of a human figure near the CD, the time and address of the event fixation.
  • the notification is transmitted over data channels to at least one remote device.
  • a notification is generated containing at least an image of a human figure near the CD, the time and address of the event fixation.
  • the notification is transmitted over data channels to at least one remote device.
  • FIG. 1 illustrates the general scheme of interaction of the elements of the claimed solution.
  • FIG. 2 illustrates the process of performing the claimed method.
  • FIG. 3 illustrates a digital skeleton model
  • FIG. 4 illustrates the construction of a digital skeleton based on a real image.
  • FIG. 5 illustrates a schematic example of the analysis of the time spent by a person in the identified posture when working with the RS.
  • FIG. 6 illustrates an example of the operation of data exchange between system elements.
  • a system means, including a computer system, a computer (electronic computer), a CNC (numerical control), a PLC (programmable logic controller), computerized control systems and any other devices capable of performing a given , a well-defined sequence of operations (actions, instructions).
  • a computer electronic computer
  • CNC numerical control
  • PLC programmable logic controller
  • command processing device an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs).
  • a command processor reads and executes machine instructions (programs) from one or more storage devices.
  • Data storage devices can include, but are not limited to, hard drives (HDD), flash memory, ROM (read only memory), solid state drives (SSD), optical drives.
  • a program is a sequence of instructions for execution by a computer control device or command processing device.
  • the automated system (100) includes an installed CD (110), which is located in the area of operation of one or more video cameras (120).
  • Information, in particular a video stream, received from the camera (120) is transmitted to a remote server (130) using the selected data transfer protocol, for example, TCP / IP, WLAN, or other suitable type of communication, but not limited to.
  • Various types of cameras can be used as video surveillance cameras (sometimes - video cameras), in particular, PTZ cameras, IP cameras, stationary anti-vandal cameras, a circular view camera, etc., but not limited to.
  • Information can also be transmitted to the server (130) from systems for monitoring the state of the US, for example, from vibration, temperature, gyroscope sensors built into the US, as well as data from the biometric US system (built-in camera, retina scanner, microphone, etc.) P.). This information can be used for additional analysis of the situation arising near the EOS (110).
  • the system (100) includes an alarm system (140), which generally includes a door lock sensor (141) to the room where the CD is installed (110) and / or an audible warning device (142). Additionally, the alarm system (140) may include other devices that will be used in the event of an alarm event.
  • the door lock sensor (141) is connected by the corresponding data transmission channel directly with the door (143) installed in the area of the US (110).
  • the operation of the system (100) is to obtain images of the figures of people located in the area (111) of interaction with the US (110), which is subsequently processed using an analytical module built on the basis of one or more machine learning models to ensure the recognition process the pose taken by a person (10) interacting with the CS (110) to judge the likelihood of committing one or another illegal action.
  • a method for detecting an alarm event (200) implemented in the course of implementing the presented solution consists in performing the following sequential computational steps.
  • a video stream is obtained from one or more surveillance cameras (120), which characterizes the presence of one or more figures of people (10) located in the area (111) of the location of the US (110).
  • the received video stream from the camera (120) is transmitted to the server (130) for further processing.
  • the server (130) using the analytical module, a frame-by-frame parsing of the received video stream is performed for the purpose of analyzing the poses of people (10) interacting with the control system (110).
  • Video stream analysis is done using a machine learning model such as the OpenPose model.
  • step (202) key points are determined on the obtained images (frames) extracted from the video stream.
  • the OpenPose machine learning model processes the received frames and at the output generates a JSON file with x / y coordinates in pixels, as well as a probabilistic characteristic for each key point.
  • a probabilistic characteristic we understand the probability of correctly finding key points with respect to their belonging to the digital skeleton.
  • An example of such an algorithm is disclosed in Cao et al. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields (published: 12/18/2018).
  • Step (202) is performed by building a digital human skeleton for each input image.
  • An example of a general view of a digital skeleton is presented b in FIG. 3.
  • OpenPose model algorithm pixel coordinates are constructed for each human figure (10) on frames received from surveillance cameras (120).
  • OpenPose uses the Caffe deep learning framework, which is able to switch between GPU and CPU during computations, resulting in a performance boost.
  • OpenPose is based on training models using a Convolutional Neural Network (CNN).
  • CNN Convolutional Neural Network
  • the model takes as input a color image of size w * O, and outputs the location of key points of each object of observation at the output. Determination of key points occurs in three stages.
  • the first 10 layers of the training sample (VGGNet) are used to create a map of the feature points for the original image.
  • the SNN uses two branches: the first predicts a map (S) of a set of points on the human body (shoulder, arm, etc.), the second a set of vectors (L) that contain the degree of difference between body parts. (S) - map and (L) - vectors are analyzed to create key points for all people (10) in the image.
  • step (203) according to the coordinates of the human figure (10) on the obtained frames, using the OpenPose model, key points of the body are determined to recognize the posture taken by the person (10). Based on the coordinates of the key points, a vector is constructed, on the basis of which the angle between the vectors thigh-lower leg and thigh-spine is calculated, and if the mentioned angle is less than the specified one, and at the same time the person (10) in this position is near the US (110), then an alert is generated about the presence of an alarm event, the fact of the presence of which is also recorded in the data storage, for example, a database.
  • the input data for analyzing the presence of an alarm event based on the analyzed data is a frame in .PNG format and a JSON file containing two-dimensional coordinates of all key points of human figures (10) detected by OpenPose on the basis of a digital skeleton, as well as a probability characteristic for each key coordinate in the range from 0 to 1.
  • New OpenPose files process the incoming data in an iterative manner. If a new * .json file appears, the recognition algorithm reads the results of OpenPose work from it - if no human figures were found, the file and the corresponding frame are deleted, otherwise, processing begins, which is several stages.
  • the probability value exceeds a predetermined threshold value, for example, 0.4, which makes it possible to cut off an overwhelming number of false positives.
  • the threshold value can vary depending on the illumination of the viewing area of the cameras (120), the location of the cameras (120), and also the threshold value can be set separately for a specific processed coordinate. Since there may be windows in the areas captured by cameras (120), the algorithm checks that each figure (10) included in the frame is not outside the territory of the US installation site (110), for example, outside the territory of a bank branch.
  • FIG. 4 shows an example of building a digital skeleton based on the obtained image.
  • angles are calculated between the key points of the digital skeleton (LHigh, LKeleno, LKeleno), (LH, LKL, LRK), (Neck, MidHip, LBK) and (Neck, MidHip, LKK). If all four angles are between 0 and 120 degrees, then the algorithm determines that the figure is in a sitting, squatting, or bent position.
  • a different position of the figures can be fixed, which can be non-standard and can also be fixed using the claimed solution.
  • frame areas corresponding to the floor of the location (111) of the US (110) are set, and vectors are determined that define the floor plane (it is assumed that a lying person will try to position himself along the walls, and not at an arbitrary angle - the latter case is difficult to determine in two-dimensional coordinates).
  • a figure is considered to be in a supine position if both points of the MidHip and Neck are within the area (111), and the angle between the specified points and one of the vectors (2) does not exceed 10 degrees.
  • the figure is considered to be lying if the points LAnkle and PAnkle are located above the Neck point.
  • FIG. 5 shows a schematic example of the analysis of frames with the identified posture of a person (10) during a certain time interval T. If it is determined that a person (10) in a set pose interacts with the US (110) for more than a given time interval T (time threshold), then at step (205), the algorithm makes a judgment about the presence of an alarm event.
  • a corresponding record is formed on the server (130), which may include: event identifier (ID), the number of the institution of the US installation, the number of the video camera that recorded the event, the time / date of the incident, the name alarm event, the image captured by a surveillance video camera.
  • ID event identifier
  • information received directly from the devices installed in the CD (110) can also be transmitted to the server.
  • devices can be various types of sensors and sensors that respond to the emerging external influence.
  • the biometric information of persons interacting with the US (110) can also be analyzed, in particular, their image received from a video camera built into the US (110).
  • the data received from the DC (110) and the video camera (120) is transmitted via a data channel to the server (130).
  • the information received from the devices (110, 120) is transmitted for further analysis of the graphic information (video stream) to the analytical module for determining the pose (131).
  • the analytical module (131) built on the basis of machine learning algorithms, contains a module for determining key points (1311) and a module for determining the pose (1312) of a human figure in frames from a surveillance camera.
  • the module (1311) can perform its work using the algorithm of the OpenPose model.
  • the data from the surveillance camera (120) can be transmitted using well-known video streaming protocols, for example, RTSP, RTMP.
  • the module (1312) classifies the posture of the human figure (10), and also analyzes the time spent by the person (10) in this pose when working with the US (110).
  • the module (1312) also takes into account the marking of the zones of the location (111) of the US (110) with reference to the US number (110), and also the number of the department in which it is installed can be additionally taken into account.
  • Zones are marked in pixels along the two axes X and Y.
  • the reference point with coordinates (0,0) is the upper left corner of the frames broadcast from cameras (120).
  • the near-bank zones (111) are taken into account when calculating the time T of a person staying in them (10) and are correlated with events from other sources in the correlation module (151) of the event collection and analysis system (150) (CCAS).
  • the processed data on the detected alarm events, together with their identifying information, are transferred to the database (132) (Time / date, branch number, ATM number, type of alarm event, image), which performs long-term storage of the identified incidents and serves as a data source for the console (133).
  • the Console (133) is a software solution for dealing with identified incidents.
  • the logic for aggregating incidents in the console (133) implies combining several alarm events into one incident (for display only), which will include data from the very first alarm event when combined, and photographs of all combined events. Different time intervals are provided for aggregation. When a new alarm event appears, it will be checked for the possibility of combining with already existing elements for the selected period.
  • Module (131) also sends said data to CCAC (150) (SIEM - Security information and event management). Sending is carried out using the syslog protocol.
  • CCAS (150) can be performed on the basis of a separate server associated with the server (130).
  • additional type of information falling into the field of view of cameras (120) can also be analyzed.
  • the presence of foreign objects and / or tools in the frame can be analyzed, with the help of which illegal actions can be committed, for example, cutting equipment, cylinders, wires, etc.
  • System (150) is a typical solution and usually consists of three modules - connectors (collecting data), manager (receiving and correlating events), and database (performing long-term storage).
  • the correlation module (151) CCAC (150) receives events from the following information sources: US sensors (110), models for analyzing the posture of a human figure (130) and from the biometric module (134).
  • the biometric module (134) is a platform for the analysis of biometric features obtained by means of the CD (110), for example, a camera or microphone.
  • the module (134) includes a face recognition module (1341) and a face hiding recognition module (1342).
  • Modules (1341, 1342) can be executed based on one or more machine learning models, for example, they can be an artificial neural network, a random forest algorithm, etc.
  • the identity of the person (10) located in the fixation zone of the US camera (110) is performed.
  • This approach allows you to obtain additional information to predict the possibility of an alarming event. For example, when identifying a person who is on the wanted list, or a person who was caught / convicted of illegal actions in relation to the property of the bank. Analysis and response to this type of information can be carried out by comparing the received data with the data stored in an external or internal database, for example, by promptly sending biometric data through the CCAS (150) system to the console (160) to respond to the fact of recognition of a particular person's personality (10) near the US (110).
  • the module (1342) is designed to analyze the presence of people near the US (110) in elements that hide the face, for example, scarves, masks, helmet, etc. Fixing this information can be an additional parameter for making an operational decision when analyzing the possibility of an alarming event.
  • the correlation module (151) transmits information about the events to the event database (152) for long-term storage and reporting.
  • CCAS (150) sends an alert to responsible persons, for example, to the rapid response panel (160) of internal services, or to the alarm system (140), which is associated with the control of access to the room, in particular, the door lock sensor (141) ...
  • an event is alarming when the correlation module (151) receives an event from the vibration sensor installed in the DC (110), and an event from the posture analysis model (131), which recorded that a person sits near the DC (110) for a long time time.
  • the identifiers of such events as: time, ATM number and the number of the ATM installation branch must match, which is necessary for the purpose of unambiguous correlation of the incoming data to record the reality of an alarm event.
  • Correlation rules for identifying alarm events can be set for each DC (110) separately. For example, you can set a list of predefined alarm event identifiers, which, when they occur and match a given template, will clearly identify the fact of its occurrence. Such identifiers can be: the type of a person's posture (10) near the US (110) or the zone number near the US (111), signals from specific US sensors (110), or the presence of foreign objects in the frame received from surveillance cameras (120), temporary the interval of fixation of a person (10) in a given position, etc.
  • FIG. 7 shows an example of a general view of a computing device (300) that provides an implementation of the presented solution.
  • the server (130), the CCAC (150) and the hardware and software component of the US (110) can be formed on the basis of the computing device (300).
  • the device (300) contains one or more processors (301), united by a common data exchange bus, memory means, such as RAM (302) and ROM (303), I / O interfaces (304), I / O devices (305), and a device for networking (306).
  • processors 301
  • memory means such as RAM (302) and ROM (303)
  • I / O interfaces 304
  • I / O devices 305
  • a device for networking a device for networking (306).
  • the processor (301) (or multiple processors, multi-core processor, etc.) can be selected from a range of devices currently widely used, for example, such manufacturers as: Intel TM, AMD TM, Apple TM, Samsung Exynos TM, MediaTEK TM, Qualcomm Snapdragon TM, etc. Under the processor or one of the processors used in the system (300), it is also necessary to take into account a graphics processor, for example, NVIDIA GPU or Graphcore, the type of which is also suitable for full or partial execution of the method (100), and can also be used for training and applying machine models. training in various information systems.
  • a graphics processor for example, NVIDIA GPU or Graphcore, the type of which is also suitable for full or partial execution of the method (100), and can also be used for training and applying machine models. training in various information systems.
  • RAM (302) is a random access memory and is intended for storing machine-readable instructions executed by the processor (301) for performing necessary operations for logical data processing.
  • RAM (302) typically contains executable instructions of the operating system and associated software components (applications, software modules, etc.). In this case, the available memory of the graphics card or the graphics processor can act as RAM (302).
  • ROM (303) is one or more persistent storage devices, for example, hard disk drive (HDD), solid state data storage device (SSD), flash memory (EEPROM, NAND, etc.), optical storage media ( CD-R / RW, DVD-R / RW, BlueRay Disc, MD), etc.
  • HDD hard disk drive
  • SSD solid state data storage device
  • EEPROM electrically erasable programmable read-only memory
  • NAND flash memory
  • optical storage media CD-R / RW, DVD-R / RW, BlueRay Disc, MD, etc.
  • I / O interfaces are used to organize the operation of system components (300) and to organize the operation of external connected devices.
  • the choice of the appropriate interfaces depends on the specific version of the computing device, which can be, but are not limited to: PCI, AGP, PS / 2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS / Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232, etc.
  • various means (305) I / O information are used, for example, a keyboard, display (monitor), touch display, touch-pad, joystick, mouse manipulator, light pen, stylus, touch panel, trackball, speakers, microphone, augmented reality, optical sensors, tablet, light indicators, projector, camera, biometric identification (retina scanner, fingerprint scanner, voice recognition module), etc.
  • the networking tool (306) provides data transmission via an internal or external computer network, for example, Intranet, Internet, LAN, and the like.
  • One or more means (306) may be used, but not limited to: Ethernet card, GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and / or BLE module, Wi-Fi module and dr.
  • satellite navigation aids can be used as part of the system (300), for example, GPS, GLONASS, BeiDou, Galileo.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

Данное техническое решение относится, в общем, к области анализа видеоизображений для выявления тревожных событий при взаимодействии с устройствами самообслуживания (далее - «УС»), а в частности к способам и система выявления тревожных событий при взаимодействии с банкоматами. Способ выявления тревожных событий при взаимодействии с устройством самообслуживания (УС), выполняемый с помощью по меньшей мере одного вычислительного устройства, содержащий этапы, на которых получают данные с по меньшей мере одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящего вблизи УС; выполняют анализ полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека; выполняют анализ ключевых точек, выявленных на предыдущем шаге, для определения позы, принятой фигурой человека; осуществляют определение позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении; выполняют анализ наличия взаимодействия фигуры человека в выявленном положении с УС; определяют временной интервал выявленного взаимодействия, причем если временной интервал больше установленного заранее порогового значения, то идентифицируют наличие тревожного события при работе с УС. Технический результат - повышение точности выявления тревожных событий, который достигается за счет применения моделей машинного обучения для анализа поз человека при его взаимодействии с УС в заданный временной промежуток.

Description

СПОСОБ И СИСТЕМА ВЫЯВЛЕНИЯ ТРЕВОЖНЫХ СОБЫТИЙ ПРИ
ВЗАИМОДЕЙСТВИИ С УСТРОЙСТВОМ САМООБСЛУЖИВАНИЯ
ОБЛАСТЬ ТЕХНИКИ
[0001] Представленное техническое решение относится, в общем, к области анализа видеоизображений для выявления тревожных событий при взаимодействии с устройствами самообслуживания (далее - «УС»), а в частности к способам и система выявления тревожных событий при взаимодействии с банкоматами.
УРОВЕНЬ ТЕХНИКИ
[0002] В настоящее время существует проблема оперативной и качественной обработки видеоданных на предмет анализа совершения противоправных действий в отношении банковского имущества или с целью совершения мошеннических действий, в частности при взаимодействии с банкоматами или платежными терминалами.
[0003] Широкое распространение в свое время получил принцип использования внешних вычислительных устройств, устанавливаемых в отсек для приема карт банкоматов для считывания данных платежных карт. Также, существуют методы физического воздействия на банкоматы с целью доступа к содержимому кассет с наличностью. Так или иначе, все данные события обуславливаются соответствующими характерными действиями, совершаемыми злоумышленникам, которые попадают в объект камер наблюдения, однако, при осуществлении мониторинга с помощью сотрудников службы безопасности подчас бывает недостаточно, чтобы оперативно и точно выявить факт совершения того или иного тревожного события, которые с большой долей вероятности приведет к порче или краже ценного имущества.
[0004] Существуют различные методы анализа видеоданных, например, внутри отделений банка, которые позволяют выявить нестандартное и/или опасное поведение посетителей, которое может свидетельствовать о вероятности наступления тревожных или критических событий. Такие подходы, как правило, основываются на распознавании поз посетителей, а также их перемещении, чтобы классифицировать на основании существующих моделей поведения фактор наступления того или иного события, тревожного или критического.
[0005] Из уровня техники известно решение для анализа поведения посетителей на основании применения моделей машинного обучения, которая осуществляет определение отклонения от нормы поведения, например, выявление нестандартного или противозаконных действий на основании обработки изображений, получаемых с камер видеонаблюдения (US 20160005050, дата публикации: 07.01.2016).
[0006] Из другого решения известна система наблюдения за положением рук пользователя, осуществляющего взаимодействие с банкоматом, на предмет выявления различного рода противоправных действий (WO 2012178202, дата публикации: 27.12.2012). Анализ положения и перемещения рук осуществляется на основании построения цифровой скелетной модели кистей, что позволяет построить и отследить перемещение пальцев для анализа того или иного события.
[0007] Существенным недостатком известных решений является недостаточная точность определения определенного типа положений фигуры человека, в частности когда человек находится в согнутом, сидячем или полусидячем положении в определенный временной диапазон вблизи УС, что позволяет явно осуществить классификацию события как тревожного.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
[0008] Решаемой технической проблемой или технической проблемой с помощью предлагаемого подхода является создание нового эффективного метода выявления тревожных событий при взаимодействии пользователей с УС, например, в банке.
[0009] Техническим результатом является повышение точности выявления тревожных событий, который достигается за счет применения моделей машинного обучения для анализа поз человека при его взаимодействии с УС в заданный временной промежуток.
[0010] Дополнительным техническим результатом является повышение эффективности реагирования системы на факт возникновения тревожного события.
[ООП] В предпочтительном варианте осуществления заявлен способ выявления тревожных событий при взаимодействии с УС, выполняемый с помощью по меньшей мере одного вычислительного устройства, содержащий этапы, на которых:
получают данные с по меньшей мере одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящего вблизи УС;
выполняют анализ полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;
выполняют анализ ключевых точек для определения позы, принятой фигурой человека; осуществляют определение позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении; выполняют анализ наличия взаимодействия фигуры человека в выявленном положении с УС;
определяют временной интервал выявленного взаимодействия; и
если временной интервал больше установленного порогового значения, то идентифицируют наличие тревожного события при работе с УС.
[0012] В одном из частных вариантов осуществления способа дополнительно фиксируется изображение, получаемое с камеры УС.
[0013] В другом частном варианте осуществления способа дополнительно фиксируются данные, получаемые от датчиков УС.
[0014] В другом частном варианте осуществления способа получаемое изображение с камер видеонаблюдения анализируется на предмет распознавания личности человека, находящегося вблизи УС.
[0015] В другом частном варианте осуществления способа получаемое изображение с камер видеонаблюдения анализируется на предмет наличия элементов, закрывающих лицо человека, осуществляющего взаимодействие с УС.
[0016] В другом частном варианте осуществления способа анализ позы человека осуществляется с помощью построения графического скелета фигуры человека с помощью модели машинного обучения.
[0017] В другом частном варианте осуществления способа определение позы осуществляются с помощью анализа углов между ключевыми точками цифрового скелета фигуры человека.
[0018] В другом частном варианте осуществления способа выполняется построение векторов между ключевыми точками для осуществления анализа углов между ними.
[0019] В другом частном варианте осуществления способа при выявлении тревожного события осуществляет его передачу по каналу связи на пульт оперативного реагирования и/или активацию сигнализации.
[0020] В другом частном варианте осуществления способа дополнительно осуществляется блокировка доступа в помещение, в котором установлено УС.
[0021] В другом частном варианте осуществления способа при идентификации тревожного события формируется уведомление, содержащее по меньшей мере изображение фигуры человека вблизи УС, время и адрес фиксации события.
[0022] В другом частном варианте осуществления способа уведомление передается по каналам передачи данных на по меньшей мере одно удаленное устройство.
[0023] Указанный технический результат также достигается за счет осуществления системы выявления тревожных событий при взаимодействии с УС, которая содержит по меньшей мере один процессор и средство хранения данных, содержащее машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором, обеспечивают:
получение данных от по меньшей мере одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящего вблизи УС;
выполнение анализа полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;
выполнения анализа ключевых точек для определения позы, принятой фигурой человека; осуществление определения позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении;
выполнение анализа наличия взаимодействия фигуры человека в выявленном положении с УС;
определение временного интервала выявленного взаимодействия; и
если временной интервал больше установленного порогового значения, то идентификации наличия тревожного события при работе с УС.
[0024] В одном из частных вариантов реализации системы при идентификации тревожного события формируется уведомление, содержащее по меньшей мере изображение фигуры человека вблизи УС, время и адрес фиксации события.
[0025] В другом частном варианте реализации системы уведомление передается по каналам передачи данных на по меньшей мере одно удаленное устройство.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0026] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых:
[0027] Фиг. 1 иллюстрирует общую схему взаимодействия элементов заявленного решения.
[0028] Фиг. 2 иллюстрирует процесс выполнения заявленного способа.
[0029] Фиг. 3 иллюстрирует модель цифрового скелета.
[0030] Фиг. 4 иллюстрирует построение цифрового скелета на основе реального изображения.
[0031] Фиг. 5 иллюстрирует схематичный пример анализа времени нахождения человека в выявленной позе при работе с УС. [0032] Фиг. 6 иллюстрирует пример работы обмена данными между элементами системы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0033] Ниже будут описаны понятия и термины, необходимые для понимания данного технического решения.
[0034] В данном техническом решении под системой подразумевается, в том числе компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
[0035] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
[0036] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройств хранения данных. В роли устройства хранения данных могут выступать, но не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
[0037] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[0038] Как представлено на Фиг. 1, в общем случае автоматизированная система (100) включает в себя установленное УС (110), которое находится в зоне работы одной или нескольких видеокамер (120). Информация, в частности видеопоток, получаемый от камеры (120) передается на удаленный сервер (130) с помощью выбранного протокола передачи данных, например, TCP/IP, WLAN, или другой пригодный тип связи, не ограничиваясь. В качестве камер видеонаблюдения (иногда - видеокамер) могут применяться различные типы камер, в частности PTZ-камеры, IP-камеры, стационарные антивандальные камеры, камера кругового обзора и т.п., не ограничиваясь.
[0039] На сервер (130) информация может также передаваться от систем мониторинга состояния УС, например, от встроенных в УС датчиков вибрации, температуры, гироскопа, а также данные с биометрической системы УС (встроенная камера, сканер сетчатки глаза, микрофон и т.п.). Данная информация может использоваться для дополнительного анализа ситуации, возникающей вблизи УС (110). [0040] Также, система (100) включает в себя систему сигнализации (140), которая в общем случае включает в себя датчик блокировки дверей (141) в помещение, где установлено УС (110) и/или средство звукового оповещения (142). Дополнительно система сигнализации (140) может включать в себя другие устройства, которые будут использоваться в случае наступления тревожного события. Датчик блокировки дверей (141) связывается соответствующим каналом передачи данных непосредственно с дверью (143), установленной в зоне размещения УС (110).
[0041] Работа системы (100) заключается в получении изображений фигур людей, находящихся в области (111) взаимодействия с УС (110), которая впоследствии обрабатывается с помощью аналитического модуля, построенного на базе одной или нескольких моделей машинного обучения, для обеспечения процесса распознавания позы, принимаемой человеком (10), взаимодействующим с УС (110), для вынесения суждения о вероятности совершения того или иного противоправного действия.
[0042] Способ выявления тревожного события (200), реализуемый в ходе осуществления представленного решения, заключается в выполнении следующих последовательных вычислительных этапов. На первом этапе (201) с одной или нескольких камер видеонаблюдения (120) получается видеопоток, который характеризует наличие одной или нескольких фигур людей (10), находящихся в зоне (111) расположения УС (110).
[0043] Полученный видеопоток с камеры (120) передается на сервер (130) для его дальнейшей обработки. На сервере (130) с помощью аналитического модуля выполняется покадровый разбор полученного видеопотока для целей анализа поз людей (10), осуществляющих взаимодействие с УС (110). Анализ видеопотока осуществляется с помощью модели машинного обучения, например, с помощью модели OpenPose.
[0044] С помощью модели OpenPose на этапе (202) осуществляется определение ключевых точек на полученных изображениях (кадрах), извлеченных из видеопотока. Модель машинного обучения OpenPose выполняет обработку полученных кадров и на выходе формирует JSON-файл с координатами х/у в пикселях, а также вероятностную характеристику для каждой ключевой точки. В качестве вероятностной характеристики понимается вероятность корректного нахождения ключевых точек относительно их принадлежности цифровому скелету. Пример такого алгоритма раскрыт в статье Cao et al. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields опубликовано: 18.12.2018).
[0045] Этап (202) осуществляется с помощью построения цифрового скелета человека по каждому входному изображению. Пример общего вида цифрового скелета представлен б на Фиг. 3. На основании алгоритма модели OpenPose осуществляется построение пиксельных координат для каждой фигуры человека (10) на кадрах, полученных с камер наблюдения (120). Дополнительно, OpenPose использует фреймворк глубокого обучения Caffe, который способен переключаться во время вычислений между графическим и центральным процессором, что дает прирост в производительности. В основе работы OpenPose лежит обучение моделей с помощью сверточной нейронной сети (СНС - англ. Convolutional Neural Network, CNN).
[0046] Модель принимает на вход цветное изображение размером w · О , а на выходе выдает расположения ключевых точек каждого объекта наблюдения. Определение ключевых точек происходит в три этапа. Первые 10 слоев обучающей выборки (VGGNet) используются для создания карты особенных точек для исходного изображения. СНС использует две ветви: первая предсказывает карту (S) множества точек на человеческом теле (плечо, рука, и т.д.), вторая множество векторов (L), которые содержат степень разницы между частями тела. (S)- карта и (L) - вектора анализируются для создания ключевых точек для всех людей (10) на изображении.
[0047] Далее на этап (203) по координатам фигуры человека (10) на полученных кадрах с помощью модели OpenPose выполняется определение ключевых точек тела для распознавания позы, принимаемой человеком (10). По координатам ключевых точек строится вектор, на основании которого производится расчет угла между векторами бедро-голень и бедро-позвоночник, и если упомянутый угол меньше заданного, и при этом человек (10) в данной позе находится вблизи УС (110), то формируется оповещение о наличии тревожного события, факт наличия которого также записывается в хранилище данных, например, базу данных.
[0048] Входными данными для анализа наличия тревожного события по анализируемым данным является кадр в формате .PNG и JSON файл, содержащий двумерные координаты всех ключевых точек фигур людей (10), обнаруженных OpenPose на базе цифрового скелета, а также вероятностную характеристику для каждой ключевой координаты в диапазоне от 0 до 1.
[0049] Пример структуры JSON-файла:
{
"version": 1.1,
"people" :[
{
"pose_keypoints_2d":[169.449, 147.875, 0.734807, 127.885, 254.116,0.078005,...] }
],
"part candidates " : [
{
"0":[169.449, 147.875, 0.734807, 127.885, 254.116,0.078005],
"1":[270.113,210.873,0.476116],
"2":[302.885, 103.86, 0.266788],
"3":[127.885, 254.116,0.078005],
"4":[283.015, 332.986, 0.665039],
"5":[346.876, 213.112, 0.321377, 172.104, 221.875, 0.554128],
"6":[],
"7":[],
"8":[],
"9":[],
"10":[],
"1 !":[],
n12":[],
"13":[],
"14":[182.112, 131.880, 0.563214],
"15":[203.867, 130, 0.686417],
"16":[],
" 17":[258.116, 124.853,0.77654]
}
]
}
[0050] Новые файлы OpenPose обрабатывают поступающие данные в итеративном режиме. В случае появления нового *.json файла алгоритмом распознавания осуществляет считывание из него результатов работы OpenPose - если фигур людей обнаружено не было, файл и соответствующий кадр удаляются, в противном случае начинается обработка, представляющая собой несколько этапов.
[0051] Для задействованных ключевых точек обнаруженных фигур (10) проверяется, чтобы значение вероятности превышало установленное пороговое значение, например, 0.4, что позволяет отсекать подавляющее количество ложных срабатываний. При этом пороговое значение может варьироваться в зависимости от освещенности зоны обзора камер (120), места установки камер (120), а также пороговое значение может задаваться отдельно для конкретной обрабатываемой координаты. Поскольку в захватываемых камерами (120) областях могут присутствовать окна, то алгоритм проверяет, что каждая попавшая в кадр фигура (10) не находится за территорией места установки УС (110), например, за территорией отделения банка. На Фиг. 4 представлен пример построения цифрового скелета на основании полученного изображения.
[0052] Далее вычисляются углы между ключевыми точками цифрового скелета (ЛБедро, ЛКолено, ЛЩиколотка), (ПБедро, ПКолено, ПЩиколотка), (Шея, СредняяЧастьБедра, ПКолено) и (Шея, СредняяЧастьБедра, ЛКолено). Если все четыре угла находятся в промежутке от 0 до 120 градусов, то алгоритм определяет, что фигура находится в сидячем, присевшем или согнутом положении.
[0053] Дополнительно может фиксироваться иное положение фигур, которые может являться нестандартным и также фиксироваться с помощью заявленного решения. Для обнаружения лежачих фигур задаются области кадра, соответствующие полу места расположения (111) УС (110), а также определяются векторы, задающие плоскость пола (предполагается, что лежащий человек будет стараться расположиться вдоль стен, а не под произвольным углом - последний случай сложно определим в двумерных координатах). Фигура считается находящейся в лежачем положении, если обе точки СредняяЧастьБедра и Шея находятся в пределах области (111), и угол между указанными точками и одним из векторов (2) не превышает 10 градусов. Также фигура считается лежащей, если точки ЛЩиколотка и ПЩиколотка расположены выше точки Шея.
[0054] После определения позы на этапе (203) далее осуществляется анализ временного интервала (204), в течение которого человек (10) в выявленной позе осуществляет взаимодействие с УС (110). На Фиг. 5 представлен схематичный пример анализа кадров с выявленной позой человека (10) в течение определенного временного интервала Т. Если происходит определение того, что человек (10) в установленной позе осуществляет взаимодействие с УС (110) более заданного временного промежутка Т (временного порога), то на этапе (205) алгоритм выносит суждение о наличии тревожного события.
[0055] По факту фиксации тревожного события на этапе (205) на сервере (130) осуществляется формирование соответствующей записи, которая может включать: идентификатор (ID) события, номер учреждения установки УС, номер видеокамеры, зафиксировавшей событие, время/дату инцидента, наименование тревожного события, изображение, зафиксированное видеокамерой наблюдения.
[0056] Далее более детально будет рассмотрена программно-аппаратная составляющая заявленного решения, представленная на Фиг. 6. Как указывалось, выше, помимо информации, получаемой от камеры или камер наблюдения (120), также на сервер может передаваться информация, получаемая непосредственно от устройств, установленных в УС (110). В качестве таких устройств могут быть различные типы датчиков и сенсоров, реагирующих на возникающее внешнее воздействие. Также может анализироваться биометрическая информация лиц, взаимодействующих с УС (110), в частности их изображение, получаемое от видеокамеры, встроенной в УС (110).
[0057] Данные, полученные от УС (110) и видеокамеры (120), передаются по каналу передачи данных на сервер (130). Поступившая от устройств (110, 120) информация передается для дальнейшего анализа графической информации (видеопотока) в аналитический модуль для определения позы (131). Аналитический модуль (131), построенный на базе алгоритмов машинного обучения, содержит модуль определения ключевых точек (1311) и модуль определения позы (1312) фигуры человека на кадрах с камеры наблюдения.
[0058] Модуль (1311) может осуществлять свою работу с помощью алгоритма модели OpenPose. Данные с камеры наблюдения (120) могут передаваться с помощью известных протоколов передачи потокового видео, например, RTSP, RTMP. Модуль (1312) выполняет классификацию позы фигуры человека (10), а также анализирует время нахождения человека (10) в данной позе при работе с УС (110). Так же модуль (1312) учитывает разметку зон нахождения (111) УС (110) с привязкой к номеру УС (110), а также дополнительно может учитываться номер отделения, в котором оно установлено.
[0059] Отдельно выделяются зеркальные области и прозрачные объекты, находящиеся вне контролируемой зоны, например, окна, стеклянные двери, чтобы исключить данные области из анализа для снижения ложноположительных инцидентов. Разметка зон выполняется в пикселях по двум осям X и Y. Точкой отсчета с координатами (0,0) считается левый верхний угол кадров, транслируемых с камер (120). Околобанкоматные зоны (111) учитываются при подсчете времени Т нахождения в них человека (10) и коррелируются с событиями с других источников в модуле корреляции (151) системы сбора и анализа событий (150) (ССАС).
[0060] Из аналитического модуля (131) обработанные данные о выявленных тревожных событиях совместно с идентифицирующей их информацией передаются в базу данных (132) (Время/дата, номер отделения, номер банкомата, тип тревожного события, изображение), которая выполняет долгосрочное хранение выявленных инцидентов и служит источником данных для консоли (133).
[0061] Консоль (133) представляет собой программное решение для работы с выявленными инцидентами. Логика агрегации инцидентов в консоли (133) подразумевает объединение нескольких тревожных событий в один инцидент (только для отображения), который будет включать данные самого первого тревожного события при объединении, а фотографии всех объединенных событий. Для агрегации предусмотрены различные временные интервалы. При появлении нового тревожного события оно будет проверено на возможность объединения с уже существующими элементами за выбранный период.
[0062] Модуль (131) также осуществляет отправку упомянутых данных в ССАС (150) (англ. SIEM - Security information and event management). Отправка осуществляется по протоколу syslog. ССАС (150) может выполняться на базе отдельного сервера, связанного с сервером (130).
[0063] Дополнительно с помощью анализа изображений может также анализироваться дополнительный тип информации, попадающий в поле зрения камер (120). Например, может анализироваться наличие в кадре посторонних предметов и/или инструментов, с помощью которых могут быть совершены противоправные действия, например, режущее оборудование, баллоны, провода и т.п. Также может происходить фиксация посторонних действий непосредственно с УС (110) или в его близости, например, наличие дыма, искр, открытого пламени и т.п.
[0064] Система (150) представляет собой типовое решение и состоит, как правило, из трех модулей - коннекторы (осуществляющие сбор данных), менеджер (выполняет прием и корреляцию событий) и база данных (осуществляет долгосрочное хранение). В представленном решении в модуль корреляции (151) ССАС (150) поступают события из следующих источников информации: датчиков УС (110), модели анализа позы фигуры человека (130) и от биометрического модуля (134).
[0065] Биометрический модуль (134) представляет собой платформу для анализа биометрических признаков, получаемых с помощью средств УС (110), например, камеры или микрофона. Модуль (134) включает в себя модуль распознавания лица (1341) и модуль распознавания сокрытия лица (1342). Модули (1341, 1342) могут выполняться на базе одной или нескольких моделей машинного обучения, например, представлять собой искусственную нейронную сеть, алгоритм случайного леса и т.п.
[0066] С помощью модуля (1341) выполняется распознавание личности человека (10), находящегося в зоне фиксации камеры УС (110). Такой подход позволяет получить дополнительную информацию для прогнозирования возможности наступления тревожного события. Например, при выявлении лица, которое находится в розыске, или лица, который был уличен/осужден в противоправных действиях по отношению к имуществу банка. Анализ и реагирование на данный вид информации может осуществляться с помощью сравнения получаемых данных с данными, хранящимися во внешней или внутренней базе данных, например, с помощью оперативной отправки через систему ССАС (150) биометрических данных на пульт (160) для осуществления реагирования на факт распознавания той или иной личности человека (10) около УС (110).
[0067] Модуль (1342) предназначен для анализа наличия людей возле УС (110) в скрывающих лицо элементах, например, шарфы, маски, шлем и т.п. Фиксация данной информации может являться дополнительным параметром для принятия оперативного решения при анализе возможности наступления тревожного события.
[0068] После обработки событий, модуль корреляции (151) передает информацию о событиях в БД событий (152) для долгосрочного хранения и построения отчетности. При возникновении тревожного события ССАС (150) отправляет оповещение ответственным лицам, например, на пульт оперативного реагирования (160) внутренних служб, или в систему сигнализации (140), которая связана с управлением контроля доступа в помещение, в частности датчиком блокировки дверей (141).
[0069] Например, событие является тревожным, когда в модуль корреляции (151) поступает событие от датчика вибрации, установленном в УС (110), и событие от модели анализа позы (131), зафиксировавшей, что человек сидит около УС (110) продолжительное время. При этом идентификаторы такого события, как: время, номер банкомата и номер отделения установки банкомата должны совпадать, что необходимо для целей однозначной корреляции поступающих данных для фиксации действительности возникновения тревожного события.
[0070] Правила корреляции для идентификации тревожных событий могут устанавливаться для каждого УС (110) отдельно. Например, можно установить список заданных идентификаторов тревожного события, которые при их возникновении и совпадении с заданным шаблоном будут явно идентифицировать факт его возникновения. Таким идентификаторами могут быть: тип позы человека (10) около УС (110) или номер зоны около УС (111), сигналы от конкретных датчиков УС (110), либо наличие посторонних предметов в кадре, получаемых с камер наблюдения (120), временной интервал фиксации человека (10) в заданной позе и т.п.
[0071] На Фиг. 7 представлен пример общего вида вычислительного устройства (300), которое обеспечивает реализацию представленного решения. Например, сервер (130), ССАС (150) и программно-аппаратная составляющая УС (110) могут быть сформированы на базе вычислительного устройства (300).
[0072] В общем виде устройство (300) содержит объединенные общей шиной информационного обмена один или несколько процессоров (301), средства памяти, такие как ОЗУ (302) и ПЗУ (303), интерфейсы ввода/вывода (304), устройства ввода/вывода (305), и устройство для сетевого взаимодействия (306).
[0073] Процессор (301) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в системе (300) также необходимо учитывать графический процессор, например, GPU NVIDIA или Graphcore, тип которых также является пригодным для полного или частичного выполнения способа (100), а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.
[0074] ОЗУ (302) представляет собой оперативную память и предназначено для хранения исполняемых процессором (301) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (302), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (302) может выступать доступный объем памяти графической карты или графического процессора.
[0075] ПЗУ (303) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш- память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD- R/RW, BlueRay Disc, MD) и др.
[0076] Для организации работы компонентов системы (300) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (304). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.
[0077] Для обеспечения взаимодействия пользователя с вычислительной системой (300) применяются различные средства (305) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п. [0078] Средство сетевого взаимодействия (306) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (306) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.
[0079] Дополнительно могут применяться также средства спутниковой навигации в составе системы (300), например, GPS, ГЛОНАСС, BeiDou, Galileo.
[0080] Конкретный выбор элементов устройства (300) для реализации различных программно-аппаратных архитектурных решений может варьироваться с сохранением обеспечиваемого требуемого функционала.
Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.

Claims

ФОРМУЛА
1. Способ выявления тревожных событий при взаимодействии с устройством самообслуживания (УС), выполняемый с помощью по меньшей мере одного вычислительного устройства, содержащий этапы, на которых:
- получают данные с по меньшей мере одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящего вблизи УС;
- выполняют анализ полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;
- выполняют анализ ключевых точек, выявленных на предыдущем шаге, для определения позы, принятой фигурой человека;
- осуществляют определение позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении;
- выполняют анализ наличия взаимодействия фигуры человека в выявленном положении с УС;
- определяют временной интервал выявленного взаимодействия, причем если временной интервал больше установленного заранее порогового значения, то идентифицируют наличие тревожного события при работе с УС.
2. Способ по п.1, характеризующийся тем, что дополнительно фиксируется изображение, получаемое с камеры УС.
3. Способ по п.2, характеризующийся тем, что дополнительно фиксируются данные, получаемые от датчиков УС.
4. Способ по п.1, характеризующийся тем, что получаемое изображение с камер видеонаблюдения анализируется на предмет распознавания личности человека, находящегося вблизи УС.
5. Способ по п.1, характеризующийся тем, что получаемое изображение с камер видеонаблюдения анализируется на предмет наличия элементов, закрывающих лицо человека, осуществляющего взаимодействие с УС.
6. Способ по п.1, характеризующийся тем, что анализ позы человека осуществляется с помощью построения графического скелета фигуры человека с помощью модели машинного обучения.
7. Способ по п.6, характеризующийся тем, что определение позы осуществляются с помощью анализа углов между ключевыми точками цифрового скелета фигуры человека.
8. Способ по п.7, характеризующийся тем, что выполняется построение векторов между ключевыми точками для осуществления анализа углов между ними.
9. Способ по п.1, характеризующийся тем, что при выявлении тревожного события осуществляет его передачу по каналу связи на пульт оперативного реагирования и/или активацию сигнализации.
10. Способ по п.9, характеризующийся тем, что дополнительно осуществляется блокировка доступа в помещение, в котором установлено УС.
11. Способ по п.1, характеризующийся тем, что при идентификации тревожного события формируется уведомление, содержащее по меньшей мере изображение фигуры человека вблизи УС, время и адрес фиксации события.
12. Способ по п.11, характеризующийся тем, что уведомление передается по каналам передачи данных на по меньшей мере одно удаленное устройство.
13. Система выявления тревожных событий при взаимодействии с устройством самообслуживания (УС), содержащая по меньшей мере один процессор и средство хранения данных, содержащее машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором, обеспечивают:
- получение данных от по меньшей мере одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящего вблизи УС;
- выполнение анализа полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;
- выполнения анализа ключевых точек для определения позы, принятой фигурой человека;
- осуществление определения позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении;
- выполнение анализа наличия взаимодействия фигуры человека в выявленном положении с УС;
- определение временного интервала выявленного взаимодействия; и
- если временной интервал больше установленного порогового значения, то идентификации наличия тревожного события при работе с УС.
14. Система по п.13, характеризующаяся тем, что при идентификации тревожного события формируется уведомление, содержащее по меньшей мере изображение фигуры человека вблизи УС, время и адрес фиксации события.
15. Система по п.14, характеризующаяся тем, что уведомление передается по каналам передачи данных на по меньшей мере одно удаленное устройство.
PCT/RU2019/000085 2019-02-12 2019-02-12 Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания WO2020167155A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2019103861A RU2713876C1 (ru) 2019-02-12 2019-02-12 Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
RU2019103861 2019-02-12

Publications (1)

Publication Number Publication Date
WO2020167155A1 true WO2020167155A1 (ru) 2020-08-20

Family

ID=69625447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2019/000085 WO2020167155A1 (ru) 2019-02-12 2019-02-12 Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания

Country Status (3)

Country Link
EA (1) EA038293B1 (ru)
RU (1) RU2713876C1 (ru)
WO (1) WO2020167155A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881898B (zh) * 2020-09-27 2021-02-26 西南交通大学 基于单目rgb图像的人体姿态检测方法
CN112257568B (zh) * 2020-10-21 2022-09-20 中国人民解放军国防科技大学 一种单兵队列动作智能实时监督纠错系统及方法
RU2770862C1 (ru) * 2021-05-20 2022-04-22 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и устройство фиксации тревожных событий на служебном транспортном средстве

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080251578A1 (en) * 2007-04-10 2008-10-16 Jansing Nicholas E Atm security system and method of use
CN101609581A (zh) * 2008-06-16 2009-12-23 云南正卓信息技术有限公司 Atm机的异常视频预警装置
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
CN103873825A (zh) * 2014-02-28 2014-06-18 北京航科威视光电信息技术有限公司 一种atm智能监控系统及方法
CN105913559A (zh) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 一种基于体感技术的银行atm机智能监控方法
US20170372144A1 (en) * 2015-02-26 2017-12-28 Oki Electric Industry Co., Ltd. Terminal surveillance device, automatic teller machine, decision method, and program on a storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2268497C2 (ru) * 2003-06-23 2006-01-20 Закрытое акционерное общество "ЭЛВИИС" Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
CN107219925B (zh) * 2017-05-27 2021-02-26 成都通甲优博科技有限责任公司 姿势检测方法、装置及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080251578A1 (en) * 2007-04-10 2008-10-16 Jansing Nicholas E Atm security system and method of use
CN101609581A (zh) * 2008-06-16 2009-12-23 云南正卓信息技术有限公司 Atm机的异常视频预警装置
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
CN103873825A (zh) * 2014-02-28 2014-06-18 北京航科威视光电信息技术有限公司 一种atm智能监控系统及方法
US20170372144A1 (en) * 2015-02-26 2017-12-28 Oki Electric Industry Co., Ltd. Terminal surveillance device, automatic teller machine, decision method, and program on a storage medium
CN105913559A (zh) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 一种基于体感技术的银行atm机智能监控方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控系统

Also Published As

Publication number Publication date
EA201990408A1 (ru) 2021-06-30
EA038293B1 (ru) 2021-08-05
RU2713876C1 (ru) 2020-02-07

Similar Documents

Publication Publication Date Title
RU2713876C1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
WO2020168960A1 (zh) 一种视频分析方法及装置
CN108875833B (zh) 神经网络的训练方法、人脸识别方法及装置
JP6702045B2 (ja) 監視装置
CN109887234B (zh) 一种防儿童走失方法、装置、电子设备及存储介质
WO2018116488A1 (ja) 解析サーバ、監視システム、監視方法及びプログラム
US20140369566A1 (en) Perimeter Image Capture and Recognition System
CN109167971A (zh) 智能区域监控报警系统及方法
CN110490126B (zh) 一种基于人工智能的保险柜安全管控系统
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
CN113076859A (zh) 人脸识别的安全监控方法及系统、电子设备、存储介质
US20210364356A1 (en) System and method for using artificial intelligence to enable elevated temperature detection of persons using commodity-based thermal cameras
CN112926925A (zh) 一种产品监管方法、装置、电子设备及存储介质
CN111553305B (zh) 一种违章视频识别系统和方法
JP7380698B2 (ja) 処理装置、処理方法及びプログラム
WO2018104999A1 (ja) 情報処理装置、制御方法、及びプログラム
CN113314230A (zh) 基于大数据的智能防疫方法、装置、设备及存储介质
EP3109837A1 (en) System and method of smart incident analysis in control system using floor maps
CN114463779A (zh) 吸烟识别方法、装置、设备及存储介质
CN109977806A (zh) 实现idc机房进出人员精细化管理的系统及其方法
RU2781768C1 (ru) Способ, система и устройство определения людей для досмотра при прохождении металлодетектора
KR20010088921A (ko) 얼굴 인식 기능을 포함한 영상 감시 시스템 및 이를이용하는 방법
WO2022245240A1 (ru) Способ, система и устройство определения людей для досмотра при прохождении металлодетектора
EP3929884B1 (en) Device, method and program
RU2737138C1 (ru) Система и способ контроля температуры тела людей по видеоданным

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915450

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19915450

Country of ref document: EP

Kind code of ref document: A1