RU2752268C2 - Sanitary control system - Google Patents
Sanitary control system Download PDFInfo
- Publication number
- RU2752268C2 RU2752268C2 RU2019134889A RU2019134889A RU2752268C2 RU 2752268 C2 RU2752268 C2 RU 2752268C2 RU 2019134889 A RU2019134889 A RU 2019134889A RU 2019134889 A RU2019134889 A RU 2019134889A RU 2752268 C2 RU2752268 C2 RU 2752268C2
- Authority
- RU
- Russia
- Prior art keywords
- module
- computing device
- video camera
- central computing
- soap
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/10—Movable barriers with registering means
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
- G08B21/245—Reminder of hygiene compliance policies, e.g. of washing hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
Изобретение относится к области вычислительной техники, а более конкретно - к системе контроля на основе видеоаналитики и может быть использовано, например, для санитарного контроля на предприятиях-изготовителях продуктов питания, в местах общественного питания, в медицинских учреждениях, в фарминдустрии и т.п. В целом, предлагаемое изобретение относится к системе контроля и управления доступом и представляет собой совокупность программно-аппаратных технических средств, используемых для мониторинга соблюдения санитарного регламента при обработке рук и обеспечения возможности ограничения доступа персонала в зоны повышенных санитарных требований или информирования ответственных лиц в случае невыполнения санитарного регламента.The invention relates to the field of computer technology, and more specifically to a control system based on video analytics and can be used, for example, for sanitary control at food manufacturers, in public catering, in medical institutions, in the pharmaceutical industry, etc. In general, the proposed invention relates to an access control and management system and is a set of hardware and software tools used to monitor compliance with sanitary regulations when handling hands and to ensure the possibility of restricting personnel access to areas of increased sanitary requirements or informing responsible persons in case of non-compliance with sanitary requirements. regulations.
Уровень техникиState of the art
Из уровня техники широко известны системы контроля и управления доступом в закрытую зону. Из WO 2006061550 А1, МПК G07B 15/04, опубл. 15.06.2006 известна система управления доступом, содержащая барьер, такой как турникет, для управления доступом пользователя, несущего мобильное устройство к предварительно определенной области. Чтобы получить доступ к этой области, необходимо обнаружить некоторые функциональные возможности мобильного устройства, такие как мелодия звонка или функциональность камеры/видео. В случае, если функциональность отключена, доступ через турникет и в заранее определенную область, т.е. закрытую зону, разрешен.Systems for monitoring and controlling access to a closed area are well known in the art. From WO 2006061550 A1, IPC G07B 15/04, publ. On June 15, 2006, an access control system is known comprising a barrier, such as a turnstile, for controlling the access of a user carrying a mobile device to a predetermined area. In order to access this area, some functionality of the mobile device needs to be discovered, such as ringtone or camera / video functionality. In case the functionality is disabled, access is through the turnstile and to a predefined area, i.e. closed area allowed.
Наиболее близким аналогом (прототипом) предлагаемого изобретения является система санитарного контроля, известная из публикации патента РФ на изобретение №2678401, МПК G07C 9/02, опубл. 28.01.2019 г. Известная система санитарного контроля, определенная в качестве наиболее близкого аналога, содержит по меньшей мере одну камеру распознавания лиц, соединенную с промышленным компьютером, и преграждающее устройство, при этом система дополнительно содержит по меньшей мере одну камеру распознавания действий, соединенную с промышленным компьютером, а промышленный компьютер при помощи функционирующей на нем нейронной сети осуществляет анализ видеоизображения, полученного от по меньшей мере одной камеры распознавания действий, при этом в углу зрения камеры распознавания лиц и камеры распознавания действий расположены рукомойник с дозатором мыла, блок обработки кистей рук, при этом промышленный компьютер соединен с преграждающим устройством для управления блокировкой и разблокировкой преграждающего устройства.The closest analogue (prototype) of the invention is the sanitary control system, known from the publication of the RF patent for invention No. 2678401, IPC G07C 9/02, publ. 01/28/2019 The known sanitary control system, defined as the closest analogue, contains at least one face recognition camera connected to an industrial computer, and a barrier device, while the system further comprises at least one action recognition camera connected to industrial computer, and an industrial computer, using a neural network functioning on it, analyzes the video image received from at least one action recognition camera, while a washstand with a soap dispenser and a hand processing unit are located in the angle of view of the face recognition camera and the action recognition camera, the industrial computer is connected to the barrier device to control the blocking and unblocking of the barrier device.
К недостаткам системы, определенной в качестве наиболее близкого аналога, следует отнести отсутствие функциональной возможности по информированию ответственных лиц в случае невыполнения санитарного регламента при помощи данной системы.The disadvantages of the system, defined as the closest analogue, include the lack of functionality to inform responsible persons in case of non-compliance with sanitary regulations using this system.
Также, еще к одному недостатку системы, определенной в качестве наиболее близкого аналога, является отсутствие у промышленного компьютера хранилища состояний. В связи с этим, все распознаваемые действия в наиболее близком аналоге сравнивались с действиями, хранящимися в базе данных. Таким образом, нагрузка на данную базу данных была крайне высокой, особенно при конфигурации системы для работы со значительным количеством пользователей (например, на производстве), поскольку на обработку запросов базой данных, запись данных в нее, а также получения ответов от базы данных, требуется значительное время, что вызывает задержку в работе системы в целом.Also, one more drawback of the system, defined as the closest analogue, is the absence of a state store in an industrial computer. In this regard, all recognizable actions in the closest analogue were compared with actions stored in the database. Thus, the load on this database was extremely high, especially when the system was configured to work with a significant number of users (for example, in production), since processing requests by the database, writing data to it, as well as receiving responses from the database, requires significant time, which causes a delay in the operation of the system as a whole.
В наиболее близком аналоге распознаваемые при помощи нейросетевых алгоритмов действия по обработке рук (мытье рук) было невозможно разбить на этапы, и весь процесс распознавания действия по обработке рук имел характер атомарной операции (т.е. операции, которая или выполняется целиком (от начала до конца), или не выполняется вовсе), в связи с чем проявлялись проблемы следующего характера:In the closest analogue, the actions for processing hands (washing hands) recognized using neural network algorithms could not be broken down into stages, and the whole process of recognizing an action for processing hands had the character of an atomic operation (i.e., an operation that is either performed entirely (from the beginning to end), or not at all), in connection with which problems of the following nature appeared:
1. Первый и второй пользователи приступали к обработке рук. При этом первый пользователь прекратил обрабатывать руки ранее времени, предусмотренного регламентом, и вышел за пределы видимости камер распознавания действий. При этом второй пользователь продолжил обрабатывать руки согласно регламенту. Система в таких условиях отрабатывала всегда по-разному и записывала произошедшее событие на разных пользователей.1. The first and second users started to process their hands. At the same time, the first user stopped processing his hands earlier than the time stipulated by the regulations and went beyond the visibility of the action recognition cameras. At the same time, the second user continued to process his hands in accordance with the regulations. In such conditions, the system always worked out in different ways and recorded the event on different users.
2. При каком-либо некорректном взаимодействии пользователя с системой в момент выполнения алгоритма распознавания действия по обработке рук системе приходилось выполнять весь алгоритм заново, а не какой-либо отдельный, некорректно выполненный этап, что повышало вычислительную нагрузку на систему.2. In case of any incorrect interaction of the user with the system at the time of execution of the algorithm for recognizing the action of processing hands, the system had to perform the entire algorithm again, and not any separate, incorrectly executed stage, which increased the computational load on the system.
Сущность изобретенияThe essence of the invention
Предлагаемая система санитарного контроля осуществляет мониторинг санитарной обработки рук, на основании таких факторов как длительность мытья, последовательность движений, использование мыла и/или дезинфицирующих средств. Предлагаемая система также позволяет осуществлять оценку действий обработки рук. Система может осуществлять мониторинг в режиме реального времени, а также может осуществлять постконтроль, с помощью выгрузки записанных данных. Данные, полученные от системы могут быть в дальнейшем проанализированы для принятия решений об обучении персонала, предупреждений, дополнительной проверки продукции на наличие загрязнений и т.д.The proposed sanitation control system monitors hand sanitation based on factors such as duration of washing, sequence of movements, use of soap and / or disinfectants. The proposed system also allows the evaluation of hand processing actions. The system can monitor in real time, and can also perform post-monitoring by uploading recorded data. The data received from the system can be further analyzed to make decisions on personnel training, warnings, additional checks of products for contamination, etc.
Предлагаемое изобретение представляет собой систему санитарного контроля, включающую совокупность программно-аппаратных технических средств, имеющих целью мониторинг санитарной обработки рук вследствие анализа фото и видеоматериалов. Мониторинг представляет собой детектирование обработки рук пользователями, а также сбор и анализ информации о пользователях системы, осуществлявших обработку рук. Мониторинг санитарной обработки рук может осуществляться также иными способами. Также осуществляется мониторинг взаимодействия с дозатором мыла или иной частью системы (например, сушилкой, дозатором дезинфицирующего средства), который может производиться на основе анализа фото и видеоматериалов или на основе взаимодействия со различными датчиками.The proposed invention is a sanitary control system that includes a set of hardware and software tools aimed at monitoring the sanitization of hands due to the analysis of photo and video materials. Monitoring is the detection of hand processing by users, as well as the collection and analysis of information about the system users who handled the hands. Hand sanitization can also be monitored in other ways. It also monitors the interaction with the soap dispenser or other part of the system (for example, a dryer, a disinfectant dispenser), which can be performed based on the analysis of photo and video materials or on the basis of interaction with various sensors.
Технической проблемой, решаемой заявленным изобретением, является устранение недостатков прототипа, к которым относятся, в частности: отсутствие функциональной возможности по информированию ответственных лиц в случае невыполнения санитарного регламента при помощи данной системы; отсутствие у промышленного компьютера хранилища состояний; невозможность разделения процесса детектирования на разные этапы.The technical problem solved by the claimed invention is to eliminate the shortcomings of the prototype, which include, in particular: lack of functionality to inform responsible persons in case of non-compliance with sanitary regulations using this system; the absence of a state store in the industrial computer; impossibility of dividing the detection process into different stages.
Сущность изобретения заключается в том, что предложенная система санитарного контроля содержит видеокамеру распознавания действий, модуль идентификации пользователей, модуль детектирования движений рук, модуль детектирования использования мыла, центральное вычислительное устройство, модуль обратной связи, при этом видеокамера распознавания действий соединена с входом центрального вычислительного устройства через параллельно соединенные модуль детектирования движений рук и модуль детектирования использования мыла, при этом модуль идентификации пользователей соединен с другим входом центрального вычислительного устройства, выход которого соединен с модулем обратной связи, причем модуль обратной связи включает в себя по меньшей мере один из следующих элементов: светодиодный (LED) индикатор; устройство отображения информации; модуль бота Telegram.The essence of the invention lies in the fact that the proposed sanitary control system contains an action recognition video camera, a user identification module, a hand movement detection module, a soap usage detection module, a central computing device, a feedback module, while the action recognition video camera is connected to the input of the central computing device through parallel connected module for detecting hand movements and a module for detecting the use of soap, while the user identification module is connected to another input of the central computing device, the output of which is connected to the feedback module, and the feedback module includes at least one of the following elements: LED ( LED) indicator; information display device; Telegram bot module.
В одном из вариантов осуществления система дополнительно содержит видеокамеру распознавания лиц, соединенную с модулем идентификации пользователей.In one embodiment, the system further comprises a face recognition video camera coupled to the user identification module.
В другом варианте осуществления, предлагаемая система содержит детектор дезинфекции, вход которой соединен с видеокамерой распознавания действий, а выход - со входом центрального вычислительного устройства.In another embodiment, the proposed system contains a disinfection detector, the input of which is connected to a video camera for recognizing actions, and the output is connected to the input of the central computing device.
Предлагаемая система санитарной обработки рук может дополнительно содержать:The proposed hand sanitization system may additionally contain:
- дополнительные устройства, обеспечивающие видеопоток в центральное вычислительное устройство, которые также могут использоваться для распознавания действий и/или распознавания лиц и/или для мониторинга взаимодействия с дозатором мыла или иной частью системы;- additional devices that provide a video stream to a central computing device, which can also be used for recognizing actions and / or recognizing faces and / or for monitoring interaction with a soap dispenser or other part of the system;
- средство автоматической идентификации объектов, в котором посредством приема сигналов считываются и/или записываются данные в приемо-передающее устройство (пример: датчики, технология RFID, магнитные карты, NFC-чип);- means for automatic object identification, in which, by receiving signals, data is read and / or written into a transceiver device (example: sensors, RFID technology, magnetic cards, NFC chip);
- на или рядом с устройством обработки рук могут присутствовать сушилка для рук;- there may be a hand dryer on or near the hand treatment device;
- пользовательский интерфейс, для обратной связи с пользователем системы (пример: акриловый диск со светодиодной подсветкой, экран с графическим интерфейсом пользователя);- user interface for feedback with the system user (example: acrylic disk with LED backlighting, screen with a graphical user interface);
- управляемые преграждающие устройства.- controlled obstruction devices.
Техническим результатом, достигаемым при реализации предлагаемой системы санитарного контроля, является повышение быстродействия процесса распознаваний действий гигиенической обработки рук, обеспечиваемое за счет возможности определения типов распознаваемых действий по обработке рук. Предлагаемая система санитарного контроля выполнена с возможностью детектирования уровня обработки рук, например: бытовой уровень (механическая обработка рук), гигиенический уровень (с применением кожных антисептиков), хирургический уровень (последовательность манипуляций при обработке рук с последующим надеванием стерильных перчаток), EN-1500 (европейский стандарт обработки рук, являющийся общей методикой обработки рук, начиная с гигиенического уровня (последовательная обработка рук с мылом и водой, и последующая обработка рук кожным антисептиком) - и до хирургического уровня) и т.д.The technical result achieved when implementing the proposed sanitary control system is to increase the speed of the process of recognizing the actions of hygienic hand treatment, provided by the ability to determine the types of recognizable hand treatment actions. The proposed sanitary control system is designed to detect the level of hand treatment, for example: household level (mechanical treatment of hands), hygienic level (using skin antiseptics), surgical level (sequence of manipulations when processing hands followed by putting on sterile gloves), EN-1500 ( European standard for hand treatment, which is a general method for treating hands, starting from the hygienic level (sequential hand treatment with soap and water, and subsequent treatment of the hands with a skin antiseptic) - up to the surgical level), etc.
Предлагаемая система санитарного контроля, по сравнению с системой, определенной в качестве наиболее близкого аналога, является более гибкой и может быть выполнена и/или настроена в разных конфигурациях.The proposed sanitary control system, in comparison with the system defined as the closest analogue, is more flexible and can be performed and / or configured in different configurations.
Также предлагаемая система санитарного контроля обеспечивает повышение достоверности результатов распознавания (детектирования) действий при обработке рук, что достигается благодаря применению в предлагаемой системе санитарного контроля модуля детектирования использования мыла, функционирующего при помощи нейронной сети. При помощи модуля детектирования использования мыла устранена возможность несоблюдения регламента по обработке рук. На вход модуля детектирования использования мыла поступает сигнал от видеокамеры распознавания действий и данный модуль, используя нейросетевой алгоритм, определяет использование мыла при обработке рук путем детектирования мыльной пены на руках пользователя. В другом варианте осуществления предлагаемой системы, в случае использования непенящихся моющих средств, система осуществляет детектирование использования мыла путем обнаружения нажатия на диспенсер с моющим средством (мылом). Еще в одном варианте осуществления системы, в случае использования бесконтактных диспенсеров, детектирование использования мыла осуществляется путем получения сигнала от диспенсера моющего средства, что мыло было выдавлено.Also, the proposed sanitary control system provides an increase in the reliability of the results of recognition (detection) of actions during hand treatment, which is achieved due to the use of a soap usage detection module in the proposed sanitary control system, which functions using a neural network. The soap usage detection module eliminated the possibility of non-observance of hand treatment regulations. The input of the soap usage detection module receives a signal from an action recognition video camera and this module, using a neural network algorithm, determines the use of soap when processing hands by detecting soap suds on the user's hands. In another embodiment of the proposed system, in the case of using non-foaming detergents, the system detects the use of soap by detecting pressing on the dispenser with detergent (soap). In yet another embodiment of the system, in the case of non-contact dispensers, soap usage is detected by receiving a signal from the detergent dispenser that soap has been dispensed.
Кроме того, при реализации предлагаемой системы санитарного контроля повышается производительность системы до 10 раз при кодировании и декодировании сигналов, поступающих с видеокамеры распознавания лиц и видеокамеры распознавания действий. Также для повышения производительности в предлагаемой системе используются высокопроизводительные протоколы обмена данными между модулями, входящими в состав предлагаемой системы. В качестве примера высокопроизводительного протокола в предлагаемой системе может быть использован протокол ZeroMQ.In addition, when implementing the proposed sanitary control system, the performance of the system increases up to 10 times when encoding and decoding signals coming from a face recognition video camera and an action recognition video camera. Also, to improve performance, the proposed system uses high-performance data exchange protocols between the modules that are part of the proposed system. The ZeroMQ protocol can be used as an example of a high-performance protocol in the proposed system.
Кроме того, предлагаемая система санитарного контроля обеспечивает соблюдение санитарного регламента при нахождении в поле зрения видеокамеры распознавания действий и видеокамеры распознавания лиц нескольких пользователей (например, сотрудников предприятия). Пользователи могут свободно перемещаться между местами для обработки рук (раковинами с кранами и т.д.), при этом предлагаемая система будет продолжать детектировать действия каждого пользователя в отдельности.In addition, the proposed sanitary control system ensures compliance with sanitary regulations when a video camera for recognizing actions and a video camera for recognizing faces of several users (for example, employees of an enterprise) are in the field of view. Users can freely move between places for hand treatment (sinks with taps, etc.), while the proposed system will continue to detect the actions of each user individually.
Предлагаемая система санитарного контроля также предоставляет возможность настраивать профили пользователей разного типа. Таким образом, можно разрешить или запретить предлагаемой системе детектировать лицо конкретного пользователя или группы пользователей, или включить/отключить для конкретного пользователя или группы пользователей возможность выбрать регламент гигиенической обработки рук, в зависимости от санитарных требований к конкретному пользователю или к группе пользователей.The proposed sanitary control system also provides the ability to customize different types of user profiles. Thus, it is possible to allow or prohibit the proposed system to detect the face of a specific user or a group of users, or enable / disable for a specific user or group of users the ability to select a procedure for hygienic treatment of hands, depending on the sanitary requirements for a specific user or a group of users.
Краткое описание материалов чертежейBrief description of drawing materials
На фиг. 1 показана структурная схема предлагаемой системы санитарного контроля. На данной фигуре показаны блоки, элементы и модули, входящие в состав предлагаемой системы санитарного контроля, а именно: видеокамера распознавания действий (2); модуль идентификации пользователей (3); модуль детектирования движения рук (4); модуль детектирования использования мыла (5); центральное вычислительное устройство (7); модуль обратной связи (8), включающий по меньшей мере одно из: модуля бота Telegram (9), устройства отображения информации (10) и/или светодиодного индикатора (11). Также на фиг. 1 показана видеокамера распознавания лиц (1) и детектор дезинфекции, входящие в состав предлагаемой системы в варианте ее осуществления.FIG. 1 shows a block diagram of the proposed sanitary control system. This figure shows the blocks, elements and modules that make up the proposed sanitary control system, namely: a video camera for recognizing actions (2); user identification module (3); hand movement detection module (4); a module for detecting the use of soap (5); central computing device (7); feedback module (8), including at least one of: Telegram bot module (9), information display device (10) and / or LED indicator (11). Also in FIG. 1 shows a face recognition video camera (1) and a disinfection detector included in the proposed system in its embodiment.
На фиг. 2 показаны вычислительные алгоритмы элементов и модулей, входящих в состав предлагаемой системы санитарного контроля.FIG. 2 shows the computational algorithms of the elements and modules that make up the proposed sanitary control system.
Осуществление изобретенияImplementation of the invention
Как показано на фиг. 1, в состав предложенной системы санитарного контроля входят следующие блоки и модули: видеокамера (1) распознавания лиц (опционально), видеокамера (2) распознавания действий, модуль (3) идентификации пользователей, модуль (4) детектирования движений рук, модуль (5) детектирования использования мыла, детектор (6) дезинфекции (опционально), центральное вычислительное устройство (7) и модуль (8) обратной связи.As shown in FIG. 1, the proposed sanitary control system includes the following units and modules: a video camera (1) for face recognition (optional), a video camera (2) for recognizing actions, a user identification module (3), a module (4) for detecting hand movements, a module (5) detecting the use of soap, a disinfection detector (6) (optional), a central computing device (7) and a feedback module (8).
В свою очередь, модуль (8) обратной связи может содержать по меньшей мере одно из следующего: светодиодный (LED) индикатор (11), устройство (10) отображения информации и программный модуль (9) бота Telegram.In turn, the feedback module (8) may contain at least one of the following: a light-emitting diode (LED) indicator (11), an information display device (10), and a Telegram bot program module (9).
Видеокамера (1) распознавания лиц соединена с модулем (3) идентификации пользователей, который, в свою очередь, подключен к центральному вычислительному устройству. Видеокамера (2) распознавания действий через параллельно соединенные модуль (4) детектирования движений рук, модуль (5) детектирования использования мыла и детектор (6) дезинфекции подключена к центральному вычислительному устройству (7), выход которого соединен с модулем (8) обратной связи.A face recognition video camera (1) is connected to a user identification module (3), which, in turn, is connected to a central computing device. A video camera (2) for recognizing actions through a parallel-connected module (4) for detecting hand movements, a module (5) for detecting the use of soap and a disinfection detector (6) is connected to a central computing device (7), the output of which is connected to a feedback module (8).
Видеокамера (1) для распознавания лиц - это видеокамера, установленная таким образом, чтобы лицо пользователя попадало в угол ее обзора во время идентификации, например, на уровне лица пользователя и использующаяся для получения изображения лица пользователя предлагаемой системы в реальном времени.A video camera (1) for face recognition is a video camera installed in such a way that the user's face falls into the angle of view during identification, for example, at the level of the user's face and is used to obtain an image of the user's face in the proposed system in real time.
Видеокамера (2) для распознавания действий - это видеокамера, которая устанавливается над местом обработки рук (например, умывальником, раковиной с краном, рукомойником и т.п.). Данная видеокамера используется для получения (детектирования) изображения и отслеживания рук пользователя системы, выявления взаимодействия пользователя с диспенсером мыла/дезинфектора, выявления наличия мыльной пены на руках пользователя системы и пр.A video camera (2) for recognizing actions is a video camera that is installed over the place where hands are processed (for example, a washbasin, a sink with a tap, a washstand, etc.). This video camera is used to acquire (detect) an image and track the hands of the system user, detect user interaction with the soap / disinfector dispenser, detect the presence of soap suds on the hands of the system user, etc.
Модули детектирования и логики, а именно - модуль (3) идентификации пользователей, модуль (4) детектирования движений рук, модуль (5) детектирования использования мыла, а также детектор (6) дезинфекции, входящий в состав предлагаемой системы в варианте ее осуществления, - работают под управлением программного обеспечения, функционирующего на по меньшей мере одном вычислительном устройстве. Таким образом, одно вычислительное устройство может запускать все модули детектирования и логики, входящие в состав предлагаемой системы. При этом в варианте осуществления предлагаемого изобретения каждый из модулей детектирования и логики может запускаться на отдельном вычислительном устройстве. Вычислительное устройство может быть реализовано в виде сформированного решения (например, Raspberry Pi - одноплатный компьютер портативного размера, получивший широкое применение), либо устанавливаться на уже имеющиеся у заказчика аппаратные вычислительные средства (например, на обычный сервер), если по системным требованиям данные аппаратные средства подходят под параметры предлагаемой системы санитарного контроля. Кроме того, модули детектирования и логики, входящие в состав предлагаемой системы, могут быть реализованы путем установки на облачный сервер.Detection and logic modules, namely, a user identification module (3), a hand movement detection module (4), a soap usage detection module (5), as well as a disinfection detector (6), which is part of the proposed system in its embodiment, - run under the control of software running on at least one computing device. Thus, one computing device can run all the detection and logic modules that make up the proposed system. Moreover, in an embodiment of the present invention, each of the detection and logic modules can be run on a separate computing device. The computing device can be implemented in the form of a formed solution (for example, Raspberry Pi is a portable single-board computer that has become widely used), or it can be installed on the hardware computing devices already available to the customer (for example, on a regular server), if the system requirements are such hardware fit the parameters of the proposed sanitary control system. In addition, the detection and logic modules that are part of the proposed system can be implemented by installing on a cloud server.
Модуль (3) идентификации пользователей в составе предлагаемой системы осуществляет распознавание лиц пользователей системы.The user identification module (3) as part of the proposed system carries out face recognition of system users.
Модуль (4) детектирования движений рук в составе предлагаемой системы осуществляет распознавание движений рук пользователей системы.The module (4) for detecting hand movements in the proposed system recognizes the hand movements of the users of the system.
Модуль (5) детектирования использования мыла в составе предлагаемой системы распознает, воспользовался ли пользователь системы мылом.The module (5) for detecting the use of soap in the proposed system recognizes whether the user of the system has used soap.
Детектор (6) дезинфекции, опционально входящий в состав предлагаемой системы, распознает, воспользовался ли пользователь системы дезинфицирующим средством.The disinfection detector (6), optionally included in the proposed system, recognizes whether the user of the system has used a disinfectant.
Модуль (5) детектирования использования мыла может представлять собой модуль детектирования пены. В другом варианте осуществления предлагаемой системы, модуль (5) детектирования использования мыла может представлять собой модуль, определяющий взаимодействие с диспенсером. Последнее может быть реализовано, как с помощью анализа видеопотока с использованием нейросети, так и с помощью получения сигнала от диспенсера.The soap usage detection unit (5) may be a foam detection unit. In another embodiment of the proposed system, the module (5) for detecting the use of soap can be a module that determines the interaction with the dispenser. The latter can be realized both by analyzing the video stream using a neural network, and by receiving a signal from a dispenser.
Сведения, подтверждающие возможность выполнения модулем (3) идентификации пользователей, модулем (4) детектирования движений рук, модулем (5) детектирования использования мыла и детектором (6) дезинфекций соответствующих вышеуказанных функций в составе предлагаемой системы санитарного контроля, приведены в виде вычислительного алгоритма в виде блок-схемы на фиг. 2.Information confirming the possibility of the module (3) for user identification, module (4) for detecting hand movements, module (5) for detecting the use of soap and the detector (6) for disinfection of the corresponding above functions as part of the proposed sanitary control system are given in the form of a computational algorithm in the form the block diagrams in FIG. 2.
В варианте осуществления, модуль (3) идентификации пользователей использует мультимедийный фреймворк Gstreamer, с помощью которого из потока видеоизображения, полученного от видеокамеры (1) распознавания лиц вырезается фрагмент с лицом пользователя, т.е. осуществляется кадрирование изображения (функция «кроп»). Для осуществления детектирования лица модулем (3) идентификации пользователей используется нейросеть Single Shot MultiBox Detector. Кроме того, модулем (3) идентификации пользователей используется протокол обмена данными и библиотека ZeroMQ.In an embodiment, the user identification module (3) uses the multimedia framework Gstreamer, with the help of which a fragment with the user's face is cut from the video stream received from the facial recognition video camera (1), i.e. the image is cropped (crop function). To carry out face detection, the user identification module (3) uses the Single Shot MultiBox Detector neural network. In addition, the user identification module (3) uses the communication protocol and the ZeroMQ library.
В другом варианте осуществления, модуль (3) идентификации пользователей содержит с RFID считыватель и идентификация осуществляется путем считывания информации с RFID транспондера, которым предварительно снабжается каждый пользователь системы. Возможны и иные варианты идентификации пользователей.In another embodiment, the user identification module (3) comprises an RFID reader and identification is carried out by reading information from an RFID transponder that is pre-supplied to each user of the system. Other options for identifying users are also possible.
В варианте осуществления предлагаемой системы санитарного контроля, модуль (4) детектирования движений рук также использует мультимедийный фреймворк Gstreamer, с помощью которого из потока видеоизображения, полученного от видеокамеры (2) распознавания действий вырезается фрагмент изображения с руками пользователя. Модуль (4) детектирования движений рук для осуществления функций в составе предлагаемой системы использует методы машинного обучения. Детектирование движений рук пользователя осуществляется модулем (4) при помощи библиотеки для машинного обучения TensorFlow. Также модуль (4) детектирования движений рук может использовать архитектуру рекуррентных нейронных сетей LongShort Term Memory. Модуль (4) детектирования движений рук также может использовать архитектуру нейронных сетей Convolutional NeuralNetwork. Кроме того, модулем (3) детектирования движений рук используется протокол обмена данными и библиотека ZeroMQ.In an embodiment of the proposed sanitary control system, the module (4) for detecting hand movements also uses the multimedia framework Gstreamer, with the help of which a fragment of the image with the user's hands is cut from the video stream received from the video camera (2) for recognizing actions. The module (4) for detecting hand movements for performing functions as part of the proposed system uses machine learning methods. The user's hand movements are detected by module (4) using the TensorFlow machine learning library. Also, the module (4) for detecting hand movements can use the architecture of recurrent neural networks LongShort Term Memory. The hand movement detection module (4) can also use the Convolutional NeuralNetwork neural network architecture. In addition, the module (3) for detecting hand movements uses the data exchange protocol and the ZeroMQ library.
В варианте осуществления, модуль (5) детектирования использования мыла использует мультимедийный фреймворк Gstreamer. Детектирование использования мыла данным модулем (5) может осуществляться с использованием программной библиотеки для машинного обучения TensorFlow. Кроме того, модулем (5) детектирования использования мыла используется протокол обмена данными ZeroMQ. В варианте осуществления предлагаемой системы, в ее состав дополнительно включен детектор (6) дезинфекции. Кадрирование изображения, полученного детектором (6) дезинфекции от видеокамеры (2) распознавания действий, также может осуществляться путем использования мультимедийного фреймворка Gstreamer. Для детектирования использования средства дезинфекции детектором (6) дезинфекции используется библиотека PyTorch. Кроме того, детектором (6) дезинфекции используется протокол обмена данными ZeroMQ.In an embodiment, the soap usage detection unit (5) uses the Gstreamer multimedia framework. Detection of the use of soap by this module (5) can be carried out using the software library for machine learning TensorFlow. In addition, the module (5) for detecting the use of soap uses the ZeroMQ communication protocol. In an embodiment of the proposed system, a disinfection detector (6) is additionally included in its composition. The cropping of the image obtained by the disinfection detector (6) from the action recognition video camera (2) can also be carried out using the multimedia framework Gstreamer. The PyTorch library is used to detect the use of a disinfectant by the disinfection detector (6). In addition, the disinfection detector (6) uses the ZeroMQ communication protocol.
Для взаимодействия модуля (3) идентификации пользователей, модуля (4) детектирования движений рук, модуля (5) детектирования использования мыла и детектора (6) дезинфекции с центральным вычислительным устройством (7) может быть использован протокол обмена данными ZeroMQ.To interact with the user identification module (3), the hand movement detection module (4), the soap usage detection module (5) and the disinfection detector (6) with the central computing device (7), the ZeroMQ data exchange protocol can be used.
Центральное вычислительное устройство (7) является вычислительным устройством, на котором функционирует программное обеспечение для сбора данных с детектирующих модулей, а также обрабатывающий данные, отправляемые на модуль (8) обратной связи.The central computing device (7) is a computing device that runs software for collecting data from the detecting modules, as well as processing data sent to the feedback module (8).
Центральное вычислительное устройство (7) может быть реализовано на аппаратных средствах, имеющих следующие параметры:The central computing device (7) can be implemented on hardware with the following parameters:
операционная система: Ubuntu 16.04.5 LTS х64 версии 4.15.0 или выше;operating system: Ubuntu 16.04.5 LTS x64 version 4.15.0 or higher;
материнская плата: Asus Maximus VIII Ranger;motherboard: Asus Maximus VIII Ranger;
процессор: Intel(R) Core(TM) i7-7700K, частота 4,2 ГГц;processor: Intel (R) Core (TM) i7-7700K, 4.2 GHz;
устройство видеообработки: Nvidia GeForce GTX 1080 Ti;video processing device: Nvidia GeForce GTX 1080 Ti;
оперативная память: Corsair DDR-4 2666MHz размером 16 Gb; в целях повышения производительности центрального вычислительного устройства может быть использовано несколько модулей оперативной памяти;RAM: Corsair DDR-4 2666MHz 16 Gb; in order to increase the performance of the central computing device, several RAM modules can be used;
носитель информации: Samsung 860 EVO SSD объемом от 500 Gb и Western Digital WD40EZRZ-00G 5400rpm объемом от 4 Gb.storage medium: Samsung 860 EVO SSD from 500 Gb and Western Digital WD40EZRZ-00G 5400 rpm from 4 Gb.
Центральное вычислительное устройство (7) взаимодействует с модулем (3) идентификации пользователей, модулем (4) детектирования движений рук, модулем (5) детектирования использования мыла и детектором (6) дезинфекции при помощи высокопроизводительного протокола (например, протокол удаленного вызова JSON-RPC), обеспечивающего, в частности, высокую производительность предлагаемой системы санитарного контроля. Протокол, используемый для обмена сигналами между центральным вычислительным устройством (7) с модулями детектирования и логики (3), (4), (5), (6) поддерживает уведомления (т.е. информация, отправляемая на центральное вычислительное устройство, может не требовать ответа), а также множественные вызовы.The central computing device (7) interacts with the user identification module (3), the hand movement detection module (4), the soap usage detection module (5) and the disinfection detector (6) using a high-performance protocol (for example, the JSON-RPC remote call protocol) , providing, in particular, high productivity of the proposed sanitary control system. The protocol used to exchange signals between the central computing device (7) with detection and logic modules (3), (4), (5), (6) supports notifications (i.e. information sent to the central computing device may not demand an answer), as well as multiple calls.
Модуль (8) обратной связи с пользователем может содержать модуль (9) бота Telegram (Telegram bot), который является программным модулем, получающим информацию из центрального вычислительного устройства (7), о каждом произошедшем событии, детектированным модулями детектирования и логики (3), (4), (5), (6). Например, «Сотрудник Иванов неуспешно помыл руки», информацию об этом событии получает Telegram начальника сотрудника Иванова при помощи бота Telegram.The user feedback module (8) may contain the Telegram bot module (9), which is a software module that receives information from the central computing device (7) about each event that has occurred, detected by the detection and logic modules (3), (4), (5), (6). For example, "Employee Ivanov unsuccessfully washed his hands", information about this event is received by the Telegram of the employee's boss Ivanov using the Telegram bot.
Также модуль (8) обратной связи может содержать устройство (10) отображения информации, выполненное в виде дисплея для отображения информации пользователю для обратной связи. Устройство (10) отображения информации может быть реализовано в виде экрана (например, LED дисплея) установленного таким образом, чтобы пользователь системы мог удобным образом видеть экран. Обычно устройство (10) отображения информации устанавливается на уровне лица пользователя. На экране отображаются подсказки и результаты взаимодействия пользователя с системой.Also, the feedback module (8) may comprise an information display device (10) made in the form of a display for displaying information to the user for feedback. The information display device (10) can be implemented in the form of a screen (for example, LED display) installed so that the user of the system can conveniently see the screen. Typically, the display device (10) is installed at the level of the user's face. The screen displays tips and results of user interaction with the system.
Также модель (8) обратной связи может содержать светодиодный индикатор (11), также реализующий возможность обратной связи пользователю системы. Светодиодный индикатор (11) может быть реализован в виде цветовых индикаторов, сигнализирующих результаты взаимодействия пользователя(ей) с системой.Also, the feedback model (8) may contain an LED indicator (11), which also provides feedback to the system user. The LED indicator (11) can be implemented in the form of color indicators signaling the results of the user (s) interaction with the system.
Таким образом, модуль (8) обратной связи, на основании полученного информационного сигнала от центрального вычислительного устройства, обеспечивает несколько вариантов обратной связи с пользователем системы: путем отправки сообщения при помощи модуля (9) бота Telegram, индикация о состоявшемся или несостоявшемся событии при помощи светодиодного индикатора (11) или визуальное представление информации о состоявшемся или несостоявшемся событии при помощи устройства (10) отображения информации.Thus, the feedback module (8), based on the received information signal from the central computing device, provides several options for feedback with the system user: by sending a message using the Telegram bot module (9), indication of a completed or failed event using an LED indicator (11) or visual presentation of information about a completed or failed event using a device (10) for displaying information.
Предлагаемая система санитарного контроля дополнительно может осуществлять следующие функции:The proposed sanitary control system can additionally perform the following functions:
- запись и/или хранение данных в центральном вычислительном устройстве (7) или ином носителе информации;- recording and / or storing data in a central computing device (7) or other information carrier;
- автоматизированный пропуск в закрытые зоны;- automated admission to closed areas;
- уведомление пользователя о корректности или некорректности обработки рук (с помощью монитора, LED-индикатора или иных средств индикации);- notifying the user about the correctness or incorrectness of hand processing (using a monitor, LED indicator or other indication means);
- уведомления иных пользователей системы о корректности или некорректности санитарной обработки рук пользователями;- notifying other users of the system about the correct or incorrect sanitization of hands by users;
- считывание и/или запись данных на приемо-передающее пропускное устройство пользователя;- reading and / or writing data to the transmitting-receiving device of the user;
- иные возможности обратной связи, хранения и обработки информации.- other possibilities for feedback, storage and processing of information.
Распознавание и идентификация пользователей в предлагаемой системе санитарного контроля выполняются с помощью алгоритмов компьютерного зрения для распознавания лиц (facial recognition) или системами СКУД (RFID и др.).Recognition and identification of users in the proposed sanitary control system are carried out using computer vision algorithms for facial recognition (facial recognition) or access control systems (RFID, etc.).
Таким образом, все технические средства и обеспечивающее их работу программное обеспечение, применение которых предусмотрено изобретением, разрабатываются и выпускаются как отечественными промышленными предприятиями, так и ведущими компаниями зарубежных стран.Thus, all technical means and software supporting their operation, the use of which is envisaged by the invention, are developed and produced both by domestic industrial enterprises and by leading companies in foreign countries.
Предусмотренное изобретением взаимодействие средств реализуется в известных процессах различного назначения в области вычислительной техники. В процессе изготовления всех устройств, входящих в состав предлагаемой системы санитарного контроля, может быть использовано типовое, стандартное промышленное оборудование, известные материалы и комплектующие изделия.The interaction of means provided by the invention is realized in known processes for various purposes in the field of computing. In the process of manufacturing all devices that make up the proposed sanitary control system, typical, standard industrial equipment, known materials and components can be used.
Как показано на фиг. 2, предлагаемая система санитарного контроля работает следующим образом.As shown in FIG. 2, the proposed sanitary control system works as follows.
В варианте осуществления предлагаемой системы санитарного контроля, модуль (3) идентификации пользователя включает в себя RFID считыватель и идентификация осуществляется путем считывания информации с RFID транспондера. Согласно данному варианту осуществления, информация о пользователе записана на RFID транспондере.In an embodiment of the proposed sanitary control system, the user identification module (3) includes an RFID reader and identification is performed by reading information from an RFID transponder. According to this embodiment, the user information is recorded on the RFID transponder.
В другом варианте осуществления предлагаемой системы, при появлении пользователя в углу обзора видеокамеры (1) распознавания лиц, модуль (3) идентификации пользователей, получив сигнал от видеокамеры (1) распознавания лиц, осуществляет детектирование лица данного пользователя. При помощи алгоритма автоматического выделения лиц(а) пользователей(я) (т.е. при помощи операции кадрирования, т.е. функции «crop»), модуль (3) идентификации пользователей в дальнейшем осуществляет анализ только выделенного фрагмента, содержащего лицо(а) пользователя(ей), что также обеспечивает повышение быстродействие предлагаемой системы. При этом в модуле (3) идентификации пользователей хранится информация о лицах сотрудников предприятия, имеющих доступ в зону, ограничиваемую предлагаемой системой санитарного контроля. Таким образом, в результате процесса распознавания лица пользователя, лицо может быть распознано или нет. В случае распознавания лица пользователя, модуль (3) идентификации пользователей отправляет идентификационные данные, соответствующие распознанному лицу, на центральное вычислительное устройство (7), на котором устанавливается соответствие полученных идентификационных данных с действиями соответствующего пользователя, находящегося в углу обзора видеокамеры (1) распознавания лиц и видеокамеры (2) распознавания действий. В случае невозможности распознавания лица пользователя модуль (3) идентификации пользователей направляет на центральное вычислительное устройство (7) сообщение, которое затем передается на модуль (8) обратной связи. Предлагаемая система санитарного контроля может работать с несколькими камерами одновременно, и таким образом осуществлять одновременно детектирование лиц и детектирование обработки рук для нескольких пользователей, находящихся в углу обзора видеокамеры (1) распознавания лиц и одной или нескольких видеокамер (2) распознавания действий.In another embodiment of the proposed system, when a user appears in the viewing angle of the face recognition video camera (1), the user identification module (3), having received a signal from the face recognition video camera (1), detects the user's face. Using the algorithm for automatic selection of the faces (s) of the user (s) (that is, using the cropping operation, that is, the "crop" function), the user identification module (3) further analyzes only the selected fragment containing the face ( a) user (s), which also improves the performance of the proposed system. At the same time, the user identification module (3) stores information about the persons of the enterprise employees who have access to the area limited by the proposed sanitary control system. Thus, as a result of the user's face recognition process, the face can be recognized or not. In the case of recognizing the user's face, the user identification module (3) sends identification data corresponding to the recognized face to the central computing device (7), on which the correspondence of the obtained identification data with the actions of the corresponding user located in the viewing angle of the face recognition video camera (1) and a video camera (2) for recognizing actions. If it is impossible to recognize the user's face, the user identification module (3) sends a message to the central computing device (7), which is then transmitted to the feedback module (8). The proposed sanitary control system can work with several cameras simultaneously, and thus simultaneously carry out face detection and hand processing detection for several users located in the viewing angle of a video camera (1) for face recognition and one or more video cameras (2) for recognizing actions.
Далее, пользователь системы, идентифицированный модулем (3) идентификации пользователя, приступает к обработке рук. При этом модуль (4) детектирования движений рук, получая сигнал от видеокамеры (2) распознавания действий, осуществляет детектирование движений рук, делая на основании детектирования вывод, обрабатывает ли пользователь руки или нет. В случае, если модулем (4) детектирования движений рук определено, что пользователь не начал обработку рук, данный модуль (4) возвращается к этапу детектирования движений рук. В случае, если модулем (4) детектирования движений рук определено, что пользователь начал обработку рук, данный модуль (4) определяет соответствие движений рук пользователя заранее предопределенному уровню обработки рук. В случае соответствия движений рук пользователя упомянутому уровню обработки рук, модуль (4) детектирования движений рук приступает к измерению продолжительности обработки рук пользователем. В случае несоответствия движений рук пользователя упомянутому уровню обработки рук, модуль (4) детектирования движений рук отправляет сигнал на центральное вычислительное устройство (7) информационный сигнал о несоответствии требованиям по обработке рук определенным пользователем. Далее, данный сигнал передается от центрального вычислительного устройства (7) на модуль (8) обратный связи, сигнализирующий о несоблюдении регламента обработки рук пользователем, идентифицированным модулем (3) идентификации пользователей.Next, the user of the system, identified by the user identification module (3), proceeds to handle the hands. In this case, the module (4) for detecting hand movements, receiving a signal from the video camera (2) for recognizing actions, detects hand movements, making a conclusion based on the detection whether the user is processing hands or not. If it is determined by the hand movement detection unit (4) that the user has not started hand processing, this unit (4) returns to the step of hand movement detection. If it is determined by the hand movement detection unit (4) that the user has started hand processing, this unit (4) determines the correspondence of the user's hand movements to a predetermined level of hand processing. If the hand movements of the user correspond to the mentioned level of hand processing, the hand movement detection unit (4) starts measuring the duration of hand treatment by the user. In the event that the user's hand movements do not correspond to the mentioned level of hand processing, the hand movement detection unit (4) sends a signal to the central computing device (7) an information signal about non-compliance with the hand processing requirements specified by the user. Further, this signal is transmitted from the central computing device (7) to the feedback module (8), signaling non-observance of the rules for handling hands by the user identified by the user identification module (3).
Одновременно с этим, модуль (5) детектирования использования мыла при помощи полученного сигнала от видеокамеры (2) распознавания действий осуществляет детектирование использования мыла пользователем, обрабатывающим руки. В варианте осуществления предлагаемой системы, детектирование использования мыла осуществляется путем получения сигнала от диспенсера моющего средства. В случае обнаружения использования мыла пользователем, модуль (5) детектирования использования мыла отправляет на центральное вычислительное устройство (7) соответствующий сигнал. В случае, если обнаружить использование мыла пользователем модулем (5) детектирования использования мыла не удалось, данный модуль (5) отправляет на центральное вычислительное устройство (7) сигнал о неиспользовании мыла соответствующим пользователем.At the same time, the module (5) for detecting the use of soap, using the received signal from the video camera (2) for recognizing actions, detects the use of soap by the user treating his hands. In an embodiment of the present system, the detection of the use of soap is carried out by receiving a signal from the detergent dispenser. In case of detecting the use of soap by the user, the module (5) for detecting the use of soap sends a corresponding signal to the central computing device (7). If the module (5) for detecting the use of soap failed to detect the use of soap by the user, this module (5) sends a signal about the non-use of soap by the corresponding user to the central computing device (7).
Схожим образом функционирует детектор (6) дезинфекции, входящий в состав предлагаемой системы в одном из вариантов ее осуществления. Детектор (6) дезинфекций получает сигнал от видеокамеры (2) распознавания действий. В случае обнаружения использования дезинфицирующего средства пользователем, детектор (6) дезинфекции отправляет на центральное вычислительное устройство (7) сигнал об использовании пользователем дезинфицирующего средства. В случае, если обнаружить использование дезинфицирующего средства пользователем детектором (6) дезинфекции не удалось, детектор (6) дезинфекции отправляет на центральное вычислительное устройство (7) сигнал о неиспользовании дезинфицирующего средства соответствующим пользователем. В варианте предлагаемой системы детектирование использования дезинфицирующего средства осуществляется путем получения сигнала от диспенсера дезинфицирующего средства.The disinfection detector (6), which is part of the proposed system in one of its embodiments, functions in a similar way. The disinfection detector (6) receives a signal from the action recognition video camera (2). If a user detects that a disinfectant is being used, the disinfection detector (6) sends a signal to the central computing device (7) that the user is using a disinfectant. If the disinfection detector (6) fails to detect the use of the disinfectant by the user, the disinfection detector (6) sends a signal to the central computing device (7) that the disinfectant is not used by the corresponding user. In a variant of the proposed system, the use of a disinfectant is detected by receiving a signal from a disinfectant dispenser.
Затем, модуль (4) детектирования движений рук дополнительно осуществляет измерение продолжительности обработки рук пользователем. В случае соответствия продолжительности обработки рук пользователем уровню обработки рук, от модуля (4) на центральное вычислительное устройство (7) передается сигнал о соответствии обработки рук пользователя уровню обработки рук. При этом вычислительное устройство (7) может отправить соответствующий сигнал на модуль (8) обратной связи. В случае несоответствия продолжительности обработки рук пользователем уровню обработки рук, от модуля (4) на центральное вычислительное устройство (7) передается сигнал о несоответствии обработки рук пользователя уровню обработки рук. При этом вычислительное устройство (7) может отправить сигнал о несоответствии обработки рук пользователем на модуль (8) обратной связи.Then, the hand movement detection unit (4) additionally measures the duration of the hand treatment by the user. If the duration of the user's hand processing corresponds to the hand processing level, a signal is transmitted from the module (4) to the central computing device (7) that the user's hand processing corresponds to the hand processing level. In this case, the computing device (7) can send a corresponding signal to the feedback module (8). If the duration of hand processing by the user does not correspond to the level of hand processing, a signal is transmitted from the module (4) to the central computing device (7) that the processing of the user's hands does not match the level of hand processing. In this case, the computing device (7) can send a signal about the inconsistency of hand processing by the user to the feedback module (8).
При соблюдении всех требований к уровню обработки рук пользователем, модули детектирования и логики (3), (4), (5), (6) отправляют сигнал о соответствии требований в отношении пользователя на центральное вычислительное устройство (7).If all the requirements for the level of hand processing by the user are met, the detection and logic modules (3), (4), (5), (6) send a signal of compliance with the requirements for the user to the central computing device (7).
При несоблюдении хотя бы одного требования к уровню обработки рук пользователем и обнаружении данного события по меньшей мере одним из модулей детектирования и логики (3), (4), (5), (6), соответствующим(и) модулем(ями) на центральное вычислительное устройство (7) отправляется сигнал о несоблюдении требований уровня обработки рук пользователем.If at least one requirement for the level of hand processing by the user is not met and this event is detected by at least one of the detection and logic modules (3), (4), (5), (6), the corresponding module (s) to the central the computing device (7) sends a signal about non-compliance with the requirements of the level of hand processing by the user.
Предлагаемая система санитарного контроля также может функционировать в медицинских организациях и пищевых производствах в соответствии с, например, СанПиН 2.1.3.2630-10 "Санитарно-эпидемиологические требования к организациям, осуществляющим медицинскую деятельность", а также, например, с другими санитарно-эпидемиологическими правилами и нормами, такими как СанПин 2.3.4.551-96 "Предприятия пищевой и перерабатывающей Промышленности (технологические процессы. Сырье) Производство молока и молочных продуктов Санитарные правила и нормы", СанПин 3238-85 "Санитарные правила для предприятий мясной промышленности", СанПин 2.3.4.050-96 "Предприятия пищевой и перерабатывающей Промышленности (технологические процессы, сырье) Производство и реализация рыбной продукции Санитарные правила и нормы" и/или другими санитарно-эпидемиологическими правилами и нормами и/или гигиеническими нормативами. А также обработка рук может осуществляться в соответствии с европейским стандартом обработки рук EN-1500 (или иными стандартами обработки рук).The proposed sanitary control system can also function in medical organizations and food industries in accordance with, for example, SanPiN 2.1.3.2630-10 "Sanitary and epidemiological requirements for organizations carrying out medical activities", as well as, for example, with other sanitary and epidemiological rules and norms, such as SanPin 2.3.4.551-96 "Enterprises of the food and processing industry (technological processes. Raw materials) Production of milk and dairy products Sanitary rules and regulations", SanPin 3238-85 "Sanitary rules for the meat industry", SanPin 2.3.4.050 -96 "Enterprises of the food and processing industry (technological processes, raw materials) Production and sale of fish products Sanitary rules and regulations" and / or other sanitary and epidemiological rules and norms and / or hygienic standards. And also hand treatment can be carried out in accordance with the European standard for hand treatment EN-1500 (or other standards for hand treatment).
Claims (30)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019134889A RU2752268C2 (en) | 2019-10-30 | 2019-10-30 | Sanitary control system |
| PCT/RU2020/050309 WO2021086235A1 (en) | 2019-10-30 | 2020-10-29 | Sanitary control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019134889A RU2752268C2 (en) | 2019-10-30 | 2019-10-30 | Sanitary control system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2019134889A RU2019134889A (en) | 2021-04-30 |
| RU2019134889A3 RU2019134889A3 (en) | 2021-04-30 |
| RU2752268C2 true RU2752268C2 (en) | 2021-07-26 |
Family
ID=74870869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019134889A RU2752268C2 (en) | 2019-10-30 | 2019-10-30 | Sanitary control system |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2752268C2 (en) |
| WO (1) | WO2021086235A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705485B (en) * | 2021-08-31 | 2024-04-05 | 贵州东冠科技有限公司 | System and method for identifying life hygiene image of user |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070064986A1 (en) * | 2001-03-13 | 2007-03-22 | Johnson Raymond C | Touchless identification in system for monitoring hand washing or application of a disinfectant |
| RU2494465C2 (en) * | 2007-10-30 | 2013-09-27 | Кэафьюжн 303, Инк. | Secure medication transport and administration system |
| RU2524621C1 (en) * | 2013-07-10 | 2014-07-27 | Александр Олегович Терентьев | Stabilised antimicrobial gel compound of hydrogen peroxide |
| US20150109442A1 (en) * | 2010-09-23 | 2015-04-23 | Stryker Corporation | Video monitoring system |
| RU2637425C2 (en) * | 2013-03-15 | 2017-12-04 | Джеймс КАРЕЙ | Method for generating behavioral analysis in observing and monitoring system |
| RU2658157C1 (en) * | 2017-04-26 | 2018-06-19 | Закрытое акционерное общество "Восточный Ветер" | Method for constructing temporary channels for data transmission between the im clients that use different communication protocols |
| RU2678401C1 (en) * | 2017-12-27 | 2019-01-28 | Общество с ограниченной ответственностью "Коннектом" | Sanitary control system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998036258A2 (en) * | 1997-02-18 | 1998-08-20 | Johnson, Raymond, C. | Apparatus and method for monitoring hand washing |
| GB2421108A (en) | 2004-12-08 | 2006-06-14 | Matsushita Electric Ind Co Ltd | Controlling access in response to a function of a mobile device being disabled |
| US20150302769A1 (en) * | 2011-12-05 | 2015-10-22 | Raymond C. Johnson | Virtual Hand-Washing Coach |
| WO2014062755A1 (en) * | 2012-10-16 | 2014-04-24 | Johnson Raymond C | Hand washing monitoring system for public restrooms |
-
2019
- 2019-10-30 RU RU2019134889A patent/RU2752268C2/en active
-
2020
- 2020-10-29 WO PCT/RU2020/050309 patent/WO2021086235A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070064986A1 (en) * | 2001-03-13 | 2007-03-22 | Johnson Raymond C | Touchless identification in system for monitoring hand washing or application of a disinfectant |
| RU2494465C2 (en) * | 2007-10-30 | 2013-09-27 | Кэафьюжн 303, Инк. | Secure medication transport and administration system |
| US20150109442A1 (en) * | 2010-09-23 | 2015-04-23 | Stryker Corporation | Video monitoring system |
| RU2637425C2 (en) * | 2013-03-15 | 2017-12-04 | Джеймс КАРЕЙ | Method for generating behavioral analysis in observing and monitoring system |
| RU2524621C1 (en) * | 2013-07-10 | 2014-07-27 | Александр Олегович Терентьев | Stabilised antimicrobial gel compound of hydrogen peroxide |
| RU2658157C1 (en) * | 2017-04-26 | 2018-06-19 | Закрытое акционерное общество "Восточный Ветер" | Method for constructing temporary channels for data transmission between the im clients that use different communication protocols |
| RU2678401C1 (en) * | 2017-12-27 | 2019-01-28 | Общество с ограниченной ответственностью "Коннектом" | Sanitary control system |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2019134889A (en) | 2021-04-30 |
| RU2019134889A3 (en) | 2021-04-30 |
| WO2021086235A1 (en) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3054216C (en) | Methods and systems for improving infection control in a facility | |
| EP3698337B1 (en) | Hand washing system and method | |
| US20180301014A1 (en) | System and method for monitoring procedure compliance | |
| US20190147731A1 (en) | Hand hygiene compliance monitoring | |
| US11238721B2 (en) | System and method for efficiently monitoring hand hygiene | |
| US20160203699A1 (en) | Method and apparatus of surveillance system | |
| US20140169622A1 (en) | Apparatus and method for monitoring hand washing | |
| WO2018081598A1 (en) | Hand hygiene system | |
| US9183729B2 (en) | Hand care reporting panel | |
| CA2766223A1 (en) | System for monitoring patient safety suited for determining compliance with hand hygiene guidelines | |
| US11982630B2 (en) | Method and apparatus for cleanliness determination of areas and objects via video monitoring | |
| RU2752268C2 (en) | Sanitary control system | |
| KR20170114833A (en) | Hand cleaning mornitoring system and mornitoring method | |
| CN110852249A (en) | Method and system for monitoring hand washing of personnel | |
| US20130300572A1 (en) | System and method for hand cleansing | |
| US10643454B1 (en) | Handwashing system and methods of use | |
| WO2021245645A1 (en) | Hand washing and sanitizing verification | |
| US20230375991A1 (en) | Acoustic monitoring for detection of anomalous operation of cleaning machines | |
| US11961385B2 (en) | Hand hygiene device, system, and method | |
| US11600062B1 (en) | Camera system for defining an inspection space | |
| WO2021058931A1 (en) | Apparatus, system and method for real time hand hygiene monitoring | |
| TWM581240U (en) | Movement direction guidance system | |
| US20240105048A1 (en) | Hand washing verification by contamination sensor | |
| WO2018007446A1 (en) | A system, method and pdu for monitoring hand hygiene compliance | |
| AU2015202919A1 (en) | A system and method of hygiene control |