WO2023101571A1 - Method and system for cleaning a room using automated devices - Google Patents

Method and system for cleaning a room using automated devices Download PDF

Info

Publication number
WO2023101571A1
WO2023101571A1 PCT/RU2021/000533 RU2021000533W WO2023101571A1 WO 2023101571 A1 WO2023101571 A1 WO 2023101571A1 RU 2021000533 W RU2021000533 W RU 2021000533W WO 2023101571 A1 WO2023101571 A1 WO 2023101571A1
Authority
WO
WIPO (PCT)
Prior art keywords
cleaning
map
pollution
automated
room
Prior art date
Application number
PCT/RU2021/000533
Other languages
French (fr)
Russian (ru)
Inventor
Иван Владимирович КЛИМЕНКО
Владимир Сергеевич КРАВЦЕВ
Андрей Владимирович КОМИССАРОВ
Юрий Николаевич БОРИСОВ
Original Assignee
Публичное Акционерное Общество "Сбербанк России"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Публичное Акционерное Общество "Сбербанк России" filed Critical Публичное Акционерное Общество "Сбербанк России"
Priority claimed from RU2021135269A external-priority patent/RU2785769C1/en
Publication of WO2023101571A1 publication Critical patent/WO2023101571A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives

Definitions

  • This technical solution relates to the field of computer technology, in particular the control of automated cleaning devices.
  • a device and a method for tracking completed cleaning work are known (patent RU 2 727 215 C2), which is a program management system for cleaning work to simplify cleaning surfaces and record cleaning work performed.
  • This system contains a sensor means that allows you to register various cleaning parameters (contact pressure, etc.) in order to track the cleaning work performed.
  • Another solution discloses an automatic cleaning system, a cleaning robot and a method for controlling a cleaning robot (patent RU 2 620 236 C1), which is a robot cleaning control that receives movement instructions (including areas of concentrated cleaning, input instructions of limited areas, etc.) from the user during cleaning operations.
  • a cleaning robot (patent RU 2 620 236 C1), which is a robot cleaning control that receives movement instructions (including areas of concentrated cleaning, input instructions of limited areas, etc.) from the user during cleaning operations.
  • a common problem of the known solutions is the insufficient speed of updating information about the cleaning control area, as well as the lack of analysis of the client flow density, which is critical for timely planning of the cleaning route in the premises while people are inside.
  • the claimed invention is aimed at solving the technical problem of insufficient control efficiency of automated cleaning devices due to untimely updating of information about the interior environment of the room.
  • the technical result consists in increasing the efficiency of cleaning the premises with the help of automated devices, due to the dynamic construction of a map of pollution of the premises and data on the client flow used in the formation of the route of movement of automated cleaning devices.
  • the claimed technical result is achieved by implementing a method for cleaning a room using automated cleaning devices, comprising the steps of: using the processor of a computing device, at least images of the floor of the room are obtained from at least one video surveillance camera; generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution; carry out the analysis of the client flow at the time of formation of the pollution map; transmitting the generated pollution map and client flow data to at least one automated cleaning device; using at least one automated cleaning device, receiving data from a computing device; form the route of cleaning the premises on the basis of the received pollution map and client flow; cleaning the premises.
  • data on the contamination of objects in the room is additionally obtained from the video surveillance camera.
  • the resulting image is segmented and processed by a machine learning model to determine the presence and degree of pollution for each segment.
  • At least one of: the priority of the cleaning segment, the cleaning intensity, the use of the detergent composition, the method of using the detergent or cleaning agent is determined.
  • the route of movement of the automated device for cleaning is formed based on the priority of cleaning segments.
  • the start of cleaning the premises begins at a given threshold value of the client flow and / or the level of contamination of one or more segments.
  • a map of the room is additionally preliminarily formed.
  • a room map is generated based on data from at least one optical sensor installed on an automated device.
  • the pollution map is dynamically updated within a given time range.
  • each automated tool calculates the cleaning route, taking into account the movement of other automated devices.
  • the claimed technical result is also achieved using a cleaning system using automated cleaning devices, which contains: a computing device containing at least one processor and associated with at least one video surveillance camera; at least one cleaning device controlled by a data link with a computing device; moreover, using the processor of the computing device, at least images of the floor of the room are obtained from at least one video surveillance camera; generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution; carry out the analysis of the client flow at the time of formation of the pollution map; transmitting the generated pollution map and client flow data to control at least one automated cleaning device; using at least one automated cleaning device, receiving data from a computing device; form the route of cleaning the premises on the basis of the received pollution map and client flow; cleaning the premises.
  • automated cleaning devices which contains: a computing device containing at least one processor and associated with at least one video surveillance camera; at least one cleaning device controlled by a data link with a computing device; moreover, using the processor of the computing device,
  • FIG. 1 illustrates a general view of the claimed system.
  • FIG. 2A illustrates an example of pollution mapping.
  • FIG. 2B illustrates an example machine learning model architecture.
  • FIG. 3 illustrates a block diagram of the claimed method.
  • FIG. 4 illustrates a circuit diagram of a computing device.
  • FIG. 1 shows a general view of the claimed solution.
  • the solution is based on the technology of analyzing images obtained from one or more video surveillance cameras (SW) installed in the cleaning area (10).
  • the cleaning area (10) is to be understood as an open or closed area, such as a bank branch, a shop, a restaurant, etc.
  • Information received from video surveillance cameras (software) is transmitted via a data transmission channel (120), for example, TCP / IP, to a computing device (130), which performs subsequent processing of the received data in terms of analyzing images of surfaces, in particular, the floor (102) for the subsequent formation of data on the degree of its pollution.
  • the video surveillance cameras (110) can be any suitable type of cameras capable of capturing video, such as IP cameras, PTZ cameras, and others.
  • any suitable type of communication can be used, in particular, the data transfer protocol supported by the cameras (110), providing transferring information from them to a computing device (130). Examples of this kind of communication type can be: TCP/IP, LAN, WLAN, WAN, PAN, Wi-Fi, Ethernet, etc.
  • the computing device (130) for example, a personal computer, laptop, server, tablet, or the like can be used.
  • a contamination map of the cleaning area (10) is formed, which is built on the basis of the obtained images characterizing the degree of contamination of the floor (102). It also takes into account information about the number and density of client traffic, calculated by recognizing the presence of people (101) in the cleaning area (10).
  • the resulting pollution map and client flow data are transmitted to an automated cleaning device (140), for example, a robot vacuum cleaner, a cleaning robot, an automated floor scrubber, etc., which forms a movement route to ensure the cleaning process of the area (10) in particular floor surfaces (102).
  • the automated cleaning device (140) can be either a completely autonomous device (robot vacuum cleaner) or an operator-controlled device, such as a scrubber drier.
  • the operator may be provided with information about the preferred travel route for effective floor cleaning (102), for example, using the image of the travel route on the display of the device (140).
  • FIG. 2A shows the principle of generating a pollution map (200).
  • a pollution map (200) is generated by floor image processing (102) with a machine learning model (210).
  • Model (210) consists of several modules that include specialized detectors that are part of the video analytics system and are used to determine objects (and / or change objects - object movements, etc.) in the image and find the boundaries of these objects through the use of algorithms image processing.
  • the detector module within the framework of the model (210) is used to identify people and is trained on an open dataset with people (COCO Dataset), enriched with images of people from CCTV cameras in various premises and in transport.
  • COCO Dataset open dataset with people
  • the module responsible for classifying a person in an image, determining the presence of a floor under it and characterizing the purity of this floor, was trained on images of people cut out from images from surveillance cameras with the expansion of the boundaries of a person by 10% of the long side (usually height). Each of these images has been assigned a class for the task classification, the sign of the presence of sex and the degree of floor contamination from 0 to 1 with a step of 0.2 are set.
  • Model (210) in one of the particular implementation examples can be one or more neural networks, for example, a convolutional neural network (CNN), which receives an image from a video surveillance camera (HO) as input.
  • FIG. 2B shows one example implementation of the machine learning model architecture (210).
  • the input image (211) is processed using the detector module (new image), and the subsequent processing of the detection results in the convolutional neural network module (210), consisting of convolutional layers (212, 213), and fully connected modules responsible for generating model responses (214 ) - (216).
  • Module (214) classifies the current action of the person, module (215) performs a binary classification based on the presence of gender in the frame, and module (216) performs a regression task to determine the floor contamination level from 0 to 1.
  • the overall pollution map (200) is dynamically generated by constantly scanning the degree of pollution of the floor (102) by processing images from the cameras (110) by the model (210).
  • the pollution map (200) divides the floor image area (102) into segments (201), for which the degree of pollution is determined from 0 to 1 using the model (210).
  • the result of the execution of the model (210) is an estimate of the level of contamination of the floor (102) under the person (11) and around him in each segment (201).
  • the data on the cleanliness of the floor (102) obtained at the output of the model (210) are added to the overall pollution map (200).
  • the original image with the floor (102) is divided into m*n identical segments (201).
  • the current pollution level of a particular segment (201) is the average of all k values.
  • the area of the map is determined, in which the center of the image received from the detector falls; 4. A new value is added to the list of pollution values for the found area of the map;
  • the current pollution value of the area is the average value of the list items.
  • the proposed approach proposes to scan with a given frequency the floor contamination level (102) of all people (101) in the frame, and use the obtained data to compile/update the current contamination map (200). Also, the approach makes it possible to effectively estimate the level of floor contamination from video data with different scales of the cleaning area (10) on the frame, since it works with the results of the detector, which already have the same scale. Updating the pollution map (200) is carried out by changing the pollution values of the areas and can be represented as colors of the map pixels (200) on the corresponding segments (201) depending on the degree of their pollution.
  • FIG. 3 is a flowchart of the method (300) for cleaning a room.
  • data from the camera (110) in particular, the image of the area of its control in the form of video, is transmitted to the computing device (130), which subsequently processes the data using the model (210) and forms the current pollution map (200 ) floor (102) in the cleaning area (10).
  • the density of the client flow is calculated as the number of recognized people (101) on the frames of the cleaning area at the current time. Traffic density is used to plan cleaning (including cleaning start time, cleaning route and modes, etc.) using rules based on threshold values (client traffic, pollution levels, etc.) or other methods.
  • the received cleaning plans are transmitted via the transmission channel (120) together with the calculated pollution map (200) to the automated device (140) for cleaning.
  • the program logic of the device (140) based on the generated pollution map (200) and data on the density of the client flow, forms the route of movement of the device (140).
  • the route can be formed on the basis of segments (201) of the pollution map (200), for which the priority of their cleaning is determined, taking into account the possibility of free movement around the cleaning zone (10) in the presence of people (11).
  • the route of movement of the device (140) can also be formed directly on the computing device (130) with subsequent transmission via the data link (120) of the finished route to the automated device (140) for cleaning.
  • the automated device (140) can also be equipped with sensors, such as LIDAR, optical sensor, sound sensor, and others, which additionally provide information about the environment, based on which the movement of the device (140) is corrected.
  • sensors such as LIDAR, optical sensor, sound sensor, and others
  • a map of the cleaning area (10) i.e. of the movement room of the device (140) can be preliminarily formed in terms of obtaining information about the surrounding space in the room and its geometric characteristics.
  • the floor segments (102) corresponding to the segments (201) of the pollution map (200) can be characterized by spatial coordinates that provide the determination of the route of movement of the device (140).
  • the intensity of cleaning, the use of the detergent composition for the specified segment, or the method of using the detergent or cleaning agent can be determined.
  • the calculation of the concentration and composition of the products used is based on the density of the client flow and the obtained level of floor contamination (102) in the corresponding segment (201). For example, for light soil removal and maintenance cleaning of segments (201) with low customer traffic, robotic cleaning with mild alkaline detergents can be used. And for heavily soiled segments (201) - manual cleaning with strongly alkaline detergents.
  • the device (140) extends along the generated movement route to ensure cleaning of the area (10).
  • robotic means directly clean the floor (102), in particular wet and/or dry cleaning.
  • surfaces of elements of the environment for example, ATMs (103) in a bank branch, which are also subject to contamination, can be determined.
  • Such data can also be used in the formation of a pollution map (200) and transmitted both to devices (140), which performs cleaning in offline mode, and augmented reality (AR-glasses) worn by service personnel. In this case, such surfaces will be highlighted with the help of their pixel processing and will allow you to respond more quickly to the need for cleaning.
  • AR-glasses augmented reality
  • several automated devices (140) can be used, for example, a cleaning robot and a vacuum cleaner robot.
  • both the density of the client flow is taken into account, on the basis of which the actual possibility of their movement simultaneously with people (101) in the cleaning area (10) and the order of their floor processing (102) will be determined based on the segments ( 201).
  • more polluted segments (201) will first be subjected to wet cleaning, and then dry cleaning, which allows you to create a route for several devices (140) in succession.
  • FIG. 4 shows a general view of a computing device (400) suitable for performing the claimed method and on the basis of which a computing device (130) can be implemented.
  • the device (400) may be, for example, a server or other type of computing device that can be used to implement the claimed technical solution. Including being part of a cloud computing platform.
  • the computing device (400) contains one or more processors (401), memory facilities such as RAM (402) and ROM (403), input / output interfaces (404), input devices connected by a common information exchange bus /output (405), and a device for networking (406).
  • processors 401
  • memory facilities such as RAM (402) and ROM (403
  • input / output interfaces 404
  • a device for networking 406
  • the processor (401) may be selected from a variety of devices currently widely used, such as IntelTM, AMDTM, AppleTM, Samsung ExynosTM, MediaTEKTM, Qualcomm SnapdragonTM, and etc.
  • the processor (401) can also be a graphics processor such as Nvidia, AMD, Graphcore, etc.
  • RAM (402) is a random access memory and is designed to store machine-readable instructions executable by the processor (401) for execution necessary operations for logical data processing.
  • the RAM (402) typically contains the executable instructions of the operating system and associated software components (applications, program modules, etc.).
  • a ROM is one or more persistent storage devices such as a hard disk drive (HDD), a solid state drive (SSD), flash memory (EEPROM, NAND, etc.), optical storage media ( CD-R/RW, DVD-R/RW, BlueRay Disc, MD), etc.
  • I/O interfaces are used to organize the operation of device components (400) and organize the operation of external connected devices.
  • the choice of appropriate interfaces depends on the particular design of the computing device, which can be, but not limited to: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232, etc.
  • I / O information To ensure user interaction with the computing device (400), various means (405) of I / O information are used, for example, a keyboard, a display (monitor), a touch screen, a touch pad, a joystick, a mouse, a light pen, a stylus, touch panel, trackball, speakers, microphone, augmented reality, optical sensors, tablet, indicator lights, projector, camera, biometric identification tools (retinal scanner, fingerprint scanner, voice recognition module), etc.
  • a keyboard a display (monitor), a touch screen, a touch pad, a joystick, a mouse, a light pen, a stylus, touch panel, trackball, speakers, microphone, augmented reality, optical sensors, tablet, indicator lights, projector, camera, biometric identification tools (retinal scanner, fingerprint scanner, voice recognition module), etc.
  • the networking means (406) enables the communication of data by the device (400) via an internal or external computer network, such as an Intranet, the Internet, a LAN, and the like.
  • an internal or external computer network such as an Intranet, the Internet, a LAN, and the like.
  • one or more means (406) can be used, but not limited to: Ethernet card, GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and / or BLE module, Wi-Fi module and others
  • satellite navigation tools in the device (400) can also be used, for example, GPS, GLONASS, BeiDou, Galileo.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to the field of computer technology, and more particularly to controlling automated devices for cleaning a room. The technical result consists in increasing the efficiency with which a room is cleaned using automated devices by dynamically compiling a cleaning map of the room and customer traffic data, which can be used to generate a route to be travelled by automated cleaning devices. A cleaning method includes the steps of: acquiring images of the floor of a room from a video surveillance camera; generating, with the aid of machine learning, a cleaning map of the room on the basis of the images acquired, and analyzing customer traffic at the time of generation of the cleaning map; transmitting the generated cleaning map to an automated cleaning device; acquiring data from a computing device; generating a cleaning route on the basis of the obtained cleaning map and the customer traffic; cleaning the room.

Description

СПОСОБ И СИСТЕМА УБОРКИ ПОМЕЩЕНИЯ С ПОМОЩЬЮ АВТОМАТИЗИРОВАННЫХ УСТРОЙСТВ METHOD AND SYSTEM FOR CLEANING ROOM USING AUTOMATED DEVICES
ОБЛАСТЬ ТЕХНИКИ FIELD OF TECHNOLOGY
[0001] Настоящее техническое решение относится к области компьютерной техники, в частности управлению автоматизированными устройствами для уборки помещения. [0001] This technical solution relates to the field of computer technology, in particular the control of automated cleaning devices.
УРОВЕНЬ ТЕХНИКИ BACKGROUND OF THE INVENTION
[0002] Существующие решения в области уборки помещения с помощью автоматизированных устройств, как правило, направлены на различные способы построения маршрута перемещения такого рода устройств, например, роботизированных устройств. [0002] Existing solutions in the field of cleaning the premises using automated devices, as a rule, are directed to various ways of constructing a route for the movement of such devices, for example, robotic devices.
[0003] Известны устройство и способ отслеживания выполненных работ по уборке (патент RU 2 727 215 С2), которые представляют собой систему программного управления работ по уборке для упрощения уборки поверхностей и записи выполняемых работ по уборке. Данная система содержит сенсорное средство, позволяющее регистрировать различные параметры проводимой уборки (контактное давление и т.п.) для отслеживания выполненных работ по уборке. [0003] A device and a method for tracking completed cleaning work are known (patent RU 2 727 215 C2), which is a program management system for cleaning work to simplify cleaning surfaces and record cleaning work performed. This system contains a sensor means that allows you to register various cleaning parameters (contact pressure, etc.) in order to track the cleaning work performed.
[0004] В другом решении раскрывается система автоматической уборки, робот- уборщик и способ управления роботом -уборщиком (патент RU 2 620 236 С1), которая представляет собой средство управления роботом-уборщиком, получающее инструкции движения (включая зоны концентрированной уборки, входные инструкции ограниченной зоны и т.п.) от пользователя в процессе выполнения операций по уборке. [0004] Another solution discloses an automatic cleaning system, a cleaning robot and a method for controlling a cleaning robot (patent RU 2 620 236 C1), which is a robot cleaning control that receives movement instructions (including areas of concentrated cleaning, input instructions of limited areas, etc.) from the user during cleaning operations.
[0005] Общей проблемой известных решений является недостаточная скорость обновления информации об области контроля уборки, а также отсутствие анализа плотности клиентопотока, что критично для своевременного планирования маршрута уборки в помещениях с одновременным нахождением людей внутри. [0005] A common problem of the known solutions is the insufficient speed of updating information about the cleaning control area, as well as the lack of analysis of the client flow density, which is critical for timely planning of the cleaning route in the premises while people are inside.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ SUMMARY OF THE INVENTION
[0006] Заявленное изобретение направлено на решение технической проблемы, заключающейся в недостаточной эффективности управления автоматизированными устройствами для уборки помещения за счет несвоевременного обновления информации о внутренней обстановке помещения. [0007] Технический результат заключается в повышении эффективности уборки помещения с помощью автоматизированных устройств, за счет динамического построения карты загрязнения помещения и данных о клиентопотоке, используемых при формировании маршрута перемещения автоматизированных устройств для уборки. [0006] The claimed invention is aimed at solving the technical problem of insufficient control efficiency of automated cleaning devices due to untimely updating of information about the interior environment of the room. [0007] The technical result consists in increasing the efficiency of cleaning the premises with the help of automated devices, due to the dynamic construction of a map of pollution of the premises and data on the client flow used in the formation of the route of movement of automated cleaning devices.
[0008] Заявленный технический результат достигается за счет осуществления способа уборки помещения с помощью автоматизированных устройств для уборки, содержащий этапы, на которых: с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения; формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений; осуществляют анализ клиентопотока в момент формирования карты загрязнения; передают сформированную карту загрязнения и данные клиентопотока на по меньшей мере одно автоматизированное устройство для уборки; с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства; формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока; осуществляют уборку помещения. [0008] The claimed technical result is achieved by implementing a method for cleaning a room using automated cleaning devices, comprising the steps of: using the processor of a computing device, at least images of the floor of the room are obtained from at least one video surveillance camera; generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution; carry out the analysis of the client flow at the time of formation of the pollution map; transmitting the generated pollution map and client flow data to at least one automated cleaning device; using at least one automated cleaning device, receiving data from a computing device; form the route of cleaning the premises on the basis of the received pollution map and client flow; cleaning the premises.
[0009] В одном из частных примеров реализации способа дополнительно с камеры видеонаблюдения получают данные загрязнения объектов в помещении. [0009] In one of the particular examples of the implementation of the method, data on the contamination of objects in the room is additionally obtained from the video surveillance camera.
[0010] В другом частном примере реализации способа при построении карты загрязнения полученное изображение сегментируется и обрабатывается моделью машинного обучения для определения для каждого сегмента наличия и степени загрязнения. [0010] In another particular example of the implementation of the method, when constructing a pollution map, the resulting image is segmented and processed by a machine learning model to determine the presence and degree of pollution for each segment.
[0011] В другом частном примере реализации способа для сегментов определяется по меньшей мере одно из: приоритетность сегмента уборки, интенсивность уборки, применение моющего состава, метод использования моющего или чистящего средства. [0012] В другом частном примере реализации способа маршрут движения автоматизированного устройства для уборки формируется на основании приоритетности уборки сегментов. [0011] In another particular example of the implementation of the method for the segments, at least one of: the priority of the cleaning segment, the cleaning intensity, the use of the detergent composition, the method of using the detergent or cleaning agent is determined. [0012] In another particular example of the implementation of the method, the route of movement of the automated device for cleaning is formed based on the priority of cleaning segments.
[0013] В другом частном примере реализации способа начало уборки помещения начинается при заданном пороговом значении клиентопотока и/или уровня загрязнения одного или нескольких сегментов. [0013] In another particular example of the implementation of the method, the start of cleaning the premises begins at a given threshold value of the client flow and / or the level of contamination of one or more segments.
[0014] В другом частном примере реализации способа для автоматизированного устройства для уборки предварительно дополнительно формируется карта помещения. [0014] In another particular example of the implementation of the method for an automated cleaning device, a map of the room is additionally preliminarily formed.
[0015] В другом частном примере реализации способа карта помещения формируется на основании данных с по меньшей мере одного оптического сенсора, установленного на автоматизированном устройстве. [0015] In another particular example of the implementation of the method, a room map is generated based on data from at least one optical sensor installed on an automated device.
[0016] В другом частном примере реализации способа карта загрязнения динамически обновляется в течение заданного временного диапазона. [0016] In another particular example of the implementation of the method, the pollution map is dynamically updated within a given time range.
[0017] В другом частном примере реализации способа для уборки помещения одновременно применяется несколько автоматизированных устройств для уборки. [0017] In another particular example of the implementation of the method for cleaning a room, several automated cleaning devices are simultaneously used.
[0018] В другом частном примере реализации способа каждое автоматизированное средство рассчитывает маршрут уборки с учетом движения других автоматизированных устройств. [0018] In another particular example of the implementation of the method, each automated tool calculates the cleaning route, taking into account the movement of other automated devices.
[0019] Заявленный технический результат достигается также с помощью системы уборки помещения с помощью автоматизированных устройства для уборки, которая содержит: вычислительное устройство, содержащее по меньшей мере один процессор и связанное с по меньшей мере одной камерой видеонаблюдения; по меньшей мере одно устройство для уборки, для управления которым используется канал передачи данных с вычислительным устройством; причем с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения; формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений; осуществляют анализ клиентопотока в момент формирования карты загрязнения; передают сформированную карту загрязнения и данные клиентопотока для управления по меньшей мере одним автоматизированным устройством для уборки; с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства; формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока; осуществляют уборку помещения. [0019] The claimed technical result is also achieved using a cleaning system using automated cleaning devices, which contains: a computing device containing at least one processor and associated with at least one video surveillance camera; at least one cleaning device controlled by a data link with a computing device; moreover, using the processor of the computing device, at least images of the floor of the room are obtained from at least one video surveillance camera; generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution; carry out the analysis of the client flow at the time of formation of the pollution map; transmitting the generated pollution map and client flow data to control at least one automated cleaning device; using at least one automated cleaning device, receiving data from a computing device; form the route of cleaning the premises on the basis of the received pollution map and client flow; cleaning the premises.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ BRIEF DESCRIPTION OF THE DRAWINGS
[0020] Фиг. 1 иллюстрирует общий вид заявленной системы. [0020] FIG. 1 illustrates a general view of the claimed system.
[0021] Фиг. 2А иллюстрирует пример формирования карты загрязнения. [0021] FIG. 2A illustrates an example of pollution mapping.
[0022] Фиг. 2Б иллюстрирует пример архитектуры модели машинного обучения. [0022] FIG. 2B illustrates an example machine learning model architecture.
[0023] Фиг. 3 иллюстрирует блок-схему заявленного способа. [0023] FIG. 3 illustrates a block diagram of the claimed method.
[0024] Фиг. 4 иллюстрирует схему вычислительного устйроства. [0024] FIG. 4 illustrates a circuit diagram of a computing device.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ IMPLEMENTATION OF THE INVENTION
[0025] На Фиг. 1 представлен общий вид заявленного решения. Решение базируется на технологии анализа изображений, получаемых с одной или нескольких камер видеонаблюдения (ПО), установленных в зоне уборки (10). В качестве зоны уборки (10) следует понимать открытое или закрытое помещение, например, банковское отделение, магазин, ресторан и т.п. Информация, получаемая с камер видеонаблюдения (ПО) передается по каналу передачи данных (120), например, TCP/IP, на вычислительное устройство (130), которое выполняет последующую обработку получаемых данных в части анализа изображений поверхностей, в частности, пола (102) для последующего формирования данных о степени его загрязнения. [0025] In FIG. 1 shows a general view of the claimed solution. The solution is based on the technology of analyzing images obtained from one or more video surveillance cameras (SW) installed in the cleaning area (10). The cleaning area (10) is to be understood as an open or closed area, such as a bank branch, a shop, a restaurant, etc. Information received from video surveillance cameras (software) is transmitted via a data transmission channel (120), for example, TCP / IP, to a computing device (130), which performs subsequent processing of the received data in terms of analyzing images of surfaces, in particular, the floor (102) for the subsequent formation of data on the degree of its pollution.
[0026] В качестве камер видеонаблюдения (110) может применяться любой пригодный тип камер, обеспечивающих съемку видео, например, IP камеры, PTZ камеры, и прочие. В части канала передачи данных (120) может применяться любой пригодный тип связи, в частности, протокол передачи данных, поддерживаемый камерами (110), обеспечивающий передачу с них информации на вычислительное устройство (130). Примерами такого рода типа связи может быть: TCP/IP, LAN, WLAN, WAN, PAN, Wi-Fi, Ethernet и т.п. [0026] The video surveillance cameras (110) can be any suitable type of cameras capable of capturing video, such as IP cameras, PTZ cameras, and others. In the data link part (120), any suitable type of communication can be used, in particular, the data transfer protocol supported by the cameras (110), providing transferring information from them to a computing device (130). Examples of this kind of communication type can be: TCP/IP, LAN, WLAN, WAN, PAN, Wi-Fi, Ethernet, etc.
[0027] В качестве вычислительного устройства (130) может применяться, например, персональный компьютер, ноутбук, сервер, планшет и т.п. [0027] As the computing device (130), for example, a personal computer, laptop, server, tablet, or the like can be used.
[0028] На основании информации с камер (ПО), обработанной устройством (130), формируется карта загрязнения зоны уборки (10), которая строится по полученным изображениям, характеризующих степень загрязнения пола (102). Также учитывается информация о количестве и плотности клиентопотока, рассчитываемой по распознаванию наличия людей (101) в зоне уборки (10). [0028] Based on the information from the cameras (software) processed by the device (130), a contamination map of the cleaning area (10) is formed, which is built on the basis of the obtained images characterizing the degree of contamination of the floor (102). It also takes into account information about the number and density of client traffic, calculated by recognizing the presence of people (101) in the cleaning area (10).
[0029] Полученная карта загрязнений и данные клиентопотока предаются на автоматизированное устройство для уборки (140), например, робот-пылесос, робот- мойщик, автоматизированная поломоечная машина и т.п., который формирует маршрут передвижения для обеспечения процесса уборки зоны (10), в частности, поверхности пола (102). Автоматизированное устройство (140) для уборки может являться как полностью автономным (робот-пылесос) устройством, так и управляемым оператором, например, поломойная машина. В этом случае оператору может выводиться информация о предпочтительном маршруте перемещения для осуществления эффективной уборки пола (102), например, с помощью изображения о маршруте перемещения на дисплее устройства (140). [0029] The resulting pollution map and client flow data are transmitted to an automated cleaning device (140), for example, a robot vacuum cleaner, a cleaning robot, an automated floor scrubber, etc., which forms a movement route to ensure the cleaning process of the area (10) in particular floor surfaces (102). The automated cleaning device (140) can be either a completely autonomous device (robot vacuum cleaner) or an operator-controlled device, such as a scrubber drier. In this case, the operator may be provided with information about the preferred travel route for effective floor cleaning (102), for example, using the image of the travel route on the display of the device (140).
[0030] На Фиг. 2А представлен принцип формирования карты загрязнения (200). Карта загрязнения (200) создается с помощью обработки изображений пола (102) с помощью модели машинного обучения (210). Модель (210) состоит из нескольких модулей, которые включают специализированные детекторы, которые являются частью системы видеоаналитики и используются для определения объектов (и/или изменения объектов - движения объектов и т.п.) на изображении и нахождения границ этих объектов за счет использования алгоритмов обработки изображений. В частности, модуль детектора в рамках работы модели (210) используется для определения людей и обучен на открытом датасете с людьми (COCO Dataset), обогащенном изображениями людей с камер видеонаблюдения в различных помещениях и на транспорте. Модуль, отвечающий за классификацию человека на изображении, определение наличия пола под ним и характеристику чистоты этого пола, обучался на изображениях людей, вырезанных из изображений с камер наблюдения с расширением границ человека на 10% от длинной стороны (как правило, высоты). Каждому из этих изображений был назначен класс для задачи классификации, установлен признак наличия пола и степень загрязнения пола от 0 до 1 с шагом 0.2. [0030] In FIG. 2A shows the principle of generating a pollution map (200). A pollution map (200) is generated by floor image processing (102) with a machine learning model (210). Model (210) consists of several modules that include specialized detectors that are part of the video analytics system and are used to determine objects (and / or change objects - object movements, etc.) in the image and find the boundaries of these objects through the use of algorithms image processing. In particular, the detector module within the framework of the model (210) is used to identify people and is trained on an open dataset with people (COCO Dataset), enriched with images of people from CCTV cameras in various premises and in transport. The module responsible for classifying a person in an image, determining the presence of a floor under it and characterizing the purity of this floor, was trained on images of people cut out from images from surveillance cameras with the expansion of the boundaries of a person by 10% of the long side (usually height). Each of these images has been assigned a class for the task classification, the sign of the presence of sex and the degree of floor contamination from 0 to 1 with a step of 0.2 are set.
[0031] Модель (210) в одном из частных примеров реализации может представлять собой одну или несколько нейронных сетей, например, сверточную нейронную сеть (СНС), которая получает на вход изображение с камеры видеонаблюдения (НО). На Фиг. 2Б приведен один из примеров реализации архитектуры модели машинного обучения (210). Входное изображение (211) обрабатывается с помощью модуля детектора (новое изображение), и последующую обработку результатов детекции в модуле сверточной нейронной сети (210), состоящей из сверточных слоев (212, 213), и полносвязных модулей, отвечающих за формирование ответов модели (214) - (216). Модуль (214) классифицирует текущее действие человека, модуль (215) выполняет бинарную классификацию по признаку наличия пола в кадре, и модуль (216) выполняет задачу регрессии для определения уровня загрязнения пола от 0 до 1. [0031] Model (210) in one of the particular implementation examples can be one or more neural networks, for example, a convolutional neural network (CNN), which receives an image from a video surveillance camera (HO) as input. On FIG. 2B shows one example implementation of the machine learning model architecture (210). The input image (211) is processed using the detector module (new image), and the subsequent processing of the detection results in the convolutional neural network module (210), consisting of convolutional layers (212, 213), and fully connected modules responsible for generating model responses (214 ) - (216). Module (214) classifies the current action of the person, module (215) performs a binary classification based on the presence of gender in the frame, and module (216) performs a regression task to determine the floor contamination level from 0 to 1.
[0032] Общая карта загрязнений (200) формируется динамически при постоянном сканировании степени загрязнения пола (102) с помощью обработки изображений с камер (110) моделью (210). Карта загрязнения (200) разбивает область изображения пола (102) на сегменты (201), для которых определяется степень загрязнения от 0 до 1 с помощью модели (210). Результатом исполнения модели (210) является оценка уровня загрязнения пола (102) под человеком (11) и вокруг него в каждом сегменте (201). [0032] The overall pollution map (200) is dynamically generated by constantly scanning the degree of pollution of the floor (102) by processing images from the cameras (110) by the model (210). The pollution map (200) divides the floor image area (102) into segments (201), for which the degree of pollution is determined from 0 to 1 using the model (210). The result of the execution of the model (210) is an estimate of the level of contamination of the floor (102) under the person (11) and around him in each segment (201).
[0033] Полученные на выходе модели (210) данные о чистоте пола (102) добавляются на общую карту загрязнений (200). Для этого исходное изображение с полом (102) разделяется на m*n одинаковых сегментов (201). Каждому сегменту (201) соответствует список из к последних значений загрязнения пола для этой области (к >= 1). Текущим уровнем загрязнения конкретного сегмента (201) является среднее всех к значений. Общим текущим уровнем загрязнения пола (102) считается среднее значение q самых загрязненных сегментов (1 <= q <= m*n ). [0033] The data on the cleanliness of the floor (102) obtained at the output of the model (210) are added to the overall pollution map (200). To do this, the original image with the floor (102) is divided into m*n identical segments (201). Each segment (201) corresponds to a list of k latest floor contamination values for that area (k >= 1). The current pollution level of a particular segment (201) is the average of all k values. The total current level of soiling of the floor (102) is considered to be the average value q of the most polluted segments (1 <= q <= m*n ).
[0034] Изображение человека и области пола под ним формируется по результатам обработки кадра детектором и обрабатывается следующим модулем модели. К полученному изображению применяется следующая последовательность действий: [0034] The image of a person and the area of the floor under him is formed based on the results of processing the frame by the detector and processed by the next module of the model. The following sequence of actions is applied to the resulting image:
1. Его изображение подается на модуль определения наличия и степени загрязнения пола модели (210); 1. Its image is fed to the module for determining the presence and degree of contamination of the floor of the model (210);
2. Если на изображении нет пола, то карта не обновляется. Дальнейшие шаги указаны для случая, когда пол на изображении найден; 2. If there is no gender in the image, then the map is not updated. Further steps are indicated for the case when the gender in the image is found;
3. Определяется область карты, в которую попадает центр изображения, полученного от детектора; 4. В список значений загрязнения для найденной области карты добавляется новое значение; 3. The area of the map is determined, in which the center of the image received from the detector falls; 4. A new value is added to the list of pollution values for the found area of the map;
5. Если количество элементов в списке больше к, то удаляется самое старое значение загрязнения из списка; 5. If the number of elements in the list is greater than k, then the oldest pollution value is removed from the list;
6. Текущим значением загрязнения области является среднее значение элементов списка. 6. The current pollution value of the area is the average value of the list items.
[0035] В предложенном подходе предлагается сканирование с заданной частотой уровня загрязнения пола (102) всеми людьми (101) в кадре, и использование полученных данных для составления/обновления текущей карты загрязнений (200). Также подход позволяет эффективно оценивать уровень загрязнения пола по видеоданным с различным масштабом зоны уборки (10) на кадре, так как работает с результатами работы детектора, которые имеют уже одинаковый масштаб. Обновление карты загрязнения (200) осуществляется с помощью изменения значений загрязнения областей и может быть представлено в виде цветов пикселей карты (200) на соответствующих сегментах (201) в зависимости от степени их загрязнения. [0035] The proposed approach proposes to scan with a given frequency the floor contamination level (102) of all people (101) in the frame, and use the obtained data to compile/update the current contamination map (200). Also, the approach makes it possible to effectively estimate the level of floor contamination from video data with different scales of the cleaning area (10) on the frame, since it works with the results of the detector, which already have the same scale. Updating the pollution map (200) is carried out by changing the pollution values of the areas and can be represented as colors of the map pixels (200) on the corresponding segments (201) depending on the degree of their pollution.
[0036] Применение карты загрязнений позволяет настроить правила обновления сегментов (201) пола (102) для оперативного обновления информации о чистоте в зоне уборки (10), а также получать несколько значений, характеризующих чистоту (например, значение максимально грязного сегмента, среднее значение пяти максимально загрязненных сегментов, среднее значение всех сегментов и т.п., что позволяет приоритезировать места уборки при последующем построении маршрута перемещения автоматизированного устройства (140). [0036] The use of a pollution map allows you to configure the rules for updating the segments (201) of the floor (102) to quickly update information about the cleanliness in the cleaning area (10), as well as to obtain several values characterizing the cleanliness (for example, the value of the most dirty segment, the average value of five the most polluted segments, the average value of all segments, etc., which allows you to prioritize the places of cleaning during the subsequent construction of the route of movement of the automated device (140).
[0037] На Фиг. 3 представлена блок-схема выполнения способа (300) уборки помещения. На первом этапе (301) данные с камеры (110), в частности, изображение области ее контроля в виде видео передается на вычислительное устройство (130), на котором впоследствии осуществляется обработка данных с помощью модели (210) и формируется текущая карта загрязнения (200) пола (102) в зоне уборки (10). [0037] In FIG. 3 is a flowchart of the method (300) for cleaning a room. At the first stage (301), data from the camera (110), in particular, the image of the area of its control in the form of video, is transmitted to the computing device (130), which subsequently processes the data using the model (210) and forms the current pollution map (200 ) floor (102) in the cleaning area (10).
[0038] Далее на этапе (302) по полученным изображениям с камеры (ПО) рассчитывается плотность клиентопотока как количество распознанных людей (101) на кадрах зоны уборки в текущий момент времени. Плотность клиентопотока используется для планирования уборки (включая время начала уборки, маршрут и режимы уборки и т.п.) используя правила на основании пороговых значений (клиентопотока, уровней загрязнения и т.п.) или других методов. Полученные планы уборки передаются по каналу передачи (120) совместно с рассчитанной картой загрязнения (200) на автоматизированное устройство (140) для уборки. [0039] На этапе (303) программная логика устройства (140) на основании сформированной карты загрязнения (200) и данных о плотности клиентопотока формирует маршрут перемещения устройства (140). Маршрут может формироваться на основании сегментов (201) карты загрязнения (200), для которых определяется приоритетность их уборки с учетом наличия возможности свободного перемещения по зоне уборки (10) при наличии людей (11). Маршрут перемещения устройства (140) может также формироваться непосредственно на вычислительном устройстве (130) с последующей передачей по каналу передачи данных (120) готового маршрута на автоматизированное устройство (140) для уборки. [0038] Next, at step (302), based on the received images from the camera (software), the density of the client flow is calculated as the number of recognized people (101) on the frames of the cleaning area at the current time. Traffic density is used to plan cleaning (including cleaning start time, cleaning route and modes, etc.) using rules based on threshold values (client traffic, pollution levels, etc.) or other methods. The received cleaning plans are transmitted via the transmission channel (120) together with the calculated pollution map (200) to the automated device (140) for cleaning. [0039] At step (303), the program logic of the device (140), based on the generated pollution map (200) and data on the density of the client flow, forms the route of movement of the device (140). The route can be formed on the basis of segments (201) of the pollution map (200), for which the priority of their cleaning is determined, taking into account the possibility of free movement around the cleaning zone (10) in the presence of people (11). The route of movement of the device (140) can also be formed directly on the computing device (130) with subsequent transmission via the data link (120) of the finished route to the automated device (140) for cleaning.
[0040] Автоматизированное устройство (140) также может оснащаться сенсорами, например, LIDAR, оптическим сенсором, звуковым сенсором и прочими, которые дополнительно обеспечивают получение информации об окружающей обстановке, на основании которой выполняется корректировка перемещения устройства (140). С помощью сенсоров устройства (140) карта зоны уборки (10), т.е. помещения передвижения устройства (140), может предварительно формироваться в части получения информации об окружающем пространстве в помещении и его геометрических характеристиках. Сегменты пола (102), соответствующие сегментам (201) карты загрязнения (200), могут характеризоваться пространственными координатами, обеспечивающими определение маршрута передвижения устройства (140). [0040] The automated device (140) can also be equipped with sensors, such as LIDAR, optical sensor, sound sensor, and others, which additionally provide information about the environment, based on which the movement of the device (140) is corrected. Using the sensors of the device (140), a map of the cleaning area (10), i.e. of the movement room of the device (140) can be preliminarily formed in terms of obtaining information about the surrounding space in the room and its geometric characteristics. The floor segments (102) corresponding to the segments (201) of the pollution map (200) can be characterized by spatial coordinates that provide the determination of the route of movement of the device (140).
[0041] Дополнительно для сегментов (201) может определяться интенсивность уборки, применение моющего состава для указанного сегмента, или метод использования моющего или чистящего средства. Расчет концентрации и состава используемых средств осуществляется на основе плотности клиентопотока и полученного уровня загрязнения пола (102) в соответствующем сегменте (201). Например, для удаления несильных загрязнений и поддерживающей уборки сегментов (201) с низким клиентопотоком может использоваться роботизированная уборка со слабощелочными моющими средствами. А для сильно загрязненных сегментов (201) - ручная уборка сильнощелочными моющими средствами. [0041] Additionally, for the segments (201), the intensity of cleaning, the use of the detergent composition for the specified segment, or the method of using the detergent or cleaning agent can be determined. The calculation of the concentration and composition of the products used is based on the density of the client flow and the obtained level of floor contamination (102) in the corresponding segment (201). For example, for light soil removal and maintenance cleaning of segments (201) with low customer traffic, robotic cleaning with mild alkaline detergents can be used. And for heavily soiled segments (201) - manual cleaning with strongly alkaline detergents.
[0042] На этапе (304) по сформированному маршруту перемещения устройство (140) выдвигается для обеспечения уборки зоны (10). Как правило, с помощью роботизированных средств выполняется уборка непосредственно пола (102), в частности, влажная и/или сухая уборка. Дополнительно на основании данных с камеры (ПО) могут определяться поверхности элементов окружения, например, банкоматы (103) в отделении банка, которые также подвергаются загрязнению. Такие данные могут также использоваться при формировании карты загрязнения (200) и передаваться как устройствам (140), выполняющим уборку в автономном режиме, так и средствам дополненной реальности (AR-очки), носимые обслуживающим персоналом. В этом случае такие поверхности будут выделяться с помощью их пиксельной обработки и позволят более оперативно реагировать на необходимость проведения уборки. [0042] At step (304), the device (140) extends along the generated movement route to ensure cleaning of the area (10). As a rule, robotic means directly clean the floor (102), in particular wet and/or dry cleaning. Additionally, based on the data from the camera (SW), surfaces of elements of the environment, for example, ATMs (103) in a bank branch, which are also subject to contamination, can be determined. Such data can also be used in the formation of a pollution map (200) and transmitted both to devices (140), which performs cleaning in offline mode, and augmented reality (AR-glasses) worn by service personnel. In this case, such surfaces will be highlighted with the help of their pixel processing and will allow you to respond more quickly to the need for cleaning.
[0043] При выдвижении автоматизированных устройств (140) в зону уборки (10) проверяется текущая плотность клиентопотока и, в случае, если количество людей (11) выше заданного порогового значения, то устройство (140) будет ожидать снижения данного показателя, которое будет фиксировать при итеративной обработке вычислительным устройством (130) данных с камеры (110). [0043] When extending automated devices (140) into the cleaning area (10), the current density of the client flow is checked and, if the number of people (11) is higher than the specified threshold value, then the device (140) will expect a decrease in this indicator, which will fix during iterative processing by the computing device (130) of data from the camera (110).
[0044] В одном из частных примеров реализации заявленного решения может применяться несколько автоматизированных устройств (140), например, робот мойщик и робот пылесос. В этом случае при формировании маршрута их перемещения принимается во внимание как плотность клиентопотока, на основании чего будет определяться фактическая возможность их перемещения одновременно с людьми (101) в зоне уборки (10), так и очередность их обработки пола (102) на основании сегментов (201). Как пример, более загрязненные сегменты (201) вначале будут подлежать влажной уборке, а потом сухой уборке, что позволяет сформировать маршрут движения нескольких устройств (140) последовательно . [0044] In one of the particular examples of the implementation of the claimed solution, several automated devices (140) can be used, for example, a cleaning robot and a vacuum cleaner robot. In this case, when forming the route of their movement, both the density of the client flow is taken into account, on the basis of which the actual possibility of their movement simultaneously with people (101) in the cleaning area (10) and the order of their floor processing (102) will be determined based on the segments ( 201). As an example, more polluted segments (201) will first be subjected to wet cleaning, and then dry cleaning, which allows you to create a route for several devices (140) in succession.
[0045] На Фиг. 4 представлен общий вид вычислительного устройства (400), пригодного для выполнения заявленного способа и на базе которого может быть реализовано вычислительное устройство (130). Устройство (400) может представлять собой, например, сервер или иной тип вычислительного устройства, который может применяться для реализации заявленного технического решения. В том числе входить в состав облачной вычислительной платформы. [0045] In FIG. 4 shows a general view of a computing device (400) suitable for performing the claimed method and on the basis of which a computing device (130) can be implemented. The device (400) may be, for example, a server or other type of computing device that can be used to implement the claimed technical solution. Including being part of a cloud computing platform.
[0046] В общем случае вычислительное устройство (400) содержит объединенные общей шиной информационного обмена один или несколько процессоров (401), средства памяти, такие как ОЗУ (402) и ПЗУ (403), интерфейсы ввода/вывода (404), устройства ввода/вывода (405), и устройство для сетевого взаимодействия (406). [0046] In general, the computing device (400) contains one or more processors (401), memory facilities such as RAM (402) and ROM (403), input / output interfaces (404), input devices connected by a common information exchange bus /output (405), and a device for networking (406).
[0047] Процессор (401) (или несколько процессоров, многоядерный процессор) могут выбираться из ассортимента устройств, широко применяемых в текущее время, например, компаний Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. В качестве процессора (401) может также применяться графический процессор, например, Nvidia, AMD, Graphcore и пр. [0047] The processor (401) (or multiple processors, multi-core processor) may be selected from a variety of devices currently widely used, such as Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™, and etc. The processor (401) can also be a graphics processor such as Nvidia, AMD, Graphcore, etc.
[0048] ОЗУ (402) представляет собой оперативную память и предназначено для хранения исполняемых процессором (401) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (402), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). [0048] RAM (402) is a random access memory and is designed to store machine-readable instructions executable by the processor (401) for execution necessary operations for logical data processing. The RAM (402) typically contains the executable instructions of the operating system and associated software components (applications, program modules, etc.).
[0049] ПЗУ (403) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш- память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD- R/RW, BlueRay Disc, MD) и др. [0049] A ROM (403) is one or more persistent storage devices such as a hard disk drive (HDD), a solid state drive (SSD), flash memory (EEPROM, NAND, etc.), optical storage media ( CD-R/RW, DVD-R/RW, BlueRay Disc, MD), etc.
[0050] Для организации работы компонентов устройства (400) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (404). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п. [0050] Various types of I/O interfaces (404) are used to organize the operation of device components (400) and organize the operation of external connected devices. The choice of appropriate interfaces depends on the particular design of the computing device, which can be, but not limited to: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232, etc.
[0051 ] Для обеспечения взаимодействия пользователя с вычислительным устройством (400) применяются различные средства (405) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п. [0051 ] To ensure user interaction with the computing device (400), various means (405) of I / O information are used, for example, a keyboard, a display (monitor), a touch screen, a touch pad, a joystick, a mouse, a light pen, a stylus, touch panel, trackball, speakers, microphone, augmented reality, optical sensors, tablet, indicator lights, projector, camera, biometric identification tools (retinal scanner, fingerprint scanner, voice recognition module), etc.
[0052] Средство сетевого взаимодействия (406) обеспечивает передачу данных устройством (400) посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (406) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др. [0052] The networking means (406) enables the communication of data by the device (400) via an internal or external computer network, such as an Intranet, the Internet, a LAN, and the like. As one or more means (406) can be used, but not limited to: Ethernet card, GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and / or BLE module, Wi-Fi module and others
[0053] Дополнительно могут применяться также средства спутниковой навигации в составе устройства (400), например, GPS, ГЛОНАСС, BeiDou, Galileo. [0053] Additionally, satellite navigation tools in the device (400) can also be used, for example, GPS, GLONASS, BeiDou, Galileo.
[0054] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники. [0054] The submitted application materials disclose preferred examples of the implementation of the technical solution and should not be construed as limiting other, particular examples of its implementation that do not go beyond the scope of the requested legal protection, which are obvious to specialists in the relevant field of technology.

Claims

ФОРМУЛА FORMULA
1. Способ уборки помещения с помощью автоматизированных устройств для уборки, содержащий этапы, на которых: с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения; формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений; осуществляют анализ клиентопотока в момент формирования карты загрязнения; передают сформированную карту загрязнения и данные клиентопотока на по меньшей мере одно автоматизированное устройство для уборки; с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства; формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока; осуществляют уборку помещения. 1. A method for cleaning a room using automated cleaning devices, comprising the steps of: using a processor of a computing device, at least images of the floor of the room are obtained from at least one video surveillance camera; generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution; carry out the analysis of the client flow at the time of formation of the pollution map; transmitting the generated pollution map and client flow data to at least one automated cleaning device; using at least one automated cleaning device, receiving data from a computing device; form the route of cleaning the premises on the basis of the received pollution map and client flow; cleaning the premises.
2. Способ по п.1, характеризующийся тем, что дополнительно с камеры видеонаблюдения получают данные загрязнения объектов в помещении. 2. The method according to claim 1, characterized in that, in addition, data on the contamination of objects in the room are received from the video surveillance camera.
3. Способ по п.1, характеризующийся тем, что при построении карты загрязнения полученное изображение сегментируется и обрабатывается моделью машинного обучения для определения для каждого сегмента наличия и степени загрязнения. 3. The method according to claim 1, characterized in that when building a pollution map, the resulting image is segmented and processed by a machine learning model to determine the presence and degree of pollution for each segment.
4. Способ по п.З, характеризующийся тем, что для сегментов определяется по меньшей мере одно из: приоритетность сегмента уборки, интенсивность уборки, применение моющего состава, метод использования моющего или чистящего средства. 4. The method according to claim 3, characterized in that at least one of the following is determined for the segments: the priority of the cleaning segment, the intensity of cleaning, the use of a detergent composition, the method of using a detergent or cleaning agent.
5. Способ по п.4, характеризующийся тем, что маршрут движения автоматизированного устройства для уборки формируется на основании приоритетности уборки сегментов. 5. The method according to claim 4, characterized in that the route of movement of the automated cleaning device is formed based on the priority of cleaning the segments.
6. Способ по п.1, характеризующийся тем, что начало уборки помещения начинается при заданном пороговом значении клиентопотока и уровня загрязнения. 6. The method according to claim 1, characterized in that the beginning of the cleaning of the premises begins at a given threshold value of the client flow and the level of pollution.
7. Способ по п.1, характеризующийся тем, что для автоматизированного устройства для уборки предварительно дополнительно формируется карта помещения. 7. The method according to claim 1, characterized in that for the automated cleaning device, a room map is additionally generated.
8. Способ по п.7, характеризующийся тем, что карта помещения формируется на основании данных с по меньшей мере одного оптического сенсора, установленного на автоматизированном устройстве. 8. The method according to claim 7, characterized in that the room map is formed based on data from at least one optical sensor installed on the automated device.
9. Способ по п.З, характеризующийся тем, что карта загрязнения динамически обновляется в течение заданного временного диапазона. 9. The method according to claim 3, characterized in that the pollution map is dynamically updated within a given time range.
10. Способ по п.1, характеризующийся тем, что для уборки помещения одновременно применяется несколько автоматизированных устройств для уборки. 10. The method according to claim 1, characterized in that several automated cleaning devices are simultaneously used to clean the premises.
И. Способ по п.10, характеризующийся тем, что каждое автоматизированное средство рассчитывает маршрут уборки с учетом движения других автоматизированных устройств. I. The method according to claim 10, characterized in that each automated means calculates the cleaning route taking into account the movement of other automated devices.
12. Система уборки помещения с помощью автоматизированных устройства для уборки, содержащая вычислительное устройство, содержащее по меньшей мере один процессор и связанное с по меньшей мере одной камерой видеонаблюдения; по меньшей мере одно устройство для уборки, для управления которым используется канал передачи данных с вычислительным устройством; причем с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения; формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений; осуществляют анализ клиентопотока в момент формирования карты загрязнения; передают сформированную карту загрязнения и данные клиентопотока для управления по меньшей мере одним автоматизированным устройством для уборки; с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства; формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока; осуществляют уборку помещения. 12. Cleaning system using automated cleaning devices, containing a computing device containing at least one processor and associated with at least one video surveillance camera; at least one cleaning device controlled by a data link with a computing device; moreover, using the processor of the computing device, at least images of the floor of the room are obtained from at least one video surveillance camera; generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution; carry out the analysis of the client flow at the time of formation of the pollution map; transmitting the generated pollution map and client flow data to control at least one automated cleaning device; using at least one automated cleaning device, receiving data from a computing device; form the route of cleaning the premises on the basis of the received pollution map and client flow; cleaning the premises.
PCT/RU2021/000533 2021-12-01 2021-12-01 Method and system for cleaning a room using automated devices WO2023101571A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2021135269 2021-12-01
RU2021135269A RU2785769C1 (en) 2021-12-01 Method and system for indoor cleaning using automated apparatus

Publications (1)

Publication Number Publication Date
WO2023101571A1 true WO2023101571A1 (en) 2023-06-08

Family

ID=86612852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2021/000533 WO2023101571A1 (en) 2021-12-01 2021-12-01 Method and system for cleaning a room using automated devices

Country Status (1)

Country Link
WO (1) WO2023101571A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150148951A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Method and control apparatus for cooperative cleaning using multiple robots
US20150250372A1 (en) * 2014-03-05 2015-09-10 Lg Electronics Inc. Robot cleaner
CN106527446A (en) * 2016-12-02 2017-03-22 北京小米移动软件有限公司 Control method and device for floor sweeping robots

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150148951A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Method and control apparatus for cooperative cleaning using multiple robots
US20150250372A1 (en) * 2014-03-05 2015-09-10 Lg Electronics Inc. Robot cleaner
CN106527446A (en) * 2016-12-02 2017-03-22 北京小米移动软件有限公司 Control method and device for floor sweeping robots

Similar Documents

Publication Publication Date Title
EP4006790A1 (en) Inference device, inference method, and inference program
CN112871703B (en) Intelligent management coal preparation platform and method thereof
US20130169822A1 (en) Camera calibration using feature identification
KR20190092975A (en) Method of managing vision inspection and vision inspection system
US11443277B2 (en) System and method for identifying object information in image or video data
US20220189001A1 (en) Rail feature identification system
KR102185225B1 (en) Method for detecting sinkhole using deep learning and data association and sinkhole detecting system using it
RU2713876C1 (en) Method and system for detecting alarm events when interacting with self-service device
US11553129B2 (en) Camera orchestration technology to improve the automated identification of individuals
Mekruksavanich et al. Automatic Recognition of Construction Worker Activities Using Deep Learning Approaches and Wearable Inertial Sensors.
CN114089330A (en) Indoor mobile robot glass detection and map updating method based on depth image restoration
Galip et al. Recognition of objects from laser scanned data points using SVM
RU2785769C1 (en) Method and system for indoor cleaning using automated apparatus
Pookkuttath et al. An optical flow-based method for condition-based maintenance and operational safety in autonomous cleaning robots
WO2023101571A1 (en) Method and system for cleaning a room using automated devices
Martinek et al. Lidar-based deep neural network for reference lane generation
KR20220105689A (en) System for determining defect of display panel based on machine learning model
EA043577B1 (en) METHOD AND SYSTEM FOR ROOMS CLEANING USING AUTOMATED DEVICES
Othman et al. Comparison on cloud image classification for thrash collecting LEGO mindstorms EV3 robot
CN115933685A (en) Inspection cleaning method, device, equipment and storage medium
RU2685996C1 (en) Method and system for predictive avoidance of manipulator collision with human being
JP2024505874A (en) System and method for detecting paint defects using machine learning
Govender et al. Effect of hyperparameter tuning on classical machine learning models in detecting potholes
Singh et al. Vision-based dirt distribution mapping using deep learning
Lyta et al. Performance of Human Motion Analysis: A Comparison

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21966527

Country of ref document: EP

Kind code of ref document: A1