WO2022075597A1 - 로봇 및 그 제어 방법 - Google Patents

로봇 및 그 제어 방법 Download PDF

Info

Publication number
WO2022075597A1
WO2022075597A1 PCT/KR2021/011657 KR2021011657W WO2022075597A1 WO 2022075597 A1 WO2022075597 A1 WO 2022075597A1 KR 2021011657 W KR2021011657 W KR 2021011657W WO 2022075597 A1 WO2022075597 A1 WO 2022075597A1
Authority
WO
WIPO (PCT)
Prior art keywords
sterilization
identified
robot
area
processor
Prior art date
Application number
PCT/KR2021/011657
Other languages
English (en)
French (fr)
Inventor
김도훈
박요섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022075597A1 publication Critical patent/WO2022075597A1/ko
Priority to US18/118,591 priority Critical patent/US20230201396A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/24—Apparatus using programmed or automatic operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/02—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using physical phenomena
    • A61L2/08—Radiation
    • A61L2/10—Ultraviolet radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/16—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using chemical substances
    • A61L2/18—Liquid substances or solutions comprising solids or dissolved gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/14—Disinfection, sterilisation or deodorisation of air using sprayed or atomised substances including air-liquid contact processes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/16—Disinfection, sterilisation or deodorisation of air using physical phenomena
    • A61L9/18—Radiation
    • A61L9/20—Ultraviolet radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/14—Means for controlling sterilisation processes, data processing, presentation and storage means, e.g. sensors, controllers, programs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/15—Biocide distribution means, e.g. nozzles, pumps, manifolds, fans, baffles, sprayers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/16—Mobile applications, e.g. portable devices, trailers, devices mounted on vehicles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/20—Targets to be treated
    • A61L2202/25—Rooms in buildings, passenger compartments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Definitions

  • the present invention relates to a robot that performs a sterilization function and a method for controlling the same.
  • Viruses are generally transmitted through droplets or contact through coughing, but the conventional sterilization robot sterilizes droplets or contact points through a user's manipulation, so there is a problem in that it is difficult to perform an automated sterilization function.
  • the present disclosure is in accordance with the above-mentioned necessity, and an object of the present disclosure is to provide a robot capable of self-identifying a sterilization area without user manipulation and a method for controlling the same.
  • a driving unit a camera, a plurality of microphones arranged in different directions, and audio signals input through the plurality of microphones correspond to a cough sound
  • the camera is controlled to photograph the identified direction
  • a user not wearing a mask is identified in the image obtained through the camera, the user's It may include a processor for identifying the sterilization area based on the location and controlling the driving unit to move to the identified sterilization area.
  • the processor may identify an area within a critical range as the sterilization area based on the user's location based on the intensity of the audio signal.
  • the processor may determine the size of the sterilization area based on the number of users who do not wear the mask.
  • the processor may identify the sterilization area based on the positions of each of the plurality of users.
  • the processor may determine at least one of the size of the sterilization area and the sterilization intensity based on whether the location at which the user is identified belongs to a preset area.
  • the preset area may include at least one of an area where an object with a high frequency of contact by users is located, an area with a high frequency of visits by users, or an area with a low frequency of wearing a mask by users.
  • the processor identifies whether the input audio signal is an audio signal corresponding to the cough sound using a first neural network model, and the first neural network model determines whether the input audio signal includes a cough sound It can be a model that has been trained to identify.
  • the processor uses a second neural network model to identify whether the acquired image includes a user who does not wear a mask, and the second neural network model includes a user who does not wear a mask on the input image. It can be a model that has been trained to identify whether it is included or not.
  • the apparatus further includes a distance sensor, wherein the processor is configured to: when a plurality of sterilization areas are identified, use the distance sensor to identify a direction and a distance of each of the plurality of sterilization areas, and based on the identified direction and distance It is possible to set the driving route for the sterilization operation.
  • it further includes a sterilization device for performing a sterilization function, when the robot is moved to the identified sterilization area, it is possible to control the sterilization device to perform the sterilization function.
  • an audio signal input through the plurality of microphones is an audio signal corresponding to a cough sound If it is, identifying the generation direction of the audio signal based on the arrangement direction of each of the plurality of microphones, photographing the identified direction through the camera, and a user who does not wear a mask in the image obtained through the camera is identified, identifying a sterilization area based on the user's location, and moving to the identified sterilization area.
  • the identifying of the sterilization area may include identifying an area within a critical range as the sterilization area based on the location of the user based on the intensity of the audio signal.
  • the size of the sterilization area may be determined based on the number of users who do not wear the mask.
  • the sterilization area when a plurality of users not wearing the mask are identified, the sterilization area may be identified based on the positions of each of the plurality of users.
  • the identifying of the sterilization area may include determining at least one of a size of the sterilization area and a sterilization strength based on whether the location at which the user is identified belongs to a preset area.
  • FIG. 1 is a view for explaining a method of operating a robot according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a robot according to an embodiment of the present disclosure.
  • 3A and 3B are diagrams illustrating a size of a sterilization area corresponding to a level of a cough sound according to an embodiment of the present disclosure.
  • 4A and 4B are diagrams illustrating the size of a sterilization area corresponding to the number of people who do not wear a mask according to an embodiment of the present disclosure.
  • 5A and 5B are diagrams for explaining a method of determining a sterilization area for sterilizing a plurality of sterilization points according to an embodiment of the present disclosure.
  • FIG. 6 illustrates the size and sterilization intensity of a sterilization area corresponding to a place including a sterilization point according to an embodiment of the present disclosure.
  • FIG. 7A is a diagram for explaining an audio signal processing method through a neural network model according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram for explaining an image processing method through a neural network model according to an embodiment of the present disclosure.
  • FIG. 8 is a view for explaining setting of a driving route for sterilizing a plurality of sterilization areas according to an embodiment of the present disclosure.
  • FIG. 9 is a block diagram for specifically explaining a functional configuration of a robot according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • a component eg, a first component
  • another component eg, a second component
  • an element may be directly connected to another element or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) using the electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is a view for explaining a method of operating a robot according to an embodiment of the present disclosure.
  • virus propagation can occur through droplets or contact with contamination points, but in FIG. 1, the function of the robot 100 is described on the assumption that a sterilization operation is performed to prevent virus propagation through droplets generated by coughing. .
  • the camera 120 provided in the robot 100 according to an example has a constant angle of view. In this case, the camera 120 cannot detect a cough event occurring in all directions. Therefore, when the coughing event occurs outside the angle of view of the camera 120 , the robot 100 cannot identify the sterilization area by itself.
  • the robot 100 may include a plurality of microphones 130 .
  • the robot 100 may identify a direction in which the audio signal is generated.
  • the robot 100 may control the camera 120 to photograph the direction in which the coughing event occurred.
  • the direction in which the cough event occurred may be photographed by rotating the camera module (not shown) itself, but the direction in which the cough event occurred by rotating the robot 100 itself using the driving unit 110 provided in the robot 100 You can also take pictures.
  • the robot 100 may identify whether there is a user 200 not wearing a mask in the image taken in the direction in which the cough event occurred, and move to a point where the user 200 not wearing a mask is located.
  • FIG. 2 is a block diagram illustrating a configuration of a robot according to an embodiment of the present disclosure.
  • the robot 100 may include a driving unit 110 , a camera 120 , a microphone 130 , and a processor 140 .
  • the driving unit 110 is a device capable of driving the robot 100 , and according to the control of the processor 140 , the driving unit 110 may adjust the traveling direction and the traveling speed.
  • the driving unit 110 is a power generating device that generates power for the robot 100 to travel (eg, a gasoline engine, a diesel engine, or liquefied petroleum gas (LPG) depending on the fuel used (or energy source). engines, electric motors, etc.), steering devices for controlling the direction of travel (e.g., manual steering, hydraulics steering, electronic control power steering (EPS), etc.), robots (e.g., 100) may include a driving device (eg, wheels, propellers, etc.) for driving.
  • the driving unit 110 may be deformed according to a driving type (eg, a wheel type, a walking type, a flying type, etc.) of the robot 100 .
  • the camera 120 may acquire an image by capturing an area within a field of view (FoV) of the camera.
  • FoV field of view
  • the camera 120 may include an object, for example, a lens for focusing the visible light or signal reflected and received by the user 200 to the image sensor, and an image sensor capable of detecting the visible light or signal.
  • the image sensor may include a 2D pixel array divided into a plurality of pixels.
  • the camera 120 according to an embodiment may be implemented as a depth camera.
  • the microphone 130 is configured to receive an audio signal.
  • the audio signal that may be received through the microphone 130 may be a sound of an audible frequency band or an inaudible frequency band.
  • the sound in the audible frequency band has a sound frequency that can be heard by humans, and may be a sound of 20 Hz to 20 KHz.
  • the sound of the inaudible frequency band has a frequency of a sound that cannot be heard by humans, and may be a sound of 10 kHz to 300 GHz.
  • the audio signal may be a sound corresponding to a cough sound
  • the microphone 130 according to an example may be configured with a plurality of microphones arranged in different directions.
  • the processor 140 controls the overall operation of the robot 100 .
  • the processor 140 may be connected to each component of the robot 100 to control the overall operation of the robot 100 .
  • the processor 140 may be connected to the driving unit 110 , the camera 120 , and the microphone 130 to control the operation of the robot 100 .
  • the processor 140 includes a digital signal processor (DSP), a microprocessor, a central processing unit (CPU), a micro controller unit (MCU), and a micro processing unit (MPU). unit), a Neural Processing Unit (NPU), a controller, an application processor (application processor (AP)), etc., may be named variously, but in the present specification, they will be referred to as the processor 130.
  • the processor 140 is a SoC (System on Chip), LSI (large scale integration), may be implemented in the form of FPGA (Field Programmable Gate Array)
  • the processor 140 may include a volatile memory such as SRAM.
  • the processor 140 may identify a generation direction of the audio signal.
  • the processor 140 may use a neural network model that can be stored in a memory (not shown) or downloaded from an external server (not shown) in order to identify whether the input audio signal is an audio signal corresponding to a cough sound. .
  • the audio signal may be identified as corresponding to the cough sound based on the ratio that the signal having a specific frequency is included in the audio signal input through the microphone 130 .
  • the microphone 130 may be configured as a plurality of microphones arranged in different directions.
  • the processor 140 may identify the generation direction of the audio signal based on the difference in intensity of the audio signal input to the plurality of microphones arranged in different directions.
  • the processor 140 may control the camera 120 to photograph the identified direction as the generation direction of the audio signal corresponding to the cough sound. Specifically, the processor 140 may adjust the orientation direction of the camera so that the generation direction of the audio signal is included in the field of view of the camera 120 .
  • the processor 140 may identify the sterilization area based on the user's location.
  • the processor 140 may use a neural network model that can be stored in a memory (not shown) or downloaded from an external server (not shown) in order to identify whether a person who does not wear a mask is included in the acquired image. .
  • the processor 140 may identify whether a person who does not wear a mask is included in the image by directly analyzing the image to identify an object corresponding to the mask. For example, the processor 140 determines whether a person who does not wear a mask is included in the image by identifying an object corresponding to the mask based on various characteristic information included in the image, for example, edge information, color information, shape information, and the like. can also be identified.
  • the processor 140 may identify an area requiring sterilization (hereinafter, referred to as a sterilization area) based on the location of the user who does not wear a mask.
  • a sterilization area an area requiring sterilization
  • the robot performs a sterilization function to prevent virus propagation through droplets
  • the position of a person not wearing a mask is expressed through the term 'sterilization point'.
  • the processor 140 may identify the sterilization area within a preset range based on the sterilization point, and may control the driving unit 110 to move the robot 100 to the identified sterilization area.
  • the processor 140 may identify a preset range based on the sterilization point as the sterilization area based on the intensity of the audio signal. For example, the processor 140 identifies the first threshold distance range as the sterilization area based on the sterilization point when the intensity of the audio signal is less than the threshold intensity, and when the intensity of the audio signal is greater than or equal to the threshold intensity, the second threshold based on the sterilization point A second threshold distance range greater than the first threshold distance may be identified as the sterilization area.
  • the processor 140 may identify the sterilization area based on the number of non-masked people included in the image captured by the camera 120 . For example, the processor 140 identifies the first critical distance range as the sterilization area based on the sterilization point when the number of people who do not wear a mask is less than the threshold number, and when the number of people who do not wear a mask is greater than or equal to the threshold number, based on the sterilization point A second threshold distance range greater than the first threshold distance may be identified as the sterilization area.
  • the processor 140 may identify a plurality of sterilization areas based on the positions of each of the plurality of users.
  • the processor 140 may determine at least one of the size of the sterilization area and the sterilization intensity based on whether the location where the user who does not wear a mask is identified belongs to a preset area.
  • the preset area may include at least one of an area where an object with a high frequency of contact by users is located, an area with a high frequency of visits by users, or an area with a low frequency of wearing a mask by users.
  • the processor 140 controls the camera 120 to periodically photograph all directions of the space in which the robot 100 is located, and within the image captured in all directions of the space, users Position distribution and mask wearing rate can be identified. Subsequently, the processor 140 may periodically sterilize the indoor space based on the location distribution of users and the mask wearing ratio.
  • the robot 100 performs a sterilization function every first cycle for at least one of an area in which the location distribution value of users exceeds a threshold value or an area in which the ratio of people not wearing a mask exceeds the threshold ratio can do.
  • the robot 100 may perform a sterilization function every second cycle on at least one of an area in which the location distribution value of users is less than or equal to a threshold value or an area in which the ratio of people not wearing a mask is less than or equal to the threshold ratio.
  • the first period may be shorter than the second period.
  • the processor 140 may identify whether the input audio signal is an audio signal corresponding to the cough sound using the first neural network model.
  • the first neural network model may be a model trained to identify whether an input audio signal includes a cough sound, and the first neural network model is stored in a memory (not shown) of the robot 100 or stored in an external server. It can also be downloaded from (not shown). In this case, the first neural network model may be updated periodically or upon occurrence of an event.
  • the processor 140 may identify whether an image obtained using the second neural network model includes a user not wearing a mask.
  • the second neural network model may be a model trained to identify whether a user not wearing a mask is included in the input image, and the second neural network model is stored in the memory (not shown) of the robot 100 . It may be stored or downloaded from an external server (not shown). In this case, the first neural network model may be updated periodically or upon occurrence of an event.
  • the robot 100 further includes a distance sensor (not shown), and when the plurality of sterilization areas are identified, the processor 140 uses the distance sensor to each direction of the plurality of sterilization areas. And to identify the distance, based on the identified direction and distance, it is possible to set a driving route for the sterilization operation.
  • the distance sensor may be implemented as a lidar sensor, a depth camera, or the like.
  • the robot 100 further includes a sterilization device (not shown), and the processor 140 is a sterilization device to perform a sterilization function when the robot 100 is moved to the identified sterilization area. can control
  • 3A and 3B are diagrams illustrating a size of a sterilization area corresponding to a level of a cough sound according to an embodiment of the present disclosure.
  • the processor 140 may determine the size of the sterilization area based on the intensity of the audio signal corresponding to the cough sound.
  • the processor 140 may determine the size of the sterilization area to be larger as the intensity of the audio signal corresponding to the cough sound is increased.
  • the processor 140 may identify an area within a critical range as a sterilization area based on the location of a user who does not wear a mask based on the intensity of the audio signal corresponding to the cough sound. As the signal strength increases, a region with a large critical range may be identified as a sterilization region.
  • the user 200 may make a small cough (hereinafter, referred to as a first cough) that generates a small sound.
  • the robot 100 may identify the intensity of the audio signal corresponding to the first cough sound, and identify the area 310 of the first critical range as the sterilization area based on the location of the user 200 . .
  • the user 200 may cough (hereinafter, referred to as a second cough) that generates a loud sound.
  • the second cough may include sneezing as well as a normal cough.
  • the robot 100 may identify the intensity of the audio signal corresponding to the second cough sound, and identify the area 320 of the second critical range as the sterilization area based on the location of the user 200 .
  • the first threshold range may have a smaller value than the second threshold range.
  • the processor 140 may identify the sterilization area based on not only the intensity of the audio signal corresponding to the cough sound but also the frequency of the cough sound included in the audio signal.
  • 4A and 4B are diagrams illustrating the size of a sterilization area corresponding to the number of people who do not wear a mask according to an embodiment of the present disclosure.
  • the processor 140 may determine the size of the sterilization area based on the number of users who do not wear a mask among users included in the image acquired through the camera 120 .
  • the processor 140 may determine the size of the sterilization area to be larger as the number of users who do not wear a mask increases.
  • a user 201 wearing a mask and a user 202 not wearing a mask may be included within the angle of view of the camera 120 .
  • the processor 140 may identify the number of users who do not wear a mask as one, and identify the first sterilization area 410 corresponding thereto.
  • a plurality of users 201 and 201 not wearing a mask may be included.
  • the processor 140 may identify the number of users who do not wear a mask as two and identify the corresponding second sterilization area 420 .
  • the second sterilization region may include a wider area than the first sterilization region.
  • 5A and 5B are diagrams for explaining a method of determining a sterilization area for sterilizing a plurality of sterilization points according to an embodiment of the present disclosure.
  • the processor 140 may determine the sterilization area in various ways. Specifically, the processor 140 identifies the location of each non-mask wearer included in the images taken in the direction in which the plurality of cough events are identified as an individual sterilization point, and identifies the sterilization area based on the identified sterilization point.
  • the processor 140 identifies a point 500 (hereinafter, reference point) spaced apart by the same distance d from a plurality of users 201, 202, 203 who do not wear a mask.
  • the processor 140 centers on the reference point 500 to identify a sterilization area including all of the plurality of users 201, 202, and 203 not wearing a mask, and the distance from the reference point 500 to each user ( A circular area having a radius of d+a obtained by adding a preset value (a) to d) may be identified as the sterilization area.
  • the above-described reference point 500 may be determined based on the first three users whose cough event is identified.
  • the processor 140 may identify an area within a critical range as a sterilization area based on the positions of the users 201 , 202 , and 203 who do not wear a mask. For example, the processor 140 centers on the positions of each of the users 201 , 202 , and 203 who do not wear a mask, and defines a circular area having a radius of d, which is the distance from the reference point 500 to each user. It can be identified as a sterile area.
  • the robot 100 identifies a new reference point 500 and adds a new sterilization area based thereon Of course, it can be identified.
  • FIG. 6 illustrates the size and sterilization intensity of a sterilization area corresponding to a place including a sterilization point according to an embodiment of the present disclosure.
  • the processor 140 may identify the size 620 and the sterilization strength 630 of the sterilization area based on the place 610 including the sterilization point where the cough event is identified. there is.
  • the processor 140 identifies the size 620 of the sterilization area as 'large'. can do. Meanwhile, in the hallway 611 , the processor 140 may identify the sterilization strength 630 as 'weak' in that the user spends less time staying at one point and the possibility of infection through contact with an object is low.
  • the processor 140 determines the size of the sterilization area. 620 may be identified as 'medium'.
  • the processor 140 may identify the sterilization strength 630 as 'medium'.
  • the door 613 blocks the spread of droplets between the two spaces divided by the door 613 as a boundary, so the processor 140 is the sterilization area.
  • the size 620 may be identified as 'small'.
  • the processor 140 may identify the sterilization strength 630 as 'medium'.
  • the sterilization point identified by the processor 140 is the drinking fountain 614
  • the processor 140 determines the size of the sterilization region ( 620) can be identified as 'cow'.
  • the drinking fountain 614 includes facilities that users use without wearing a mask, and the processor 140 can identify the sterilization strength 630 as 'strong' in that the possibility of infection through contact with objects is remarkably high. there is.
  • strong, medium, and small are only classifications according to an example, and the size and sterilization intensity of the sterilization area may be divided into various levels.
  • the robot 100 can perform an optimal sterilization function corresponding to an individual place.
  • FIG. 7A is a diagram for explaining an audio signal processing method through a neural network model according to an embodiment of the present disclosure.
  • the processor 140 may identify whether the audio signal input through the microphone 130 is an audio signal corresponding to the cough sound using the first neural network model. Specifically, the processor 140 may obtain the information 712 related to whether the audio signal includes a cough sound by inputting the input audio signal 711 to the first neural network model 710 .
  • the first neural network model may be a model trained to identify whether the input audio signal 711 includes a cough sound. Also, the first neural network model may be a model trained to identify the type of cough sound included in the audio signal and the number of users who generated the cough sound.
  • FIG. 7B is a diagram for explaining an image processing method through a neural network model according to an embodiment of the present disclosure.
  • the processor 140 may identify whether a non-masked person is included in the image acquired through the camera 120 using the second neural network model. Specifically, the processor 140 may input the obtained image 721 into the second neural network model 720 to obtain information 722 related to whether a person not wearing a mask is included in the image.
  • the second neural network model may be a model trained to identify whether a user not wearing a mask is included in the acquired image 721 .
  • the processor 140 may accurately identify a user wearing a mask and a user not wearing the mask using the second neural network model 720 .
  • FIG. 8 is a view for explaining setting of a driving route for sterilizing a plurality of sterilization areas according to an embodiment of the present disclosure.
  • the robot 100 further includes a distance sensor 160 , and the processor 140 according to an embodiment identifies the plurality of sterilization areas 810 , 820 , and 830 , the distance sensor 160 .
  • the processor 140 may be used to identify the direction and distance of each of the plurality of sterilization areas, and based on the identified direction and distance, a travel route 300 for the sterilization operation may be set.
  • the distance sensor 160 may be implemented as LIDAR (Light Detection And Ranging).
  • the processor 140 may identify the angle measured in the clockwise direction from the reference line 800 in the direction to each sterilization area, from the position of the robot 100 to each sterilization point included in each sterilization area.
  • the distance can be identified as the distance to each sterilization zone.
  • the processor 140 may identify the direction of the first sterilization area 810 as 80 degrees 811 and the distance as 20 meters 812 . Also, the processor 140 may identify the direction of the second sterilization area 820 as 120 degrees 821 and the distance as 30 meters 822 . Finally, the processor 140 may identify the direction of the third sterilization area 830 as 160 degrees (831) and the distance as 15 meters (832).
  • the processor 140 may set the driving route according to a preset method based on the identified directions and distances of the first to third sterilization areas. 8 shows that the travel path 300 is set according to a method of preferentially sterilizing the sterilization area having a low angle corresponding to the identified direction for each sterilization area.
  • the processor 140 first sterilizes the first sterilization region because the direction of the first sterilization region is closest to the reference line 800 , and then sterilizes the second sterilization region with the highest priority, and finally the second sterilization region is furthest from the reference line 800 .
  • the travel path 300 of the robot 100 may be set in the order of sterilizing the third sterilization area located in the direction.
  • the driving route setting method described with reference to FIG. 8 is only an example, and it goes without saying that the processor 140 may set the driving route according to any number of other methods.
  • the processor 140 may set the driving route according to any number of other methods.
  • the robot 100 is a guide bot or a retail bot disposed in an indoor space where many people are active, it is possible to quickly and efficiently sterilize a plurality of sterilization areas. there is an advantage
  • the robot 100 when the robot 100 is a guide bot or a retail bot, the robot 100 may further include a display (not shown) including a touch screen, and the user When a preset time elapses after the touch manipulation of the robot 100 has elapsed, the robot 100 may self-sterilize the display.
  • FIG. 9 is a block diagram for specifically explaining a functional configuration of a robot according to an embodiment of the present disclosure.
  • the robot 100 ′ includes a driving unit 110 , a camera 120 , a microphone 130 , a processor 140 , a memory 150 , a distance sensor 160 , and a sterilization device 170 .
  • a driving unit 110 the robot 100 ′ includes a driving unit 110 , a camera 120 , a microphone 130 , a processor 140 , a memory 150 , a distance sensor 160 , and a sterilization device 170 .
  • the memory 150 may store data necessary for various embodiments of the present disclosure.
  • the memory 150 may be implemented in the form of a memory embedded in the robot 100 or may be implemented in the form of a memory that is detachable from the robot 100 depending on the purpose of data storage. For example, data for driving the robot 100 is stored in a memory embedded in the robot 100 , and data for an extended function of the robot 100 is stored in a memory detachable from the robot 100 .
  • volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory eg, : OTPROM (one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash) , a hard drive, or a solid state drive (SSD) may be implemented as at least one of.
  • a memory card eg, compact flash (CF); SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.
  • external memory e.g., it may be implemented in a form such as a USB memory).
  • the memory 150 may store at least one instruction for controlling the robot 100 or a computer program including the instructions.
  • the memory 150 may store information about a neural network model including a plurality of layers.
  • storing information about the neural network model means various information related to the operation of the neural network model, for example, information on a plurality of layers included in the neural network model, parameters used in each of the plurality of layers (for example, filter coefficients) , bias, etc.) may be stored.
  • the memory 150 includes a first neural network model 151 trained to identify whether an input audio signal includes a cough sound according to an embodiment and a user who does not wear a mask in the acquired image It is possible to store information about the second neural network model 152 that has been trained to identify whether or not there is.
  • the distance sensor 160 is configured to measure the distance between the robot 100 and the sterilization point where the coughing event occurs.
  • the distance sensor 160 may be implemented as a light detection and ranging (LIDAR) or a depth camera.
  • LIDAR light detection and ranging
  • the distance sensor 160 according to an example may measure the distance between the robot 100 and the sterilization point through a triangulation method, a time of flight (TOF) measurement method, or a phase difference displacement measurement method.
  • the sterilization device 170 performs a function of killing viruses and bacteria when the robot 100 reaches the sterilization area and performs a sterilization function.
  • the sterilization apparatus 170 may be configured with a disinfectant solution spraying module (not shown) including a tank in which the disinfectant solution is accommodated, a pipe through which the disinfectant solution flows, and a nozzle for spraying the disinfectant solution.
  • the sterilization apparatus 170 may be implemented as an ultraviolet sterilization apparatus including an LED capable of irradiating ultraviolet (UV) light.
  • the sterilization apparatus 170 may perform a function of sterilizing a display (not shown) provided in the robot 100 as well as sterilizing the sterilization area.
  • FIG. 10 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • the robot control method determines the generation direction of the audio signal based on the arrangement direction of each of the plurality of microphones. Identifies (S1010). Then, the direction identified through the camera is photographed, and when a user who does not wear a mask is identified in the image obtained through the camera, a sterilization area is identified based on the user's location (S1020). Finally, it moves to the identified sterilization area (S1030).
  • an area within a critical range may be identified as the sterilization area based on the user's location based on the intensity of the audio signal.
  • the size of the sterilization area may be determined based on the number of users who do not wear a mask.
  • the sterilization area may be identified based on the positions of each of the plurality of users.
  • the user may determine at least one of the size of the sterilization area or the sterilization intensity based on whether the identified location belongs to a preset area.
  • the preset area may include at least one of an area where an object with a high frequency of contact by users is located, an area with a high frequency of visits by users, or an area with a low frequency of wearing a mask by users.
  • the first neural network model determines whether the input audio signal is a cough sound. It can be a model trained to identify whether it contains sound or not.
  • the step of identifying the sterilization area uses the second neural network model to identify whether the acquired image includes a user who does not wear a mask, and the second neural network model does not wear a mask on the acquired image. It may be a model that has been trained to identify whether or not non-users are included.
  • the method may further include identifying a direction and distance of each of the plurality of sterilization areas and setting a travel route for the sterilization operation based on the identified direction and distance.
  • the method may further include performing a sterilization function when the robot is moved to the identified sterilization area.
  • various embodiments of the present disclosure described above may be performed through an embedded server provided in the robot or at least one external server of the robot.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor 140 itself.
  • embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation of the robot 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the specific device When the computer instructions stored in the non-transitory computer-readable medium are executed by the processor of the specific device, the specific device performs the processing operation in the robot 100 according to the various embodiments described above.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • General Chemical & Material Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Manipulator (AREA)

Abstract

로봇이 개시된다 로봇은, 구동부, 카메라, 상이한 방향으로 배치된 복수의 마이크 및 복수의 마이크를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인 것으로 식별되면 오디오 신호의 발생 방향을 식별하고, 식별된 방향을 촬영하도록 카메라를 제어하고, 카메라를 통해 획득된 영상에서 마스크를 착용하지 않은 사용자가 식별되면 사용자의 위치를 기준으로 살균 영역을 식별하고, 식별된 살균 영역으로 이동하도록 구동부를 제어하는 프로세서를 포함한다.

Description

로봇 및 그 제어 방법
본 발명은 살균 기능을 수행하는 로봇 및 그 제어 방법에 관한 것이다.
CROSS-REFERENCE TO RELATED APPLICATIONS
본 출원은 2020년 10월 7일에 출원된 대한민국 특허출원 제 10-2020-0129637호에 기초하여 우선권을 주장하며, 해당 출원의 모든 내용은 그 전체가 본 출원에 레퍼런스로 포함된다.
최근 전염성이 강한 코로나 바이러스가 등장하며 전염을 막는 것이 사회적 현안으로 부상하고 있다. 바이러스는 기침에 의한 비말 또는 접촉으로 전염되는 것이 일반적인데 종래의 살균 로봇은 사용자의 조작을 통해 비말 또는 접촉 지점을 살균하므로 자동화된 살균 기능 수행이 어렵다는 문제점이 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 사용자의 조작 없이도 스스로 살균 영역을 식별할 수 있는 로봇 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 로봇은, 구동부, 카메라, 상이한 방향으로 배치된 복수의 마이크, 및 상기 복수의 마이크를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인 것으로 식별되면, 상기 오디오 신호의 발생 방향을 식별하고, 상기 식별된 방향을 촬영하도록 상기 카메라를 제어하고, 상기 카메라를 통해 획득된 영상에서 마스크를 착용하지 않은 사용자가 식별되면, 상기 사용자의 위치를 기준으로 살균 영역을 식별하고, 상기 식별된 살균 영역으로 이동하도록 상기 구동부를 제어하는 프로세서를 포함할 수 있다.
여기서, 상기 프로세서는, 상기 오디오 신호의 세기에 기초하여 상기 사용자의 위치를 기준으로 임계 범위의 영역을 상기 살균 영역으로 식별할 수 있다.
또한, 상기 프로세서는, 상기 마스크를 착용하지 않은 사용자의 수에 기초하여 상기 살균 영역의 크기를 결정할 수 있다.
또한, 상기 프로세서는, 상기 마스크를 착용하지 않은 복수의 사용자가 식별되면, 상기 복수의 사용자 각각의 위치에 기초하여 상기 살균 영역을 식별할 수 있다.
또한, 상기 프로세서는, 상기 사용자가 식별된 위치가 기설정된 영역에 속하는지 여부에 기초하여 상기 살균 영역의 크기 또는 살균 강도 중 적어도 하나를 결정할 수 있다.
여기서, 상기 기설정된 영역은, 사용자들의 접촉 빈도가 높은 객체가 위치하는 영역, 사용자들의 방문 빈도가 높은 영역 또는 사용자들의 마스크 착용 빈도가 낮은 영역 중 적어도 하나를 포함할 수 있다.
한편, 상기 프로세서는, 제1 신경망 모델을 이용하여 상기 입력된 오디오 신호가 상기 기침 소리에 대응되는 오디오 신호인지 식별하고, 상기 제1 신경망 모델은, 입력된 오디오 신호가 기침 소리를 포함하는지 여부를 식별하도록 학습된 모델일 수 있다.
또한, 상기 프로세서는, 제2 신경망 모델을 이용하여 상기 획득된 영상이 마스크를 착용하지 않은 사용자를 포함하는지 여부를 식별하고, 상기 제2 신경망 모델은, 입력된 영상에 마스크를 착용하지 않은 사용자가 포함되어 있는지 여부를 식별하도록 학습된 모델일 수 있다.
또한, 거리 센서를 더 포함하며, 상기 프로세서는, 복수의 살균 영역이 식별되면, 상기 거리 센서를 이용하여 상기 복수의 살균 영역 각각의 방향 및 거리를 식별하고, 상기 식별된 방향 및 거리에 기초하여 살균 작업을 위한 주행 경로를 설정할 수 있다.
또한, 살균 기능을 수행하는 살균 장치를 더 포함하며, 상기 로봇이 상기 식별된 살균 영역으로 이동되면, 살균 기능을 수행하도록 상기 살균 장치를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 상이한 방향으로 배치된 복수의 마이크 및 카메라를 포함하는 로봇의 제어 방법은, 상기 복수의 마이크를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인 것으로 식별되면, 상기 복수의 마이크 각각의 배치 방향에 기초하여 상기 오디오 신호의 발생 방향을 식별하는 단계, 상기 카메라를 통해 상기 식별된 방향을 촬영하고, 상기 카메라를 통해 획득된 영상에서 마스크를 착용하지 않은 사용자가 식별되면, 상기 사용자의 위치를 기준으로 살균 영역을 식별하는 단계, 및 상기 식별된 살균 영역으로 이동하는 단계를 포함할 수 있다.
여기서, 상기 살균 영역을 식별하는 단계는, 상기 오디오 신호의 세기에 기초하여 상기 사용자의 위치를 기준으로 임계 범위의 영역을 살균 영역으로 식별할 수 있다.
또한, 상기 살균 영역을 식별하는 단계는, 상기 마스크를 착용하지 않은 사용자의 수에 기초하여 상기 살균 영역의 크기를 결정할 수 있다.
또한, 상기 살균 영역을 식별하는 단계는, 상기 마스크를 착용하지 않은 복수의 사용자가 식별되면, 상기 복수의 사용자 각각의 위치에 기초하여 상기 살균 영역을 식별할 수 있다.
또한, 상기 살균 영역을 식별하는 단계는, 상기 사용자가 식별된 위치가 기설정된 영역에 속하는지 여부에 기초하여 상기 살균 영역의 크기 또는 살균 강도 중 적어도 하나를 결정할 수 있다.
본 개시의 다양한 실시 예에 따르면, 실내 공간에 설치된 다른 센서들을 이용할 필요 없이 로봇만으로도 살균이 필요한 영역을 살균할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 로봇의 작동 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 로봇의 구성을 설명하기 위한 블록도이다.
도 3a 및 도 3b는 본 개시의 일 실시 예에 따른 기침 소리의 크기에 대응되는 살균 영역의 크기를 도시한 것이다.
도 4a 및 도 4b는 본 개시의 일 실시 예에 따른 마스크 미 착용자의 수에 대응되는 살균 영역의 크기를 도시한 것이다.
도 5a 및 도 5b는 본 개시의 일 실시 예에 따른 복수의 살균 지점을 살균하기 위한 살균 영역의 결정 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 살균 지점이 포함된 장소에 대응되는 살균 영역의 크기와 살균 강도를 도시한 것이다.
도 7a는 본 개시의 일 실시 예에 따른 신경망 모델을 통한 오디오 신호 처리 방법을 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시 예에 따른 신경망 모델을 통한 영상 처리 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 복수의 살균 영역을 살균하기 위한 주행 경로 설정을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 로봇의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 10은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 로봇의 작동 방법을 설명하기 위한 도면이다.
일반적으로, 바이러스의 전파는 비말 또는 오염 지점 접촉을 통해 일어날 수 있으나, 도 1에서는 기침에 의해 발생한 비말을 통한 바이러스 전파를 방지하는 살균 동작을 수행하는 것을 전제로 로봇(100)의 기능을 설명한다. 일 예에 따른 로봇(100)에 구비된 카메라(120)는 일정한 화각을 갖는다. 이 경우 카메라(120)는 모든 방향에서 발생하는 기침 이벤트를 감지할 수 없다. 따라서 기침 이벤트가 카메라(120)의 화각 외에서 발생한 경우, 로봇(100)은 스스로 살균 영역을 식별할 수 없게 된다.
이에 일 예에 따른 로봇(100)은 복수의 마이크(130)를 구비할 수 있다. 복수의 마이크(130)를 통해 기침 소리에 대응되는 오디오 신호가 입력되면 로봇(100)은 오디오 신호 발생한 방향을 식별할 수 있다. 이어서 로봇(100)은 기침 이벤트가 발생한 방향을 촬영하도록 카메라(120)를 제어할 수 있다. 이 과정에서 카메라 모듈(미도시) 자체를 회전시켜 기침 이벤트가 발생한 방향을 촬영할 수도 있으나, 로봇(100)에 구비된 구동부(110)를 이용해 로봇(100) 자체를 회전시켜 기침 이벤트가 발생한 방향을 촬영할 수도 있다.
로봇(100)은 기침 이벤트가 발생한 방향을 촬영한 영상 내에 마스크를 착용하지 않은 사용자(200)가 있는지 식별하여, 마스크를 착용하지 않은 사용자(200)가 위치한 지점으로 이동할 수 있다.
이에 따라, 이하에서는 일 실내 공간에 구비된 별도의 센서 또는 사용자의 조작이 없이도 살균이 필요한 영역을 식별할 수 있는 다양한 실시 예에 대해 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 로봇의 구성을 설명하기 위한 블록도이다.
도 2를 참조하여, 본 개시의 일 실시 예에 따른 로봇(100)은 구동부(110), 카메라(120), 마이크(130) 및 프로세서(140)를 포함할 수 있다.
구동부(110)는 로봇(100)을 주행시킬 수 있는 장치이며, 프로세서(140)의 제어에 따라 구동부(110)는 주행 방향 및 주행 속도를 조절할 수 있다. 이를 위해, 구동부(110)는 로봇(100)이 주행하기 위한 동력을 발생시키는 동력발생장치(예: 사용 연료(또는 에너지원)에 따라 가솔린 엔진(engine), 디젤 엔진, LPG(liquefied petroleum gas) 엔진, 전기 모터 등), 주행 방향을 조절하기 위한 조향 장치(예: 기계식 스티어링(manual steering), 유압식 스티어링(hydraulics steering), 전자식 스티어링(electronic control power steering; EPS) 등), 동력에 따라 로봇(100)을 주행시키는 주행 장치(예: 바퀴, 프로펠러 등) 등을 포함할 수 있다. 여기서, 구동부(110)는 로봇(100)의 주행 타입(예: 휠 타입, 보행 타입, 비행 타입 등)에 따라 변형 실시될 수 있다.
카메라(120)는 카메라의 화각(Field of View; FoV) 내에 영역에 대한 촬영을 수행하여 영상을 획득할 수 있다.
카메라(120)는 객체, 예를 들어 사용자(200)에 의해 반사되어 수신되는 가시광 또는 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 또는 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다. 일 실시 예에 따른 카메라(120)는 뎁스 카메라로 구현될 수 있다.
마이크(130)는 오디오 신호를 수신할 수 있는 구성이다. 마이크(130)를 통해 수신될 수 있는 오디오 신호는 가청 주파수 대역 또는 비가청 주파수 대역의 음향일 수 있다. 가청 주파수 대역의 음향은 사람이 들을 수 있는 소리의 주파수를 갖는 것으로, 20㎐에서 20KHz의 음향이 될 수 있다. 또한, 비가청 주파수 대역의 음향은 사람이 들을 수 없는 소리의 주파수를 갖는 것으로, 10kHz~300GHz의 음향일 수 있다. 여기서, 오디오 신호는 기침 소리에 대응되는 음향일 수 있으며, 일 예에 따른 마이크(130)는 상이한 방향으로 배치된 복수의 마이크로 구성될 수 있다.
프로세서(140)는 로봇(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(140)는 로봇(100)의 각 구성과 연결되어 로봇(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(140)는 구동부(110), 카메라(120), 및 마이크(130)와 연결되어 로봇(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(130)로 기재한다. 프로세서(140)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(140)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
일 실시 예에 따른 프로세서(140)는 복수의 마이크를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인 것으로 식별되면 오디오 신호의 발생 방향을 식별할 수 있다.
여기서, 프로세서(140)는 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인지 여부를 식별하기 위하여 메모리(미도시)에 저장되거나 외부 서버(미도시)로부터 다운로드 받을 수 있는 신경망 모델을 이용할 수 있다. 또한, 마이크(130)를 통해 입력된 오디오 신호에 특정 주파수를 갖는 신호가 포함된 비율에 기초하여 오디오 신호가 기침 소리에 대응되는 것으로 식별할 수도 있다.
프로세서(140)가 기침 소리에 대응되는 오디오 신호가 발생한 방향을 식별하기 위해서, 마이크(130)는 상이한 방향으로 배치된 복수의 마이크로 구성될 수 있다. 프로세서(140)는 상이한 방향으로 배치된 복수의 마이크로 각각 입력된 오디오 신호의 세기의 차이에 기초하여 오디오 신호의 발생 방향을 식별할 수 있다.
이어서 프로세서(140)는 기침 소리에 대응되는 오디오 신호의 발생 방향으로 식별된 방향을 촬영하도록 카메라(120)를 제어할 수 있다. 구체적으로, 프로세서(140)는 카메라(120)가 갖는 화각(Field of View) 내에 오디오 신호의 발생 방향이 포함되도록 카메라의 지향 방향을 조정할 수 있다.
프로세서(140)는 카메라(120)를 통해 획득된 영상에서 마스크를 착용하지 않은 사용자가 식별되면 사용자의 위치를 기준으로 살균 영역을 식별할 수 있다.
일 예에 따라 프로세서(140)는 획득된 영상에 마스크 미 착용자가 포함되어 있는지 여부를 식별하기 위하여 메모리(미도시)에 저장되거나 외부 서버(미도시)로부터 다운로드 받을 수 있는 신경망 모델을 이용할 수 있다. 다른 예에 따라 프로세서(140)는 영상을 직접 분석하여 마스크에 대응되는 객체를 식별함으로써 영상에 마스크 미 착용자가 포함되어 있는지를 식별할 수도 있다. 예를 들어, 프로세서(140)는 영상에 포함된 다양한 특성 정보, 예를 들어, 에지 정보, 색상 정보, 형상 정보 등에 기초하여 마스크에 대응되는 객체를 식별함으로써 영상에 마스크 미 착용자가 포함되어 있는지를 식별할 수도 있다.
프로세서(140)는 마스크를 착용하지 않은 사용자의 위치를 기준으로 살균이 필요한 영역(이하, 살균 영역)을 식별할 수 있다. 본 명세서에서는 로봇이 비말을 통한 바이러스 전파를 막기위해 살균 기능을 수행하는 경우, 마스크 미 착용자의 위치를 '살균 지점'이라는 용어를 통해 표현한다.
프로세서(140)는 살균 지점을 기준으로 기설정된 범위를 살균 영역을 식별하고, 식별된 살균 영역으로 로봇(100)이 이동할 수 있도록 구동부(110)를 제어할 수 있다.
일 예에 따라, 프로세서(140)는 오디오 신호의 세기에 기초하여 살균 지점을 기준으로 기설정된 범위를 살균 영역으로 식별할 수 있다. 예를 들어, 프로세서(140)는 오디오 신호의 세기가 임계 세기 미만인 경우 살균 지점을 기준으로 제1 임계 거리 범위를 살균 영역으로 식별하고, 오디오 신호의 세기가 임계 세기 이상인 경우 살균 지점을 기준으로 제1 임계 거리보다 큰 제2 임계 거리 범위를 살균 영역으로 식별할 수 있다.
다른 예에 따라, 프로세서(140)는 카메라(120)를 통해 촬영된 영상에 포함된 마스크 미 착용자의 수에 기초하여 살균 영역을 식별할 수도 있다. 예를 들어, 프로세서(140)는 마스크 미 착용자의 수가 임계 수 미만인 경우 살균 지점을 기준으로 제1 임계 거리 범위를 살균 영역으로 식별하고, 마스크 미 착용자의 수가 임계 수 이상인 경우, 살균 지점을 기준으로 제1 임계 거리보다 큰 제2 임계 거리 범위를 살균 영역으로 식별할 수 있다.
다른 예에 따라 프로세서(140)는 마스크를 착용하지 않은 복수의 사용자가 식별되는 경우, 복수의 사용자 각각의 위치에 기초하여 복수의 살균 영역을 식별할 수 있다.
또한, 프로세서(140)는 마스크를 착용하지 않은 사용자가 식별된 위치가 기설정된 영역에 속하는지 여부에 기초하여 살균 영역의 크기 또는 살균 강도 중 적어도 하나를 결정할 수 있다.
여기서, 기설정된 영역은 사용자들의 접촉 빈도가 높은 객체가 위치하는 영역, 사용자들의 방문 빈도가 높은 영역 또는 사용자들의 마스크 착용 빈도가 낮은 영역 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(140)는 로봇(100)이 위치하는 공간의 전 방향을 주기적으로 촬영하도록 카메라(120)를 제어하고, 공간의 전 방향을 촬영한 영상 내에서 사용자들의 위치 분포 및 마스크 착용 비율을 식별할 수 있다. 이어서, 프로세서(140)는 사용자들의 위치 분포 및 마스크 착용 비율에 기초하여 실내 공간을 주기적으로 살균할 수 있다.
여기서, 로봇(100)은 사용자들의 위치 분포 값이 임계 값을 초과하는 영역 또는 마스크를 착용하지 않은 사람의 비율이 임계 비율을 초과하는 영역 중 적어도 하나의 영역에 대해 제1 주기마다 살균 기능을 수행할 수 있다.
반면, 로봇(100)은 사용자들의 위치 분포 값이 임계 값 이하인 영역 또는 마스크를 착용하지 않은 사람의 비율이 임계 비율 이하인 영역 중 적어도 하나의 영역에 대해 제2 주기마다 살균 기능을 수행할 수 있다. 여기서, 제1 주기는 제2 주기보다 짧을 수 있다.
일 예에 따라 프로세서(140)는 제1 신경망 모델을 이용하여 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인지 식별할 수 있다. 여기서, 제1 신경망 모델은 입력된 오디오 신호가 기침 소리를 포함하는지 여부를 식별하도록 학습된 모델일 수 있으며, 제1 신경망 모델은 로봇(100)의 구성인 메모리(미도시)에 저장되거나 외부 서버(미도시)로부터 다운로드 받을 수도 있다. 이 경우, 제1 신경망 모델은 주기적으로 또는 이벤트 발생시 업데이트될 수 있다.
또한, 프로세서(140) 제2 신경망 모델을 이용하여 획득된 영상이 마스크를 착용하지 않은 사용자를 포함하는지 여부를 식별할 수 있다. 여기서, 제2 신경망 모델은 입력된 영상에 마스크를 착용하지 않은 사용자가 포함되어 있는지 여부를 식별하도록 학습된 모델일 수 있으며, 제2 신경망 모델은 로봇(100)의 구성인 메모리(미도시)에 저장되거나 외부 서버(미도시)로부터 다운로드 받을 수도 있다. 이 경우, 제1 신경망 모델은 주기적으로 또는 이벤트 발생시 업데이트될 수 있다.
또한, 본 개시의 일 실시 예에 따른 로봇(100)은 거리 센서(미도시)를 더 포함하며, 프로세서(140)는 복수의 살균 영역이 식별되면 거리 센서를 이용하여 복수의 살균 영역 각각의 방향 및 거리를 식별하고, 식별된 방향 및 거리에 기초하여 살균 작업을 위한 주행 경로를 설정할 수 있다. 예를 들어, 거리 센서는 라이더 센서, 뎁스 카메라 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른 로봇(100)은 살균 장치(미도시)를 더 포함하며, 프로세서(140)는 로봇(100)이 식별된 살균 영역으로 이동되면 살균 기능을 수행하도록 살균 장치를 제어할 수 있다.
도 3a 및 도 3b는 본 개시의 일 실시 예에 따른 기침 소리의 크기에 대응되는 살균 영역의 크기를 도시한 것이다.
본 개시의 일 실시 예에 따른 프로세서(140)는 기침 소리에 대응되는 오디오 신호의 세기에 기초하여 살균 영역의 크기를 결정할 수 있다.
사용자가 마스크를 착용하고 있지 않을수록, 또한 기침의 세기가 강할수록 기침 소리가 커지는 경향이 있으며, 이와 동시에 비말의 확산이 활발하게 일어날 수 있다. 따라서 프로세서(140)는 기침 소리에 대응되는 오디오 신호의 세기가 클수록 살균 영역의 크기를 크게 결정할 수 있다.
구체적으로, 프로세서(140)는 기침 소리에 대응되는 오디오 신호의 세기에 기초하여 마스크를 착용하지 않은 사용자의 위치를 기준으로 임계 범위의 영역을 살균 영역으로 식별할 수 있는데, 프로세서(140)는 오디오 신호의 세기가 클수록 큰 임계 범위의 영역을 살균 영역으로 식별할 수 있다.
도 3a를 참조하면, 사용자(200)는 작은 소리를 발생시키는 잔 기침(이하, 제1 기침)을 할 수 있다. 일 예에 따른 로봇(100)은 제1 기침 소리에 대응되는 오디오 신호의 세기를 식별하고, 사용자(200)의 위치를 기준으로 제1 임계 범위의 영역(310)을 살균 영역으로 식별할 수 있다.
도 3b를 참조하면, 사용자(200)는 큰 소리를 발생시키는 기침(이하, 제2 기침)을 할 수 있다. 제2 기침에는 통상의 기침 뿐만 아니라 재채기도 포함될 수 있다. 일 예에 따른 로봇(100)은 제2 기침 소리에 대응되는 오디오 신호의 세기를 식별하고, 사용자(200)의 위치를 기준으로 제2 임계 범위의 영역(320)을 살균 영역으로 식별할 수 있다. 여기서, 제1 임계 범위는 제2 임계 범위보다 작은 값을 가질 수 있다.
도 3a 및 도3b에서 도시하지는 않았으나, 프로세서(140)는 기침 소리에 대응하는 오디오 신호의 세기 뿐만 아니라 오디오 신호에 포함된 기침 소리의 빈도에 기초하여서도 살균 영역을 식별할 수도 있다.
도 4a 및 도 4b는 본 개시의 일 실시 예에 따른 마스크 미 착용자의 수에 대응되는 살균 영역의 크기를 도시한 것이다.
본 개시의 일 실시 예에 따른 프로세서(140)는 카메라(120)를 통해 획득된 영상에 포함된 사용자들 중 마스크를 착용하지 않은 사용자의 수에 기초하여 살균 영역의 크기를 결정할 수 있다.
카메라(120)의 화각 내에 복수의 사용자가 존재할 경우 마스크를 착용하지 않은 사용자가 많을수록 기침에 의한 비말 확산이 활발하게 일어날 수 있다. 또한, 마스크를 착용하지 않은 사용자들 중 비감염자가 포함되어 있을 수 있으므로 살균이 필요한 영역은 보다 넓게 설정될 필요가 있다. 따라서 프로세서(140)는 마스크를 착용하지 않은 사용자의 수가 많을수록 살균 영역의 크기를 크게 결정할 수 있다.
도 4a를 참조하면, 카메라(120)의 화각 내에는 마스크를 착용한 사용자(201)와 마스크를 착용하지 않은 사용자(202)가 포함되어 있을 수 있다. 이 경우 프로세서(140)는 마스크를 착용하지 않은 사용자의 수를 1명으로 식별하고, 이에 대응되는 제1 살균 영역(410)을 식별할 수 있다.
도 4b를 참조하면, 마스크를 착용하지 않은 복수의 사용자(201, 201)가 포함되어 있을 수 있다. 이 경우 프로세서(140)는 마스크를 착용하지 않은 사용자의 수를 2명으로 식별하고, 이에 대응되는 제2 살균 영역(420)을 식별할 수 있다. 여기서, 제2 살균 영역은 제1 살균 영역보다 넓은 범위의 영역을 포함할 수 있다.
도 5a 및 도 5b는 본 개시의 일 실시 예에 따른 복수의 살균 지점을 살균하기 위한 살균 영역의 결정 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(140)는 마스크를 착용하지 않은 복수의 사용자(201, 202, 203)가 식별되는 경우, 다양한 방법으로 살균 영역을 결정할 수 있다. 구체적으로, 프로세서(140)는 복수의 기침 이벤트가 식별된 방향을 촬영한 영상들에 포함된 마스크 미 착용자 각각의 위치를 개별적인 살균 지점으로 식별하고, 식별된 살균 지점을 기준으로 살균 영역을 식별할 수 있다.
도 5a를 참조하면, 일 예에 따른 프로세서(140)는 마스크를 착용하지 않은 복수의 사용자(201, 202, 203)로부터 동일한 거리(d)만큼 이격된 지점(500, 이하, 기준점)을 식별할 수 있다. 프로세서(140)는 마스크를 착용하지 않은 복수의 사용자(201, 202, 203)를 모두 포함하는 살균 영역을 식별하기 위해 기준점(500)을 중심으로 하며, 기준점(500)으로부터 각 사용자에 이르는 거리(d)에 기 설정된 값(a)를 더한 d+a의 반경을 갖는 원형의 영역을 살균 영역으로 식별할 수 있다.
마스크를 착용하지 않은 사용자의 수가 3명을 초과하는 경우, 상술한 기준점(500)은 기침 이벤트가 식별된 최초 3인의 사용자를 기준으로 결정될 수 있다.
도 5b를 참조하면, 일 예에 따른 프로세서(140)는 마스크를 착용하지 않은 사용자(201, 202, 203) 각각의 위치를 기준으로 임계 범위의 영역을 살균 영역으로 식별할 수 있다. 예를 들어, 프로세서(140)는 마스크를 착용하지 않은 사용자(201, 202, 203) 각각의 위치를 중심으로 하며, 기준점(500)으로부터 각 사용자에 이르는 거리인 d의 반경을 갖는 원형의 영역을 살균 영역으로 식별할 수 있다.
여기서, 로봇(100)이 식별된 살균 영역에 대한 살균 기능을 수행한 이후에 새로운 기침 이벤트가 발생하는 경우, 로봇(100)은 새로운 기준점(500)을 식별하고 그에 기초하여 새로운 살균 영역을 추가로 식별할 수 있음은 물론이다.
도 6은 본 개시의 일 실시 예에 따른 살균 지점이 포함된 장소에 대응되는 살균 영역의 크기와 살균 강도를 도시한 것이다.
구체적으로, 본 개시의 일 실시 예에 따른 프로세서(140)는 기침 이벤트가 식별된 살균 지점이 포함된 장소(610)에 기초하여 살균 영역의 크기(620) 및 살균 강도(630)를 식별할 수 있다.
일 예로 프로세서(140)가 식별한 살균 지점이 복도(611)인 경우, 복도(611)는 사용자들의 지속적인 통행이 이루어지는 장소이므로 프로세서(140)는 살균 영역의 크기(620)를 '대'로 식별할 수 있다. 한편, 복도(611)는 사용자가 한 지점에 머무르는 시간이 적으며 물건 접촉을 통한 감염 가능성이 낮다는 점에서 프로세서(140)는 살균 강도(630)를 '약'으로 식별할 수 있다.
다른 예로 프로세서(140)가 식별한 살균 지점이 화장실(612)인 경우, 화장실(612)은 좌변기, 소변기 및 세면대 등의 시설로 비말이 확산될 수 있는 장소이므로 프로세서(140)는 살균 영역의 크기(620)를 '중'으로 식별할 수 있다. 한편, 화장실(612)은 물건 접촉을 통한 감염 가능성이 다소 높다는 점에서 프로세서(140)는 살균 강도(630)를 '중'으로 식별할 수 있다.
또 다른 예로 프로세서(140)가 식별한 살균 지점이 출입문(613)인 경우, 출입문(613)은 출입문(613)을 경계로 나뉘는 양 공간 사이의 비말 확산이 차단되므로 프로세서(140)는 살균 영역의 크기(620)를 '소'로 식별할 수 있다. 한편, 출입문(613)은 물건 접촉을 통한 감염 가능성이 다소 높다는 점에서 프로세서(140)는 살균 강도(630)를 '중'으로 식별할 수 있다.
마지막으로 프로세서(140)가 식별한 살균 지점이 음수대(614)인 경우, 음수대(614)가 위치하는 지점으로부터 임계 범위 내에 포함되는 영역만을 살균하면 되므로 프로세서(140)는 살균 영역의 크기(620)를 '소'로 식별할 수 있다. 한편, 음수대(614)는 사용자들이 마스크를 착용하지 않고 이용하는 시설을 포함하며 물건 접촉을 통한 감염 가능성이 현저하게 높다는 점에서 프로세서(140)는 살균 강도(630)를 '강'으로 식별할 수 있다. 여기서, 강, 중, 소는 일 예에 따른 구분일 뿐이며, 살균 영역의 크기 및 살균 강도는 다양한 레벨로 구분될 수 있다.
상술한 바와 같이, 본 개시의 다양한 실시 예에 따른 살균 영역의 크기 및 살균 강도 결정을 통해 로봇(100)은 개별적인 장소에 대응되는 최적의 살균 기능을 수행할 수 있게 된다.
도 7a는 본 개시의 일 실시 예에 따른 신경망 모델을 통한 오디오 신호 처리 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(140)는 제1 신경망 모델을 이용하여 마이크(130)를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인지 식별할 수 있다. 구체적으로, 프로세서(140)는 입력된 오디오 신호(711)를 제1 신경망 모델(710)에 입력하여 오디오 신호가 기침소리를 포함하는지 여부에 관련된 정보(712)를 획득할 수 있다.
여기서, 제1 신경망 모델은 입력된 오디오 신호(711)가 기침 소리를 포함하는지 여부를 식별하도록 학습된 모델일 수 있다. 또한, 제1 신경망 모델은 오디오 신호에 포함된 기침 소리의 종류 및 기침 소리를 발생시킨 사용자의 수를 식별하도록 학습된 모델일 수도 있다.
도 7b는 본 개시의 일 실시 예에 따른 신경망 모델을 통한 영상 처리 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(140)는 제2 신경망 모델을 이용하여 카메라(120)를 통해 획득된 영상 내에 마스크 미 착용자가 포함되어 있는지 식별할 수 있다. 구체적으로, 프로세서(140)는 획득된 영상(721)을 제2 신경망 모델(720)에 입력하여 마스크 미 착용자가 영상에 포함되어 있는지 여부에 관련된 정보(722)를 획득할 수 있다.
여기서, 제2 신경망 모델은 획득된 영상(721)에 마스크를 착용하지 않은 사용자가 포함되어 있는지 여부를 식별하도록 학습된 모델일 수 있다. 최근 들어 마스크에 대한 수요가 증가하면서 다양한 디자인의 마스크가 제작 및 유통되고 있다. 본 개시의 일 실시 예에 따른 프로세서(140)는 제2 신경망 모델(720)을 이용하여 마스크를 착용한 사용자와 착용하지 않은 사용자를 정확하게 식별할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 복수의 살균 영역을 살균하기 위한 주행 경로 설정을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 로봇(100)은 거리 센서(160)를 더 포함하며, 일 예에 따른 프로세서(140)는 복수의 살균 영역(810, 820, 830)이 식별되면 거리 센서(160)를 이용하여 복수의 살균 영역 각각의 방향 및 거리를 식별하고, 식별된 방향 및 거리에 기초하여 살균 작업을 위한 주행 경로(300)를 설정할 수 있다. 여기서, 거리 센서(160)는 라이다(LIDAR, Light Detection And Ranging)로 구현될 수 있다.
구체적으로, 프로세서(140)는 기준선(800)으로부터 시계방향으로 측정한 각도를 각 살균 영역까지의 방향으로 식별할 수 있으며, 로봇(100)의 위치로부터 각 살균 영역에 포함된 각 살균 지점까지의 거리를 각 살균 영역까지의 거리로 식별할 수 있다.
도 8을 참조하면, 프로세서(140)는 제1 살균 영역(810)의 방향을 80도(811)로, 거리를 20미터(812)로 식별할 수 있다. 또한, 프로세서(140)는 제2 살균 영역(820)의 방향을 120도(821)로, 거리를 30미터(822)로 식별할 수 있다. 마지막으로 프로세서(140)는 제3 살균 영역(830)의 방향을 160도(831)로, 거리를 15미터(832)로 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 식별된 제1 내지 제3 살균 영역의 방향 및 거리에 기초하여 기설정된 방식에 따라 주행 경로를 설정할 수 있다. 도 8에서는 각 살균 영역에 대해 식별된 방향에 대응되는 각도가 낮은 값을 갖는 살균 영역을 우선적으로 살균하는 방식에 따라 주행 경로(300)가 설정됨을 도시하였다.
구체적으로, 프로세서(140)는 제1 살균 영역의 방향이 기준선(800)과 가장 가까우므로 제1 살균 영역을 최우선으로 살균하며, 그 다음 제2 살균 영역을, 마지막으로 기준선(800)과 가장 먼 방향에 위치하는 제3 살균 영역을 살균하는 순서로 로봇(100)의 주행 경로(300)를 설정할 수 있다.
다만, 도 8에서 설명한 주행 경로 설정 방식은 일 예일 뿐이며, 프로세서(140)는 얼마든지 다른 방식에 따라 주행 경로를 설정할 수 있음은 물론이다. 본 개시의 다양한 실시 예에 따르면, 로봇(100)이 많은 사람들이 활동하는 실내 공간에 배치되는 가이드 봇(Guide bot) 또는 리테일 봇(Retail bot)일 경우 복수의 살균 영역을 빠르고 효율적으로 살균할 수 있는 이점이 있다.
도 8에서 도시하지는 않았으나, 로봇(100)이 가이드 봇(Guide bot) 또는 리테일 봇(Retail bot)인 경우 로봇(100)은 터치 스크린을 포함하는 디스플레이(미도시)를 더 포함할 수 있으며, 사용자의 터치 조작이 입력된 후 기설정된 시간이 경과하는 경우 로봇(100)은 디스플레이를 스스로 살균할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 로봇의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 9에 따르면, 로봇(100')은 구동부(110), 카메라(120), 마이크(130), 프로세서(140), 메모리(150), 거리 센서(160), 살균 장치(170)를 포함한다. 도 9에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
메모리(150)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(150)는 데이터 저장 용도에 따라 로봇(100)에 임베디드된 메모리 형태로 구현되거나, 로봇(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 로봇(100)의 구동을 위한 데이터의 경우 로봇(100)에 임베디드된 메모리에 저장되고, 로봇(100)의 확장 기능을 위한 데이터의 경우 로봇(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 로봇 (100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 로봇 (100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 예에 따라 메모리(150)는 로봇(100)을 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.
다른 예에 따라, 메모리(150)는 복수의 레이어를 포함하는 신경망 모델에 관한 정보를 저장할 수 있다. 여기서, 신경망 모델에 관한 정보를 저장한다는 것은 신경망 모델의 동작과 관련된 다양한 정보, 예를 들어 신경망 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(예를 들어, 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다. 예를 들어, 메모리(150)는 일 실시 예에 따라 입력된 오디오 신호가 기침 소리를 포함하는지 여부를 식별하도록 학습된 제1 신경망 모델(151) 및 획득된 영상에 마스크를 착용하지 않은 사용자가 포함되어 있는지 여부를 식별하도록 학습된 제2 신경망 모델(152)에 대한 정보를 저장할 수 있다.
거리 센서(160)는 로봇(100)과 기침 이벤트가 발생한 살균 지점간의 거리를 측정하기 위한 구성이다. 거리 센서(160)는 라이다(LIDAR, Light Detection And Ranging) 또는 뎁스 카메라(Depth Camera) 등으로 구현될 수 있다. 일 예에 따른 거리 센서(160)는 삼각 측정법, TOF(Time of flight) 측정법 또는 위상차 변위 측정법을 통해 로봇(100)과 살균 지점간의 거리를 측정할 수 있다.
살균 장치(170)는 로봇(100)이 살균 영역에 도달하여 살균 기능을 수행하는 경우 바이러스 및 세균을 사멸시키는 기능을 수행한다. 일 예에 따라, 살균 장치(170)는 소독액이 수납되는 탱크, 소독액이 유동하는 파이프 및 소독액을 분사하는 노즐부를 포함하는 소독액 분사 모듈(미도시)로 구성될 수 있다.
다른 예에 따라, 살균 장치(170)는 자외선(UV)를 조사할 수 있는 LED를 포함하는 자외선 살균 장치로 구현될 수도 있다. 살균 장치(170)는 살균 영역을 살균할 뿐만 아니라 로봇(100)에 구비된 디스플레이(미도시)를 살균하는 기능도 수행할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 로봇의 제어 방법은 복수의 마이크를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인 것으로 식별되면 복수의 마이크 각각의 배치 방향에 기초하여 오디오 신호의 발생 방향을 식별한다(S1010). 이어서, 카메라를 통해 식별된 방향을 촬영하고, 카메라를 통해 획득된 영상에서 마스크를 착용하지 않은 사용자가 식별되면 사용자의 위치를 기준으로 살균 영역을 식별한다(S1020). 마지막으로, 식별된 살균 영역으로 이동한다(S1030).
여기서, 살균 영역을 식별하는 단계(S1020)는 오디오 신호의 세기에 기초하여 사용자의 위치를 기준으로 임계 범위의 영역을 살균 영역으로 식별할 수 있다.
또한, 살균 영역을 식별하는 단계(S1020)는 마스크를 착용하지 않은 사용자의 수에 기초하여 살균 영역의 크기를 결정할 수 있다.
또한, 살균 영역을 식별하는 단계(S1020)는 마스크를 착용하지 않은 복수의 사용자가 식별되면 복수의 사용자 각각의 위치에 기초하여 살균 영역을 식별할 수 있다.
또한, 살균 영역을 식별하는 단계(S1020)는 사용자가 식별된 위치가 기설정된 영역에 속하는지 여부에 기초하여 살균 영역의 크기 또는 살균 강도 중 적어도 하나를 결정할 수 있다.
여기서, 기설정된 영역은 사용자들의 접촉 빈도가 높은 객체가 위치하는 영역, 사용자들의 방문 빈도가 높은 영역 또는 사용자들의 마스크 착용 빈도가 낮은 영역 중 적어도 하나를 포함할 수 있다.
한편, 오디오 신호가 발생된 방향을 식별하는 단계(S1010)는 제1 신경망 모델을 이용하여 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인지 식별하고, 제1 신경망 모델은 입력된 오디오 신호가 기침 소리를 포함하는지 여부를 식별하도록 학습된 모델일 수 있다.
한편, 살균 영역을 식별하는 단계는(S1020) 제2 신경망 모델을 이용하여 획득된 영상이 마스크를 착용하지 않은 사용자를 포함하는지 여부를 식별하고, 제2 신경망 모델은 획득된 영상에 마스크를 착용하지 않은 사용자가 포함되어 있는지 여부를 식별하도록 학습된 모델일 수 있다.
또한, 복수의 살균 영역이 식별되면 복수의 살균 영역 각각의 방향 및 거리를 식별하는 단계 및 식별된 방향 및 거리에 기초하여 살균 작업을 위한 주행 경로를 설정하는 단계를 더 포함할 수 있다.
한편, 로봇이 식별된 살균 영역으로 이동되면 살균 기능을 수행하는 단계를 더 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 로봇에 설치 가능한 애플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 로봇에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 로봇에 구비된 임베디드 서버, 또는 로봇 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(140) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 로봇(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 로봇(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.

Claims (15)

  1. 로봇에 있어서,
    구동부;
    카메라;
    상이한 방향으로 배치된 복수의 마이크; 및
    상기 복수의 마이크를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인 것으로 식별되면, 상기 오디오 신호의 발생 방향을 식별하고,
    상기 식별된 방향을 촬영하도록 상기 카메라를 제어하고,
    상기 카메라를 통해 획득된 영상에서 마스크를 착용하지 않은 사용자가 식별되면, 상기 사용자의 위치를 기준으로 살균 영역을 식별하고, 상기 식별된 살균 영역으로 이동하도록 상기 구동부를 제어하는 프로세서;를 포함하는 로봇.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오 신호의 세기에 기초하여 상기 사용자의 위치를 기준으로 임계 범위의 영역을 상기 살균 영역으로 식별하는, 로봇.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 마스크를 착용하지 않은 사용자의 수에 기초하여 상기 살균 영역의 크기를 결정하는, 로봇.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 마스크를 착용하지 않은 복수의 사용자가 식별되면, 상기 복수의 사용자 각각의 위치에 기초하여 상기 살균 영역을 식별하는, 로봇.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자가 식별된 위치가 기설정된 영역에 속하는지 여부에 기초하여 상기 살균 영역의 크기 또는 살균 강도 중 적어도 하나를 결정하는 로봇.
  6. 제5항에 있어서,
    상기 기설정된 영역은,
    사용자들의 접촉 빈도가 높은 객체가 위치하는 영역, 사용자들의 방문 빈도가 높은 영역 또는 사용자들의 마스크 착용 빈도가 낮은 영역 중 적어도 하나를 포함하는, 로봇
  7. 제1항에 있어서,
    상기 프로세서는,
    제1 신경망 모델을 이용하여 상기 입력된 오디오 신호가 상기 기침 소리에 대응되는 오디오 신호인지 식별하고,
    상기 제1 신경망 모델은,
    입력된 오디오 신호가 기침 소리를 포함하는지 여부를 식별하도록 학습된 모델인, 로봇.
  8. 제1항에 있어서,
    상기 프로세서는,
    제2 신경망 모델을 이용하여 상기 획득된 영상이 마스크를 착용하지 않은 사용자를 포함하는지 여부를 식별하고,
    상기 제2 신경망 모델은,
    획득된 영상에 마스크를 착용하지 않은 사용자가 포함되어 있는지 여부를 식별하도록 학습된 모델인, 로봇.
  9. 제1항에 있어서,
    거리 센서;를 더 포함하며,
    상기 프로세서는,
    복수의 살균 영역이 식별되면, 상기 거리 센서를 이용하여 상기 복수의 살균 영역 각각의 방향 및 거리를 식별하고, 상기 식별된 방향 및 거리에 기초하여 살균 작업을 위한 주행 경로를 설정하는, 로봇.
  10. 제1항에 있어서,
    살균 기능을 수행하는 살균 장치;를 더 포함하며,
    상기 프로세서는,
    상기 로봇이 상기 식별된 살균 영역으로 이동되면, 살균 기능을 수행하도록 상기 살균 장치를 제어하는, 로봇.
  11. 상이한 방향으로 배치된 복수의 마이크 및 카메라를 포함하는 로봇의 제어 방법에 있어서,
    상기 복수의 마이크를 통해 입력된 오디오 신호가 기침 소리에 대응되는 오디오 신호인 것으로 식별되면, 상기 복수의 마이크 각각의 배치 방향에 기초하여 상기 오디오 신호의 발생 방향을 식별하는 단계;
    상기 카메라를 통해 상기 식별된 방향을 촬영하고, 상기 카메라를 통해 획득된 영상에서 마스크를 착용하지 않은 사용자가 식별되면, 상기 사용자의 위치를 기준으로 살균 영역을 식별하는 단계; 및
    상기 식별된 살균 영역으로 이동하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 살균 영역을 식별하는 단계는,
    상기 오디오 신호의 세기에 기초하여 상기 사용자의 위치를 기준으로 임계 범위의 영역을 살균 영역으로 식별하는, 제어 방법.
  13. 제11항에 있어서,
    상기 살균 영역을 식별하는 단계는,
    상기 마스크를 착용하지 않은 사용자의 수에 기초하여 상기 살균 영역의 크기를 결정하는, 제어 방법.
  14. 제11항에 있어서,
    상기 살균 영역을 식별하는 단계는,
    상기 마스크를 착용하지 않은 복수의 사용자가 식별되면, 상기 복수의 사용자 각각의 위치에 기초하여 상기 살균 영역을 식별하는, 제어 방법.
  15. 제11항에 있어서,
    상기 살균 영역을 식별하는 단계는,
    상기 사용자가 식별된 위치가 기설정된 영역에 속하는지 여부에 기초하여 상기 살균 영역의 크기 또는 살균 강도 중 적어도 하나를 결정하는, 제어 방법.
PCT/KR2021/011657 2020-10-07 2021-08-31 로봇 및 그 제어 방법 WO2022075597A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/118,591 US20230201396A1 (en) 2020-10-07 2023-03-07 Robot and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0129637 2020-10-07
KR1020200129637A KR20220046339A (ko) 2020-10-07 2020-10-07 로봇 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/118,591 Continuation US20230201396A1 (en) 2020-10-07 2023-03-07 Robot and control method thereof

Publications (1)

Publication Number Publication Date
WO2022075597A1 true WO2022075597A1 (ko) 2022-04-14

Family

ID=81126628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011657 WO2022075597A1 (ko) 2020-10-07 2021-08-31 로봇 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20230201396A1 (ko)
KR (1) KR20220046339A (ko)
WO (1) WO2022075597A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169613A (ja) * 2016-03-18 2017-09-28 株式会社東芝 移動式自律ロボット
KR20170139354A (ko) * 2016-06-09 2017-12-19 황진 이동형 무인 소독장치
KR20180079824A (ko) * 2017-01-02 2018-07-11 엘지전자 주식회사 홈 로봇 및 그 동작 방법
KR20190065569A (ko) * 2017-12-04 2019-06-12 (주) 한호기술 자율주행 소독 로봇 시스템
KR102156511B1 (ko) * 2020-03-26 2020-09-15 주식회사 제타뱅크 이동 로봇 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169613A (ja) * 2016-03-18 2017-09-28 株式会社東芝 移動式自律ロボット
KR20170139354A (ko) * 2016-06-09 2017-12-19 황진 이동형 무인 소독장치
KR20180079824A (ko) * 2017-01-02 2018-07-11 엘지전자 주식회사 홈 로봇 및 그 동작 방법
KR20190065569A (ko) * 2017-12-04 2019-06-12 (주) 한호기술 자율주행 소독 로봇 시스템
KR102156511B1 (ko) * 2020-03-26 2020-09-15 주식회사 제타뱅크 이동 로봇 및 그 제어방법

Also Published As

Publication number Publication date
KR20220046339A (ko) 2022-04-14
US20230201396A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
WO2016002986A1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
WO2019083299A1 (ko) 사육장 관리 장치 및 방법
WO2017191920A1 (en) Wearable device and controlling method thereof
JP2000011163A (ja) 虹彩撮像装置及び、その虹彩撮像方法
WO2017183915A2 (ko) 영상취득 장치 및 그 방법
WO2021157904A1 (en) Electronic apparatus and controlling method thereof
WO2020218644A1 (ko) 인공지능을 이용하여 로봇의 위치를 재정의하는 방법 및 로봇
US20210378520A1 (en) Free flow fever screening
JP2000005150A (ja) 虹彩撮像装置及び、その虹彩撮像方法
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2021201569A1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2021010671A9 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2022075597A1 (ko) 로봇 및 그 제어 방법
JP2016092693A (ja) 撮像装置、撮像装置の制御方法およびプログラム
WO2020171572A1 (en) Electronic apparatus and controlling method thereof
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2022050622A1 (ko) 디스플레이장치 및 그 제어방법
WO2017034321A1 (ko) 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치
KR20160120156A (ko) 디렉트 이미지 노광 장비(시스템)에서의 노광 광량 조절용 디지털 마이크로미러 디바이스 제어기 및 그의 노광 이미지 출력 처리 제어 방법
WO2018034384A1 (ko) 음성 및 동작인식에 근거한 스마트보드 제어 방법 및 그 방법을 이용한 가상 레이저 포인터
WO2023140086A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2024101603A1 (ko) 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법
WO2023003230A1 (ko) 보호 장비 착용에 대한 피드백 정보를 제공하는 방법, 이를 적용한 장치 및 기록 매체
WO2023027260A1 (ko) 중이염 고막 영상에 기계 학습 모델을 이용하여 정상 고막 영상을 생성하기 위한 고막 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877849

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877849

Country of ref document: EP

Kind code of ref document: A1