WO2023128025A1 - 딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템 - Google Patents

딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템 Download PDF

Info

Publication number
WO2023128025A1
WO2023128025A1 PCT/KR2021/020324 KR2021020324W WO2023128025A1 WO 2023128025 A1 WO2023128025 A1 WO 2023128025A1 KR 2021020324 W KR2021020324 W KR 2021020324W WO 2023128025 A1 WO2023128025 A1 WO 2023128025A1
Authority
WO
WIPO (PCT)
Prior art keywords
deep learning
processor
map
sensor
small mobility
Prior art date
Application number
PCT/KR2021/020324
Other languages
English (en)
French (fr)
Inventor
이상설
김경호
성민용
장성준
박종희
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2023128025A1 publication Critical patent/WO2023128025A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Definitions

  • the present invention relates to a deep learning-based intelligent small mobility device and system, and more particularly, by using data from various sensors and an image input through an image sensor to adaptively and intelligently judge, infer, and learn a user's surroundings. It relates to a compact mobility device and system capable of performing a set task while minimizing the intervention of the user.
  • a small mobility device such as a conventional robot cleaner may generate a 2D map of a space using a gyro sensor and a laser distance sensor (LDS), and perform cleaning work based on the generated 2D map.
  • LDS laser distance sensor
  • these small mobility devices do not consider the degree of contamination of the floor or the characteristics of the topography, and simply perform set tasks such as cleaning the floor while moving without missing parts on the two-dimensional map, such as twisted wires or specific When a mat or clothes made of material is separated, there is inconvenience that user intervention is required for smooth movement and work of the small mobility device.
  • a conventional small mobility device moves using a two-dimensional map of space, when a step is formed downward during the movement path, even if it cannot come up again when entering the step, it enters the step and requires user intervention. Even if it becomes necessary or can come up again upon entry, a problem may occur in which work is not performed smoothly in the corresponding part by detouring without even trying to enter.
  • the present invention has been devised to solve the above problems, and an object of the present invention is to create a 3D map using data from various sensors and images input through image sensors to learn and reason about various situations. It is to provide an intelligent small mobility device and system capable of minimizing user intervention due to malfunction of the device by determining, and through this, operating and performing tasks adaptively to each situation.
  • a deep learning-based intelligent small mobility device includes at least one sensor and depth information among a gyro sensor, a laser distance sensor (LDS), and a time of flight (ToF) sensor.
  • a sensor unit including an image sensor for acquiring; and a processor that generates a 3D map of space based on the data collected through the sensor unit, moves based on the generated 3D map, and performs preset tasks according to surrounding conditions.
  • the processor is implemented as a deep learning-based neural network processing device, using the collected data and a three-dimensional map to perform a floor cleaning task according to the surrounding situation, a deep learning-based intelligent small mobility device. .
  • the deep learning-based intelligent small mobility device further includes a lifting unit that physically adjusts the lower height of the intelligent small mobility device, and at this time, the processor generates a 3D map Based on this, it is possible to determine an area with a step in the movement path, and if there is a step in the specific area, control the lifting part so that the lower height is adjusted.
  • the processor controls the lifting unit based on the 3D map to determine whether the height is a height that can be raised again after going down to the lower side, and determines whether or not to pass through the area with the step.
  • the processor may perform a floor cleaning operation by distinguishing a foreign substance or dirt on the floor, a pattern of a floor covering, and a pattern of marble based on the data collected through the 3D map and the sensor unit.
  • the processor determines whether foreign substances or dirt on the floor are removed after the initial cleaning operation for the specific area, until the removal of the foreign substances or dirt on the floor is completed or the number of repetitions of the cleaning operation reaches a predetermined threshold value.
  • the cleaning operation for a specific area may be repeatedly performed.
  • the processor based on the data collected through the 3D map and the sensor unit, detects whether or not a boundary area where wires are twisted on the floor or objects that can cause malfunctions in moving or cleaning the intelligent small mobility device is away. and if a border area is detected, a movement path may be updated to bypass the detected border area.
  • a deep learning-based intelligent small mobility system includes at least one of a gyro sensor, a laser distance sensor (LDS), and a ToF sensor and an image sensor for obtaining depth information.
  • Intelligent compact mobility including a sensor unit and a processor that generates a 3D map of space based on data collected through the sensor unit, moves based on the generated 3D map, and performs preset tasks according to surrounding conditions Device; and a server that interworks with the intelligent small mobility device and provides learning data for deep learning learning of the processor.
  • a 3D map is created using data from various sensors and images input through an image sensor to learn, infer, and judge various situations, and through this, By operating and performing tasks adaptively to each situation, user intervention due to malfunction of the device can be minimized.
  • FIG. 1 is a diagram provided for explanation of a deep learning-based intelligent small mobility system according to an embodiment of the present invention.
  • FIG. 2 is a diagram provided to explain the operating characteristics of a deep learning-based intelligent small mobility device according to an embodiment of the present invention.
  • FIG. 1 is a diagram provided for explanation of a deep learning-based intelligent small mobility system according to an embodiment of the present invention.
  • the deep learning-based intelligent small mobility system creates a three-dimensional map using data from various sensors and images input through image sensors, learns, infers, and judges various situations, and through this , the user's intervention due to malfunction of the device can be minimized by adaptively operating and performing tasks in each situation.
  • the deep learning-based intelligent small mobility system includes an intelligent small mobility device 100 that performs a predetermined task in a specific space, such as a robot vacuum cleaner, and a server 200 that interworks with the intelligent small mobility device 100. can do.
  • the intelligent small mobility device 100 may include a sensor unit 110, a communication unit 120, a processor 130, a storage unit 140, a hardware unit 150, and a lifting unit 160.
  • the sensor unit 110 may include at least one of a gyro sensor, a laser distance sensor (LDS), and a ToF sensor, and may further include an image sensor for acquiring depth information.
  • a gyro sensor a laser distance sensor (LDS), and a ToF sensor
  • LDS laser distance sensor
  • ToF sensor a ToF sensor
  • the image sensor may be a stereo-based image sensor or a non-stereo-based image sensor such as a single camera.
  • the communication unit 120 may be connected to the server 200 through a network to receive data necessary for the processor 130 to operate from the server 200 .
  • the storage unit 140 is a storage medium that stores programs and data necessary for the processor 130 to operate. Specifically, the storage unit 140 may store a 3D map generated by the processor 130 .
  • the hardware unit 150 is a hardware device necessary for the intelligent small mobility device 100 to drive and move along a moving path and perform a floor cleaning task.
  • the hardware unit 150 may include a driving means, a moving means, and a cleaning means provided in a conventional robot cleaner.
  • the processor 130 generates a 3D map of the space based on the data collected through the sensor unit 110, moves based on the generated 3D map, and performs a predetermined task (ex. floor) according to the surrounding situation. cleaning work).
  • the preset task may be floor cleaning using the cleaning means of the hardware unit 150 .
  • the processor 130 is implemented as a deep learning-based neural network processing device to perform a floor cleaning task using the hardware unit 150 according to the surrounding situation using the collected data and the 3D map. can do. A more detailed description of the processor 130 will be described later with reference to FIG. 2 .
  • the lifting unit 160 is provided to physically adjust the lower height of the intelligent small mobility device 100.
  • the lifting unit 160 physically adjusts the lower height according to the determination result of the processor 130 to smoothly move the stepped area. It can be used to pass through.
  • the server 200 may provide learning data for deep learning learning of the processor 130 in conjunction with the intelligent small mobility device 100 .
  • FIG. 2 is a diagram provided to explain the operating characteristics of the deep learning-based intelligent small mobility device 100 according to an embodiment of the present invention.
  • the processor 130 generates a 3D map of a space based on data collected through the sensor unit 110 (S210), and generates a movement path based on the generated 3D map. It can (S220).
  • the processor 130 determines the surrounding situation while the intelligent small mobility device 100 moves along the movement path (S230), and performs a predetermined task (eg, floor cleaning task) according to the determination result. Yes (S240).
  • a predetermined task eg, floor cleaning task
  • the processor 130 uses pre-stored learning data and learning data received from the server 200 to determine the surrounding situation based on the 3D map and the data collected through the sensor unit 110. Running learning can be performed.
  • the processor 130 can determine the surrounding situation in the process of moving based on the 3D map, and respond intelligently according to the determination result.
  • the processor 130 determines an area with a step in the movement path based on the 3D map, and controls the lifting unit 160 when there is a step in the specific area in the movement path to increase the lower height. can be regulated.
  • the processor 130 controls the lifting unit 160 based on the 3D map when there is a step in a specific area of the moving path to determine whether it is a height that can be raised after going down, , it is possible to determine whether to pass through an area with a step.
  • the processor 130 controls the lifting unit 160 based on the 3D map when there is a step in a specific area of the moving path to determine whether the height is a height that can be raised after going down, If it is determined that it is difficult to pass the step in the corresponding area, the movement path is updated to bypass the corresponding area, and if it is determined that the step in the corresponding area is a height that can be climbed after going down (determined that it is a step that can be passed), the step in the corresponding area can be controlled to pass through.
  • the processor 130 determines the foreign matter or dirt on the floor, the pattern of the floor covering, and the marble pattern based on the data collected through the 3D map and the sensor unit 110 while moving along the movement path. It can be separated to perform floor cleaning work.
  • the processor 130 determines whether or not to remove foreign substances or dirt from the floor based on data collected through an image sensor after an initial cleaning operation for a specific area while moving along a moving path, and the like.
  • the cleaning operation for a specific area may be repeatedly performed until the removal of dirt is completed or the number of repetitions of the cleaning operation reaches a predetermined threshold value.
  • the processor 130 determines whether foreign substances or dirt on the floor are removed based on data collected through an image sensor after the initial cleaning operation for a specific area, and the removal of foreign substances or dirt on the floor is incomplete (sufficiently If it is determined that the cleaning operation is not performed), the cleaning operation for a specific area may be repeatedly performed until the removal of foreign substances or dirt on the floor is completed or a predetermined threshold value is reached.
  • the processor 130 based on the data collected through the 3D map and the sensor unit 110, in order to minimize the user's intervention due to malfunction of the device, twisted wires on the floor or an intelligent small mobility device ( 100), it is determined whether an object that may cause malfunction in the movement or cleaning operation is detected, and if the boundary area is detected, a movement path may be updated to bypass the detected boundary area.
  • the intelligent small mobility device 100 adaptively operates in each situation and performs a task suitable for the surrounding situation, so that the user's intervention due to malfunction of the device can be minimized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템이 제공된다. 본 발명의 실시예에 따른 딥러닝 기반의 지능 소형 모빌리티 장치는, 자이로 센서, LDS(Laser Distance Sensor), ToF 센서 중 적어도 하나의 센서와 깊이 정보를 획득하기 위한 이미지 센서를 포함하는 센서부; 및 센서부를 통해 수집된 데이터들을 기반으로 공간에 대한 3차원 맵을 생성하고, 생성된 3차원 맵을 기반으로 이동하며 주변 상황에 따라 기설정된 작업을 수행하도록 하는 프로세서;를 포함한다. 이에 의해, 다양한 센서의 데이터 및 이미지 센서를 통해 입력된 영상을 이용하여 3차원 맵을 생성하여, 여러 상황에 대해 학습, 추론, 판단하고, 이를 통해, 각 상황에 적응적으로 동작하며 작업을 수행하도록 하여, 장치의 오작동에 따른 사용자의 개입이 최소화되도록 할 수 있다.

Description

딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템
본 발명은 딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템에 관한 것으로, 더욱 상세하게는 다양한 센서의 데이터 및 이미지 센서를 통해 입력된 영상을 이용하여 주변 상황을 적응적이고 지능적으로 판단, 추론 및 학습하여 사용자의 개입을 최소화하면서 설정된 작업을 수행할 수 있는 소형 모빌리티 장치 및 시스템에 관한 것이다.
종래의 로봇 청소기와 같은 소형 모빌리티 장치는, 자이로센서 및 LDS(Laser Distance Sensor)를 사용하여 공간의 2차원 맵을 생성하고, 이를 기반으로 청소 작업을 수행할 수 있다.
그러나 이러한 소형 모빌리티 장치는, 바닥의 오염도나 지형의 특징을 고려하지 못하고, 2차원 맵에서 누락된 부분 없이 이동하면서 바닥 청소와 같이 설정된 작업을 수행하는 것에 불과하여, 전선이 꼬여있다든가 바닥에 특정 재질의 매트 또는 옷이 떨어져 있는 경우, 소형 모빌리티 장치의 원활한 이동 및 작업 수행을 위해 사용자의 개입이 필요하다는 불편함이 존재한다.
더불어, 종래의 소형 모빌리티 장치는, 공간의 2차원 맵을 이용하여 이동하기 때문에, 이동 경로 중 단차가 아래로 형성되는 경우, 단차에 진입 시 다시 올라올 수 없는 경우에도 단차로 진입하여 사용자의 개입이 필요하게 되거나 또는 진입 시 다시 올라올 수 있는 경우에도 진입 시도조차 하지 않고 우회하여 해당 부분에서의 작업 수행이 원활하게 수행되지 못하는 문제가 발생할 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다양한 센서의 데이터 및 이미지 센서를 통해 입력된 영상을 이용하여 3차원 맵을 생성하여, 여러 상황에 대해 학습, 추론, 판단하고, 이를 통해, 각 상황에 적응적으로 동작하며 작업을 수행하도록 하여, 장치의 오작동에 따른 사용자의 개입이 최소화되도록 할 수 있는 지능 소형 모빌리티 장치 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 딥러닝 기반의 지능 소형 모빌리티 장치는, 자이로 센서, LDS(Laser Distance Sensor), ToF(Time of Flight) 센서 중 적어도 하나의 센서와 깊이 정보를 획득하기 위한 이미지 센서를 포함하는 센서부; 및 센서부를 통해 수집된 데이터들을 기반으로 공간에 대한 3차원 맵을 생성하고, 생성된 3차원 맵을 기반으로 이동하며 주변 상황에 따라 기설정된 작업을 수행하도록 하는 프로세서;를 포함한다.
그리고 프로세서는, 딥러닝 기반의 신경망처리장치로 구현되어, 수집된 데이터들과 3차원 맵을 이용하여 주변 상황에 따라 바닥의 청소 작업을 수행하도록 하는 것을 특징으로 하는 딥러닝 기반의 지능 소형 모빌리티 장치.
또한, 본 발명의 일 실시예에 따른, 딥러닝 기반의 지능 소형 모빌리티 장치는, 지능 소형 모빌리티 장치의 하부 높이를 물리적으로 조절하는 리프팅부;를 더 포함하고, 이때, 프로세서는, 3차원 맵을 기반으로 이동 경로 중 단차가 있는 영역을 판단하고, 특정 영역에 이동 경로 중 단차가 있는 경우, 리프팅부를 제어하여, 하부 높이가 조절되도록 할 수 있다.
그리고 프로세서는, 이동 경로 중 하측을 향해 단차가 형성되는 경우, 3차원 맵을 기반으로 리프팅부를 제어하여 하측으로 내려갔다가 다시 올라올 수 있는 높이인지 여부를 판단하여, 단차가 있는 영역의 통과 여부를 결정할 수 있다.
또한, 프로세서는, 3차원 맵과 센서부를 통해 수집된 데이터들을 기반으로 바닥의 이물질 또는 오물과 바닥 장판의 패턴 및 대리석의 무늬를 구분하여 바닥의 청소 작업을 수행할 수 있다.
그리고 프로세서는, 특정 영역에 대한 최초 청소 동작 후 바닥의 이물질 또는 오물의 제거 여부를 판단하여, 바닥의 이물질 또는 오물의 제거가 완료되거나 또는 청소 동작의 반복 횟수가 기설정된 임계값에 도달할 때까지 특정 영역에 대한 청소 동작을 반복 수행하도록 할 수 있다.
또한, 프로세서는, 3차원 맵과 센서부를 통해 수집된 데이터들을 기반으로 바닥에 전선이 꼬여있거나 또는 지능 소형 모빌리티 장치의 이동 또는 청소 작업에 오작동을 유발할 수 있는 물체가 떨어져 있는 경계 영역의 감지 여부를 판단하고, 경계 영역이 감지되면, 감지된 경계 영역을 우회하기 위해 이동 경로를 갱신할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 딥러닝 기반의 지능 소형 모빌리티 시스템은, 자이로 센서, LDS(Laser Distance Sensor), ToF 센서 중 적어도 하나의 센서와 깊이 정보를 획득하기 위한 이미지 센서를 포함하는 센서부 및 센서부를 통해 수집된 데이터들을 기반으로 공간에 대한 3차원 맵을 생성하고, 생성된 3차원 맵을 기반으로 이동하며 주변 상황에 따라 기설정된 작업을 수행하도록 하는 프로세서를 포함하는 지능 소형 모빌리티 장치; 및 지능 소형 모빌리티 장치와 연동하여, 프로세서의 딥러닝 학습을 위한 학습 데이터를 제공하는 서버;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다양한 센서의 데이터 및 이미지 센서를 통해 입력된 영상을 이용하여 3차원 맵을 생성하여, 여러 상황에 대해 학습, 추론, 판단하고, 이를 통해, 각 상황에 적응적으로 동작하며 작업을 수행하도록 하여, 장치의 오작동에 따른 사용자의 개입이 최소화되도록 할 수 있다.
도 1은, 본 발명의 일 실시예에 따른 딥러닝 기반의 지능 소형 모빌리티 시스템의 설명에 제공된 도면, 그리고
도 2는, 본 발명의 일 실시예에 따른 딥러닝 기반의 지능 소형 모빌리티 장치의 동작 특성을 설명하기 위해 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 딥러닝 기반의 지능 소형 모빌리티 시스템의 설명에 제공된 도면이다.
본 실시예에 따른 딥러닝 기반의 지능 소형 모빌리티 시스템은, 다양한 센서의 데이터 및 이미지 센서를 통해 입력된 영상을 이용하여 3차원 맵을 생성하여, 여러 상황에 대해 학습, 추론, 판단하고, 이를 통해, 각 상황에 적응적으로 동작하며 작업을 수행하도록 하여, 장치의 오작동에 따른 사용자의 개입이 최소화되도록 할 수 있다.
이를 위해, 딥러닝 기반의 지능 소형 모빌리티 시스템은, 로봇 청소기와 같이 특정 공간에서 기설정된 작업을 수행하는 지능 소형 모빌리티 장치(100) 및 지능 소형 모빌리티 장치(100)와 연동하는 서버(200)를 포함할 수 있다.
지능 소형 모빌리티 장치(100)는, 센서부(110), 통신부(120), 프로세서(130), 저장부(140), 하드웨어부(150) 및 리프팅부(160)를 포함할 수 있다.
센서부(110)는, 자이로 센서, LDS(Laser Distance Sensor), ToF 센서 중 적어도 하나의 센서를 포함하고, 추가로 깊이 정보를 획득하기 위한 이미지 센서를 포함할 수 있다.
이때, 이미지 센서는, 스테레오 기반의 이미지 센서 또는 싱글 카메라와 같은 비-스테레오 기반의 이미지 센서일 수 있다.
통신부(120)는, 서버(200)와 네트워크를 통해 연결되어, 프로세서(130)가 동작함에 있어 필요한 데이터를 서버(200)로부터 수신하기 위해 마련될 수 있다.
저장부(140)는, 프로세서(130)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하는 저장매체이다. 구체적으로, 저장부(140)는, 프로세서(130)에 의해 생성되는 3차원 맵을 저장할 수 있다.
하드웨어부(150)는, 지능 소형 모빌리티 장치(100)가 구동하여 이동 경로를 따라 이동하며 바닥 청소 작업 등을 수행하는데 필요한 하드웨어 장치이다. 예를 들면, 하드웨어부(150)는, 종래의 로봇 청소기에 구비된 구동 수단, 이동 수단 및 청소 수단이 포함될 수 있다.
프로세서(130)는, 센서부(110)를 통해 수집된 데이터들을 기반으로 공간에 대한 3차원 맵을 생성하고, 생성된 3차원 맵을 기반으로 이동하며 주변 상황에 따라 기설정된 작업(ex. 바닥 청소 작업)을 수행하도록 할 수 있다.
이때, 기설정된 작업은, 하드웨어부(150)의 청소 수단을 이용한 바닥 청소일 수 있다.
구체적으로, 프로세서(130)는, 딥러닝 기반의 신경망처리장치로 구현되어, 수집된 데이터들과 3차원 맵을 이용하여 주변 상황에 따라 하드웨어부(150)를 이용하여 바닥의 청소 작업을 수행하도록 할 수 있다. 그리고 프로세서(130)에 대한 더욱 상세한 설명은 도 2를 참조하여 후술하기로 한다.
리프팅부(160)는, 지능 소형 모빌리티 장치(100)의 하부 높이를 물리적으로 조절하기 위해 마련된다.
구체적으로, 리프팅부(160)는, 지능 소형 모빌리티 장치(100)가 단차가 있는 영역을 통과하는 경우, 프로세서(130)의 판단 결과에 따라 하부 높이를 물리적으로 조절하여 단차가 있는 영역을 원활하게 통과하도록 하는데 이용될 수 있다.
서버(200)는, 지능 소형 모빌리티 장치(100)와 연동하여, 프로세서(130)의 딥러닝 학습을 위한 학습 데이터를 제공할 수 있다.
도 2는, 본 발명의 일 실시예에 따른 딥러닝 기반의 지능 소형 모빌리티 장치(100)의 동작 특성을 설명하기 위해 제공된 도면이다.
도 2를 참조하면, 프로세서(130)는, 센서부(110)를 통해 수집된 데이터들을 기반으로 공간에 대한 3차원 맵을 생성하고(S210), 생성된 3차원 맵을 기반으로 이동 경로를 생성할 수 있다(S220).
그리고 프로세서(130)는, 지능 소형 모빌리티 장치(100)가 이동 경로를 따라 이동하는 중 주변 상황을 판단하여(S230), 판단 결과에 따라 기설정된 작업(ex. 바닥 청소 작업)을 수행하도록 할 수 있다(S240).
여기서, 프로세서(130)는, 3차원 맵 및 센서부(110)를 통해 수집된 데이터들을 기반으로 주변 상황을 판단하기 위해, 기저장된 학습 데이터 및 서버(200)로부터 수신되는 학습 데이터를 이용하여 딥러닝 학습을 수행할 수 있다.
이를 통해, 프로세서(130)는, 3차원 맵을 기반으로 이동하는 과정에서 주변 상황을 판단하고, 판단 결과에 따라 지능적으로 대응할 수 있다.
예를 들면, 프로세서(130)는, 3차원 맵을 기반으로 이동 경로 중 단차가 있는 영역을 판단하고, 특정 영역에 이동 경로 중 단차가 있는 경우, 리프팅부(160)를 제어하여, 하부 높이가 조절되도록 할 수 있다.
구체적으로, 프로세서(130)는, 이동 경로 중 특정 영역에 아래를 향한 단차가 있는 경우, 3차원 맵을 기반으로 리프팅부(160)를 제어하여 아래로 내려갔다가 올라올 수 있는 높이인지 여부를 판단하여, 단차가 있는 영역의 통과 여부를 결정할 수 있다.
즉, 프로세서(130)는, 이동 경로 중 특정 영역에 아래를 향한 단차가 있는 경우, 3차원 맵을 기반으로 리프팅부(160)를 제어하여 아래로 내려갔다가 올라올 수 있는 높이인지 여부를 판단하여, 해당 영역의 단차를 통과하기 어렵다고 판단되면, 해당 영역을 우회하도록 이동 경로를 갱신하고, 해당 영역의 단차를 내려갔다가 올라올 수 있는 높이라고 판단하면(통과할 수 있는 단차라고 판단), 해당 영역의 단차를 통과하도록 제어할 수 있다.
다른 예를 들면, 프로세서(130)는, 이동 경로를 따라 이동하는 중 3차원 맵과 센서부(110)를 통해 수집된 데이터들을 기반으로 바닥의 이물질 또는 오물과 바닥 장판의 패턴 및 대리석의 무늬를 구분하여 바닥의 청소 작업을 수행할 수 있다.
구체적으로, 프로세서(130)는, 이동 경로를 따라 이동하는 중 특정 영역에 대한 최초 청소 동작 후 이미지 센서 등을 통해 수집된 데이터들을 기반으로 바닥의 이물질 또는 오물의 제거 여부를 판단하여, 바닥의 이물질 또는 오물의 제거가 완료되거나 또는 청소 동작의 반복 횟수가 기설정된 임계값에 도달할 때까지 특정 영역에 대한 청소 동작을 반복 수행하도록 할 수 있다.
즉, 프로세서(130)는, 특정 영역에 대한 최초 청소 동작 후 이미지 센서 등을 통해 수집된 데이터들을 기반으로 바닥의 이물질 또는 오물의 제거 여부를 판단하여, 바닥의 이물질 또는 오물의 제거가 미완료(충분하지 못하다고 판단되는 경우)된 것으로 판단되면, 바닥의 이물질 또는 오물의 제거가 완료되거나 또는 기설정된 임계값에 도달할 때까지 특정 영역에 대한 청소 동작을 반복 수행하도록 할 수 있다.
그리고 프로세서(130)는, 장치의 오작동에 따른 사용자의 개입이 최소화되도록 하기 위해, 3차원 맵과 센서부(110)를 통해 수집된 데이터들을 기반으로 바닥에 전선이 꼬여있거나 또는 지능 소형 모빌리티 장치(100)의 이동 또는 청소 작업에 오작동을 유발할 수 있는 물체가 떨어져 있는 경계 영역의 감지 여부를 판단하여, 경계 영역이 감지되면, 감지된 경계 영역을 우회하기 위해 이동 경로를 갱신할 수 있다.
이를 통하여, 지능 소형 모빌리티 장치(100)가 각 상황에 적응적으로 동작하며 주변 상황에 적합한 작업을 수행하도록 하여, 장치의 오작동에 따른 사용자의 개입이 최소화되도록 할 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 자이로 센서, LDS(Laser Distance Sensor), ToF(Time of Flight) 센서 중 적어도 하나의 센서와 깊이 정보를 획득하기 위한 이미지 센서를 포함하는 센서부; 및
    센서부를 통해 수집된 데이터들을 기반으로 공간에 대한 3차원 맵을 생성하고, 생성된 3차원 맵을 기반으로 이동하며 주변 상황에 따라 기설정된 작업을 수행하도록 하는 프로세서;를 포함하는 딥러닝 기반의 지능 소형 모빌리티 장치.
  2. 청구항 1에 있어서,
    프로세서는,
    딥러닝 기반의 신경망처리장치로 구현되어, 수집된 데이터들과 3차원 맵을 이용하여 주변 상황에 따라 바닥의 청소 작업을 수행하도록 하는 것을 특징으로 하는 딥러닝 기반의 지능 소형 모빌리티 장치.
  3. 청구항 2에 있어서,
    지능 소형 모빌리티 장치의 하부 높이를 물리적으로 조절하는 리프팅부;를 더 포함하고,
    프로세서는,
    3차원 맵을 기반으로 이동 경로 중 단차가 있는 영역을 판단하고, 특정 영역에 이동 경로 중 단차가 있는 경우, 리프팅부를 제어하여, 하부 높이가 조절되도록 하는 것을 특징으로 하는 딥러닝 기반의 지능 소형 모빌리티 장치.
  4. 청구항 3에 있어서,
    프로세서는,
    이동 경로 중 하측을 향해 단차가 형성되는 경우, 3차원 맵을 기반으로 리프팅부를 제어하여 하측으로 내려갔다가 다시 올라올 수 있는 높이인지 여부를 판단하여, 단차가 있는 영역의 통과 여부를 결정하는 것을 특징으로 하는 딥러닝 기반의 지능 소형 모빌리티 장치.
  5. 청구항 2에 있어서,
    프로세서는,
    3차원 맵과 센서부를 통해 수집된 데이터들을 기반으로 바닥의 이물질 또는 오물과 바닥 장판의 패턴 및 대리석의 무늬를 구분하여 바닥의 청소 작업을 수행하는 것을 특징으로 하는 딥러닝 기반의 지능 소형 모빌리티 장치.
  6. 청구항 5에 있어서,
    프로세서는,
    특정 영역에 대한 최초 청소 동작 후 바닥의 이물질 또는 오물의 제거 여부를 판단하여, 바닥의 이물질 또는 오물의 제거가 완료되거나 또는 청소 동작의 반복 횟수가 기설정된 임계값에 도달할 때까지 특정 영역에 대한 청소 동작을 반복 수행하도록 하는 것을 특징으로 하는 딥러닝 기반의 지능 소형 모빌리티 장치.
  7. 청구항 2에 있어서,
    프로세서는,
    3차원 맵과 센서부를 통해 수집된 데이터들을 기반으로 바닥에 전선이 꼬여있거나 또는 지능 소형 모빌리티 장치의 이동 또는 청소 작업에 오작동을 유발할 수 있는 물체가 떨어져 있는 경계 영역의 감지 여부를 판단하고,
    경계 영역이 감지되면, 감지된 경계 영역을 우회하기 위해 이동 경로를 갱신하는 것을 특징으로 하는 딥러닝 기반의 지능 소형 모빌리티 장치.
  8. 자이로 센서, LDS(Laser Distance Sensor), ToF 센서 중 적어도 하나의 센서와 깊이 정보를 획득하기 위한 이미지 센서를 포함하는 센서부 및 센서부를 통해 수집된 데이터들을 기반으로 공간에 대한 3차원 맵을 생성하고, 생성된 3차원 맵을 기반으로 이동하며 주변 상황에 따라 기설정된 작업을 수행하도록 하는 프로세서를 포함하는 지능 소형 모빌리티 장치; 및
    지능 소형 모빌리티 장치와 연동하여, 프로세서의 딥러닝 학습을 위한 학습 데이터를 제공하는 서버;를 포함하는 딥러닝 기반의 지능 소형 모빌리티 시스템.
PCT/KR2021/020324 2021-12-30 2021-12-30 딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템 WO2023128025A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0192990 2021-12-30
KR1020210192990A KR20230102666A (ko) 2021-12-30 2021-12-30 딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템

Publications (1)

Publication Number Publication Date
WO2023128025A1 true WO2023128025A1 (ko) 2023-07-06

Family

ID=86999376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020324 WO2023128025A1 (ko) 2021-12-30 2021-12-30 딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템

Country Status (2)

Country Link
KR (1) KR20230102666A (ko)
WO (1) WO2023128025A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019505256A (ja) * 2015-12-16 2019-02-28 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． 自動清掃機器及び清掃方法
KR20190094697A (ko) * 2018-02-05 2019-08-14 엘지전자 주식회사 청소기
KR20190106891A (ko) * 2019-08-28 2019-09-18 엘지전자 주식회사 인공 지능 모니터링 장치 및 그의 동작 방법
US20200019169A1 (en) * 2018-07-10 2020-01-16 Neato Robotics, Inc. Automatic Recognition of Multiple Floorplans by Cleaning Robot
KR20210130478A (ko) * 2020-04-22 2021-11-01 삼성전자주식회사 로봇 청소기 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019505256A (ja) * 2015-12-16 2019-02-28 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． 自動清掃機器及び清掃方法
KR20190094697A (ko) * 2018-02-05 2019-08-14 엘지전자 주식회사 청소기
US20200019169A1 (en) * 2018-07-10 2020-01-16 Neato Robotics, Inc. Automatic Recognition of Multiple Floorplans by Cleaning Robot
KR20190106891A (ko) * 2019-08-28 2019-09-18 엘지전자 주식회사 인공 지능 모니터링 장치 및 그의 동작 방법
KR20210130478A (ko) * 2020-04-22 2021-11-01 삼성전자주식회사 로봇 청소기 및 그 제어 방법

Also Published As

Publication number Publication date
KR20230102666A (ko) 2023-07-07

Similar Documents

Publication Publication Date Title
WO2010114235A1 (en) Mobile robot with single camera and method for recognizing 3d surroundings of the same
CN112203809B (zh) 信息处理装置和方法、机器人控制装置和方法及存储介质
KR20180109572A (ko) 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법
KR20190089790A (ko) 인공 지능을 통해 바닥 상황을 고려하여 청소하는 로봇 청소기 및 그 방법
KR20210051014A (ko) 로봇 청소기 및 그의 동작 방법
JP7005388B2 (ja) 情報処理装置及び仕分システム
CN102036899A (zh) 基于视频的电梯门检测系统和方法
KR20190106891A (ko) 인공 지능 모니터링 장치 및 그의 동작 방법
CN111597969A (zh) 基于手势识别的电梯控制方法及系统
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2019004621A1 (ko) 진입제한영역을 식별하는 방법 및 이를 구현하는 로봇
WO2020096170A1 (ko) 쇼핑 카트로 이용 가능한 이동 로봇
WO2023128025A1 (ko) 딥러닝 기반의 지능 소형 모빌리티 장치 및 시스템
KR20190089794A (ko) 이동로봇 및 이의 동작방법
WO2021182694A1 (en) Robot cleaner and method for controlling the same
JP2018169787A (ja) 自律型モビリティシステムおよび自律型モビリティの制御方法
KR102267514B1 (ko) 작업대상물의 피킹 및 플레이스 방법
Easton et al. Efficiency and optimization of explicit and implicit communication schemes in collaborative robotics experiments
WO2023096133A1 (ko) 경량화된 자세 추정 모델 제공 장치 및 방법
WO2019172733A2 (ko) 감지대상체와 상호작용이 가능한 이동로봇 및 이동로봇과 감지대상체의 상호작용 방법
WO2022185513A1 (ja) エレベーター装置及び落下物検出装置
WO2020105778A1 (ko) 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법
CN114644263B (zh) 自主移动系统、自主移动方法和非暂时性计算机可读介质
WO2023019922A1 (zh) 导航方法及自行走装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21970094

Country of ref document: EP

Kind code of ref document: A1