KR102431986B1 - 로봇 청소기 및 이의 제어방법 - Google Patents

로봇 청소기 및 이의 제어방법 Download PDF

Info

Publication number
KR102431986B1
KR102431986B1 KR1020200090977A KR20200090977A KR102431986B1 KR 102431986 B1 KR102431986 B1 KR 102431986B1 KR 1020200090977 A KR1020200090977 A KR 1020200090977A KR 20200090977 A KR20200090977 A KR 20200090977A KR 102431986 B1 KR102431986 B1 KR 102431986B1
Authority
KR
South Korea
Prior art keywords
information
noise
pixel
robot cleaner
determined
Prior art date
Application number
KR1020200090977A
Other languages
English (en)
Other versions
KR20220012002A (ko
Inventor
이창현
박기홍
최가형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200090977A priority Critical patent/KR102431986B1/ko
Priority to PCT/KR2020/017643 priority patent/WO2022019399A1/ko
Priority to US18/011,028 priority patent/US20230245465A1/en
Publication of KR20220012002A publication Critical patent/KR20220012002A/ko
Application granted granted Critical
Publication of KR102431986B1 publication Critical patent/KR102431986B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/40—Indoor domestic environment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G05D2111/14—Non-visible signals, e.g. IR or UV signals
    • G05D2201/0203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 실시예에 따르면, 청소대상지역을 뎁스 카메라를 이용해 촬영하여 수집된 제1 정보 및 청소대상지역을 IR 센서를 이용해 촬영하여 수집된 제2 정보를 수집하는 맵 데이터 수집단계, 상기 제1 정보에서 장애물을 검출할 때 노이즈로 판단된 정보를 제거하는 뎁스 데이터 필터링 단계 및 상기 뎁스 데이터 필터링 단계에서 노이즈로 판단되어 제거된 정보와 상기 제2 정보를 비교하여 장애물에 대한 정보 중 유실된 부분이 있으면 유실된 부분을 복원하는 데이터 복원단계를 포함하는 로봇 청소기의 제어방법를 제공한다. 본 실시예에 따르면 얇은 장애물도 검출가능하게 뎁스 카메라의 필터링에도 불구하고 제거되지 않은 노이즈도 제거하여 실효적인 장애물 정보를 얻을 수 있다.

Description

로봇 청소기 및 이의 제어방법{Robot Cleaner and Controlling method thereof}
본 발명은 로봇 청소기의 제어방법에 관한 것이다.
인간은 위생과 청결을 위해 자신이 생활하는 공간을 청소한다. 청소를 하는 이유는 여러 가지가 있을 수 있다. 예를 들어, 질병으로부터 신체를 보호하거나 기관지의 손상을 막기 위해 청소를 하기도 하고, 자신이 있는 공간을 청결하고 이용하기 위함과 같이 삶의 질을 위해 청소를 하기도 한다.
먼지나 이물질은 중력에 의해 바닥에 가라앉는다. 따라서, 청소를 하기 위해서 사람들은 허리를 숙이거나 앉아서 청소를 수행하므로 허리나 관절에 무리가 가기 쉽다.
이를 위해 근래에는 사람의 청소를 도와주는 청소기들이 등장하고 있다. 청소기의 종류는 대략적으로 핸디스틱 청소기, 바형 청소기 또는 로봇 청소기 등으로 분류될 수 있다.
이 중 로봇 청소기는 가정 또는 사무실 등 특정 공간에서 사용자 대신 공간을 청소한다. 로봇 청소기는 일반적으로 청소대상영역의 먼지를 흡입하며 청소를 수행한다.
한국공개특허공보 제10-2013-0091879호를 참조하면, 청소할 공간에 대한 정보를 포함하는 맵을 생성하는 과정, 이를 이용하여 청소 경로를 설정하는 과정 및 이를 이용하여 청소를 수행하는 과정에 대해서 개시하고 있으나, 바닥면의 형태나 심도를 분석하여 청소를 생성하는 등의 실질적으로 주행하는 바닥에 대한 정보를 활용하는 내용에 대한 개시는 없다.
한국공개특허공보 제10-2013-0091879호(2013.08.20)
본 실시예에 따르면 노이즈를 제거하는 필터링 과정을 통해 실제 장애물 정보가 유실되어도 이를 다시 복원할 수 있는 로봇 청소기 및 이의 제어방법을 제공하고자 한다.
또한, 뎁스 카메라와 IR 센서를 통해 장애물 정보를 복원함으로써 검출 성능을 확보할 수 있는 로봇 청소기 및이의 제어방법을 제공하고자 한다.
특히 얇은 전선 등은 뎁스 카메라로 검출되어도 필터링 과정을 통해 제거될 가능성이 큰데, IR센서를 통해 수집된 정보를 토대로 복원하여 노이즈는 제거하면서도 실제 장애물에 대한 정보를 획득할 수 있는 로봇 청소기 및 이의 제어방법을 제공하고자 한다.
상술한 과제를 해결하기 위한 일례로서 뎁스 Raw data에 필터링을 적용하여 노이즈를 제거한다. IR Raw 데이터를 영상처리하여 특징점을 추출하여 선, 면으로 판단된 부분의 뎁스 필터링 후 데이터가 손실되었다고 판단되면 복원하는 로봇 청소기의 제어방법을 제공한다.
보다 구체적으로, 일 실시예에 따르면, 청소대상지역을 뎁스 카메라를 이용해 촬영하여 수집된 제1 정보 및 청소대상지역을 IR 센서를 이용해 촬영하여 수집된 제2 정보를 수집하는 맵 데이터 수집단계, 상기 제1 정보에서 장애물을 검출할 때 노이즈로 판단된 정보를 제거하는 뎁스 데이터 필터링 단계 및 상기 뎁스 데이터 필터링 단계에서 노이즈로 판단되어 제거된 정보와 상기 제2 정보를 비교하여 장애물에 대한 정보 중 유실된 부분이 있으면 유실된 부분을 복원하는 데이터 복원단계;를 포함하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 맵 데이터 수집단계는 상기 제1 정보와 상기 제2 정보를 독립적으로 수집하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 뎁스 데이터 필터링 단계는 적어도 하나 이상의 필터링 방식을 사용하여 상기 제1 정보에서 노이즈로 판단된 정보를 제거하는 로봇 청소기의 제어방법을 제공한다.
또한, 뎁스 데이터 필터링 단계는 상기 뎁스 카메라의 각 픽셀에 수신된 정보의 강도가 기 결정된 값 이하인 경우 노이즈로 판단하여 제거되는 강도비교단계를 포함하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 뎁스 데이터 필터링 단계는 상기 뎁스 카메라의 각 픽셀이 검출되는 거리값을 기준으로 위치해야 하는 위치와 실제 위치와 기 결정된 거리 이상 차이가 나면 노이즈로 판단하여 제거하는 거리비교단계를 포함하는 로봇 청소기의 제어방법을 제공한다.
또한, 각각의 픽셀의 정보를 각각의 픽셀의 주변에 위치하는 픽셀의 정보 중 노이즈가 아닌 픽셀의 정보들의 평균값으로 수정하는 평활화단계를 포함하는 로봇 청소기의 제어방법을 제공한다.
또한, 각각의 픽셀이 주변에 위치하는 픽셀들과의 거리가 기 결정된 거리보다 작을 때 유효한 데이터로 판단하는 플라잉 픽셀 제거단계를 포함하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 주변에 위치하는 픽셀들은 각각의 픽셀의 팔방으로 가장 가까운 픽셀인 로봇 청소기의 제어방법을 제공한다.
또한, 각각의 픽셀이 상기 주변에 위치하는 픽셀들 중 5개 이상과의 거리가 기 결정된 거리보다 작을 때 유효한 데이터로 판단하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 제2 정보는, IR 센서를 이용해 촬영된 영상에서 특징점을 추출하고, 상기 특징점들을 연결하여 모서리를 판단하고, 상기 모서리가 판단되면 상기 모서리를 연결하여 장애물 정보를 판단하여 생성되는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 모서리로 구획되는 영역 내의 특징점들은 장애물 정보로 판단하고, 상기 모서리로 구획되는 영역의 외측에 위치한 특징점은 노이즈로 판단하여 제거하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 뎁스 데이터 필터링 단계가 수행된 후 상기 데이터 복원단계가 수행되는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 데이터 복원단계는 상기 제1 정보에서 노이즈로 판단된 부분이 제거될 때 불연속 부분이 존재하는지를 판단하여 유실된 부분이 있는지 판단하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 데이터 복원단계는 상기 불연속 부분이 있으면 상기 제2 정보에서 상기 불연속 부분이 장애물에 해당하는지 여부를 판단하는 로봇 청소기의 제어방법을 제공한다.
또한, 상기 불연속 부분이 상기 제2 정보에서 장애물이 있다고 판단되면 상기 불연속 부분에 대응하는 정보가 복원되는 로봇 청소기의 제어방법을 제공한다.
또한, 다른 실시예에 따르면 외관을 형성하는 본체, 상기 본체에 결합되며 바닥면을 청소하는 흡입부, 상기 본체에 결합되며 상기 본체가 이동될 수 있도록 구비되는 구동부, 피촬영 대상체의 원근거리를 산출하는 뎁스 카메라(Depth Camera) 및 적외선을 이용해 영상을 촬영하는 IR 센서를 포함하며 상기 본체에 배치되는 센싱부 및 상기 센싱부에 의해 수집된 정보를 처리하는 제어부를 포함하고, 상기 뎁스카메라를 통해 수집된 제1 정보에서 노이즈로 판단된 정보를 제거하고, 노이즈로 판단되어 제거된 정보와 상기 제2 정보를 비교하여 장애물에 대한 정보 중 유실된 부분이 있으면 유실된 부분을 복원하는 로봇 청소기를 제공한다.
본 실시예들에 따른 로봇 청소기 및 이의 제어방법은, 얇은 장애물 data를 복원하여 장애물 검출능력을 향상시킬 수 있다.
또한, 뎁스 데이터의 필터랑 단계를 통해서도 제거되지 않은 노이즈를 IR센서를 통해 취득된 정보를 기초로 제거할 수 있다.
도 1은 일 실시예에 따른 로봇 청소기를 도시한 도면
도 2는 일 실시예에 따른 로봇 청소기의 저면의 일부를 도시한 도면
도 3은 일 실시예에 따른 로봇 청소기의 구성을 나타낸 블록도
도 4는 일 실시예에 따른 로봇 청소기의 제어방법을 나타낸 도면
도 5는 일 실시예에 따른 로봇 청소기의 뎁스 데이터 필터링 단계에 관한 도면
도 6은 일 실시예에 따른 제2 정보를 수집하는 방식을 나타낸 도면
도 7은 일 실시예에 따른 제2 정보를 수집하는 일례를 도시한 도면
도 8은 일 실시예에 따른 데이터 복원단계를 나타낸 도면
도 9는 데이터 복원단계의 일례를 나타낸 도면
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 로봇 청소기를 도시한 도면이고, 도 2는 일 실시예에 따른 로봇 청소기의 저면의 일부를 도시한 도면이고, 도 3은 일 실시예에 따른 로봇 청소기의 구성을 나타낸 블록도이다.
도 1 내지 도 3을 참조하면, 로봇 청소기(1)는 일정 영역을 스스로 주행하면서 바닥을 청소하는 기능을 수행한다. 여기서 말하는 바닥의 청소에는, 바닥의 먼지(이물질을 포함한다)를 흡입하거나 바닥을 걸레질하는 것이 포함된다.
로봇 청소기(1)는 청소기 본체(10), 흡입부(20), 센싱부(60) 및 집진부(40)을 포함한다.
본체(10)는 로봇 청소기의 외관을 형성하는 부분이다. 본체(10)의 내부에는 로봇 청소기가 작동될 수 있도록 여러 전장품이 구비될 수 있다.
본체(10)에는 사용자의 명령을 입력받을 수 있는 입력부(11)가 구비될 수 있다.
청소기 본체(10)에는 로봇 청소기(1)의 제어를 위한 제어부(90) 및 로봇 청소기(1)의 주행을 위한 구동부(30)가 구비된다. 구동부(30)에 의해 로봇 청소기(1)는 전후좌우로 이동되거나 회전될 수 있다.
구동부(30)은 메인 휠(31) 및 보조 휠(32)을 포함한다.
메인 휠(31)은 본체(10)의 양측에 각각 구비되어, 제어부의 제어 신호에 따라 일 방향 또는 타 방향으로 회전 가능하게 구성된다. 각각의 메인 휠(31)은 서로 독립적으로 구동 가능하게 구성될 수 있다. 예를 들어, 각각의 메인 휠(31)은 서로 다른 모터에 의해서 구동될 수 있다.
보조 휠(32)은 메인 휠(31)과 함께 본체(10)를 지지하며, 메인 휠(31)에 의한 로봇 청소기(1)의 주행을 보조하도록 이루어진다. 이러한 보조 휠(32)은 후술하는 흡입부(20)에도 구비될 수 있다.
살펴본 바와 같이, 제어부가 구동부(30)의 구동을 제어함으로써, 로봇 청소기(1)는 바닥을 자율 주행하도록 이루어진다.
한편, 본체(10)에는 로봇 청소기(1)에 전원을 공급하는 배터리(미도시)가 장착된다. 배터리는 충전가능하게 구비되며, 본체(10)의 일면에 착탈 가능하게 구성될 수 있다.
흡입부(20)은 본체(10)의 일측에 구비되어 먼지가 포함된 공기를 흡입하도록 이루어진다.
흡입부(20)은 본체(10)에 착탈 가능하게 결합되는 형태 또는 본체(10)와 일체로 형성될 수 있다. 흡입부(20)이 본체(10)로 분리되면, 분리된 흡입부(20)을 대체하여 물청소 모듈(70)이 본체(10)에 착탈 가능하게 결합될 수 있다. 따라서, 사용자는 바닥의 먼지를 제거하고자 하는 경우에는 본체(10)에 흡입부(20)을 장착하고, 바닥을 닦고자 하는 경우에는 본체(10)에 물청소 모듈을 장착할 수 있다.
다만, 이에 제한되는 것은 아니고 일 실시예에 따른 로봇 청소기는 흡입부(20)와 물청소 모듈(70) 모두가 일체로 형성된 형태를 띨 수 있다.
집진부(40)는 흡입부(20)에서 먼지를 흡입할 수 있도록 흡입력을 제공하는 부분이다. 집진부(40)는 흡입된 공기에서 먼지를 분리하여 먼지를 저장하고 깨끗한 공기를 다시 로봇 청소기의 외부로 토출시키는 역할을 수행할 수 있다. 흡입부(20)는 제어부의 제어에 따라 흡입력이 커지거나 작아질 수 있다. 구체적으로 로봇 청소기가 주행하는 바닥면에 대한 정보를 기초로 흡입부(20)의 흡입력이 조절될 수 있다.
집진부(40)는 구동모터(미도시)를 포함할 수 있다. 집진부(40) 내에 마련된 구동모터를 통해 로봇 청소기 내부에 음압이 발생하여 먼지나 이물질 등이 로봇 청소기 내부로 유입될 수 있다.
흡입부(20)에는 교반부(21)가 구비될 수 있다. 무게가 무겁거나 먼지의 종류에 따라 집진부(40)의 흡입력만으로는 먼지의 제거가 어려울 수 있다. 따라서 효과적인 먼지의 제거를 위해 교반부(21)가 구비될 수 있다.
구체적으로 교반부(21)는 주행면에서 회전되어 바닥에 있는 먼지를 비산시킬 수 있다. 먼지가 비산되면 집진부(40)의 흡입력에 의해 먼지가 쉽게 로봇 청소기 내부로 유입될 수 있다.
교반부(21)는 흡입부(20) 내에 배치되는 교반모터(미도시)를 통해 작동이 제어될 수 있다. 바닥면의 종류 및 재질에 따라 교반부(21)가 회전되는 정도는 달라질 수 있다.
본체(10)에는 센싱부(60)이 배치된다. 도시된 바와 같이, 센싱부(60)은 흡입부(20)이 위치하는 본체(10)의 일측, 즉 본체(10)의 전방측에 배치될 수 있다. 이는 로봇 청소기(1)가 주행할 때 장애물과의 충돌을 방지하기 위함일 수 있다.
센싱부(60)은 이러한 감지 기능 외의 다른 센싱 기능을 추가로 수행하도록 구비될 수 있다.
상기 센싱부(60)는 카메라를 포함할 수 있다. 이때 카메라는 2차원 카메라 센서를 의미하는 것이 가능하다. 카메라는, 로봇 청소기의 일면에 구비되어, 이동 중 본체 주변과 관련된 이미지 정보를 획득한다.
카메라에 구비된 이미지 센서로부터 입력되는 영상을 변환하여 소정 형식의 영상 데이터를 생성한다. 생성된 영상 데이터는 메모리(12)에 저장될 수 있다.
한편 센싱부(60)는 로봇 청소기와 피촬영 대상체의 원근거리를 산출하는 뎁스 카메라(Depth Camera) 및 적외선을 이용해 청소대상지역의 영상을 촬영하는 IR 센서를 포함할 수 있다.
구체적으로, 뎁스 카메라는 본체의 주위와 관련된 2차원 영상을 촬영할 수 있으며, 촬영된 2차원 영상에 대응되는 복수의 3차원 좌표 정보를 생성할 수 있다.
일 실시예에서 뎁스 카메라는 빛을 방출하는 광원과 광원에서 수신된 빛을 수신하는 센서를 포함하고, 센서에서 수신된 영상을 분석함으로써, 로봇 청소기와 피촬영 대상체 사이의 거리를 측정할 수 있다. 이러한 3차원 카메라 센서는 TOF(Time of Flight) 방식의 3차원 카메라 센서일 수 있다. 이때 광원과 센서는 복수 개 구비될 수 있다.
다른 실시예에서 뎁스 카메라는 센서와 함께 적외선 패턴을 조사하는 광원 즉, 적외선 패턴 방출부를 구비하는 것이 가능하다. 센서는 적외선 패턴 방출부에서 조사된 적외선 패턴이 피촬영 대상체에 투영된 모양을 캡쳐함으로써, 로봇 청소기와 피촬영 대상체 사이의 거리를 측정할 수 있다. 이러한 3차원 카메라 센서는 IR(Infrared Red) 방식의 3차원 카메라 센서일 수 있다.
또 다른 실시예에서 뎁스 카메라는 기존의 2차원 영상을 획득하는 카메라를 2개 이상 구비하여, 상기 2개 이상의 카메라에서 획득되는 2개 이상의 영상을 조합하여, 3차원 좌표 정보를 생성하는 스테레오 비전 방식으로 형성될 수 있다.
다만, 본 개시에 따르면, 뎁스 카메라는 ToF 방식의 카메라인 것이 바람직하다.
구체적으로 뎁스 카메라는 복수 개의 광원과 수광부를 구비할 수 있다. 각각의 수광부는 '픽셀'로 표현될 수 있다.
로봇 청소기(1)는 사이드 브러쉬 모듈(50)을 포함할 수 있다. 사이드 브러쉬 모듈(50)은 상술한 교반부(21)와 같이 바닥면의 먼지를 비산시키는 역할을 수행할 수 있다.
사이드 브러쉬 모듈(50)은 본체(10)에 결합될 수 있고, 본체(10)에 복수 개 구비될 수 있다.
또한 사이드 브러쉬 모듈(50)은 도 2에 나타난 바와 같이 흡입부(20)와 인접하게 위치하는 것이 바람직하다.
바닥면의 먼지를 비산시키는 것을 효율적으로 먼지를 제거하기 위함이다. 따라서 흡입부(20)와 상당한 거리가 있도록 배치되는 경우 청소효율에 큰 영향을 미칠 수 없기 때문에 바람직하지 않다.
도 4는 일 실시예에 따른 로봇 청소기의 제어방법을 나타낸 도면이다.
일 실시예에 따른 로봇 청소기의 제어방법은 맵 데이터 수집단계(S1), 뎁스 데이터 필터링 단계(S2) 및 데이터 복원단계(S3)를 포함할 수 있다.
맵 데이터 수집단계(S1)는 청소대상지역을 뎁스 카메라를 이용하여 촬영하여 수집된 제1 정보 및 청소대상지역을 IR 센서를 이용해 촬영하여 수집된 제2 정보를 수집하는 단계이다.
구체적으로 설명하면 뎁스 카메라는 각각의 픽셀에서 피촬영 영역의 각각의 지점에 대응하는 정보를 획득하게 된다. 또한, IR 센서는 적외선을 이용하여 청소대상지역을 촬영하여 피촬영 영역의 영상정보를 획득하게 된다.
맵 데이터 수집단계(S1)에서 제1 정보와 제2 정보는 서로 독립적으로 수집될 수 있다. 즉, 제1 정보와 제2 정보가 동시에 또는 이시에 수집될 수 있다. 즉 뎁스 카메라(61)와 IR센서(62)는 서로 독립적으로 제어될 수 있다. 다만, 바람직하게는 뎁스 카메라(61)와 IR센서(62)는 동시에 피촬영 영역에 대한 정보를 수집하는 것이 바람직하다.
이는 로봇 청소기가 청소대상지역을 주행하며 정보를 수집하므로 제1 정보와 제2 정보가 동시에 수집되는 것이 피촬영영역을 비교하기에 용이하다.
뎁스 데이터 필터링 단계(S2)는 제1 정보에서 장애물을 검출할 때 노이즈로 판단된 정보를 제거하는 단계이다.
제1 정보는 뎁스 카메라를 통해 청소대상지역을 촬영하여 생성되는 정보이므로 노이즈가 필연적으로 발생할 수 있다. 실제와 유사한 맵을 획득하기 위해서는 수집된 정보에서 노이즈가 제거되는 것이 바람직하다.
수집된 정보 중 노이즈를 판단하는 방식에 대한 구체적인 내용은 후술한다.
데이터 복원단계(S3)는 뎁스 데이터 필터링 단계(S2)에서 노이즈로 판단되어 제거된 정보와 IR 센서를 통해 수집된 제2 정보를 비교하여 장애물에 대한 정보 중 유실된 부분이 있으면 유실된 부분을 복원하는 단계이다.
구체적으로 제1 정보는 장애물, 벽면 등에 대한 정보를 포함할 수 있다. 제1 정보는 장애물, 벽면 들의 형태, 위치에 관한 정보를 포함할 수 있다.
뎁스 카메라로 수집된 정보는 노이즈를 포함할 수 있다. 따라서, 후술하는 방식 또는 통상의 기술자에게 용이한 방식으로 노이즈를 검출해 삭제하여 높은 정확도를 갖는 정보를 수집할 수 있다.
노이즈가 제거되는 과정은 기 결정된 기준에 따라 수행될 수 있다. 다만 예기치 않게 장애물에 해당하는 정보 중 적어도 일부가 노이즈로 판단되어 삭제되는 경우가 발생할 수 있다.
장애물의 존재를 인식하지 못하는 것은 로봇 청소기에게 치명적인 단점으로 작용할 수 있다. 따라서, 노이즈로 판단된 정보가 실제 노이즈 인지 실제 장애물에 대한 정보인지를 다시 한번 검토하고, 실제 장애물에 대한 정보인 경우 복원이 필요하다.
즉, 데이터 복원단계(S3)는 더욱 정확한 맵을 획득하여 로봇 청소기의 안정적인 주행을 도모하기 위한 단계이다.
도 5는 일 실시예에 따른 로봇 청소기의 뎁스 데이터 필터링 단계에 관한 도면이다.
뎁스 데이터 필터링 단계(S2)는 강도비교단계(S211), 거리비교단계(S212), 평활화단계(S221) 및 플라잉 픽셀 제거단계(S222) 중 적어도 하나를 포함할 수 있다.
강도비교단계(S211)는 뎁스 카메라의 각 픽셀에서 수신된 데이터의 강도가 기 결정된 값 이하인 경우 해당 픽셀에서 수신된 정보를 노이즈로 판단하여 제거하는 단계이다.
뎁스 카메라(61)로 수신되는 정보는 여러가지 정보를 포함할 수 있다. 예를 들어 각 픽셀에서 수집되는 정보는 피촬영역역의 위치, 수신되는 정보 또는 신호의 세기 등을 포함할 수 있다.
뎁스 카메라(61)로 수신되는 정보의 세기가 작다면 정상적으로 정보가 수신된 것으로 판단하기 어렵기 때문에 노이즈 신호 또는 정보일 가능성이 크다. 따라서 기 결정된 값보다 낮은 강도로 정보가 수신되는 경우 노이즈로 판단하여 제거하는 것이 바람직하다.
뎁스 데이터 필터링 단계(S2)는 상기 뎁스 카메라의 각 픽셀이 검출되는 거리값을 기준으로 위치해야 하는 위치와 실제 위치와 기 결정된 거리 이상 차이가 나면 노이즈로 판단하여 제거하는 거리비교단계(S212)를 포함할 수 있다.
구체적으로, 거리비교단계(S212)는 각 픽셀에서 검출되는 거리값을 기준으로 해당 거리값에 해당하는 위치정보와 각 픽셀이 위치하는 정보를 비교하여 일정거리 이상의 차이가 발생하면 해당 픽셀의 값을 삭제하는 단계이다.
예를 들어 설명하면, A라는 픽셀은 B거리에 있는 지점(x1, y1)의 정보를 수신한다. 이때 A라는 픽셀이 해당 지역의 정보를 C거리로 인식되는 경우가 발생할 수 있다. C거리의 위치를 (x2, y2)라고 할 때 이때 B거리와 C거리의 차이가 기 결정된 값 이상이면 해당 정보를 노이즈로 판단할 수 있다.
강도비교단계(S211) 및 거리비교단계(S212)에서 기 결정된 값은 뎁스 카메라(61)의 성능 또는 제품에서 요구되는 품질에 따라 달리 설정될 수 있다.
또한 강도비교단계(S211) 및 거리비교단계(S212)는 평활화단계(S221) 및 플라잉 픽셀 제거단계(S222)에 선행되어 수행될 수 있다.
도면에서는 강도비교단계(S211)가 수행된 후 거리비교단계(S212)가 수행되는 것으로 도시되어 있으나, 거리비교단계(S212)가 먼저 수행되고 강도비교단계(S211)가 후에 수행되는 것도 가능하다.
즉, 거리비교단계(S212) 및 강도비교단계(S211)는 필연적으로 선후관계가 정해지는 것이 아니다.
뎁스 데이터 필터링단계(S2)는 평활화단계(S221)를 포함할 수 있다. 평활화단계(S221)는 뎁스 카메라의 각 픽셀들이 부드럽게 연결되도록 데이터를 수정하는 단계이다.
뎁스 데이터 필터링단계(S2)는 픽셀의 정보를 각각의 픽셀의 주변에 위치하는 픽셀의 정보 중 노이즈가 아닌 픽셀의 정보들의 평균값으로 수정하는 평활화단계(S221)를 포함할 수 있다.
구체적으로 설명하면 평활화단계(S221)는 각각의 픽셀이 각각의 픽셀의 주변 픽셀들의 값 중 노이즈로 판단된 정보가 수신되는 픽셀이 아닌 값의 평균값으로 수정되는 단계이다.
뎁스 데이터 필터링단계(S2)는 각각의 픽셀이 주변에 위치하는 픽셀들과의 거리가 기 결정된 거리보다 작을 때 유효한 데이터로 판단하는 플라잉 픽셀 제거단계(S222)를 포함할 수 있다.
평활화단계(S221) 및 플라잉 픽셀 제거 단계(S222)에서 주변에 위치하는 픽셀은 각각의 픽셀의 팔방으로 가장 가까운 픽셀들을 의미할 수 있다. 즉, 최외곽에 있는 픽셀이 아닌 하나의 픽셀의 주변에는 8개의 픽셀이 위치하게 된다.
주변에 위치하는 픽셀값들 중 노이즈로 판단된 정보를 수신하는 픽셀의 정보도 활용하는 경우 오히려 장애물이 평활화되기 어렵다. 따라서 노이즈로 판단된 정보가 수신되는 픽셀의 정보값은 제외하고, 나머지 픽셀들의 평균값으로 각각의 픽셀의 정보값이 조정될 수 있다.
플라잉 픽셀 제거단계(S222)는 각 픽셀과 주변에 있는 각각의 픽셀들과의 거리 값이 기결정된 값 이하인 경우 유효한 데이터로 판단하는 단계이다. 다만 각각의 픽셀의 주변에 있는 모든 픽셀들과 기 결정된 값 이하로 센싱되는 경우만을 포함하는 것이 아니라 5개 이상의 픽셀들과의 거리가 기 결정된 값 이하의 거리로 측정되면 유효한 데이터로 판단할 수 있다.
뎁스 카메라(61)는 어느 정도의 오차가 수반될 수 있기 때문이다. 따라서 신뢰성을 높이면서 실효적인 데이터를 수집하기 위해서는 과반 이상 즉, 각각의 픽셀이 주변에 위치하는 8개의 픽셀 중 5개 이상의 픽셀들과 기결정된 거리 이하의 거리를 가지면 유효한 데이터 판단하여 해당 픽셀의 정보를 제거하지 않을 수 있다.
뎁스 데이터 필터링 단계(S2)에서는 적어도 하나의 필터링 방식을 사용하여 제1 정보에서 노이즈로 판단된 정보를 제거할 수 있다. 뎁스 데이터 필터링 단계(S2)를 통해 장애물에 대한 정확한 정보를 취득할 수 있다.
도 6은 일 실시예에 따른 제2 정보를 수집하는 방식을 나타낸 도면이고, 도 7은 일 실시예에 따른 제2 정보를 수집하는 일례를 도시한 도면이다.
구체적으로 도 7(a)는 IR 센서를 통해 영상정보를 수집하는 것을 도시한 도면이고, 도 7(b)는 수집된 영상정보를 통해 특징점을 도출하는 것을 나타낸 도면이고, 도 7(c)은 도출된 특징점을 연결하여 장애물 정보를 판단하는 것을 나타낸 도면이다.
도 6 및 도 7을 참조하면 맵데이터 수집단계(S1)는 특징점 추출단계(S121), 모서리 판단단계(S122) 및 장애물 정보 판단단계(S123)를 포함할 수 있다.
구체적으로 IR 센서는 적외선을 이용해 청소대상지역의 피촬영 영역을 촬영할 수 있다. IR 센서를 통해 촬영된 영상정보를 기초로 특징점이 추출될 수 있다.
특징점이란 물체의 가장자리 등의 지점을 의미할 수 있다. 다만 IR 센서도 노이즈 정보가 포함될 수 있다. 따라서 노이즈 정보를 제거하는 것이 필요하다.
제어부(90)는 특징점들을 연결할 때 생성되는 선을 모서리로 판단할 수 있다. 또한, 모서리들에 의해 생기는 면들을 장애물로 판단할 수 잇다.
구체적으로 설명하면, 모서리들에 의해 구획되는 영역 내에 위치하는 특징점들은 장애물 정보로 판단하고 모서리들에 의해 구획되는 영역 외측에 위치하는 특징점들은 노이즈로 판단하여 삭제할 수 있다.
즉, 제2 정보는, IR 센서를 이용해 촬영된 영상에서 특징점을 추출하고, 상기 특징점들을 연결하여 모서리를 판단하고, 상기 모서리가 판단되면 상기 모서리를 연결하여 장애물 정보를 판단하여 생성될 수 있다.
도 8은 일 실시예에 따른 데이터 복원단계를 나타낸 도면이고, 도 9는 데이터 복원단계의 일례를 나타낸 도면이다.
구체적으로 설명하면 도 9(a)는 뎁스 카메라로 촬영된 제1 정보에서 데이터 필터링을 통해 유실된 부분이 나타나는 것을 도시한 도면이고, 도 9(b)는 IR 센서를 통해 장애물 정보를 판단하는 것을 나타낸 도면이고, 도 9(c) 및 도 9(d)는 뎁스 데이터의 유실된 부분이 복구되는 것을 나타낸 도면이다.
도 8 및 도 9를 참조하면, 맵 데이터 수집단계(S1) 및 뎁스 데이터 필터링 단계(S2)가 수행된 후 데이터 복원단계(S3)가 수행될 수 있다.
뎁스 데이터 필터링 단계(S2)가 수행된 후 뎁스 데이터에 불연속 부분이 있는지 여부를 판단(S31)할 수 있다. 제1 정보에서 노이즈 정보가 제거된 뎁스 데이터에서 불연속 부분이 있다는 것은 뎁스 데이터 필터링 단계(S2)에서 장애물에 대한 정보가 제거된 것을 의미할 수 있다.
다시 말하면 뎁스 데이터 필터링 단계(S2)에서 장애물에 대한 정보가 유실되어 로봇 청소기가 뎁스 데이터만으로는 정확한 장애물 정보를 획득하지 못하는 경우가 발생할 수 있다.
뎁스 데이터에서 불연속 부분이 없다면 뎁스 데이터 필터링 단계(S2)에서 장애물에 대한 정보가 제거되지 않은 것을 의미하므로 데이터 복원단계(S3)는 수행되지 않을 수 있다.
뎁스 데이터에서 불연속 부분이 있다면 유실된 부분이 장애물인지 여부를 판단하는 단계가 더 수행될 수 있다.
구체적으로 설명하면, 제1 정보와 제2 정보는 동시에 수집되는 것이 바람직하므로 뎁스 데이터와 IR 데이터를 비교하여 유실된 부분에 실제 장애물이 배치되어 있는지 여부를 판단할 수 있다.
즉, 제2 정보와 제1 정보에서 노이즈가 제거된 정보를 비교하여 유실된 부분이 IR센서에 의해 장애물로 판단되었는지를 판단(S33)할 수있다.
제2 정보와 제1 정보에서 노이즈가 제거된 정보인 뎁스 데이터를 비교하여 유실된 부분이 장애물이 아닌 경우 데이터 복원단계(S3)는 수행되지 않는다.
제2 정보와 제1 정보에서 노이즈가 제거된 정보인 뎁스 데이터를 비교하여 유실된 부분이 장애물인 경우 뎁스 데이터 필터링 단계(S2)에서 노이즈로 판단되어 제거된 부분 중 장애물에 해당하는 정보를 다시 복원할 수 있다.
이로써, 더욱 실효적인 장애물 정보를 획득할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1: 로봇 청소기
10: 본체
11: 입력부
12: 메모리
20: 흡입부
21: 교반부
30: 구동부
31: 메인 휠
32: 보조 휠
40: 집진부
50: 사이드 브러쉬 모듈
60: 센싱부
61: 뎁스카메라
62: IR센서
70: 물청소 모듈
90: 제어부

Claims (16)

  1. 청소대상지역을 뎁스 카메라를 이용해 촬영하여 수집된 제1 정보 및 청소대상지역을 IR 센서를 이용해 촬영하여 수집된 제2 정보를 수집하는 맵 데이터 수집단계;
    상기 제1 정보에서 장애물을 검출할 때 노이즈로 판단된 정보를 제거하는 뎁스 데이터 필터링 단계; 및
    상기 뎁스 데이터 필터링 단계에서 노이즈로 판단되어 제거된 정보와 상기 제2 정보를 비교하여 장애물에 대한 정보 중 유실된 부분이 있으면 상기 제2 정보를 이용하여 상기 유실된 부분을 복원하는 데이터 복원단계;를 포함하고,
    상기 뎁스 데이터 필터링 단계는,
    상기 뎁스 카메라의 각 픽셀에 수신된 정보의 강도가 기 결정된 값 이하인 경우 노이즈로 판단하여 제거되는 강도비교단계; 및
    각각의 픽셀의 정보를 각각의 픽셀의 주변에 위치하는 픽셀의 정보 중 노이즈가 아닌 픽셀의 정보들의 평균값으로 수정하는 평활화단계;를 포함하는 로봇 청소기의 제어방법.
  2. 제1항에 있어서,
    상기 맵 데이터 수집단계는 상기 제1 정보와 상기 제2 정보를 독립적으로 수집하는 로봇 청소기의 제어방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 뎁스 데이터 필터링 단계는 상기 뎁스 카메라의 각 픽셀이 검출되는 거리값을 기준으로 위치해야 하는 위치와 실제 위치가 기 결정된 거리 이상 차이가 나면 노이즈로 판단하여 제거하는 거리비교단계를 더욱 포함하는 로봇 청소기의 제어방법.
  6. 청소대상지역을 뎁스 카메라를 이용해 촬영하여 수집된 제1 정보 및 청소대상지역을 IR 센서를 이용해 촬영하여 수집된 제2 정보를 수집하는 맵 데이터 수집단계;
    상기 제1 정보에서 장애물을 검출할 때 노이즈로 판단된 정보를 제거하는 뎁스 데이터 필터링 단계; 및
    상기 뎁스 데이터 필터링 단계에서 노이즈로 판단되어 제거된 정보와 상기 제2 정보를 비교하여 장애물에 대한 정보 중 유실된 부분이 있으면 상기 제2 정보를 이용하여 상기 유실된 부분을 복원하는 데이터 복원단계;를 포함하고,
    상기 뎁스 데이터 필터링 단계는,
    상기 뎁스 데이터 필터링 단계는 상기 뎁스 카메라의 각 픽셀이 검출되는 거리값을 기준으로 위치해야 하는 위치와 실제 위치가 기 결정된 거리 이상 차이가 나면 노이즈로 판단하여 제거하는 거리비교단계; 및
    각각의 픽셀의 정보를 각각의 픽셀의 주변에 위치하는 픽셀의 정보 중 노이즈가 아닌 픽셀의 정보들의 평균값으로 수정하는 평활화단계를 포함하는 로봇 청소기의 제어방법.
  7. 제1항 또는 제6항에 있어서, 상기 뎁스 데이터 필터링 단계는,
    각각의 픽셀이 주변에 위치하는 픽셀들과의 거리가 기 결정된 거리보다 작을 때 유효한 데이터로 판단하는 플라잉 픽셀 제거단계를 포함하는 로봇 청소기의 제어방법.
  8. 제7항에 있어서,
    상기 주변에 위치하는 픽셀들은 각각의 픽셀의 팔방으로 가장 가까운 픽셀인 로봇 청소기의 제어방법.
  9. 제8항에 있어서,
    각각의 픽셀이 상기 주변에 위치하는 픽셀들 중 5개 이상과의 거리가 기 결정된 거리보다 작을 때 유효한 데이터로 판단하는 로봇 청소기의 제어방법.
  10. 제1항에 있어서,
    상기 제2 정보는,
    IR 센서를 이용해 촬영된 영상에서 특징점을 추출하고,
    상기 특징점들을 연결하여 모서리를 판단하고,
    상기 모서리가 판단되면 상기 모서리를 연결하여 장애물 정보를 판단하여 생성되는 로봇 청소기의 제어방법.
  11. 제10항에 있어서,
    상기 모서리로 구획되는 영역 내의 특징점들은 장애물 정보로 판단하고, 상기 모서리로 구획되는 영역의 외측에 위치한 특징점은 노이즈로 판단하여 제거하는 로봇 청소기의 제어방법.
  12. 제1항에 있어서,
    상기 뎁스 데이터 필터링 단계가 수행된 후 상기 데이터 복원단계가 수행되는 로봇 청소기의 제어방법.
  13. 제1항에 있어서,
    상기 데이터 복원단계는 상기 제1 정보에서 노이즈로 판단된 부분이 제거될 때 불연속 부분이 존재하는지를 판단하여 유실된 부분이 있는지 판단하는 로봇 청소기의 제어방법.
  14. 제13항에 있어서,
    상기 데이터 복원단계는 상기 불연속 부분이 있으면 상기 제2 정보에서 상기 불연속 부분이 장애물에 해당하는지 여부를 판단하는 로봇 청소기의 제어방법.
  15. 제14항에 있어서,
    상기 불연속 부분이 상기 제2 정보에서 장애물이 있다고 판단되면 상기 불연속 부분에 대응하는 정보가 복원되는 로봇 청소기의 제어방법.
  16. 외관을 형성하는 본체;
    상기 본체에 결합되며 바닥면을 청소하는 흡입부;
    상기 본체에 결합되며 상기 본체가 이동될 수 있도록 구비되는 구동부;
    피촬영 대상체의 원근거리를 산출하는 뎁스 카메라(Depth Camera) 및 적외선을 이용해 영상을 촬영하는 IR 센서를 포함하며 상기 본체에 배치되는 센싱부; 및
    상기 센싱부에 의해 수집된 정보를 처리하는 제어부;를 포함하고,
    상기 제어부는,
    상기 뎁스카메라를 통해 수집된 제1 정보에서 노이즈로 판단된 정보를 제거함에 있어서, 상기 뎁스 카메라의 각 픽셀에 수신된 정보의 강도가 기 결정된 값 이하인 경우 노이즈로 판단하여 제거하고, 각각의 픽셀의 정보를 각각의 픽셀의 주변에 위치하는 픽셀의 정보 중 노이즈가 아닌 픽셀의 정보들의 평균값으로 수정하고,
    노이즈로 판단되어 제거된 정보와 상기 IR 센서를 통해 수집된 제2 정보를 비교하여 장애물에 대한 정보 중 유실된 부분이 있으면 상기 제2 정보를 이용하여 상기 유실된 부분을 복원하는 로봇 청소기.
KR1020200090977A 2020-07-22 2020-07-22 로봇 청소기 및 이의 제어방법 KR102431986B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200090977A KR102431986B1 (ko) 2020-07-22 2020-07-22 로봇 청소기 및 이의 제어방법
PCT/KR2020/017643 WO2022019399A1 (ko) 2020-07-22 2020-12-04 로봇 청소기 및 이의 제어방법
US18/011,028 US20230245465A1 (en) 2020-07-22 2020-12-04 Robot cleaner and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200090977A KR102431986B1 (ko) 2020-07-22 2020-07-22 로봇 청소기 및 이의 제어방법

Publications (2)

Publication Number Publication Date
KR20220012002A KR20220012002A (ko) 2022-02-03
KR102431986B1 true KR102431986B1 (ko) 2022-08-12

Family

ID=79729211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200090977A KR102431986B1 (ko) 2020-07-22 2020-07-22 로봇 청소기 및 이의 제어방법

Country Status (3)

Country Link
US (1) US20230245465A1 (ko)
KR (1) KR102431986B1 (ko)
WO (1) WO2022019399A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984214B1 (ko) 2012-02-09 2019-05-30 삼성전자주식회사 로봇 청소기의 청소 작업을 제어하기 위한 장치 및 방법
KR20140119325A (ko) * 2013-03-28 2014-10-10 인텔렉추얼디스커버리 주식회사 깊이 이미지의 노이즈를 보완하는 장치 및 방법
US9171355B2 (en) * 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP6136543B2 (ja) * 2013-05-01 2017-05-31 村田機械株式会社 自律移動体
KR102457222B1 (ko) * 2015-11-26 2022-10-21 삼성전자주식회사 이동 로봇 및 그 제어 방법
KR102033143B1 (ko) * 2017-01-25 2019-10-16 엘지전자 주식회사 3차원 공간에서 기능 영역을 식별하는 방법 및 이를 구현하는 로봇
KR102461938B1 (ko) * 2017-04-04 2022-10-31 엘지전자 주식회사 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법

Also Published As

Publication number Publication date
KR20220012002A (ko) 2022-02-03
US20230245465A1 (en) 2023-08-03
WO2022019399A1 (ko) 2022-01-27

Similar Documents

Publication Publication Date Title
TWI653964B (zh) 行動機器人及其控制方法
JP6137642B2 (ja) 自律式カバレッジロボット
WO2021031427A1 (zh) 扫地机器人及扫地机器人的自动控制方法
JP4677888B2 (ja) 自律移動掃除機
KR101570377B1 (ko) 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
JP6202544B2 (ja) ロボット位置決めシステム
KR101637359B1 (ko) 청소기
KR20190093800A (ko) 이동 로봇 및 이동 로봇의 제어방법
US11605244B2 (en) Robot for automatically following a person
WO2011024093A1 (en) Machine vision based obstacle avoidance system
KR20190046201A (ko) 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
WO2016005011A1 (en) Method in a robotic cleaning device for facilitating detection of objects from captured images
KR102314537B1 (ko) 이동 로봇 및 그 제어방법
KR102306436B1 (ko) 이동 로봇 및 그 제어방법
KR101371038B1 (ko) 이동 로봇 및 이의 목표물 추적 방법
KR102431986B1 (ko) 로봇 청소기 및 이의 제어방법
KR101965739B1 (ko) 이동 로봇 및 이의 제어 방법
KR20220012001A (ko) 로봇 청소기 및 이의 제어방법
JP2022526280A (ja) ロボット掃除機
KR20200142865A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102428214B1 (ko) 이동 로봇 및 그 제어방법
US20230255424A1 (en) Robot cleaner and method for controlling same
KR102318756B1 (ko) 로봇 청소기 및 그의 제어방법
JP7261958B2 (ja) 自律走行型掃除機
KR20230115158A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant