KR102504411B1 - 오염물 인식장치 - Google Patents

오염물 인식장치 Download PDF

Info

Publication number
KR102504411B1
KR102504411B1 KR1020210016245A KR20210016245A KR102504411B1 KR 102504411 B1 KR102504411 B1 KR 102504411B1 KR 1020210016245 A KR1020210016245 A KR 1020210016245A KR 20210016245 A KR20210016245 A KR 20210016245A KR 102504411 B1 KR102504411 B1 KR 102504411B1
Authority
KR
South Korea
Prior art keywords
contaminant
unit
image
floor
mode
Prior art date
Application number
KR1020210016245A
Other languages
English (en)
Other versions
KR20220112555A (ko
Inventor
최동완
Original Assignee
주식회사 제타뱅크
최동완
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제타뱅크, 최동완 filed Critical 주식회사 제타뱅크
Priority to KR1020210016245A priority Critical patent/KR102504411B1/ko
Publication of KR20220112555A publication Critical patent/KR20220112555A/ko
Application granted granted Critical
Publication of KR102504411B1 publication Critical patent/KR102504411B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

본 발명은 저장모드 및 청소모드로 설정된 동작모드에서 자율주행하는 청소로봇에 탑재되는 오염물 인식장치로서, 상기 저장모드 및 청소모드에서 동작하며, 특정 공간의 일정영역의 각 바닥면을 순차적으로 촬영하는 촬영부; 상기 저장모드 및 청소모드에서 동작하며, 상기 촬영부로부터 순차적으로 입력되는 각 바닥면 영상에 대하여 전체적인 윤곽을 선명하게 하는 전처리부; 상기 저장모드에서 동작하며, 상기 전처리부로부터 수신된 각 바닥면 영상에 대하여 특징벡터를 추출하여 학습하고 이미지 스티칭 및 매핑을 하여 상기 특정 공간에 대한 기준 바닥면 영상을 설정하는 기준정보 학습부; 상기 저장모드에서 동작하며, 상기 기준정보 학습부에 의해 설정된 상기 특정 공간에 대한 기준 바닥면 영상을 저장하는 저장부; 상기 청소모드에서 동작하며, 상기 전처리부로부터 상기 특정 공간에 대해 전처리된 각 바닥면 영상을 수신하고 상기 수신한 전처리된 각 바닥면 영상을 상기 저장부에 저장된 동일 위치의 기준 바닥면 영상과 비교하여 오염물이 존재하는지를 검출하는 오염물 검출부; 및 상기 청소모드에서 동작하며, 상기 오염물 검출부에 의해 검출된 오염물이 실제 오염물인지 아니면 장애물인지를 검증하는 오염물 검증부를 포함하며, 상기 전처리부는 상기 설정된 동작모드가 상기 저장모드인 경우에 전처리한 바닥면 영상을 상기 기준정보 학습부에 제공하고, 상기 설정된 동작모드가 상기 청소모드인 경우에 전처리한 바닥면 영상을 오염물 검출부에 제공하며, 상기 촬영부에서 순차적으로 촬영한 상기 바닥면의 영상에 대해 상기 전처리 동작을 수행하여 이미지 처리한 후, 상기 기준정보 학습부를 통해 상기 이미지 처리된 바닥면 영상 각각을 이미지 스태칭하고, 상기 이미지 처리된 바닥면 영상 각각에 대하여 특징 벡터를 추출하여 학습하고 상기 학습된 특징 벡터를 위치정보와 맵핑한다.

Description

오염물 인식장치{Contaminant recognition device and recognition method}
본 발명은 자율주행하는 바닥청소로봇에 관한 것으로, 특히, 자율주행하는 바닥청소로봇에서 실시간으로 촬영되는 바닥영상을 통해 오염물을 인식하고 학습하여 바닥의 오염물을 인식하는 장치에 관한 것이다.
바닥을 청소할 수 있는 다양한 기술이 개발되어 제품화되고 있다. 바닥용 청소기는 사람에 의해 청소하는 수동 청소기와 자동으로 청소하는 자동 청소기 즉, 청소로봇으로 구분된다.
청소로봇은 바퀴를 구비하고 경로를 따라 자동으로 주행하며, 주행 경로상에 장애물이 있는지를 센싱하여 장애물을 회피하는 주행을 하면서 바닥의 먼지를 흡입하거나 바닥면을 살균하는 로봇 청소기이다.
그런데 종래의 청소로봇은 청소할 바닥면을 진행하면서 단순히 먼지를 흡입하거나 살균하는 등의 동작을 수행할 뿐 바닥면의 상태에 따른 청소 동작을 하지 않는다. 즉, 바닥면에 먼지나 쓰레기가 있는 경우, 바닥면에 물이 있는 경우, 바닥면에 흡착된 오염물이 있는 경우 등에는 서로 다른 방법으로 청소가 이루어져야 하는데, 종래의 청소로봇은 그렇지 못하다.
1. 한국공개특허 제10-2011-0010329호(공개일, 2011.02.01.자) 2. 한국등록특허 제10-1822942호(등록일, 2018.01.23.자)
본 발명이 해결하고자 하는 과제는 바닥면에 오염물이 흡착되어 있는지를 파악하여 해당 위치에 흡착된 오염물을 제거하는 오염물 인식장치를 제공하는 것이다.
본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상기 과제를 해결하기 위한 일 실시 예에 따른 오염물 인식장치는 저장모드 및 청소모드로 설정된 동작모드에서 자율주행하는 청소로봇에 탑재되는 오염물 인식장치로서, 상기 저장모드 및 청소모드에서 동작하며, 특정 공간의 일정영역의 각 바닥면을 순차적으로 촬영하는 촬영부; 상기 저장모드 및 청소모드에서 동작하며, 상기 촬영부로부터 순차적으로 입력되는 각 바닥면 영상에 대하여 전체적인 윤곽을 선명하게 하는 전처리부; 상기 저장모드에서 동작하며, 상기 전처리부로부터 수신된 각 바닥면 영상에 대하여 특징벡터를 추출하여 학습하고 이미지 스티칭 및 매핑을 하여 상기 특정 공간에 대한 기준 바닥면 영상을 설정하는 기준정보 학습부; 상기 저장모드에서 동작하며, 상기 기준정보 학습부에 의해 설정된 상기 특정 공간에 대한 기준 바닥면 영상을 저장하는 저장부; 상기 청소모드에서 동작하며, 상기 전처리부로부터 상기 특정 공간에 대해 전처리된 각 바닥면 영상을 수신하고 상기 수신한 전처리된 각 바닥면 영상을 상기 저장부에 저장된 동일 위치의 기준 바닥면 영상과 비교하여 오염물이 존재하는지를 검출하는 오염물 검출부; 및 상기 청소모드에서 동작하며, 상기 오염물 검출부에 의해 검출된 오염물이 실제 오염물인지 아니면 장애물인지를 검증하는 오염물 검증부를 포함하며, 상기 전처리부는 상기 설정된 동작모드가 상기 저장모드인 경우에 전처리한 바닥면 영상을 상기 기준정보 학습부에 제공하고, 상기 설정된 동작모드가 상기 청소모드인 경우에 전처리한 바닥면 영상을 오염물 검출부에 제공하며, 상기 촬영부에서 순차적으로 촬영한 상기 바닥면의 영상에 대해 상기 전처리 동작을 수행하여 이미지 처리한 후, 상기 기준정보 학습부를 통해 상기 이미지 처리된 바닥면 영상 각각을 이미지 스태칭하고, 상기 이미지 처리된 바닥면 영상 각각에 대하여 특징 벡터를 추출하여 학습하고 상기 학습된 특징 벡터를 위치정보와 맵핑한다.
삭제
삭제
삭제
상기 과제를 해결하기 위한 일 실시 예에 따른 오염물 검출방법은 저장모드 및 청소모드로 설정된 동작모드에서 자율주행하는 청소로봇에 탑재되고, 촬영부, 전처리부, 기준정보 학습부, 저장부, 오염물 검출부, 오염물 검증부, 오염물 학습부, 오염물 제거부, 장애물 회피부를 포함하는 오염물 인식장치에 의한 오염물검출 방법으로서, 상기 저장모드에서 동작하며, 상기 촬영부에서 촬영한 전체 바닥면 영상을 상기 전처리부를 통해 전처리하고, 상기 전처리한 전체 바닥면 영상을 상기 기준정보 학습부를 통해 학습시킨 후, 상기 학습된 전체 바닥면 영상을 기준 바닥면 영상으로 상기 저장부에 저장하는 단계; 상기 청소모드에서 동작하며, 상기 촬영부가 바닥면 영상을 촬영하는 단계; 상기 청소모드에서 동작하며, 상기 촬영한 바닥면 영상을 상기 전처리부를 통해 전처리하고, 상기 전처리한 바닥면 영상의 위치정보를 파악하여 상기 오염물 검출부가 상기 저장부로부터 읽어들인 동일한 위치의 기준 바닥면 영상과 상기 촬영한 바닥면 영상을 비교하는 단계; 상기 청소모드에서 동작하며, 상기 오염물 검출부를 통한 영상 비교를 통해, 상기 저장부로부터 읽어들인 동일한 위치의 기준 바닥면 영상과 상기 촬영한 바닥면 영상에서 차이가 나는 부분이 있으면 상기 차이가 나는 부분을 오염물이라고 판단하고, 상기 차이가 나는 부분이 없으면 오염물이 검출되지 않은 것으로 판단하는 단계; 상기 청소모드에서 동작하며, 상기 저장부로부터 읽어들인 동일한 위치의 기준 바닥면 영상과 상기 촬영한 바닥면 영상에서 상기 오염물을 검출하면, 상기 오염물 검증부에게 위치정보와 함께 오염물 검출을 알려 상기 오염물 검증부가 해당 오염물의 높이 정보를 통해 오염물이 맞는지 또는 장애물인지를 파악하게 하는 단계; 상기 청소모드에서 동작하며, 상기 오염물 검증부가 상기 검출한 오염물이 장애물이라고 판단하면, 상기 장애물 회피부가 장애물 회피 동작을 수행하게 하는 단계; 상기 청소모드에서 동작하며, 상기 오염물 검증부가 상기 검출한 오염물이 실제 오염물이라고 판단하면, 상기 오염물 제거부가 오염물을 제거하게 하는 단계; 및 상기 청소모드에서 동작하며, 상기 오염물 제거부가 제거한 오염물을 상기 오염물 학습부에서 분석하고 분석한 결과를 학습하게 하는 단계를 포함하며, 상기 전처리부는 상기 설정된 동작모드가 상기 저장모드인 경우에 전처리한 바닥면 영상을 상기 기준정보 학습부에 제공하고, 상기 설정된 동작모드가 상기 청소모드인 경우에 전처리한 바닥면 영상을 오염물 검출부에 제공하며, 상기 촬영부에서 순차적으로 촬영한 상기 바닥면의 영상에 대해 상기 전처리 동작을 수행하여 이미지 처리한 후, 상기 기준정보 학습부를 통해 상기 이미지 처리된 바닥면 영상 각각을 이미지 스태칭하고, 상기 이미지 처리된 바닥면 영상 각각에 대하여 특징 벡터를 추출하여 학습하고 상기 학습된 특징 벡터를 위치정보와 맵핑한다.
도 1은 본 발명의 실시 예에 따른 오염물 인식장치의 블록 구성도이다.
도 2는 본 발명의 실시 예에 따른 오염물 인식장치의 동작 순서도이다.
도 3은 본 발명의 실시 예에 따른 오염물 인식장치에서 이용되는 기준 바닥면 영상을 보인 도면이다.
도 4는 본 발명의 실시 예에 따른 오염물 인식장치에서 바닥면의 오염물을 검출하는 방법을 보인 순서도이다.
도 5는 본 발명의 실시 예에 따른 오염물 인식장치에서 기준 바닥면 영상을 설정하는 방법을 보인 순서도이다.
아래에서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자들(이하, 통상의 기술자들)이 본 발명을 용이하게 실시할 수 있도록, 첨부되는 도면들을 참조하여 몇몇 실시 예가 명확하고 상세하게 설명될 것이다. 또한, 명세서에서 사용되는 "부" 이라는 용어는 하드웨어 구성요소 또는 회로를 의미할 수 있다.
이하에서는 첨부한 도면을 참조로 하여 본 발명의 실시 예에 따른 오염물 인식장치를 설명한다.
도 1은 본 발명의 실시 예에 따른 오염물 인식장치의 블록 구성도이다. 도 1을 참고하면, 본 발명의 실시 예에 따른 오염물 인식장치(100)는 자율주행을 통해 청소 및 오염물을 제거하는 청소 로봇에 탑재되는 여러개의 장치 중 하나의 장치이다.
이러한 본 발명의 실시 예에 따른 오염물 인식장치(100)는 촬영부(110), 전처리부(120), 기준정보 학습부(130), 저장부(140), 오염물 검출부(150), 오염물 검증부(160) 및 오염물 학습부(170)를 포함한다.
촬영부(110)는 일정영역의 바닥면을 순차적으로 촬영하고 촬영한 각 바닥면 영상을 전처리부(130)에 제공한다.
전치리부(120)는 촬영부(110)로부터 순차적으로 입력되는 각 바닥면 영상 각각에 대하여 전체적인 윤곽을 선명하게 하는 기능을 수행한다. 즉, 전처리부(120)는 촬영부(110)를 통해 획득된 영상에 대하여 조명으로 인한 특정 대상 인식의 불명확성을 없애도록 전처리 과정을 거친다. 이러한 전처리부(120)는 입력되는 모든 바닥면 영상에 대하여 전처리 과정을 수행한다. 그리고 전처리부(120)는 설정된 동작모드가 저장모드인 경우에 전처리한 바닥면 영상을 기준정보 학습부(130)에 제공하고, 청소모드인 경우에 전처리한 바닥면 영상을 오염물 검출부(150)에 제공한다.
기준정보 학습부(130)는 청소할 바닥면에 대한 기준 바닥면 영상을 학습(예: 딥러닝 학습)하고 생성한다. 기준정보 학습부(130)는 저장모드에서 동작하며, 전처리부(120)에서 전처리한 바닥면 영상을 수신하고, 수신한 바닥면 영상에서 특징벡터를 추출한 후 추출한 특징벡터를 이용하여 학습을 수행한다. 여기서, 특징벡터는 해당 영상이 바닥면인지를 구별하는 분류 기준으로 이용되고, 동일 위치의 이전 바닥면 영상과의 차이점을 파악하는 기준으로 이용된다.
그리고, 기준정보 학습부(130)는 도 2의 (b)에 도시된 바와 같이 특징벡터를 추출한 각 바닥면 영상을 이미지 스티칭(image stitching)을 통해 이어 붙이고 바닥면의 위치정보(실내 좌표정보 또는 GPS 정보 등)와 매핑하여 저장부(130)에 저장한다. 이때, 기준정보 학습부(130)에 의해 저장된 각 바닥면 영상은 기준 바닥면 영상(도 2의 (c) 참고)으로 저장된다.
한편, 본 발명의 다른 실시 예에 따르면, 기준정보 학습부(130)는 인터넷상에 위치한 제1 서버(미도시)의 구성으로 구현할 수 있다. 이 경우에 오염물 인식장치(100)는 청소로봇에 탑재된 통신모듈(미도시)을 통해 제1 서버에 전처리된 바닥면의 영상을 제공하고, 제1 서버의 기준정보 학습부(130)가 전처리된 바닥면 영상을 처리하고 학습하여 제1 서버의 저장부(미도시)에 저장한다.
저장부(140)는 기준정보 학습부(130)에 의해 저장된 하나의 실내 또는 실외 공간에 대한 기준 바닥면 영상을 저장하고 있다.
오염물 검출부(150)는 청소모드에서 동작하며, 전처리부(120)로부터 각 바닥면 영상을 수신하고 수신한 각 바닥면 영상을 위치정보를 기반으로 저장부(140)에 저장된 기준 바닥면 영상과 비교하여 오염물(A, 도 3 참조)이 존재하는지를 검출한다.
오염물 검증부(160)는 뎁스 카메라(미도시)를 포함하며, 뎁스 카메라를 이용하여 오염물 검출부(150)에서 검출한 오염물(A)이 실제로 오염물인지 또는 장애물인지를 파악한다. 예컨대, 오염물 검증부(160)는 오염물 검출부(150)에서 검출한 오염물(A)에 대하여 뎁스 카메라를 통해 바닥면을 기준으로 한 높이를 측정하고, 측정한 오염물의 높이가 설정높이 이하이면 오염물로 인식하고, 측정한 오염물의 높이가 설정높이를 초과하면 장애물로 인식한다.
여기서, 오염물 검증부(160)는 오염물 제거부(210)와 장애물 회피부(220)와 연동한다. 즉, 오염물 검증부(160)에 의해 검출된 오염물(A)이 실제 오염물인지 장애물인 지의 판단의 결과에 따라 오염물 제거부(210) 또는 장애물 회피부(220)가 선택적으로 동작한다.
오염물 제거부(210)는 오염물 검증부(160)에서 인식한 오염물(A)을 제거한다. 이때의 제거는 오염물이 고체인지 또는 액체인지에 따라 그 방법을 달리한다. 예컨대, 고체인 경우에 오염물에 물을 공급하여 바닥면과의 흡착 정도를 떨어뜨린 후 흡입하거나, 오염물의 바닥면을 긁어 오염물을 제거한다. 또한 예컨대 액체인 경우에 오염물을 강력한 바람으로 흡입하거나 흡수력이 좋은 걸레를 이용하여 제거한다. 장애물 회피부(220)는 오염물 검증부(160)에서 인식한 장애물을 회피하여 주행하게 한다.
오염물 학습부(170)는 오염물 제거부(210)에 의해 제거된 오염물(A)의 종류를 파악하고 학습(예; 딥러닝 학습)한다. 한편, 오염물 학습부(170)는 제1 서버의 구성으로 구현될 수 있다.
이하에서는 본 발명의 실시 예에 따른 오염물 인식장치의 동작을 도 2 내지 도 5를 참조로 하여 설명한다.
설명에 앞서, 도 2의 (a)에 도시된 실내 공간을 일 예로 하여 설명한다.
도 2는 본 발명의 실시 예에 따른 오염물 인식장치의 동작 순서를 보인 도면으로서, 사용자가 청소로봇의 입력장치(미도시)를 조작하여 동작모드를 저장모드로 설정하고, 동작 시작을 지시한다. 그러면 오염물 인식장치(100)는 촬영부(110)를 이용하여 도 2의 (a)에 도시된 실내 공간에 대하여 하나의 가장자리를 기준으로 일정영역을 촬영하고 다시 촬영한 영상의 바로 옆의 일정영역을 촬영하는 동작을 반복하여 전체 바닥면에 대하여 촬영을 한다.
그리고 오염물 인식장치(100)는 촬영한 전체 바닥면 영상을 전처리부(120)를 통해 전처리하고, 기준정보 학습부(130)를 통해 전처리한 전체 바닥면 영상을 학습시킨 후 도 2의 (c)에 도시된 학습된 전체 바닥면 영상을 기준 바닥면 영상으로 저장한다(S401).
이때, 도 2의 (c)에 도시된 기준 바닥면 영상에서 청소로봇이 자유로이 이동할 수 있는 공간을 하나의 청소공간으로 구분하여 기준 바닥면 영상을 설정하고 관리한다. 예컨대, 오염물 인식장치(100)는 벽이나 다른 구조물로 구분된 3개의 바닥면(S1, S2, S3)을 각각 구분하고 3개의 바닥면(S1, S2, S3) 각각에 식별정보를 부여하여 각각의 기준 바닥면 영상을 관리한다.
이후, 사용자는 청소로봇을 이용하여 청소를 하고자 하는 경우에 동작모드를 청소모드로 설정하고 청소할 공간에 대한 청소를 지시한다.
여기서, 오염물 인식장치(100)는 청소 지시에 따라 청소할 공간에 대한 인식을 한다. 이때 청소할 공간에 대한 인식은 사용자가 해당 공간에 대한 식별정보(또는 이에 대응하는 정보)를 선택함에 따라 인식하거나, 청소로봇이 스스로 측정한 현재위치를 기반으로 인식한다. 또는, 기준정보 학습부(130)가 제1 서버에 위치하고 있는 경우에, 오염물 인식장치(100)는 사용자가 선택한 공간에 대한 식별정보를 제1 서버에 제공하거나, 현재위치를 제1 서버에 제공하여 청소할 공간에 대해 인식한다.
사용자의 동작 지시에 따라 청소로봇은 동작을 시작하고, 이와 동시에 오염물 인식장치(100)는 촬영부(110)를 이용하여 바닥면을 촬영하고(S402), 현재 촬영한 바닥면 영상을 전처리부(120)를 통해 전처리한 후 전처리한 바닥면 영상의 위치정보를 파악하고, 오염물 검출부(150)를 이용하여 저장부(140)로부터 읽어들인 동일한 위치의 기준 바닥면 영상과 현재 촬영한 바닥면 영상을 비교한다(S403).
오염물 인식장치(100)는 오염물 검출부(150)를 통한 영상 비교를 통해 도 4에 도시된 바와 같이, 촬영한 바닥면 영상과 기준 바닥면 영상에서 차이가 나는 부분이 있으면 차이가 나는 부분을 오염물(A)이라고 판단하고, 차이가 나는 부분이 없으면 오염물(A)이 검출되지 않은 것으로 판단한다(S404).
S404 과정에서, 오염물 인식장치(100)는 기준 바닥면 영상에 대해 오염물이라고 할만한 객체가 발견되지 않으면 기 설정된 일반적인 청소나 살균 동작을 수행한다.
반면에, 오염물 인식장치(100)는 S404 과정을 통해 기준 바닥면 영상에 대해 오염물(A)을 검출하면, 오염물 검증부(160)에게 위치정보와 함께 오염물 검출을 알려 오염물 검증부(160)가 해당 오염물의 높이 정보를 통해 오염물이 맞는지 또는 장애물인지를 파악하게 한다(S405).
오염물 인식장치(100)는 오염물 검증부(160)를 통해 검출한 오염물이 장애물이라고 판단하면 장애물 회피부(220)를 통해 회피 동작을 수행하게 하고(S406), 실제 오염물이라고 판단하면, 오염물 제거부(210)를 통해 오염물을 제거한다(S407).
그리고 오염물 인식장치(100)는 오염물을 제거하는 경우에 제거한 오염물(A)을 오염물 학습부(170)에서 분석하고 분석한 결과를 학습하게 한다(S408).
전술한 S403 과정 내지 S408 과정은 청소할 하나의 공간의 모든 영역에 대해 수행될 때까지 반복 수행되고, 모든 영역에 대한 수행이 완료되면 오염물 인식장치(100)는 청소 종료라고 판단하고 동작을 중지한다(S409).
이하에서는 도 2와 도 5를 참조로 하여 기준 바닥면 영상을 설명하는 과정을 보다 상세히 설명한다. 도 2는 본 발명의 실시 예에 따른 오염물 인식장치의 동작순서를 보인 도면이고, 도 5는 본 발명의 실시 예에 따른 오염물 인식장치에서 기준 바닥면 영상을 설정하는 방법을 보인 순서도이다.
사용자는 도 2에 도시된 공간(10)의 제1 바닥면(11)에 청소로봇을 위치시킨 후 저장모드를 선택한다. 이에 청소로봇은 사용자의 선택에 대응하여 동작모드를 저장모드로 설정한다(S501).
사용자는 저장모드를 설정한 후, 청소로봇을 조작하여 공간(10)을 선택하고, 다음으로 3개의 바닥면(11, 12, 13) 중 제1 바닥면(11)을 선택한 후 동작을 지시한다. 여기서, 공간(10)은 제1 바닥면(11), 제2 바닥면(12) 및 제3 바닥면(13), 총 3개의 바닥면(11, 12, 13)을 가진다.
오염물 인식장치(100)는 사용자의 동작지시에 따라 현재 설정된 동작모드가 저장모드임을 파악하고, 촬영부(110)를 통해 제1 바닥면(11)의 일정영역을 순차적으로 촬영하게 한다(S502).
오염물 인식장치(100)는 촬영부(110)에서 촬영한 제1 바닥면의 영상에 대해 전처리 동작을 수행하여 이미지 처리가 용이하도록 한 후, 기준정보 학습부(130)를 통해 도 2의 (b)와 같이 다수의 영상을 이미지 스태칭하여 이웃하는 영상들끼리 연결시키며 각 영상에 대하여 특징 벡터를 추출하여 학습하고 바닥면의 위치정보와 맵핑한다(S503).
오염물 인식장치(100)는 청소로봇의 주행부(미도시)와 연동하여 S502 과정 및 S503 과정을 처리하고, 주행부는 제1 바닥면(11)의 전체를 설정된 경로로 주행하여 오염물 인식장치(100)가 제1 바닥면의 전체에 대하여 S502 과정 및 S503 과정을 수행하게 한다(S504).
이에 따라 오염물 인식장치(100)는 제1 바닥면의 전체에 대하여 S502 과정 및 S503 과정이 수행되었으면 제1 바닥면(11)에 대하여 촬영하여 저장된 바닥면의 영상을 제1 바닥면(11)에 대한 기준 바닥면 영상으로 저장부(140)에 저장한다(S505).
여기서 제1 바닥면(11)에 대한 기 저장된 기준 바닥면 영상이 있는 경우에, 기준정보 학습부(130)는 현재 파악한 기준 바닥면 영상을 기 저장된 바닥면 영상과 비교하여 차이가 있는지를 파악하며, 차이가 있는 경우에 기 저장된 바닥면 영상을 갱신한다.
한편, 전술한 실시 예에서는 기준정보 학습부(130)가 청소로봇에 탑재된 경우를 일 예로 한 것이며, 기준정보 학습부(130)가 제1 서버에 탑재된 경우는 통상의 기술자가 도 5를 참조로 하여 용이하게 이해할 수 있으므로 자세한 설명은 생략한다.
상기 설명들은 본 발명을 구현하기 위한 예시적인 구성들 및 동작들을 제공하도록 의도된다. 본 발명의 기술 사상은 위에서 설명된 실시 예들뿐만 아니라, 위 실시 예들을 단순하게 변경하거나 수정하여 얻어질 수 있는 구현들도 포함할 것이다. 또한, 본 발명의 기술 사상은 위에서 설명된 실시 예들을 앞으로 용이하게 변경하거나 수정하여 달성될 수 있는 구현들도 포함할 것이다.
100: 오염물 인식장치 110: 촬영부
120: 전처리부 130: 기준정보 학습부
140: 저장부 150: 오염물 검출부
160: 오염물 검증부 170: 오염물 학습부
210: 오염물 제거부 220 : 장애물 회피부

Claims (7)

  1. 저장모드 및 청소모드로 설정된 동작모드에서 자율주행하는 청소로봇에 탑재되는 오염물 인식장치로서,
    상기 저장모드 및 청소모드에서 동작하며, 특정 공간의 일정영역의 각 바닥면을 순차적으로 촬영하는 촬영부;
    상기 저장모드 및 청소모드에서 동작하며, 상기 촬영부로부터 순차적으로 입력되는 각 바닥면 영상에 대하여 전체적인 윤곽을 선명하게 하는 전처리부;
    상기 저장모드에서 동작하며, 상기 전처리부로부터 수신된 각 바닥면 영상에 대하여 특징벡터를 추출하여 학습하고 이미지 스티칭 및 매핑을 하여 상기 특정 공간에 대한 기준 바닥면 영상을 설정하는 기준정보 학습부;
    상기 저장모드에서 동작하며, 상기 기준정보 학습부에 의해 설정된 상기 특정 공간에 대한 기준 바닥면 영상을 저장하는 저장부;
    상기 청소모드에서 동작하며, 상기 전처리부로부터 상기 특정 공간에 대해 전처리된 각 바닥면 영상을 수신하고 상기 수신한 전처리된 각 바닥면 영상을 상기 저장부에 저장된 동일 위치의 기준 바닥면 영상과 비교하여 오염물이 존재하는지를 검출하는 오염물 검출부; 및
    상기 청소모드에서 동작하며, 상기 오염물 검출부에 의해 검출된 오염물이 실제 오염물인지 아니면 장애물인지를 검증하는 오염물 검증부를 포함하며,
    상기 전처리부는 상기 설정된 동작모드가 상기 저장모드인 경우에 전처리한 바닥면 영상을 상기 기준정보 학습부에 제공하고, 상기 설정된 동작모드가 상기 청소모드인 경우에 전처리한 바닥면 영상을 오염물 검출부에 제공하며,
    상기 촬영부에서 순차적으로 촬영한 상기 바닥면의 영상에 대해 상기 전처리 동작을 수행하여 이미지 처리한 후, 상기 기준정보 학습부를 통해 상기 이미지 처리된 바닥면 영상 각각을 이미지 스태칭하고, 상기 이미지 처리된 바닥면 영상 각각에 대하여 특징 벡터를 추출하여 학습하고 상기 학습된 특징 벡터를 위치정보와 맵핑하는 오염물 인식장치.
  2. 제1항에 있어서,
    상기 청소모드에서 동작하며, 상기 오염물 검증부에 의해 검증된 오염물의 종류를 파악하고 학습하는 오염물 학습부를 더 포함하는 오염물 인식장치.
  3. 제1항에 있어서,
    상기 청소모드에서 동작하며, 상기 오염물 검증부가 상기 오염물 검출부에 의해 검출된 오염물이 실제 오염물이라고 판단하면, 상기 오염물 검증부의 지시에 기초하여 오염물을 제거하는 오염물 제거부; 및
    상기 청소모드에서 동작하며, 상기 오염물 검증부가 상기 오염물 검출부에 의해 검출된 오염물이 장애물이라고 판단하면, 상기 오염물 검증부의 지시에 기초하여 장애물을 회피하게 하는 장애물 회피부를 더 포함하는 오염물 인식장치.
  4. 제3항에 있어서,
    상기 오염물 검증부는 뎁스 카메라를 이용하여 상기 오염물 검출부에서 검출한 오염물에 대하여 바닥면으로부터의 높이를 측정하고, 상기 측정한 높이가 설정높이 이하이면 오염물로 인식하며, 상기 측정한 높이가 설정높이를 초과하면 장애물로 인식하는 오염물 인식장치.
  5. 저장모드 및 청소모드로 설정된 동작모드에서 자율주행하는 청소로봇에 탑재되고, 촬영부, 전처리부, 기준정보 학습부, 저장부, 오염물 검출부, 오염물 검증부, 오염물 학습부, 오염물 제거부, 장애물 회피부를 포함하는 오염물 인식장치에 의한 오염물검출 방법으로서,
    상기 저장모드에서 동작하며, 상기 촬영부에서 촬영한 전체 바닥면 영상을 상기 전처리부를 통해 전처리하고, 상기 전처리한 전체 바닥면 영상을 상기 기준정보 학습부를 통해 학습시킨 후, 상기 학습된 전체 바닥면 영상을 기준 바닥면 영상으로 상기 저장부에 저장하는 단계;
    상기 청소모드에서 동작하며, 상기 촬영부가 바닥면 영상을 촬영하는 단계;
    상기 청소모드에서 동작하며, 상기 촬영한 바닥면 영상을 상기 전처리부를 통해 전처리하고, 상기 전처리한 바닥면 영상의 위치정보를 파악하여 상기 오염물 검출부가 상기 저장부로부터 읽어들인 동일한 위치의 기준 바닥면 영상과 상기 촬영한 바닥면 영상을 비교하는 단계;
    상기 청소모드에서 동작하며, 상기 오염물 검출부를 통한 영상 비교를 통해, 상기 저장부로부터 읽어들인 동일한 위치의 기준 바닥면 영상과 상기 촬영한 바닥면 영상에서 차이가 나는 부분이 있으면 상기 차이가 나는 부분을 오염물이라고 판단하고, 상기 차이가 나는 부분이 없으면 오염물이 검출되지 않은 것으로 판단하는 단계;
    상기 청소모드에서 동작하며, 상기 저장부로부터 읽어들인 동일한 위치의 기준 바닥면 영상과 상기 촬영한 바닥면 영상에서 상기 오염물을 검출하면, 상기 오염물 검증부에게 위치정보와 함께 오염물 검출을 알려 상기 오염물 검증부가 해당 오염물의 높이 정보를 통해 오염물이 맞는지 또는 장애물인지를 파악하게 하는 단계;
    상기 청소모드에서 동작하며, 상기 오염물 검증부가 상기 검출한 오염물이 장애물이라고 판단하면, 상기 장애물 회피부가 장애물 회피 동작을 수행하게 하는 단계;
    상기 청소모드에서 동작하며, 상기 오염물 검증부가 상기 검출한 오염물이 실제 오염물이라고 판단하면, 상기 오염물 제거부가 오염물을 제거하게 하는 단계; 및
    상기 청소모드에서 동작하며, 상기 오염물 제거부가 제거한 오염물을 상기 오염물 학습부에서 분석하고 분석한 결과를 학습하게 하는 단계를 포함하며,
    상기 전처리부는 상기 설정된 동작모드가 상기 저장모드인 경우에 전처리한 바닥면 영상을 상기 기준정보 학습부에 제공하고, 상기 설정된 동작모드가 상기 청소모드인 경우에 전처리한 바닥면 영상을 오염물 검출부에 제공하며,
    상기 촬영부에서 순차적으로 촬영한 상기 바닥면의 영상에 대해 상기 전처리 동작을 수행하여 이미지 처리한 후, 상기 기준정보 학습부를 통해 상기 이미지 처리된 바닥면 영상 각각을 이미지 스태칭하고, 상기 이미지 처리된 바닥면 영상 각각에 대하여 특징 벡터를 추출하여 학습하고 상기 학습된 특징 벡터를 위치정보와 맵핑하는 오염물 검출 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 오염물 검증부는 뎁스 카메라를 이용하여 상기 오염물 검출부에서 검출한 오염물에 대하여 바닥면으로부터의 높이를 측정하고, 상기 측정한 높이가 설정높이 이하이면 오염물로 인식하며, 상기 측정한 높이가 설정높이를 초과하면 장애물로 인식하는 오염물 검출 방법.
KR1020210016245A 2021-02-04 2021-02-04 오염물 인식장치 KR102504411B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210016245A KR102504411B1 (ko) 2021-02-04 2021-02-04 오염물 인식장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210016245A KR102504411B1 (ko) 2021-02-04 2021-02-04 오염물 인식장치

Publications (2)

Publication Number Publication Date
KR20220112555A KR20220112555A (ko) 2022-08-11
KR102504411B1 true KR102504411B1 (ko) 2023-03-02

Family

ID=82803424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210016245A KR102504411B1 (ko) 2021-02-04 2021-02-04 오염물 인식장치

Country Status (1)

Country Link
KR (1) KR102504411B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024074658A (ja) * 2022-11-21 2024-05-31 三星電子株式会社 自律走行型の掃除ロボット

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571834B1 (ko) * 2004-02-27 2006-04-17 삼성전자주식회사 청소 로봇의 바닥 먼지 검출 방법 및 장치
KR20110010329A (ko) 2009-07-24 2011-02-01 주식회사 모뉴엘 청소로봇의 먼지인식 방법
KR101822942B1 (ko) 2012-07-18 2018-01-29 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR102500540B1 (ko) * 2018-04-02 2023-02-15 엘지전자 주식회사 구속 방지 필터를 구비하는 로봇 청소기
KR20200084449A (ko) * 2018-12-26 2020-07-13 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법

Also Published As

Publication number Publication date
KR20220112555A (ko) 2022-08-11

Similar Documents

Publication Publication Date Title
US11042760B2 (en) Mobile robot, control method and control system thereof
EP3590665B1 (en) Mobile robot and control method therefor
KR101629649B1 (ko) 로봇 청소기 및 로봇 청소기의 제어방법
KR102021833B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
CN105467985B (zh) 自移动表面行走机器人及其图像处理方法
KR101570377B1 (ko) 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
CN112462780B (zh) 扫地控制方法、装置、扫地机器人及计算机可读存储介质
KR20160048750A (ko) 로봇 청소기 및 로봇 청소기의 제어방법
KR101671148B1 (ko) 로봇 청소기 및 그의 제어방법
KR20190046201A (ko) 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
KR102504411B1 (ko) 오염물 인식장치
CN113679298B (zh) 机器人的控制方法、控制装置、机器人和可读存储介质
KR20150009048A (ko) 청소 로봇 및 그 제어 방법
Bormann et al. Autonomous dirt detection for cleaning in office environments
CN112056991A (zh) 机器人的主动清洁方法、装置、机器人和存储介质
KR102122236B1 (ko) 로봇 청소기 및 로봇 청소기의 제어 방법
WO2022135556A1 (zh) 一种清洁机器人及其清洁控制方法
CN111166238A (zh) 清洁禁区的处理方法、装置、设备及存储介质
WO2018193653A1 (ja) 移動装置、物体検出方法及びプログラム
KR100586648B1 (ko) 천장 영상을 이용한 청소용 로봇의 자기위치 추정방법
WO2023019922A1 (zh) 导航方法及自行走装置
JP7417944B2 (ja) 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
KR102431986B1 (ko) 로봇 청소기 및 이의 제어방법
KR102318756B1 (ko) 로봇 청소기 및 그의 제어방법
EP2325713B1 (en) Methods and systems for movement of robotic device using video signal

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)