KR101677634B1 - 로봇 청소기 및 이의 제어 방법 - Google Patents
로봇 청소기 및 이의 제어 방법 Download PDFInfo
- Publication number
- KR101677634B1 KR101677634B1 KR1020100067113A KR20100067113A KR101677634B1 KR 101677634 B1 KR101677634 B1 KR 101677634B1 KR 1020100067113 A KR1020100067113 A KR 1020100067113A KR 20100067113 A KR20100067113 A KR 20100067113A KR 101677634 B1 KR101677634 B1 KR 101677634B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot cleaner
- matching
- dimensional coordinate
- similarity
- point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004140 cleaning Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2868—Arrangements for power supply of vacuum cleaners or the accessories thereof
- A47L9/2873—Docking units or charging stations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/02—Floor surfacing or polishing machines
- A47L11/20—Floor surfacing or polishing machines combined with vacuum cleaning devices
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D—PROCESSES FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D1/00—Processes for applying liquids or other fluent materials
- B05D1/02—Processes for applying liquids or other fluent materials performed by spraying
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J17/00—Joints
- B25J17/02—Wrist joints
- B25J17/0258—Two-dimensional joints
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/02—Docking stations; Docking operations
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/09—Closed loop, sensor feedback controls arm movement
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
로봇 청소기 및 이의 제어 방법이 개시된다. 본 발명은, 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하여 특징점들을 정합하고, 3차원 좌표 정보를 갖는 정합점을 생성하여 위치를 인식하거나, 차원 좌표 정보를 갖는 정합점을 생성하여 위치를 인식함과 아울러 센서를 이용하여 검출한 이동 거리를 이용하여 검증함으로써 위치를 정밀하게 인식하고, 이에 따라 정밀하게 인식된 위치와 내부지도를 연계하여 청소 또는 주행을 수행한다.
Description
본 발명은 로봇 청소기에 관한 것으로서, 상방 카메라와 같은 영상 검출 유닛을 이용하여 자신의 위치를 정밀하게 인식하는 로봇 청소기 및 이의 제어 방법에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.
상기 로봇 청소기가 스스로 주행하면서 영역을 모두 청소하기 위해서는 청소지도를 작성하고, 작성된 청소지도 내에서 청소가 된 영역과 청소를 하여야 할 영역 등 청소 영역을 판단할 수 있어야 한다. 상기의 영역 판단 능력은 일반적으로 로봇 청소기의 정확한 제어 성능에 의해서 결정된다.
종래 기술에 따른 로봇 청소기는 제품의 크기, 가격 등의 문제로 인해 저가의 제어 센서를 사용함으로써 시간에 따라 제어의 오차가 크게 발생하는 문제점이 있다. 이에 따라, 종래 기술에 따른 로봇 청소기는 청소 공간이 넓어질수록 제어의 오차가 증대되고, 청소 성능이 저하되며, 효율이 떨어지는 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위한 것으로서, 상방 카메라와 같은 영상 검출 유닛을 이용하여 복수의 영상을 검출하고, 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하여 3차원 좌표 정보를 갖는 정합점을 생성하고, 이를 근거로 자기 위치를 정밀하게 인식하는 로봇 청소기 및 이의 제어 방법을 제공함에 일 목적이 있다.
본 발명은, 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하고, 특징점들을 정합하여 위치를 인식하고, 3차원 좌표 정보를 갖는 정합점을 생성하거나, 이와 더불어 센서를 이용하여 측정한 이동 거리를 이용하여 검증함으로써 자기 위치를 정밀하게 인식하는 로봇 청소기 및 이의 제어 방법을 제공함에 다른 목적이 있다.
상기 목적들을 달성하기 위한 본 발명에 따른 로봇 청소기는, 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 유닛과, 상기 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하는 특징점 추출 유닛과, 상기 특징점들의 상기 2차원 좌표 정보를 비교하여 상기 특징점들을 정합하는 특징점 정합 유닛과, 상기 특징점 정합 유닛의 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성하고, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식하는 제어 유닛과, 상기 3차원 좌표 정보를 갖는 상기 정합점을 저장하는 저장 유닛을 포함하여 구성된다. 여기서, 상기 2차원 좌표 정보는, 상기 영상에서의 위치, 방향, 및 기술자를 포함하고, 상기 기술자는, 상기 특징점의 추출 정보를 나타낸다.
본 발명에 따른 로봇 청소기에 있어서, 상기 제어 유닛은, 상기 2차원 좌표 정보를 이용하여 상기 영상 검출 유닛을 통해 검출된 둘 이상의 영상들 내의 복수의 특징점들 사이의 유사도를 연산하는 유사도 연산 모듈을 포함하고, 상기 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식한다. 또한, 상기 제어 유닛은, 상기 저장 유닛에 저장된 상기 정합점을 근거로 현재 영상에서의 특징점에 대한 다음 영상에서의 특징점의 예상 위치를 연산하는 예상 위치 연산 모듈을 더 포함한다. 상기 제어 유닛은, 상기 유사도가 가장 큰 특징점을 이용하여 인식된 위치를 상기 예상 위치 연산 모듈을 통해 연산된 예상 위치를 근거로 검증한다.
본 발명에 따른 로봇 청소기는, 바퀴를 구동하여 로봇 청소기를 이동하는 구동 유닛과, 상기 바퀴에 연결되어 이동 거리를 측정하는 거리 측정 유닛을 더 포함하여 구성된다. 여기서, 상기 제어 유닛은, 상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하는 보정 상수 생성 모듈을 더 포함하여 구성된다. 상기 유사도 연산 모듈은, 상기 보정 상수를 근거로 상기 유사도를 재연산하고, 재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식한다.
본 발명에 따른 로봇 청소기는, 주변의 장애물을 검출하는 장애물 검출 유닛을 더 포함하고, 상기 제어 유닛은, 상기 장애물을 근거로 내부지도를 생성하고, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정한다. 여기서, 상기 제어 유닛은, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하고, 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행한다.
상기 목적들을 달성하기 위한 본 발명에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 단계와, 상기 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하는 특징점 추출 단계와, 상기 특징점들의 상기 2차원 좌표 정보를 비교하여 상기 특징점들을 정합하는 특징점 정합 단계와, 상기 특징점 정합 유닛의 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성하는 정합점 생성 단계와, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식하는 위치 인식 단계를 포함하여 구성된다.
본 발명에 따른 로봇 청소기의 제어 방법은, 상기 3차원 좌표 정보를 갖는 상기 정합점을 저장하는 저장 단계를 더 포함하여 구성된다.
본 발명에 따른 로봇 청소기의 제어 방법에 있어서, 상기 2차원 좌표 정보는, 상기 영상에서의 위치, 방향, 및 기술자를 포함하고, 상기 기술자는, 상기 특징점의 추출 정보를 나타낸다.
본 발명에 따른 로봇 청소기의 제어 방법에 있어서, 상기 특징점 정합 단계는, 상기 2차원 좌표 정보를 이용하여 둘 이상의 영상들 내의 복수의 특징점들 사이의 유사도를 연산하는 과정을 포함하고, 상기 위치 인식 단계는, 상기 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 과정을 포함하여 구성된다.
본 발명에 따른 로봇 청소기의 제어 방법은, 상기 정합점을 근거로 현재 영상에서의 특징점에 대한 다음 영상에서의 특징점의 예상 위치를 연산하는 예상 위치 연산 단계를 더 포함하여 구성된다. 여기서, 상기 위치 인식 단계는, 상기 인식된 위치를 상기 예상 위치 연산 단계에서 연산된 예상 위치를 근거로 검증하는 과정을 더 포함하여 구성된다.
본 발명에 따른 로봇 청소기의 제어 방법은, 바퀴에 연결된 센서를 이용하여 이동 거리를 측정하는 이동 거리 측정 단계와, 상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하는 보정 상수 생성 단계를 더 포함하여 구성된다. 여기서, 상기 위치 인식 단계는, 상기 보정 상수를 근거로 상기 유사도를 재연산하는 과정과, 재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 과정을 포함하여 구성된다.
본 발명에 따른 로봇 청소기의 제어 방법은, 주변의 장애물을 검출하는 장애물 검출 단계와, 상기 장애물을 근거로 내부지도를 생성하는 지도 생성 단계와, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 단계와, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하는 단계와, 상기 수정된 청소경로 또는 상기 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 수행 단계를 더 포함하여 구성된다.
본 발명에 따른 로봇 청소기 및 이의 제어 방법은, 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하여 특징점들을 정합하고, 3차원 좌표 정보를 갖는 정합점을 생성하여 위치를 인식하거나, 3차원 좌표 정보를 갖는 정합점을 생성하거나, 또는 이와 더불어 센서를 이용하여 측정한 이동 거리를 이용하여 검증함으로써 위치를 정밀하게 인식할 수 있다.
본 발명에 따라 정밀하게 인식된 위치와 내부지도를 연계하여 청소 또는 주행을 수행함으로써 시스템의 효율을 증대하는 효과가 있다.
도 1은 본 발명에 따른 로봇 청소기의 외관을 개략적으로 보인 사시도;
도 2는 본 발명에 따라 특징점을 추출하는 동작을 설명하기 위한 도;
도 3 내지 도 5는 본 발명의 실시예들에 따른 로봇 청소기의 구성을 개략적으로 보인 블록도;
도 6은 본 발명에 따라 3차원 특징점을 3차원 좌표 정보를 갖는 정합점을 생성하는 동작을 설명하기 위한 도;
도 7은 본 발명에 따라 로봇 청소기의 위치를 인식하는 동작을 설명하기 위한 도;
도 8 내지 도 10은 본 발명의 실시예들에 따른 로봇 청소기의 제어 방법을 개략적으로 보인 흐름도이다.
도 2는 본 발명에 따라 특징점을 추출하는 동작을 설명하기 위한 도;
도 3 내지 도 5는 본 발명의 실시예들에 따른 로봇 청소기의 구성을 개략적으로 보인 블록도;
도 6은 본 발명에 따라 3차원 특징점을 3차원 좌표 정보를 갖는 정합점을 생성하는 동작을 설명하기 위한 도;
도 7은 본 발명에 따라 로봇 청소기의 위치를 인식하는 동작을 설명하기 위한 도;
도 8 내지 도 10은 본 발명의 실시예들에 따른 로봇 청소기의 제어 방법을 개략적으로 보인 흐름도이다.
이하 첨부한 도면을 참조하여 본 발명에 따른 로봇 청소기 및 로봇 청소기의 제어 방법을 상세히 설명한다.
도 1 및 도 3을 참조하면, 본 발명에 따른 로봇 청소기는, 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 유닛(100)과, 상기 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하는 특징점 추출 유닛(200)과, 상기 특징점들의 상기 2차원 좌표 정보를 비교하여 상기 특징점들을 정합하는 특징점 정합 유닛(300)과, 상기 특징점 정합 유닛의 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성하고, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식하는 제어 유닛(400)과, 상기 3차원 좌표 정보를 갖는 상기 정합점을 저장하는 저장 유닛(500)을 포함하여 구성된다.
상기 영상 검출 유닛(100)은, 로봇 청소기의 상부에 설치되고, 상방을 촬영하여 상방 영상을 검출하는 상방 카메라이거나, 또는 전방을 촬영하여 전방 영상을 검출하는 전방 카메라이다. 도 2를 참조하면, 상기 영상 검출 유닛(100)을 통해 검출된 영상에서 상기 특징점들은 천장을 포함하는 상방 영역 또는 전방에 존재하는 형광등, 인테리어 구조물 등의 자연 표식이다. 또한, 상기 영상 검출 유닛(100)은, 렌즈를 포함할 수 있는데, 상기 렌즈로는 소정의 위치에서도 상방 또는 전방의 모든 영역, 예를 들어 천장의 모든 영역이 촬영될 수 있도록 화각이 넓은 렌즈, 예를 들어 화각이 160도 이상을 사용하는 것이 좋다.
상기 특징점 추출 유닛(200)은, 상기 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출한다. 여기서, 상기 2차원 좌표 정보는, 상기 영상에서의 위치, 방향, 및 기술자로 구성된 특징점 정보를 구비하고, 상기 기술자는, 상기 특징점의 추출 정보를 나타낸다. 상기 기술자는, 상기 특징점의 특징을 나타내는 것으로서, 상기 영상에서 상기 특징점을 포함하는 일정한 크기의 행렬이 된다. 상기 기술자는, 영상으로부터 추출된 위치에서의 구조물의 형태 또는 모양을 포함한다.
상기 특징점들 간에는 유사도를 판별하는 특징점 공간에서의 거리가 존재한다. 즉, 상기 거리가 짧으면 상기 특징점들은 큰 유사도를 가지고, 상기 거리가 길면 상기 특징점들의 유사도는 작아진다. 상기 특징점은, 예를 들어, (x1,i, y1 ,i), (x2,i, y2 ,i)와 같이 표시될 수 있다. 이때, 특징점들 사이의 거리(Δ)는, 하기 수학식 1과 같이 쓸 수 있다.
상기 특징점 정합 유닛(300)은, 상기 특징점들의 상기 2차원 좌표 정보를 비교하여 상기 특징점들을 정합한다. 상기 특징점 정합 유닛(300)은, 예를 들어, 상기 수학식 1을 이용하여 그 거리가 일정 거리 이하이면 이를 동일한 특징점으로 판단하여 정합한다.
상기 제어 유닛(400)은, 상기 특징점 정합 유닛(300)의 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성한다. 또한, 상기 저장 유닛(500)은, 상기 3차원 좌표 정보를 갖는 정합점을 저장한다.
상기 제어 유닛(400)은, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식한다. 먼저 상기 제어 유닛(400)은, 상기 특징점들의 2차원 좌표 정보들을 이용하여 특징점들 간의 거리를 이용하여 유사도를 연산하고, 상기 유사도를 이용하여 상기 특징점들을 정합하며, 이를 이용하여 로봇 청소기의 위치 변화를 인식한다. 그런 다음, 상기 정합점의 3차원 좌표 정보를 이용하여 특징점들 간의 정합 결과를 검증한다.
상기 제어 유닛(400)은, 상기 정합점들을 이용하여 변환 행렬을 생성할 수 있다. 상기 변환 행렬은, 복수의 영상들 내의 2차원 좌표 정보를 갖는 특징점들을 이에 대응하는 3차원 좌표 정보를 갖는 정합점으로 변환한다. 상기 저장 유닛(500)은, 상기 정합점들을 이용하여 작성된 상기 변환 행렬을 더 저장할 수 있다. 상기 제어 유닛(400)은, 상기 변환 행렬을 이용하여 2차원 좌표계를 3차원 좌표계로 변환하고, 상기 2차원 좌표 정보들을 이용한 특징점들 간의 정합 결과를 상기 변환된 3차원 좌표계의 정합점들을 이용하여 검증한다.
상기 저장 유닛(500)은, 이동하거나, 또는 청소하는 중에 검출한 장애물 정보를 더 저장할 수 있다. 또한, 상기 저장 유닛(500)은, 상기 영상 검출 유닛(100)을 통해 검출된 복수의 영상들을 저장할 수 있다. 상기 저장 유닛(500)은 비휘발성 메모리인 것이 좋다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 저장 장치로서, 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브 등을 포함하며, 천공 카드, 페이퍼 테이프 뿐만 아니라, 마그네틱 RAM, PRAM 등을 포함한다. 또한, 상기 저장유닛(700)은 상기 청소 영역 내에서의 로봇 청소기의 이동 기록, 청소 내역 등을 더 저장할 수 있고, 로봇 청소기를 구동하는 프로그램을 더 포함할 수 있다.
도 6을 참조하면, 로봇 청소기가 3차원 좌표 정보를 갖는 정합점을 생성하는 일 예를 보인 것으로서, 먼저 촬영된 영상(Image_t)에 존재하는 특징점(h'i )과 상기 영상 검출 유닛(100)의 중앙점을 포함하는 가상선(ypi)을 가정하고, 상기 가상선 상에서 유한개(n)의 입자 즉, 파티클(particle)을 생성한다. 즉, 상기 영상 검출 유닛(100)이 시간 t에서 실제 주변환경의 특징점(X)을 촬영하면, 이 실제 특징점(X)은 촬영된 영상(Image_t) 위의 특징점(h'i )로 나타나므로, 상기 영상 검출 유닛(100)의 중앙점과 상기 영상의 특징점을 연결하게 되면 실제 특징점(X)이 상기 가상선 상에 존재하게 된다. 따라서, 상기 파티클은 실제 특징점(X)을 포함하고 있으며, 계산상의 편의를 위하여 파티클의 수를 제한한 것이다.
도 5를 참조하면, 상기 제어 유닛(400)은, 상기 2차원 좌표 정보를 이용하여 상기 영상 검출 유닛(100)을 통해 검출된 둘 이상의 영상들 내의 복수의 특징점들 사이의 유사도를 연산하는 유사도 연산 모듈(410)을 포함한다. 여기서, 상기 제어 유닛(400)은, 상기 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식한다. 상기 유사도는 상기 수학식 1을 통해 연산된 거리를 이용하여 연산할 수 있다.
또한, 상기 제어 유닛(400)은, 상기 저장 유닛에 저장된 상기 정합점을 근거로 현재 영상에서의 특징점에 대한 다음 영상에서의 특징점의 예상 위치를 연산하는 예상 위치 연산 모듈(420)을 더 포함한다. 여기서, 상기 제어 유닛(400)은, 상기 유사도가 가장 큰 특징점을 이용하여 인식된 위치를 상기 예상 위치 연산 모듈(420)을 통해 연산된 예상 위치를 근거로 검증한다.
상기 제어 유닛(400)은, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식한다. 먼저 상기 유사도 연산 모듈(410)은, 상기 특징점들의 2차원 좌표 정보들을 이용하여 특징점들 간의 거리를 이용하여 유사도를 연산하고, 상기 제어 유닛(400)은, 상기 유사도를 이용하여 상기 특징점들을 정합하며, 이를 이용하여 로봇 청소기의 위치 변화를 인식한다. 그런 다음, 상기 예상 위치 연산 모듈(420)은, 상기 정합점의 3차원 좌표 정보를 이용하여 이전 영상에서의 특징점의 다음 영상에서의 예상 위치를 연산하고, 상기 제어 유닛(400)은, 상기 예상 위치를 이용하여 특징점들 간의 정합 결과를 검증한다.
도 4 또는 도 5를 참조하면, 본 발명에 따른 로봇 청소기는, 바퀴(710)를 구동하여 로봇 청소기를 이동하는 구동 유닛(700)과, 상기 바퀴에 연결되어 이동 거리를 측정하는 거리 측정 유닛(720)을 더 포함하여 구성된다. 상기 구동 유닛(500)은 복수의 주바퀴와 하나 이상의 보조바퀴를 포함하는 상기 다수의 바퀴(710)를 회전시키는 소정의 휠모터(Wheel Motor)를 구동하여 로봇 청소기가 이동하도록 한다. 본 발명에 따른 로봇 청소기는, 상기 구동 유닛(700)을 통해 이동 중에 상기 영상 검출 유닛(100)을 통해 상기 복수의 영상들을 검출한다. 상기 거리 측정 유닛(720)으로는 로봇 청소기의 바퀴를 구동하는 휠모터와 연결되어 속도를 검출하는 인코더를 주로 사용할 수 있는데, 그 대신에 속도 및 위치를 인식하는 가속도 센서, 로봇 청소기의 회전 속도를 검출하는 자이로 센서 등도 사용될 수 있다. 상기 제어 유닛(400)은 상기 거리 측정 유닛(720)을 통해 측정된 이동 거리를 이용하여 상기 특징점 정합 유닛(300)의 정합 결과를 검증하여 로봇 청소기의 위치를 인식한다.
도 5를 참조하면, 상기 제어 유닛(400)은, 상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하는 보정 상수 생성 모듈(430)을 더 포함하여 구성된다. 상기 유사도 연산 모듈(410)은, 상기 보정 상수를 근거로 상기 유사도를 재연산하고, 재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식한다. 여기서, 상기 보정 상수는, 로봇 청소기의 이동 거리에 따라 상기 특징점들 간의 거리에 곱해지는 상수를 말한다.
도 7을 참조하여 로봇 청소기의 위치를 인식하는 동작을 설명한다. 먼저 상기 유사도 연산 모듈(410)은, 상기 특징점들의 2차원 좌표 정보들을 이용하여 특징점들 간의 거리를 이용하여 유사도를 연산하고, 상기 제어 유닛(400)은, 상기 유사도를 이용하여 상기 특징점들을 정합하며, 이를 이용하여 로봇 청소기의 위치 변화를 인식한다. 이때, 상기 바퀴에 연결된 상기 거리 측정 유닛(720)은 로봇 청소기의 이동 거리를 측정하고, 상기 제어 유닛(400)은, 상기 이동 거리를 참조하여 상기 정합된 특징점이 이동 거리의 오차 범위 내에 존재하는지 여부를 검증한다. 즉, 상기 보정 상수 생성 모듈(430)은, 상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하고, 상기 유사도 연산 모듈(410)은, 상기 보정 상수를 근거로 상기 유사도를 재연산하고, 재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식한다. 예를 들어, 도 7에서 이동 거리(d)가 미리 설정된 기준 이동 거리 이하이면 변동이 없는 것으로 가정하여 상기 특징점들 간의 거리에 1의 보정 상수를 곱하고, 상기 기준 이동 거리보다 크면 2의 보정 상수를 곱한다.
도 4 또는 도 5를 참조하면, 본 발명에 따른 로봇 청소기는, 주변의 장애물을 검출하는 장애물 검출 유닛(600)을 더 포함하고, 상기 제어 유닛(400)은, 상기 장애물을 근거로 내부지도를 생성하고, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정한다. 여기서, 상기 제어 유닛(400)은, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하고, 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행한다.
상기 장애물 검출 유닛(600)은, 가정이나 사무실 등의 실내에서 이동 중이거나, 청소 중에 로봇 청소기 주변의 장애물을 검출하고, 상기 장애물의 유무, 또는 위치, 크기 등의 장애물 정보를 상기 제어 유닛(400)에 전달한다. 상기 장애물 검출유닛(600)으로는 적외선 센서, 초음파 센서, RF 센서(Radio Frequency Sensor)나 범퍼(Bumper) 등을 사용할 수 있다. 또한, 상기 장애물 검출유닛(600)은, 초음파 센서, 적외선 삼각 측량 방식을 이용하여 거리를 정확히 산출할 수 있는 PSD (Position Sensitive Device) 센서, 또는 레이저를 발사한 뒤 반사되어 되돌아오는 레이저를 검출하여 정확한 거리를 측정하는 레이저 거리 측정기(Laser Range Finder; LRF) 등을 이용하여 벽면과의 거리를 측정하고, 이를 근거로 벽면의 형태, 위치 등을 검출할 수 있다. 상기 장애물 검출 유닛(600)을 통해 검출된 장애물 정보는 상기 저장 유닛(500)에 저장될 수 있다.
상기 제어 유닛(400)은, 상기 장애물 검출 유닛(600)을 통해 검출한 상기 장애물을 근거로 내부지도를 생성하고, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정한다.
또한, 상기 제어 유닛(400)은, 상기 특징점의 정합 결과, 또는 정합점이나 이동 거리를 이용하여 검증된 위치를 이용하여 상기 청소경로 또는 상기 주행경로를 수정하고, 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행한다.
상기 로봇 청소기는, 충전 가능한 전원 공급 수단을 구비하여 로봇 청소기 내로 전원을 공급하는 전원유닛(810)을 더 포함할 수 있고, 상기 전원유닛(810)은 로봇 청소기가 이동하고, 청소를 수행하는데 따른 동작 전원을 공급하며, 내에 구비된 상기 전원 공급 수단, 즉 배터리 잔량이 부족하면 충전대로부터 충전 전류를 공급받아 충전한다.
상기 로봇 청소기는, 직접 제어 명령을 입력하거나, 또는 장애물 정보나, 상기 저장 유닛(500)에 저장된 정보를 출력하도록 하는 명령을 입력받는 입력 유닛(820)을 더 포함하여 구성된다. 상기 입력 유닛(820)은, 장애물의 위치, 로봇 청소기의 위치 등의 위치 정보나, 내부지도, 청소경로, 또는 주행경로를 확인하는 명령을 입력하는 확인버튼, 설정하는 명령을 입력하는 설정버튼, 재설정하는 명령을 입력하는 재설정버튼, 삭제버튼, 청소시작버튼, 정지버튼 중 하나 이상의 입력 버튼을 구비할 수 있다.
상기 로봇 청소기는, 상기 저장 유닛(500)에 저장된 영상, 특징점 등의 정보나, 장애물 정보, 또는 상기 제어 유닛(400)을 통해 생성된 내부지도를 디스플레이하는 출력 유닛(830)을 더 포함할 수 있다. 상기 출력 유닛(830)은, 로봇 청소기를 구성하는 각 유닛들의 현재 상태와, 현재 청소 상태 등의 상태 정보들을 더 표시할 수 있다. 상기 출력 유닛(830)은, 발광다이오드(Light Emitting Diode; LED), 액정표시장치(Liquid Crystal Display; LCD), 플라즈마표시패널(Plasma Display Panel), 유기발광다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.
사용자 등은 상기 입력 유닛(820)을 통해 제어 명령을 입력함으로써 상기 출력 유닛(830)에 표시된 내부지도에서 청소가 필요한 섹터나, 또는 방을 선택하여 청소를 수행하도록 할 수 있으며, 청소 패턴, 청소 순서 등을 설정하는 제어 명령을 입력할 수 있다. 상기 입력 유닛(820)과 상기 출력 유닛(830)은, 입력 또는 출력이 모두 가능한 터치스크린의 형태를 가질 수 있다.
도 8을 참조하면, 본 발명에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 단계(S100)와, 상기 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하는 특징점 추출 단계(S200)와, 상기 특징점들의 상기 2차원 좌표 정보를 비교하여 상기 특징점들을 정합하는 특징점 정합 단계(S300)와, 상기 특징점 정합 유닛의 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성하는 정합점 생성 단계(S400)와, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식하는 위치 인식 단계(S500)를 포함하여 구성된다. 또한, 본 발명에 따른 로봇 청소기의 제어 방법은, 상기 3차원 좌표 정보를 갖는 상기 정합점을 저장하는 저장 단계(미도시)를 더 포함하여 구성된다. 이하 장치의 구성은 도 1 내지 도 7을 참조한다.
먼저, 상기 로봇 청소기는, 상부에 설치되고, 상방을 촬영하여 상방 영상을 검출하는 상방 카메라이거나, 또는 전방을 촬영하여 전방 영상을 검출하는 전방 카메라 등의 영상 검출 유닛을 통해 복수의 영상을 검출한다(S100). 그런 다음, 상기 로봇 청소기는, 복수의 영상들로부터 천장을 포함하는 상방 영역 또는 전방에 존재하는 형광등, 인테리어 구조물 등의 자연 표식으로부터 특징점을 추출하고(S200), 상기 특징점들 사이의 거리를 연산하여 유사를 연산하고, 상기 유사도를 근거로 상기 특징점을 정합한다(S300). 여기서, 상기 거리는, 실제 거리가 아니라, 특징점 공간에서의 거리를 의미한다. 이때, 상기 거리가 짧으면 상기 특징점들은 큰 유사도를 가지고, 상기 거리가 길면 상기 특징점들의 유사도는 작아진다. 여기서, 상기 2차원 좌표 정보는, 상기 영상에서의 위치, 방향, 및 기술자로 구성된 특징점 정보를 구비하고, 상기 기술자는, 상기 특징점의 추출 정보를 나타낸다.
상기 로봇 청소기는, 제어 유닛(400)은, 상기 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성하고(S400), 이를 저장한다(S410). 상기 로봇 청소기는, 상기 정합점을 이용하여 자신의 위치를 인식한다. 먼저 상기 로봇 청소기는, 상기 특징점들의 2차원 좌표 정보들을 이용하여 특징점들 간의 거리를 이용하여 유사도를 연산하고, 상기 유사도를 이용하여 상기 특징점들을 정합하며, 이를 이용하여 자신의 위치 변화를 인식한다. 그런 다음, 상기 로봇 청소기는, 상기 정합점의 3차원 좌표 정보를 이용하여 특징점들 간의 정합 결과를 검증한다. 상기 로봇 청소기는, 상기 정합점들을 이용하여 변환 행렬을 생성하고, 이를 저장한다. 상기 변환 행렬은, 복수의 영상들 내의 2차원 좌표 정보를 갖는 특징점들을 이에 대응하는 3차원 좌표 정보를 갖는 정합점으로 변환한다. 즉, 상기 로봇 청소기는, 상기 변환 행렬을 이용하여 2차원 좌표계를 3차원 좌표계로 변환하고, 상기 2차원 좌표 정보들을 이용한 특징점들 간의 정합 결과를 상기 변환된 3차원 좌표계의 정합점들을 이용하여 검증한다.
도 9를 참조하면, 상기 특징점 정합 단계(S300)는, 상기 2차원 좌표 정보를 이용하여 둘 이상의 영상들 내의 복수의 특징점들 사이의 유사도를 연산하는 과정(S310)을 포함하고, 상기 위치 인식 단계(S500)는, 상기 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 과정(S510)을 포함하여 구성된다.
도 9를 참조하면, 본 발명에 따른 로봇 청소기의 제어 방법은, 상기 정합점을 근거로 현재 영상에서의 특징점에 대한 다음 영상에서의 특징점의 예상 위치를 연산하는 예상 위치 연산 단계(S410)를 더 포함하여 구성된다. 여기서, 상기 위치 인식 단계(S500)는, 상기 인식된 위치를 상기 예상 위치 연산 단계에서 연산된 예상 위치를 근거로 검증하는 과정(S520)을 더 포함하여 구성된다.
상기 로봇 청소기는, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식한다. 먼저 상기 로봇 청소기는, 상기 특징점들의 2차원 좌표 정보들을 이용하여 특징점들 간의 거리를 이용하여 유사도를 연산하고, 상기 유사도를 이용하여 상기 특징점들을 정합하며, 이를 이용하여 로봇 청소기의 위치 변화를 인식한다. 그런 다음, 상기 로봇 청소기는, 상기 정합점의 3차원 좌표 정보를 이용하여 이전 영상에서의 특징점의 다음 영상에서의 예상 위치를 연산하고(S410), 상기 예상 위치를 이용하여 특징점들 간의 정합 결과를 검증한다(S420).
도 10을 참조하면, 본 발명에 따른 로봇 청소기의 제어 방법은, 바퀴에 연결된 센서를 이용하여 이동 거리를 측정하는 이동 거리 측정 단계(S910)와, 상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하는 보정 상수 생성 단계(S920)를 더 포함하여 구성된다. 여기서, 상기 위치 인식 단계(S500)는, 상기 보정 상수를 근거로 상기 유사도를 재연산하는 과정(S510)과, 재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 과정(S520)을 포함하여 구성된다. 여기서, 상기 보정 상수는, 로봇 청소기의 이동 거리에 따라 상기 특징점들 간의 거리에 곱해지는 상수를 말한다.
도 7을 참조하여 로봇 청소기의 위치를 인식하는 동작을 설명한다. 상기 로봇 청소기는, 상기 특징점들의 2차원 좌표 정보들을 이용하여 특징점들 간의 거리를 이용하여 유사도를 연산하고, 상기 유사도를 이용하여 상기 특징점들을 정합하며(S300), 이를 이용하여 로봇 청소기의 위치 변화를 인식한다. 이때, 상기 로봇 청소기는, 이동 거리를 측정하고, 상기 이동 거리를 참조하여 상기 정합된 특징점이 이동 거리의 오차 범위 내에 존재하는지 여부를 검증한다. 즉, 상기 로봇 청소기는, 상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하고, 상기 보정 상수를 근거로 상기 유사도를 재연산하여(S510), 재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식한다(S520). 예를 들어, 도 7에서 이동 거리(d)가 미리 설정된 기준 이동 거리 이하이면 변동이 없는 것으로 가정하여 상기 특징점들 간의 거리에 1의 보정 상수를 곱하고, 상기 기준 이동 거리보다 크면 2의 보정 상수를 곱한다.
도 8 내지 도 10을 참조하면, 본 발명에 따른 로봇 청소기의 제어 방법은, 주변의 장애물을 검출하는 장애물 검출 단계(S600)와, 상기 장애물을 근거로 내부지도를 생성하는 지도 생성 단계(S700)와, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 단계(S800)와, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하는 단계(S810)와, 상기 수정된 청소경로 또는 상기 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 수행 단계(S820)를 더 포함하여 구성된다.
상기 로봇 청소기는, 장애물 검출 유닛을 통해 이동하거나, 청소하는 중에 주변의 장애물을 검출하고(S600), 검출한 상기 장애물을 근거로 내부지도를 생성한 다음(S700), 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정한다(S800). 또한, 상기 로봇 청소기는, 상기 특징점 정합 결과를 통해 인식하거나, 상기 정합점을 이용하거나, 또는 이동 거리를 이용하여 검증된 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하고(S810), 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행한다(S820).
이상 설명한 바와 같이, 본 발명에 따른 로봇 청소기 및 이의 제어 방법은, 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하여 특징점들을 정합하고, 3차원 좌표 정보를 갖는 정합점을 생성하여 위치를 인식하거나, 3차원 좌표 정보를 갖는 정합점을 생성하여 위치를 인식함과 아울러 센서를 이용하여 측정한 이동 거리를 이용하여 검증함으로써 위치를 정밀하게 인식하고, 이에 따라 정밀하게 인식된 위치와 내부지도를 연계하여 청소 또는 주행을 수행한다.
100: 영상 검출 유닛 200: 특징점 추출 유닛
300: 특징점 정합 유닛 400: 제어 유닛
500: 저장 유닛 600: 장애물 검출 유닛
700: 구동 유닛 710: 바퀴
720: 거리 측정 유닛 810: 전원 유닛
820: 입력 유닛 830: 출력 유닛
410: 유사도 연산 모듈 420: 예상 위치 연산 모듈
430: 보정 상수 생성 모듈
300: 특징점 정합 유닛 400: 제어 유닛
500: 저장 유닛 600: 장애물 검출 유닛
700: 구동 유닛 710: 바퀴
720: 거리 측정 유닛 810: 전원 유닛
820: 입력 유닛 830: 출력 유닛
410: 유사도 연산 모듈 420: 예상 위치 연산 모듈
430: 보정 상수 생성 모듈
Claims (20)
- 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 유닛;
상기 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하는 특징점 추출 유닛;
상기 특징점들의 상기 2차원 좌표 정보를 비교하여 상기 특징점들을 정합하는 특징점 정합 유닛;
상기 특징점 정합 유닛의 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성하고, 상기 정합점을 이용하여 로봇 청소기의 위치를 인식하는 제어 유닛; 및
상기 3차원 좌표 정보를 갖는 상기 정합점을 저장하는 저장 유닛;을 포함하는 로봇 청소기. - 제1 항에 있어서, 상기 2차원 좌표 정보는,
상기 영상에서의 위치, 방향, 및 기술자를 포함하고,
상기 기술자는, 상기 특징점의 추출 정보를 나타내는 것을 특징으로 하는 로봇 청소기. - 제1 항에 있어서, 상기 제어 유닛은,
상기 2차원 좌표 정보를 이용하여 상기 영상 검출 유닛을 통해 검출된 둘 이상의 영상들 내의 복수의 특징점들 사이의 유사도를 연산하는 유사도 연산 모듈;을 포함하고,
상기 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 것을 특징으로 하는 로봇 청소기. - 제3 항에 있어서, 상기 제어 유닛은,
상기 저장 유닛에 저장된 상기 정합점을 근거로 현재 영상에서의 특징점에 대한 다음 영상에서의 특징점의 예상 위치를 연산하는 예상 위치 연산 모듈;을 더 포함하는 로봇 청소기. - 제4 항에 있어서, 상기 제어 유닛은,
상기 유사도가 가장 큰 특징점을 이용하여 인식된 위치를 상기 예상 위치 연산 모듈을 통해 연산된 예상 위치를 근거로 검증하는 것을 특징으로 하는 로봇 청소기. - 제3 항에 있어서,
바퀴를 구동하여 로봇 청소기를 이동하는 구동 유닛; 및
상기 바퀴에 연결되어 이동 거리를 측정하는 거리 측정 유닛;을 더 포함하는 것을 특징으로 하는 로봇 청소기. - 제6 항에 있어서, 상기 제어 유닛은,
상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하는 보정 상수 생성 모듈;을 더 포함하는 로봇 청소기. - 제7 항에 있어서, 상기 유사도 연산 모듈은,
상기 보정 상수를 근거로 상기 유사도를 재연산하고, 재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 것을 특징으로 하는 로봇 청소기. - 제1 항에 있어서,
주변의 장애물을 검출하는 장애물 검출 유닛;을 더 포함하고,
상기 제어 유닛은, 상기 장애물을 근거로 내부지도를 생성하고, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 것을 특징으로 하는 로봇 청소기. - 제9 항에 있어서, 상기 제어 유닛은,
상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하고, 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 것을 특징으로 하는 로봇 청소기. - 제1 항에 있어서, 상기 영상 검출 유닛은,
로봇 청소기의 상부에 설치되고, 상방을 촬영하여 상방 영상을 검출하는 상방 카메라;인 것을 특징으로 하는 로봇 청소기. - 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 단계;
상기 복수의 영상들 각각에 대하여 2차원 좌표 정보를 갖는 하나 이상의 특징점을 추출하는 특징점 추출 단계;
상기 특징점들의 상기 2차원 좌표 정보를 비교하여 상기 특징점들을 정합하는 특징점 정합 단계;
상기 특징점 정합 유닛의 정합 결과를 근거로 3차원 좌표 정보를 갖는 정합점을 생성하는 정합점 생성 단계; 및
상기 정합점을 이용하여 로봇 청소기의 위치를 인식하는 위치 인식 단계;를 포함하는 로봇 청소기의 제어 방법. - 제12 항에 있어서,
상기 3차원 좌표 정보를 갖는 상기 정합점을 저장하는 저장 단계;를 더 포함하는 로봇 청소기의 제어 방법. - 제12 항에 있어서, 상기 2차원 좌표 정보는,
상기 영상에서의 위치, 방향, 및 기술자를 포함하고,
상기 기술자는, 상기 특징점의 추출 정보를 나타내는 것을 특징으로 하는 로봇 청소기의 제어 방법. - 제12 항에 있어서,
상기 특징점 정합 단계는, 상기 2차원 좌표 정보를 이용하여 둘 이상의 영상들 내의 복수의 특징점들 사이의 유사도를 연산하는 과정;을 포함하고,
상기 위치 인식 단계는, 상기 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 과정;을 포함하는 로봇 청소기의 제어 방법. - 제15 항에 있어서,
상기 정합점을 근거로 현재 영상에서의 특징점에 대한 다음 영상에서의 특징점의 예상 위치를 연산하는 예상 위치 연산 단계;를 더 포함하는 로봇 청소기의 제어 방법. - 제16 항에 있어서, 상기 위치 인식 단계는,
상기 인식된 위치를 상기 예상 위치 연산 단계에서 연산된 예상 위치를 근거로 검증하는 과정;을 더 포함하는 로봇 청소기의 제어 방법. - 제15 항에 있어서,
바퀴에 연결된 센서를 이용하여 이동 거리를 측정하는 이동 거리 측정 단계; 및
상기 이동 거리를 근거로 상기 유사도에 대한 보정 상수를 생성하는 보정 상수 생성 단계;를 더 포함하는 로봇 청소기의 제어 방법. - 제18 항에 있어서, 상기 위치 인식 단계는,
상기 보정 상수를 근거로 상기 유사도를 재연산하는 과정; 및
재연산된 유사도가 가장 큰 특징점을 이용하여 로봇 청소기의 위치를 인식하는 과정;을 포함하는 로봇 청소기의 제어 방법. - 제12 항에 있어서,
주변의 장애물을 검출하는 장애물 검출 단계;
상기 장애물을 근거로 내부지도를 생성하는 지도 생성 단계;
상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 단계;
상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하는 단계; 및
상기 수정된 청소경로 또는 상기 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 수행 단계;를 더 포함하는 로봇 청소기의 제어 방법.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100067113A KR101677634B1 (ko) | 2010-07-12 | 2010-07-12 | 로봇 청소기 및 이의 제어 방법 |
PCT/KR2011/004913 WO2012008702A2 (en) | 2010-07-12 | 2011-07-05 | Robot cleaner and controlling method of the same |
AU2011277294A AU2011277294B2 (en) | 2010-07-12 | 2011-07-05 | Robot cleaner and controlling method of the same |
US13/809,534 US9364128B2 (en) | 2010-07-12 | 2011-07-05 | Robot cleaner and controlling method of the same |
EP18158895.5A EP3360456B1 (en) | 2010-07-12 | 2011-07-05 | Robot cleaner and controlling method of the same |
EP11806987.1A EP2592988B1 (en) | 2010-07-12 | 2011-07-05 | Robot cleaner and controlling method of the same |
EP18158890.6A EP3360455B1 (en) | 2010-07-12 | 2011-07-05 | Robot cleaner and controlling method of the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100067113A KR101677634B1 (ko) | 2010-07-12 | 2010-07-12 | 로봇 청소기 및 이의 제어 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120006408A KR20120006408A (ko) | 2012-01-18 |
KR101677634B1 true KR101677634B1 (ko) | 2016-11-18 |
Family
ID=45469890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100067113A KR101677634B1 (ko) | 2010-07-12 | 2010-07-12 | 로봇 청소기 및 이의 제어 방법 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9364128B2 (ko) |
EP (3) | EP3360455B1 (ko) |
KR (1) | KR101677634B1 (ko) |
AU (1) | AU2011277294B2 (ko) |
WO (1) | WO2012008702A2 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020116948A1 (en) * | 2018-12-06 | 2020-06-11 | Samsung Electronics Co., Ltd. | Robot vacuum cleaner and cleaning route planning method thereof |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101813922B1 (ko) * | 2010-07-12 | 2018-01-02 | 엘지전자 주식회사 | 로봇 청소기 및 이의 제어 방법 |
KR101311100B1 (ko) * | 2011-08-27 | 2013-09-25 | 고려대학교 산학협력단 | 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 |
AU2013284446B2 (en) | 2012-06-27 | 2017-07-13 | Pentair Water Pool And Spa, Inc. | Pool cleaner with laser range finder system and method |
US9034442B2 (en) | 2012-11-30 | 2015-05-19 | Corning Incorporated | Strengthened borosilicate glass containers with improved damage tolerance |
KR101400400B1 (ko) * | 2012-09-28 | 2014-05-27 | 엘지전자 주식회사 | 로봇 청소기 및 로봇 청소기의 제어방법 |
KR101910972B1 (ko) | 2012-10-24 | 2018-10-23 | 삼성전자주식회사 | 연료 전지 시스템 및 그것을 제어하는 전자 기기 |
KR101428877B1 (ko) | 2012-12-05 | 2014-08-14 | 엘지전자 주식회사 | 로봇 청소기 |
KR102061511B1 (ko) * | 2013-04-26 | 2020-01-02 | 삼성전자주식회사 | 청소 로봇, 홈 모니터링 장치 및 그 제어 방법 |
DE102014110265A1 (de) * | 2014-07-22 | 2016-01-28 | Vorwerk & Co. Interholding Gmbh | Verfahren zur Reinigung oder Bearbeitung eines Raumes mittels eines selbsttätig verfahrbaren Gerätes |
EP3230814B1 (en) | 2014-12-10 | 2021-02-17 | Aktiebolaget Electrolux | Using laser sensor for floor type detection |
KR101659037B1 (ko) * | 2015-02-16 | 2016-09-23 | 엘지전자 주식회사 | 로봇 청소기, 이를 포함하는 원격 제어 시스템 및 이의 제어 방법 |
EP3282912B1 (en) | 2015-04-17 | 2020-06-10 | Aktiebolaget Electrolux | Robotic cleaning device and a method of controlling the robotic cleaning device |
JP6864433B2 (ja) * | 2016-01-29 | 2021-04-28 | 東芝ライフスタイル株式会社 | 電気掃除機 |
US11169533B2 (en) | 2016-03-15 | 2021-11-09 | Aktiebolaget Electrolux | Robotic cleaning device and a method at the robotic cleaning device of performing cliff detection |
JP6280147B2 (ja) * | 2016-03-18 | 2018-02-14 | 本田技研工業株式会社 | 無人走行作業車 |
DE112017002154B4 (de) * | 2016-04-25 | 2020-02-06 | Lg Electronics Inc. | Mobiler Roboter und Steuerverfahren für einen mobilen Roboter |
US10213082B2 (en) * | 2016-08-30 | 2019-02-26 | Samsung Electronics Co., Ltd. | Robot cleaner |
CN109844771B (zh) * | 2016-09-15 | 2024-04-23 | 谷歌有限责任公司 | 用于机器人代理的控制策略 |
JP6831210B2 (ja) | 2016-11-02 | 2021-02-17 | 東芝ライフスタイル株式会社 | 電気掃除機 |
KR102035018B1 (ko) * | 2016-12-06 | 2019-10-22 | 주식회사 유진로봇 | 청소 기능 제어 장치 및 이를 구비하는 청소 로봇 |
US11474533B2 (en) | 2017-06-02 | 2022-10-18 | Aktiebolaget Electrolux | Method of detecting a difference in level of a surface in front of a robotic cleaning device |
DE102017113280A1 (de) * | 2017-06-16 | 2018-12-20 | Vorwerk & Co. Interholding Gmbh | Haushaltsgerät |
WO2019040653A1 (en) | 2017-08-22 | 2019-02-28 | Pentair Water Pool And Spa, Inc. | SWIMMING POOL CLEANER ALGORITHM |
KR20200058400A (ko) | 2017-09-26 | 2020-05-27 | 에이비 엘렉트로룩스 | 로봇 청소 장치의 이동 제어 |
US20190187721A1 (en) * | 2017-12-15 | 2019-06-20 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Control method and system, and mobile robot using the same |
US10513037B2 (en) * | 2017-12-15 | 2019-12-24 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Control method and system, and mobile robot using the same |
US10744650B2 (en) * | 2018-09-04 | 2020-08-18 | Irobot Corporation | Mobile robots with intelligent capacitive touch sensing |
JP1656335S (ko) * | 2019-03-12 | 2020-03-30 | ||
CN111012254A (zh) * | 2019-12-30 | 2020-04-17 | 北京太坦科技有限公司 | 智能扫地机器人 |
CN111543897B (zh) * | 2020-03-31 | 2021-08-10 | 湖南格兰博智能科技有限责任公司 | 一种适用于扫地机器人的智能快速返回回充座方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003064116A3 (en) | 2002-01-31 | 2004-02-05 | Braintech Canada Inc | Method and apparatus for single camera 3d vision guided robotics |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4969036A (en) * | 1989-03-31 | 1990-11-06 | Bir Bhanu | System for computing the self-motion of moving images devices |
KR100406636B1 (ko) * | 2001-04-18 | 2003-11-21 | 삼성광주전자 주식회사 | 로봇 청소기와 그 시스템 및 제어방법 |
RU2220643C2 (ru) * | 2001-04-18 | 2004-01-10 | Самсунг Гванджу Электроникс Ко., Лтд. | Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты) |
US7145478B2 (en) * | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
KR100776215B1 (ko) * | 2005-01-25 | 2007-11-16 | 삼성전자주식회사 | 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
WO2007051972A1 (en) * | 2005-10-31 | 2007-05-10 | Qinetiq Limited | Navigation system |
KR101146119B1 (ko) * | 2005-12-21 | 2012-05-16 | 재단법인 포항산업과학연구원 | 실내 이동 로봇의 위치 인식 방법 및 장치 |
KR100855469B1 (ko) * | 2006-09-13 | 2008-09-01 | 삼성전자주식회사 | 이동 로봇의 자세 추정 장치 및 방법 |
KR100877071B1 (ko) | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
KR101538775B1 (ko) * | 2008-09-12 | 2015-07-30 | 삼성전자 주식회사 | 전방 영상을 이용한 위치 인식 장치 및 방법 |
-
2010
- 2010-07-12 KR KR1020100067113A patent/KR101677634B1/ko active IP Right Grant
-
2011
- 2011-07-05 WO PCT/KR2011/004913 patent/WO2012008702A2/en active Application Filing
- 2011-07-05 EP EP18158890.6A patent/EP3360455B1/en active Active
- 2011-07-05 AU AU2011277294A patent/AU2011277294B2/en not_active Ceased
- 2011-07-05 EP EP18158895.5A patent/EP3360456B1/en active Active
- 2011-07-05 EP EP11806987.1A patent/EP2592988B1/en active Active
- 2011-07-05 US US13/809,534 patent/US9364128B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003064116A3 (en) | 2002-01-31 | 2004-02-05 | Braintech Canada Inc | Method and apparatus for single camera 3d vision guided robotics |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020116948A1 (en) * | 2018-12-06 | 2020-06-11 | Samsung Electronics Co., Ltd. | Robot vacuum cleaner and cleaning route planning method thereof |
KR20220031587A (ko) * | 2018-12-06 | 2022-03-11 | 삼성전자주식회사 | 로봇 청소기 및 로봇 청소기의 청소 경로 계획 방법 |
US11647885B2 (en) | 2018-12-06 | 2023-05-16 | Samsung Electronics Co., Ltd. | Robot vacuum cleaner and cleaning route planning method thereof |
KR102616863B1 (ko) * | 2018-12-06 | 2023-12-21 | 삼성전자주식회사 | 로봇 청소기 및 로봇 청소기의 청소 경로 계획 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20120006408A (ko) | 2012-01-18 |
EP3360455B1 (en) | 2020-09-02 |
WO2012008702A3 (en) | 2012-05-24 |
EP2592988A2 (en) | 2013-05-22 |
EP3360456B1 (en) | 2020-03-04 |
AU2011277294A1 (en) | 2013-02-21 |
EP3360455A1 (en) | 2018-08-15 |
WO2012008702A2 (en) | 2012-01-19 |
US20130116826A1 (en) | 2013-05-09 |
EP2592988B1 (en) | 2020-11-18 |
EP3360456A1 (en) | 2018-08-15 |
AU2011277294B2 (en) | 2014-04-03 |
EP2592988A4 (en) | 2017-12-13 |
US9364128B2 (en) | 2016-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101677634B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR101813922B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
EP2423772B1 (en) | Mobile robot and visual navigation method of the same | |
KR101366860B1 (ko) | 이동 로봇 및 이의 제어 방법 | |
KR101649645B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
JP5385353B2 (ja) | ロボット掃除機及びその制御方法 | |
KR20120044768A (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR101951414B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR20150050161A (ko) | 이동 로봇, 이동 로봇의 충전대 및 이들을 포함하는 이동 로봇 시스템 | |
KR101842459B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR101303161B1 (ko) | 이동 로봇 및 이의 제어 방법 | |
KR101786516B1 (ko) | 이동 로봇 및 그 제어방법 | |
KR101943359B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR20110085500A (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR20110085499A (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR101895314B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
KR20160090278A (ko) | 이동 로봇 및 이의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191014 Year of fee payment: 4 |