KR101641244B1 - Robot cleaner and controlling method thereof - Google Patents
Robot cleaner and controlling method thereof Download PDFInfo
- Publication number
- KR101641244B1 KR101641244B1 KR1020100009697A KR20100009697A KR101641244B1 KR 101641244 B1 KR101641244 B1 KR 101641244B1 KR 1020100009697 A KR1020100009697 A KR 1020100009697A KR 20100009697 A KR20100009697 A KR 20100009697A KR 101641244 B1 KR101641244 B1 KR 101641244B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot cleaner
- state
- change amount
- obstacle
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 10
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000004140 cleaning Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
로봇 청소기 및 이의 제어 방법이 개시된다. 본 발명은 촬영한 영상 정보로부터 특징점을 추출하고, 이전에 추출된 특징점들과의 비교를 통해 현재 이동 상태인지, 또는 정지 상태인지를 용이하게 판단할 수 있고, 기계식 범퍼를 사용하지 아니하고 장애물과의 충돌 여부를 판단함으로써 파손이나 고장을 방지할 수 있다.A robot cleaner and its control method are disclosed. The present invention extracts feature points from the photographed image information, and can easily determine whether the robot is currently in a moving state or in a stopped state by comparing the extracted feature points with previously extracted feature points. It is possible to prevent breakage or breakdown by judging the collision.
Description
본 발명은 로봇 청소기에 관한 것으로서, 특히 로봇 청소기 및 이의 제어 방법에 관한 것이다.The present invention relates to a robot cleaner, and more particularly, to a robot cleaner and a control method thereof.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.In general, robots have been developed for industrial use and have been part of factory automation. In recent years, medical robots, aerospace robots, and the like have been developed, and household robots that can be used in ordinary homes are being developed.
상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.A representative example of the domestic robot is a robot cleaner, which is a type of household appliance that sucks and cleanes dust or foreign matter around the robot while traveling in a certain area by itself. Such a robot cleaner is generally equipped with a rechargeable battery and has an obstacle sensor capable of avoiding obstacles during traveling, so that it can run and clean by itself.
초기의 로봇 청소기는 스스로 주행하면서 무작위로 청소를 수행하였는데, 장애물 등에 의해 청소를 수행하지 못하는 영역이 발생하는 문제점이 있었다. 이를 보완하기 위해 최근에는 상기 로봇 청소기가 스스로 주행하면서 영역을 모두 청소하기 위해서, 전체 청소 영역을 복수의 소영역(이하, 셀)으로 구분하여 청소를 수행하거나, 청소 영역에 대한 청소지도를 작성하여 작성된 청소지도 내에서 청소가 된 영역과 청소를 하여야 할 영역 등 청소 영역을 판단하여 청소를 수행하는 기술이 개발, 향상되고 있다.In the early stage, the robot cleaner performed a random cleaning while traveling on its own, and there was a problem that an area which can not be cleaned due to an obstacle occurred. In order to solve this problem, in recent years, in order to clean the entire area while the robot cleaner is traveling on its own, cleaning is performed by dividing the entire cleaning area into a plurality of small areas (hereinafter referred to as cells) A technique of cleaning a surface of a cleaning map by determining a cleaning area such as a cleaning area and an area to be cleaned has been developed and improved.
그러나, 종래 기술에 따른 로봇 청소기는, 장애물과의 충돌을 방지하기 위해 초음파 센서와 같은 근접 거리 센서를 구비한다. 그러나, 상기 근접 거리 측정 센서들은 측정하지 못하는 사각 지대가 존재하여 로봇 청소기가 장애물에 부딪히는 상황이 발생하는 문제점이 있다. 또한, 종래 기술에 따른 다른 종류의 로봇 청소기는, 이러한 문제점을 보완하기 위해서 대부분 기계식 범퍼를 구비하고 있다. 그러나, 이러한 기계식 범퍼를 구비한 로봇 청소기도 여전히 사각지대가 존재하고, 상기 기계식 범퍼의 파손, 고장 등에 의해 장애물과의 충돌을 방지하지 못하는 문제점이 있다.However, the robot cleaner according to the related art has a proximity sensor such as an ultrasonic sensor to prevent collision with an obstacle. However, there is a problem that the proximity distance measuring sensors have a blind spot that can not be measured, and the robot cleaner hits an obstacle. Further, in order to solve such a problem, other types of conventional robot cleaners have mechanical bumpers. However, the robot cleaner having such a mechanical bumper still has a blind spot, and the mechanical bumper can not prevent the mechanical bumper from colliding with an obstacle due to breakage or failure.
본 발명은 상기 문제점을 해결하기 위한 것으로서, 기계식 범퍼를 구비하지 아니하고, 촬영한 영상 정보를 이용하여 현재 상태를 판단할 수 있는 로봇 청소기 및 이의 제어 방법을 제공함에 일 목적이 있다.It is an object of the present invention to provide a robot cleaner and a control method thereof, which can determine the current state of the robot cleaner without using a mechanical bumper, using the photographed image information.
본 발명은 기계식 범퍼를 구비하지 아니하고, 촬영한 영상 정보를 이용하여 사각지대 없이 장애물과의 충돌 여부를 판단할 수 있는 로봇 청소기 및 이의 제어 방법을 제공함에 다른 목적이 있다.It is another object of the present invention to provide a robot cleaner and a control method therefor, which do not have a mechanical bumper and can judge whether or not there is a collision with an obstacle without using a blind spot by using photographed image information.
상기 목적을 달성하기 위한 본 발명에 따른 로봇 청소기는, 둘 이상의 영상들을 검출하는 영상검출 유닛과, 상기 영상들 내에 존재하는 하나 이상의 특징점을 비교하고, 상기 비교 결과를 근거로 로봇 청소기의 상태를 판단하는 제어유닛을 포함하여 구성된다.According to an aspect of the present invention, there is provided a robot cleaner including: an image detection unit that detects two or more images; and an image processing unit that compares at least one feature point existing in the images and determines a state of the robot cleaner And a control unit for controlling the control unit.
본 발명에 따른 로봇 청소기에 있어서, 상기 제어유닛은, 상기 영상들로부터 상기 하나 이상의 특징점을 추출하는 특징점 추출모듈과, 상기 추출된 영상들의 특징점들을 비교하는 특징점 매칭모듈과, 상기 비교 결과를 근거로 상기 로봇 청소기의 상태를 판단하는 판단모듈을 포함하여 구성된다.In the robot cleaner according to the present invention, the control unit may include a feature point extraction module for extracting the at least one feature point from the images, a feature point matching module for comparing feature points of the extracted images, And a determination module for determining the state of the robot cleaner.
상기 제어유닛은, 상기 산출된 특징점 변화량이 기준 변화량 이상이면, 상기 로봇 청소기가 이동 상태로 판단한다. 또한, 상기 제어유닛은, 상기 산출된 특징점 변화량이 기준 변화량 미만이면, 상기 로봇 청소기가 정지 상태로 판단하거나, 또는 상기 산출된 특징점 변화량이 기준 변화량 미만이면, 상기 로봇 청소기가 장애물 걸림 상태로 판단한다. 이때, 상기 제어유닛은, 상기 로봇 청소기를 장애물 회피 모드로 전환한다.The control unit determines that the robot cleaner is in a moving state when the calculated minutia change amount is equal to or greater than the reference change amount. Further, the control unit judges that the robot cleaner is in the obstacle obstruction state when the calculated amount of change in the feature point is less than the reference change amount, or if the calculated amount of change in the feature point is less than the reference change amount . At this time, the control unit switches the robot cleaner to the obstacle avoidance mode.
상기 목적을 달성하기 위한 본 발명에 따른 로봇 청소기의 제어 방법은, 둘 이상의 영상들을 검출하는 단계와, 상기 영상들로부터 하나 이상의 특징점을 추출하는 단계와, 상기 영상들의 특징점을 비교하는 단계와, 상기 비교 결과를 근거로 로봇 청소기의 상태를 판단하는 단계를 포함하여 구성된다.According to another aspect of the present invention, there is provided a method of controlling a robot cleaner, including: detecting two or more images; extracting one or more feature points from the images; comparing the feature points of the images; And determining the state of the robot cleaner based on the comparison result.
본 발명에 따른 로봇 청소기의 제어 방법은, 상기 영상들의 특징점 비교 결과를 근거로 특징점 변화량을 산출하는 단계를 더 포함하여 구성된다. 이때, 상기 상태를 판단하는 단계는, 상기 산출된 특징점 변화량을 근거로 상기 로봇 청소기의 상태를 판단한다.The control method of the robot cleaner according to the present invention further comprises calculating a feature point change amount based on the feature point comparison result of the images. In this case, the step of determining the state may determine the state of the robot cleaner based on the calculated amount of change in the minutiae point.
상기 상태를 판단하는 단계는, 상기 산출된 특징점 변화량이 기준 변화량 이상이면, 상기 로봇 청소기가 이동 상태로 판단한다. 또한, 상기 상태를 판단하는 단계는, 상기 산출된 특징점 변화량이 기준 변화량 미만이면, 상기 로봇 청소기가 정지 상태로 판단하거나, 장애물 걸림 상태로 판단한다. 이때, 상기 제어 방법은, 장애물 회피 동작을 수행하는 단계를 더 포함하여 구성된다.The step of judging the state may determine that the robot cleaner is in a moving state when the calculated minutia change amount is equal to or greater than the reference change amount. The step of determining the state may include determining that the robot cleaner is in a stop state or an obstacle jam state if the calculated feature point change amount is less than the reference change amount. In this case, the control method may further include performing an obstacle avoiding operation.
본 발명에 따른 로봇 청소기 및 이의 제어 방법은, 일정 시간 간격으로 촬영한 영상 정보를 이용하여 로봇 청소기 자체의 상태를 판단하고, 장애물과의 충돌 여부를 판단할 수 있다.The robot cleaner and the control method thereof according to the present invention can determine the state of the robot cleaner itself by using image information photographed at predetermined time intervals and determine whether or not the robot cleaner collides with an obstacle.
본 발명은 영상으로부터 특징점을 추출하고, 이전에 추출된 특징점들과의 비교를 통해 현재 이동 상태인지, 또는 정지 상태인지를 용이하게 판단할 수 있고, 기계식 범퍼를 사용하지 아니하고 장애물과의 충돌 여부를 판단할 수 있다.The present invention can extract a feature point from an image and compare it with previously extracted feature points to easily determine whether it is a current movement state or a stop state and can determine whether a collision with an obstacle is possible without using a mechanical bumper It can be judged.
이에 따라 본 발명은 기계식 범퍼를 구비하지 아니함으로써 청소기 무게 및 제조 비용을 줄일 수 있고, 영상 정보를 이용하여 범퍼 기능을 수행함으로써 청소기 자체의 파손을 방지할 수 있다.Accordingly, the present invention can reduce the weight of the cleaner and the manufacturing cost by not including the mechanical bumper, and can perform the bumper function by using the image information, thereby preventing damage to the cleaner itself.
도 1은 본 발명에 따른 로봇 청소기의 외관을 도시한 사시도;
도 2는 본 발명에 따른 로봇 청소기의 구성을 개략적으로 도시한 블록도;
도 3은 도 2의 세부 구성을 보인 블록도;
도 4는 본 발명에 따른 로봇 청소기 및 이의 제어 방법을 설명하기 위한 도;
도 5 및 도 6은 본 발명의 실시예들에 따른 로봇 청소기의 제어 방법을 개략적으로 도시한 흐름도이다.1 is a perspective view showing the appearance of a robot cleaner according to the present invention;
2 is a block diagram schematically showing a configuration of a robot cleaner according to the present invention;
3 is a block diagram showing the detailed configuration of FIG. 2;
4 is a view for explaining a robot cleaner and a control method thereof according to the present invention;
5 and 6 are flowcharts schematically illustrating a method of controlling a robot cleaner according to embodiments of the present invention.
이하 첨부한 도면을 참조하여 본 발명에 따른 로봇 청소기 및 이의 제어 방법을 상세히 설명한다.DETAILED DESCRIPTION OF THE INVENTION Hereinafter, a robot cleaner and a control method thereof according to the present invention will be described in detail with reference to the accompanying drawings.
도 1 및 도 2를 함께 참조하면, 본 발명에 따른 로봇 청소기는, 둘 이상의 영상들을 검출하는 영상검출 유닛(100)과, 상기 영상들 내에 존재하는 하나 이상의 특징점을 비교하고, 상기 비교 결과를 근거로 로봇 청소기의 상태를 판단하는 제어유닛(200)을 포함하여 구성된다. 상기 영상검출 유닛(100)은, 도 1에서와 같이 상방의 영상을 촬영하는 상방 카메라(110)이거나, 또는 로봇 청소기의 이동 방향으로의 영상을 촬영하는 전방 카메라일 수 있다. 또한, 상기 영상검출 유닛(100)으로 상기 상방 카메라와 전방 카메라의 조합을 사용하거나, 다른 방향의 영상을 획득할 수 있는 어느 방향이나 형태의 카메라를 사용하는 것도 가능하다.Referring to FIGS. 1 and 2 together, the robot cleaner according to the present invention includes an
도 3을 참조하면, 상기 제어유닛(200)은, 상기 영상들로부터 상기 하나 이상의 특징점을 추출하는 특징점 추출모듈(210)과, 상기 추출된 영상들의 특징점들을 비교하는 특징점 매칭모듈(220)과, 상기 비교 결과를 근거로 상기 로봇 청소기의 상태를 판단하는 판단모듈(230)을 포함하여 구성된다.3, the
상기 제어유닛(200)은, 상기 산출된 특징점 변화량이 기준 변화량 이상이면, 상기 로봇 청소기가 이동 상태로 판단한다. 또한, 상기 제어유닛(200)은, 상기 산출된 특징점 변화량이 기준 변화량 미만이면, 상기 로봇 청소기가 정지 상태로 판단하거나, 또는 상기 산출된 특징점 변화량이 기준 변화량 미만이면, 상기 로봇 청소기가 장애물 걸림 상태로 판단한다. 이때, 상기 제어유닛(200)은, 상기 로봇 청소기를 장애물 회피 모드로 전환한다.The control unit (200) determines that the robot cleaner is in a moving state when the calculated minutia change amount is equal to or larger than the reference change amount. If the calculated amount of change in the feature point is less than the reference change amount, the control unit (200) determines that the robot cleaner is in a stop state, or if the calculated feature point change amount is less than the reference change amount, . At this time, the
도 4를 참조하여 본 발명에 따른 로봇 청소기의 동작을 설명한다.The operation of the robot cleaner according to the present invention will be described with reference to FIG.
상기 영상 검출유닛(100)이 영상을 획득하면, 상기 특징점 추출모듈(210)은 상기 영상으로부터 하나 이상의 특징점을 추출한다. 또한, 일정 시간이 경과한 다음 상기 영상 검출유닛(100)이 다른 영상을 획득하면, 상기 특징점 추출모듈(210)은 그 영상으로부터 하나 이상의 특징점을 추출한다. 상기 특징점 매칭모듈(220)은 상기 특징점들을 매칭하고, 상기 판단모듈(230)은 상기 매칭된 특징들을 이용하여 로봇 청소기의 상태를 판단한다. 도 4와 같이 로봇 청소기가 이동중이면 상기 특징점들이 변화하게 되는데, 상기 판단모듈(230)은 상기 특징점들의 이동을 근거로 상기 로봇 청소기가 이동 상태인 것으로 판단한다. 이때, 상기 판단모듈(230)은 특징점의 변화량을 산출하여 상기 로봇 청소기의 이동 방향, 이동 속도 등도 판단할 수 있다. 만약, 상기 특징점 매칭 결과, 상기 특징점의 변화량이 없는 경우에는 상기 판단모듈(230)은 상기 로봇 청소기가 정지 상태인 것으로 판단한다. 이 경우, 미리 일정 기준 값을 설정하여 상기 특징점의 변화량이 상기 기준 값보다 작으며 상기 판단모듈(230)은 상기 로봇 청소기가 정지 상태인 것으로 판단한다. 또한, 상기 판단모듈(230)은 상기 특징점의 변화량이 없거나, 상기 기준 값보다 작으면 상기 로봇 청소기가 장애물에 걸린 상태로 판단한다. 상기 정지 상태와 상기 장애물 걸림 상태의 구분은 여러 가지 방법으로 수행할 수 있는데, 예를 들어, 현재 로봇 청소기의 전원 상태나, 동작 상태를 근거로 판단할 수 있다. 즉, 상기 로봇 청소기의 전원이 일정 값 이하이면 대기상태로 전환되는데 이 경우에는 상기 판단모듈(230)은 정지 상태로 판단하고, 상기 로봇 청소기가 청소 동작을 수행하고 있어야 함에도 정지 상태로 되어 있으면, 상기 판단모듈(230)은 장애물 걸림 상태로 판단한다. 상기 제어유닛(200)은 복수의 특징점들을 추출, 매칭, 판단함으로써 로봇 청소기의 상태 판단에 있어서 발생할 오류를 줄인다. 예를 들어, 인접 영상에 이동하는 물체가 존재하는 경우에 인접 영상 간의 변화량이 큰 특징점들이 일부 존재하게 되는데, 이러한 경우에 인접 영상간의 변화량이 거의 없는 특징점이 존재하면 상기 제어유닛(200)은 로봇 청소기가 정지 상태이거나, 장애물 걸림 상태로 판단하게 된다.When the
도 2를 참조하면, 본 발명에 따른 로봇 청소기는, 충전 가능한 전원 공급 수단을 구비하여 로봇 청소기 내로 전원을 공급하는 전원유닛(400)과, 바퀴를 구동하여 로봇 청소기를 이동하는 구동유닛(500)과, 하나 이상의 버튼을 구비하여 직접 제어 명령을 입력받는 입력유닛(600)과, 주변의 장애물을 검출하여 장애물 정보를 출력하는 장애물 검출유닛(800)을 더 포함하여 구성된다. 이때, 상기 제어유닛(200)은, 상기 장애물 정보를 근거로 청소지도를 작성하여 상기 청소지도를 근거로 청소를 수행한다.Referring to FIG. 2, the robot cleaner according to the present invention includes a
상기 전원유닛(400)은 로봇 청소기가 이동하고, 청소를 수행하는데 따른 동작 전원을 공급하며, 내에 구비된 상기 전원 공급 수단, 즉 배터리 잔량이 부족하면 충전대로부터 충전 전류를 공급받아 충전한다.The
상기 구동유닛(500)은 복수의 주바퀴와 하나 이상의 보조바퀴를 포함하는 상기 다수의 바퀴를 회전시키는 소정의 휠모터(Wheel Motor)를 구동하여 로봇 청소기가 이동하도록 한다.The
사용자 등은 상기 입력유닛(600)을 통해 상기 로봇 청소기에 직접 제어 명령을 입력하거나, 또는 상기 저장유닛(300)에 저장된 주행 방향, 주행 경로, 장애물 위치 등의 장애물 정보나, 청소지도, 청소 영역에 관한 정보, 상기 장애물 검출유닛(800)이나, 영상검출 유닛(100)을 통해 검출된 정보들을 출력하도록 하는 명령을 입력할 수 있다. 상기 입력유닛(600)은 장애물의 위치, 로봇 청소기의 위치 등의 위치 정보나, 청소 영역, 복수의 셀들이나 청소지도를 확인하는 명령을 입력하는 확인버튼, 설정하는 명령을 입력하는 설정버튼, 재설정하는 명령을 입력하는 재설정버튼, 삭제버튼, 청소시작버튼, 정지버튼 중 하나 이상의 입력 버튼을 구비할 수 있다.A user or the like inputs a control command directly to the robot cleaner through the
상기 장애물 검출유닛(800)은, 상기 청소 영역 내에서 이동 중이거나, 청소 중에 로봇 청소기 주변의 장애물을 검출하고, 상기 장애물의 유무, 또는 위치, 크기 등의 장애물 정보를 상기 제어유닛(200)에 출력한다. 상기 장애물 검출유닛(800)으로는 적외선 센서, 초음파 센서, RF 센서(Radio Frequency Sensor)나 범퍼(Bumper) 등을 사용할 수 있다.The
상기 로봇 청소기는, 현재 이동 시. 이전 이동 시, 또는 청소 시에 상기 장애물 검출유닛(800)을 통해 검출된 장애물의 위치 등의 장애물 정보, 상기 제어유닛(200)을 통해 수정된 주행 방향, 주행 경로, 또는 작성된 청소지도 중 하나 이상의 정보를 저장하는 저장유닛(300)을 더 포함할 수 있다. 상기 저장유닛(300)은 비휘발성 메모리인 것을 특징으로 한다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 저장 장치로서, 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브 등을 포함하며, 천공 카드, 페이퍼 테이프 뿐만 아니라, 마그네틱 RAM, PRAM 등을 포함한다. 또한, 상기 저장유닛(300)은 상기 청소 영역 내에서의 로봇 청소기의 주행 기록을 더 저장할 수 있다. 또한, 상기 저장유닛(300)은 상기 청소 영역과, 복수의 셀들을 저장한다.The robot cleaner is currently moving. Obstacle information such as the position of the obstacle detected through the
상기 로봇 청소기는, 상기 저장유닛(300)에 저장된 방 정보, 장애물 정보나 청소 영역에 관한 정보, 상기 벽면 인식유닛(100), 상기 장애물 검출유닛(800)이나, 상기 위치 인식유닛을 통해 검출되거나 인식된 정보들과, 상기 제어유닛(200)을 통해 작성된 청소지도, 수정된 주행 방향, 주행 경로 등을 디스플레이하는 디스플레이유닛(700)을 더 포함할 수 있다. 상기 디스플레이유닛(700)은 로봇 청소기를 구성하는 각 유닛들의 현재 상태와, 현재 청소 상태 등의 상태 정보들을 더 표시할 수 있다. 상기 디스플레이유닛(700)은 발광다이오드(Light Emitting Diode; LED), 액정표시장치(Liquid Crystal Display; LCD), 플라즈마표시패널(Plasma Display Panel), 유기발광다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다. 이때, 상기 입력유닛(600)과 디스플레이유닛(700)은 입력 또는 출력이 모두 가능한 터치스크린의 형태를 가질 수 있다.The robot cleaner may detect the room information, the obstacle information or the cleaning area information stored in the storage unit 300, the
상기 로봇 청소기는, 로봇 청소기의 위치를 인식하여 위치 정보를 출력하는 위치 인식유닛(미도시)을 더 포함할 수 있다. 여기서, 상기 위치 인식유닛으로는 속도 및 위치를 인식하는 가속도 센서(미도시), 로봇 청소기의 바퀴를 구동하는 휠모터와 연결되어 속도를 검출하는 인코더(미도시), 로봇 청소기의 회전 속도를 검출하는 자이로 센서(미도시) 중 하나 이상의 센서가 사용될 수 있다.The robot cleaner may further include a position recognition unit (not shown) for recognizing the position of the robot cleaner and outputting position information. Here, the position recognition unit may include an acceleration sensor (not shown) for recognizing the speed and the position, an encoder (not shown) connected to a wheel motor for driving the wheels of the robot cleaner to detect the speed, One or more of a gyro sensor (not shown) may be used.
도 5를 참조하면, 본 발명에 따른 로봇 청소기의 제어 방법은, 둘 이상의 영상들을 검출하는 단계(S100)와, 상기 영상들로부터 하나 이상의 특징점을 추출하는 단계(S200)와, 상기 영상들의 특징점을 비교하는 단계(S300)와, 상기 비교 결과를 근거로 로봇 청소기의 상태를 판단하는 단계(S400)를 포함하여 구성된다. 이하 장치의 구성은 도 1 내지 도 3을 참조한다.Referring to FIG. 5, a method of controlling a robot cleaner according to the present invention includes a step S100 of detecting two or more images, a step S200 of extracting at least one feature point from the images, (S300), and determining a state of the robot cleaner based on the comparison result (S400). The configuration of the apparatus will be described with reference to Figs.
상기 로봇 청소기는, 상기 영상 검출유닛(100)을 통해 영상을 획득하면(S100), 상기 특징점 추출모듈(210)은 상기 영상으로부터 하나 이상의 특징점을 추출한다(S200). 또한, 일정 시간이 경과한 다음 상기 영상 검출유닛(100)이 다른 영상을 획득하면(S100), 상기 특징점 추출모듈(210)은 그 영상으로부터 하나 이상의 특징점을 추출한다(S200). 상기 특징점 매칭모듈(220)은 상기 특징점들을 비교하고(S300), 상기 판단모듈(230)은 상기 매칭된 특징들을 이용하여 로봇 청소기의 상태를 판단한다(S400).When the robot cleaner obtains an image through the
도 6을 참조하면, 상기 로봇 청소기의 제어 방법은, 상기 영상들의 특징점 비교 결과를 근거로 특징점 변화량을 산출하는 단계(S310)를 더 포함하여 구성된다. 이때, 상기 상태를 판단하는 단계(S400)는, 상기 산출된 특징점 변화량을 근거로 상기 로봇 청소기의 상태를 판단한다(S410 이하).Referring to FIG. 6, the control method of the robot cleaner may further include calculating a feature point change amount based on the feature point comparison result of the images (S310). At this time, the step of determining the state (S400) determines the state of the robot cleaner based on the calculated minutia change amount (S410 et seq.).
도 6을 참조하면, 상기 상태를 판단하는 단계(S400)는, 상기 산출된 특징점 변화량과 미리 설정된 기준 변화량을 비교한다(S410). 상기 로봇 청소기는, 상기 비교 결과, 상기 산출된 특징점 변화량이 기준 변화량 이상이면, 상기 로봇 청소기가 이동 상태로 판단한다(S420). 또한, 상기 로봇 청소기는, 상기 비교 결과, 상기 산출된 특징점 변화량이 기준 변화량 미만이면, 상기 로봇 청소기가 정지 상태로 판단하거나, 장애물 걸림 상태로 판단한다(S430). 이때, 상기 로봇 청소기는, 장애물 걸림 상태로 판단하면, 장애물 회피 동작을 수행한다(S500).Referring to FIG. 6, the step of determining the state (S400) compares the calculated minutia change amount with a preset reference change amount (S410). If the calculated minutia change amount is equal to or greater than the reference change amount, the robot cleaner determines that the robot cleaner is in a moving state (S420). The robot cleaner may determine that the robot cleaner is in a stop state or an obstacle jam state if the calculated minutia change amount is less than the reference change amount as a result of the comparison (S430). At this time, if the robot cleaner determines that the robot cleaner is in an obstacle blocking state, the robot cleaner performs an obstacle avoidance operation (S500).
도 4를 참조하면, 상기 영상 검출유닛(100)이 영상을 획득하면(S100), 상기 특징점 추출모듈(210)은 상기 영상으로부터 하나 이상의 특징점을 추출한다(S200). 또한, 일정 시간이 경과한 다음 상기 영상 검출유닛(100)이 다른 영상을 획득하면(S100), 상기 특징점 추출모듈(210)은 그 영상으로부터 하나 이상의 특징점을 추출한다(S200). 상기 특징점 매칭모듈(220)은 상기 특징점들을 비교하고(S300), 상기 판단모듈(230)은 상기 매칭된 특징들을 이용하여 로봇 청소기의 상태를 판단한다(S400). 도 4와 같이 로봇 청소기가 이동중이면 상기 특징점들이 변화하게 되는데, 상기 로봇 청소기는 상기 특징점들의 이동을 근거로 상기 로봇 청소기가 이동 상태인 것으로 판단한다. 이때, 상기 로봇 청소기는 특징점의 변화량을 산출하고(S310), 상기 특징점의 변화량을 근거로 상기 로봇 청소기의 상태를 판단할 수 있다(S400). 또한, 상기 로봇 청소기는 상기 특징점의 변화량을 근거로 상기 로봇 청소기의 이동 방향, 이동 속도 등도 판단할 수 있다. 상기 로봇 청소기는 기준 변화량을 미리 설정하고(S410), 상기 특징점 매칭 결과, 상기 특징점의 변화량이 상기 기준 변화량 이상이면, 이동 상태로 판단하고(S420), 상기 특징점 매칭 결과, 상기 특징점의 변화량이 상기 기준 변화량 미만이면, 정지 상태인 것으로 판단한다(S430). 또한, 상기 로봇 청소기는, 상기 특징점의 변화량이 없거나, 상기 기준 변화량보다 작으면 상기 로봇 청소기가 장애물에 걸린 상태로 판단한다(S430). 상기 정지 상태와 상기 장애물 걸림 상태의 구분은 여러 가지 방법으로 수행할 수 있는데, 예를 들어, 현재 로봇 청소기의 전원 상태나, 동작 상태를 근거로 판단할 수 있다. 즉, 상기 로봇 청소기의 전원이 일정 값 이하이면 대기상태로 전환되는데 이 경우에는 상기 로봇 청소기는 정지 상태로 판단하고, 상기 로봇 청소기가 청소 동작을 수행하고 있어야 함에도 정지 상태로 되어 있으면, 상기 로봇 청소기는 장애물 걸림 상태로 판단한다. 상기 로봇 청소기는, 복수의 특징점들을 추출, 매칭, 판단함으로써 상태 판단에 있어서 발생할 오류를 줄인다. 예를 들어, 인접 영상에 이동하는 물체가 존재하는 경우에 인접 영상 간의 변화량이 큰 특징점들이 일부 존재하게 되는데, 이러한 경우에 인접 영상간의 변화량이 거의 없는 특징점이 존재하면 상기 로봇 청소기는 정지 상태이거나, 장애물 걸림 상태로 판단하게 된다. 상기 로봇 청소기는 상기 장애물 걸림 상태로 판단하면, 방향을 전환하거나, 후행하여 장애물을 회피하는 동작을 수행한다(S500).Referring to FIG. 4, when the
이상 설명한 바와 같이, 본 발명에 따른 로봇 청소기 및 이의 제어 방법은, 일정 시간 간격으로 촬영한 둘 이상의 영상 정보로부터 특징점을 추출하고, 추출된 특징점들의 비교를 통해 현재 이동 상태인지, 또는 정지 상태인지를 용이하게 판단할 수 있고, 기계식 범퍼를 사용하지 아니하고 장애물과의 충돌 여부를 판단함으로써 파손이나 고장을 방지할 수 있다.As described above, in the robot cleaner and the control method thereof according to the present invention, minutiae points are extracted from two or more pieces of image information photographed at predetermined time intervals, and whether the current moving state or the stop state is detected It is possible to easily determine whether or not the vehicle is collided with an obstacle without using a mechanical bumper, thereby preventing breakage or failure.
1: 로봇 청소기 100: 영상검출 유닛
110: 상방 카메라 200: 제어유닛
210: 특징점 추출모듈 220: 특징점 매칭모듈
230: 판단모듈 300: 저장유닛
400: 전원유닛 500: 구동유닛
600: 입력유닛 700: 디스플레이유닛
800: 장애물 검출유닛1: robot cleaner 100: image detecting unit
110: Upper camera 200: Control unit
210: feature point extraction module 220: feature point matching module
230: determination module 300: storage unit
400: power supply unit 500: drive unit
600: input unit 700: display unit
800: Obstacle detection unit
Claims (13)
상기 영상들로부터 하나 이상의 특징점을 추출하는 단계;
상기 영상들의 특징점을 비교하는 단계;
상기 영상들의 특징점 비교 결과를 근거로 특징점 변화량을 산출하는 단계;
로봇 청소기의 전원과 관련된 정보를 검출하는 단계; 및
상기 산출된 특징점 변화량 및 상기 전원과 관련된 정보에 근거하여, 상기 로봇 청소기의 상태를 이동 상태, 정지 상태 및 장애물 걸림 상태 중 어느 하나로 판단하는 단계;를 포함하는 로봇 청소기의 제어 방법.Detecting two or more images;
Extracting one or more feature points from the images;
Comparing minutiae points of the images;
Calculating a feature point change amount based on the feature point comparison result of the images;
Detecting information related to the power supply of the robot cleaner; And
And determining the state of the robot cleaner as one of a moving state, a stop state, and an obstacle obstruction state based on the calculated minutia change amount and information related to the power source.
상기 산출된 특징점 변화량이 기준 변화량 이상이면, 상기 로봇 청소기가 이동 상태로 판단하는 것을 특징으로 하는 로봇 청소기의 제어 방법.2. The method of claim 1,
And the robot cleaner is determined to be in a moving state when the calculated minutia change amount is equal to or greater than a reference change amount.
상기 산출된 특징점 변화량이 기준 변화량 미만이고 상기 전원의 잔량이 기준 전원 값 이하이면, 상기 로봇 청소기가 정지 상태로 판단하는 것을 특징으로 하는 로봇 청소기의 제어 방법.2. The method of claim 1,
Wherein the robot cleaner determines that the robot cleaner is in a stopped state when the calculated minutia change amount is less than the reference change amount and the remaining amount of the power source is less than the reference power source value.
상기 산출된 특징점 변화량이 기준 변화량 미만이고 상기 전원의 잔량이 기준 전원 값 이상이면, 장애물 걸림 상태로 판단하는 것을 특징으로 하는 로봇 청소기의 제어 방법.5. The method of claim 4,
And judging the obstacle jam state to be an obstacle jamming state if the calculated minutia change amount is less than the reference change amount and the remaining amount of the power source is equal to or greater than the reference power source value.
장애물 회피 동작을 수행하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.6. The method of claim 5,
And performing an obstacle avoiding operation on the robot cleaner.
둘 이상의 영상들을 검출하는 영상검출 유닛; 및
상기 영상들 내에 존재하는 하나 이상의 특징점을 비교하고, 상기 비교 결과 및 상기 전원유닛의 잔량과 관련된 정보를 근거로 상기 로봇 청소기의 상태를 이동 상태, 정지 상태 및 장애물 걸림 상태 중 어느 하나로 판단하는 제어유닛;을 포함하는 로봇 청소기.A power supply unit including a rechargeable power supply unit for supplying power to the robot cleaner;
An image detecting unit for detecting two or more images; And
A control unit for comparing one or more feature points existing in the images and determining the state of the robot cleaner as a movement state, a stop state, and an obstacle engagement state based on the comparison result and information related to the remaining amount of the power unit, And a robot cleaner.
상기 영상들로부터 상기 하나 이상의 특징점을 추출하는 특징점 추출모듈;
상기 추출된 영상들의 특징점들을 비교하는 특징점 매칭모듈; 및
상기 비교 결과를 근거로 상기 로봇 청소기의 상태를 판단하는 판단모듈;을 포함하는 것을 특징으로 하는 로봇 청소기.8. The apparatus according to claim 7,
A feature point extraction module for extracting the at least one feature point from the images;
A feature point matching module for comparing feature points of the extracted images; And
And a determination module for determining the state of the robot cleaner based on the comparison result.
상기 산출된 특징점 변화량이 기준 변화량 이상이면, 상기 로봇 청소기가 이동 상태로 판단하는 것을 특징으로 하는 로봇 청소기.8. The apparatus according to claim 7,
And the robot cleaner is determined to be in a moving state when the calculated minutia change amount is equal to or greater than a reference change amount.
상기 산출된 특징점 변화량이 기준 변화량 미만이고 상기 전원유닛의 잔량이 기준 전원 값 이하이면, 상기 로봇 청소기가 정지 상태로 판단하는 것을 특징으로 하는 로봇 청소기.8. The apparatus according to claim 7,
Wherein the robot cleaner determines that the robot cleaner is in a stopped state when the calculated minutia change amount is less than the reference change amount and the remaining amount of the power source unit is less than the reference power source value.
상기 산출된 특징점 변화량이 기준 변화량 미만이고 상기 전원유닛의 잔량이 기준 전원 값 이상이면, 상기 로봇 청소기가 장애물 걸림 상태로 판단하는 것을 특징으로 하는 로봇 청소기.11. The apparatus according to claim 10,
Wherein the robot cleaner determines that the robot cleaner is in an obstacle blocking state when the calculated minutia change amount is less than the reference change amount and the remaining amount of the power source unit is equal to or greater than the reference power source value.
상기 로봇 청소기를 장애물 회피 모드로 전환하는 것을 특징으로 하는 로봇 청소기.12. The apparatus according to claim 11,
And switches the robot cleaner to an obstacle avoidance mode.
상기 로봇 청소기의 이동 방향 영상을 검출하는 전방 카메라, 또는 상방 영상을 검출하는 상방 카메라인 것을 특징으로 하는 로봇 청소기.8. The image pickup apparatus according to claim 7,
A forward camera for detecting a moving direction image of the robot cleaner, or an upward camera for detecting an upward image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100009697A KR101641244B1 (en) | 2010-02-02 | 2010-02-02 | Robot cleaner and controlling method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100009697A KR101641244B1 (en) | 2010-02-02 | 2010-02-02 | Robot cleaner and controlling method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110090108A KR20110090108A (en) | 2011-08-10 |
KR101641244B1 true KR101641244B1 (en) | 2016-07-20 |
Family
ID=44927944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100009697A KR101641244B1 (en) | 2010-02-02 | 2010-02-02 | Robot cleaner and controlling method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101641244B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101772084B1 (en) * | 2015-07-29 | 2017-08-28 | 엘지전자 주식회사 | Moving robot and controlling method thereof |
WO2021141396A1 (en) * | 2020-01-08 | 2021-07-15 | Lg Electronics Inc. | Robot cleaner using artificial intelligence and control method thereof |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104757911B (en) * | 2014-11-26 | 2018-02-06 | 深圳市银星智能科技股份有限公司 | The cleaning method and Intelligent robot for sweeping floor of Intelligent robot for sweeping floor |
KR102012548B1 (en) * | 2017-01-25 | 2019-08-20 | 엘지전자 주식회사 | Method of identifying enterable region of robot and robot implementing thereof |
KR20180121244A (en) * | 2017-04-28 | 2018-11-07 | 엘지전자 주식회사 | Moving robot and controlling method thereof |
KR102188798B1 (en) * | 2018-03-26 | 2020-12-11 | 에브리봇 주식회사 | Robot cleaner and method for controling the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100871115B1 (en) * | 2007-05-16 | 2008-11-28 | 엘지전자 주식회사 | Moving robot and operating method for same |
-
2010
- 2010-02-02 KR KR1020100009697A patent/KR101641244B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100871115B1 (en) * | 2007-05-16 | 2008-11-28 | 엘지전자 주식회사 | Moving robot and operating method for same |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101772084B1 (en) * | 2015-07-29 | 2017-08-28 | 엘지전자 주식회사 | Moving robot and controlling method thereof |
WO2021141396A1 (en) * | 2020-01-08 | 2021-07-15 | Lg Electronics Inc. | Robot cleaner using artificial intelligence and control method thereof |
KR20210089462A (en) * | 2020-01-08 | 2021-07-16 | 엘지전자 주식회사 | A robot cleaner using artificial intelligence and control method thereof |
KR102423573B1 (en) * | 2020-01-08 | 2022-07-20 | 엘지전자 주식회사 | A robot cleaner using artificial intelligence and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20110090108A (en) | 2011-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2258247B1 (en) | Robot cleaner and method for controlling the same | |
KR101949277B1 (en) | Autonomous mobile robot | |
KR101641244B1 (en) | Robot cleaner and controlling method thereof | |
KR101649645B1 (en) | Robot cleaner and controlling method thereof | |
KR101641237B1 (en) | Robot cleaner and controlling method of the same | |
KR102072387B1 (en) | Robot cleaner and method for controlling the same | |
KR101626984B1 (en) | Robot cleaner and controlling method of the same | |
US7324870B2 (en) | Cleaning robot and control method thereof | |
US20130116825A1 (en) | Robot cleaner and controlling method of the same | |
KR20120044768A (en) | Robot cleaner and controlling method of the same | |
KR101938703B1 (en) | Robot cleaner and control method for the same | |
KR20070027840A (en) | Robot cleaner and control method for the same | |
KR101303161B1 (en) | Mobile robot and controlling method of the same | |
KR20200105916A (en) | Robot vacuum cleaner and its control method | |
KR101641232B1 (en) | Robot cleaner and controlling method of the same | |
KR101641242B1 (en) | Robot cleaner and controlling method thereof | |
KR20110085500A (en) | Robot cleaner and controlling method thereof | |
KR101966044B1 (en) | Robot Cleaner and Controlling Method for the same | |
KR101223480B1 (en) | Mobile robot and controlling method of the same | |
KR20090112984A (en) | Mobile robot with sensor for detecting obstacle | |
KR101641235B1 (en) | Robot cleaner and controlling method of the same | |
KR101895314B1 (en) | Robot cleaner and controlling method of the same | |
KR101627999B1 (en) | Robot cleaner and controlling method of the same | |
KR101634519B1 (en) | Robot cleaner and controlling method of the same | |
KR101634518B1 (en) | Robot cleaner and controlling method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |