KR20130000278A - 로봇 청소기 및 이의 제어 방법 - Google Patents

Abstract

로봇 청소기 및 이의 제어 방법이 개시된다. 본 발명은 상방 카메라와 같은 영상 검출 유닛을 통해 복수의 영상을 검출하여 상기 복수의 영상으로부터 둘 이상의 특징점들을 추출하고, 특징점들의 정보를 상호 비교하여 정합함으로써 위치를 정밀하게 인식할 수 있다. 본 발명은 정밀하게 인식된 위치와 내부지도를 연계하여 청소 또는 주행을 수행한다. 본 발명은 영상을 이용하여 위치를 인식함에 있어서, 장애물에 끼거나 들리거나 사용자 등에 의해 위치 변동이 있는 경우 등에 발생하기 쉬운 오차를 줄이고, 연산량 및 연산 시간을 줄임과 동시에 자기 위치를 정밀하게 인식할 수 있다.

Description

로봇 청소기 및 이의 제어 방법{ROBOT CLEANER AND CONTROLLING METHOD OF THE SAME}

본 발명은 로봇 청소기에 관한 것으로서, 상방 카메라와 같은 영상 검출 유닛을 이용하여 자신의 위치를 정밀하게 인식하는 로봇 청소기 및 이의 제어 방법에 관한 것이다.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.

상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다. 또, 근래에는 카메라나 각종 센서들을 이용하여 자기 위치인식 및 지도작성 기능을 가진 로봇 청소기들이 개발되고 있다.

본 발명의 실시 예들은 상방 카메라와 같은 영상 검출 유닛을 이용하여 복수의 영상을 검출하고, 상기 복수의 영상으로부터 둘 이상의 특징점들을 추출하여 이를 정합함으로써 자기 위치를 정밀하게 인식하는 로봇 청소기 및 이의 제어 방법을 제공함에 일 목적이 있다.

본 발명의 실시 예들은 복수의 영상들로부터 일정 개수의 대표 특징점들을 추출하여 정합함으로써 연산 시간을 줄임과 동시에 자기 위치를 정밀하게 인식하는 로봇 청소기 및 이의 제어 방법을 제공함에 다른 목적이 있다.

본 발명의 실시 예들은 영상을 이용하여 위치를 인식함에 있어서, 장애물에 끼거나 들리거나 또는 사용자 등에 의해 위치 변동이 있는 경우에 발생하기 쉬운 위치 오차를 줄임으로써 자기 위치를 정밀하게 인식하는 로봇 청소기 및 이의 제어 방법을 제공함에 또 다른 목적이 있다.

상기 목적들을 달성하기 위한 일 실시 예에 따른 로봇 청소기는, 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 유닛과, 상기 복수의 영상들 각각에 대하여 특징점 정보를 갖는 복수의 특징점들을 추출하는 특징점 추출 유닛과, 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 일정 개수의 집합들로 구분하여 각 집합들에 대한 중심점을 추출하는 중심점 추출 유닛과, 상기 중심점들을 이용하여 상기 복수의 영상들 사이의 유사도를 연산하고, 연산 결과를 근거로 로봇 청소기의 위치를 인식하는 제어 유닛을 포함하여 구성된다.

일 실시 예에 따른 로봇 청소기에 있어서, 상기 제어 유닛은, 새로 검출한 영상에 대한 일정 개수의 중심점들과 상기 복수의 영상들에 대한 중심점들 사이의 유사도를 이용하여 중심점들을 정합하는 중심점 정합 모듈을 포함하여 구성된다. 또, 상기 제어 유닛은, 상기 특징점 정보를 비교하여 상기 복수의 특징점들을 정합하는 특징점 정합 모듈을 더 포함하여 구성된다.

일 실시 예에 따른 로봇 청소기는, 주변의 장애물을 검출하는 장애물 검출 유닛을 더 포함하여 구성된다. 여기서, 상기 제어 유닛은, 상기 장애물을 근거로 내부지도를 생성하고, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정한다. 또, 상기 제어 유닛은, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하고, 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행한다.

상기 목적들을 달성하기 위한 일 실시 예에 따른 로봇 청소기의 제어 방법은, 복수의 영상들 각각에 대하여 특징점 정보를 갖는 복수의 특징점들을 추출하고, 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 일정 개수의 집합들로 구분하여 각 집합들에 대한 중심점을 추출한 다음, 상기 중심점들을 이용하여 로봇 청소기의 위치를 인식한다.

일 실시 예에 따른 로봇 청소기의 제어 방법은, 새로 검출한 영상에 대한 일정 개수의 중심점들과 상기 복수의 영상들에 대한 중심점들 이용하여 상기 복수의 영상들 사이의 유사도를 연산하고, 연산 결과를 근거로 로봇 청소기의 위치를 인식한다.

일 실시 예에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 상기 복수의 영상들을 검출하는 영상 검출 단계와, 상기 복수의 영상들 각각에 대하여 상기 복수의 특징점들을 추출하는 특징점 추출 단계와, 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 상기 중심점들을 추출하는 중심점 추출 단계와, 상기 중심점들을 이용하여 상기 복수의 영상들 사이의 유사도를 이용하여 상기 중심점들을 정합하는 중심점 정합 단계와, 상기 중심점들의 정합 결과를 이용하여 상기 위치를 인식하는 위치 인식 단계를 포함하여 구성된다.

일 실시 예에 따른 로봇 청소기의 제어 방법은, 주변의 장애물을 검출하는 장애물 검출 단계와, 상기 장애물을 근거로 내부지도를 생성하는 지도 생성 단계와, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 단계와, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하는 단계와, 상기 수정된 청소경로 또는 상기 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 수행 단계를 더 포함하여 구성된다.

본 발명의 실시 예들에 따른 로봇 청소기 및 이의 제어 방법은, 상방 카메라와 같은 영상 검출 유닛을 통해 복수의 영상을 검출하여 상기 복수의 영상으로부터 둘 이상의 특징점들을 추출하고, 특징점들의 정보를 상호 비교하여 정합함으로써 위치를 정밀하게 인식할 수 있다.

본 발명의 실시 예들에 따라 정밀하게 인식된 위치와 내부지도를 연계하여 청소 또는 주행을 수행함으로써 시스템의 효율을 증대하는 효과가 있다.

본 발명의 실시 예들은 복수의 영상들로부터 일정 개수의 대표 특징점들을 추출하여 정합함으로써 연산 시간을 줄임과 동시에 자기 위치를 정밀하게 인식할 수 있다.

본 발명의 실시 예들은 복수의 영상들로부터 일정 개수의 대표 특징점들을 추출함으로써 특징점 정합을 이용하여 영상 유사도 판단할 영상들을 줄일 수 있다.

본 발명의 실시 예들은 영상을 이용하여 위치를 인식함에 있어서, 장애물에 끼거나 들리거나 사용자 등에 의해 위치 변동이 있는 경우 등에 발생하기 쉬운 오차를 줄이고, 이른 시간 내에 자기 위치를 정밀하게 인식할 수 있다.

본 발명의 실시 예들은 장애물에 끼거나 들리거나 사용자 등에 의해 위치 변동이 있은 후에 새로 검출한 영상과 기존의 영상들을 비교하여 위치를 인식함에 있어서, 일정 개수의 대표 특징점들을 추출하여 먼저 정합하고, 다시 특징점들을 정합함으로써 연산량 및 연산 시간을 줄임과 동시에 자기 위치를 정밀하게 인식할 수 있다.

도 1은 본 발명의 실시 예들에 따른 로봇 청소기의 외관을 개략적으로 보인 사시도;
도 2는 본 발명의 실시 예들에 따라 특징점을 추출하는 동작을 설명하기 위한 도;
도 3 내지 도 5는 본 발명의 실시 예들에 따른 로봇 청소기의 구성을 개략적으로 보인 블록도;
도 6a 및 도 6b는 본 발명의 실시 예들에 따라 특징점을 추출하는 동작을 설명하기 위한 도;
도 7a 및 도 7b는 본 발명의 실시 예들에 따라 특징점을 정합하는 동작을 설명하기 위한 도;
도 8 내지 도 11은 본 발명의 실시 예들에 따른 로봇 청소기의 제어 방법을 개략적으로 보인 흐름도;
도 12 내지 도 16은 본 발명의 실시 예들에 따라 중심점 정합을 이용하여 영상의 유사도를 연산하는 동작을 설명하기 위한 도들이다.

도 1 및 도 3을 참조하면, 일 실시 예에 따른 로봇 청소기는, 영상 검출 유닛(100)과, 특징점 추출 유닛(200)과, 중심점 추출 유닛(300)과, 제어 유닛(400)을 포함하여 구성된다. 영상 검출 유닛(100)은 주변을 촬영하여 복수의 영상들을 검출한다. 특징점 추출 유닛(200)은 상기 복수의 영상들 각각에 대하여 특징점 정보를 갖는 복수의 특징점들을 추출한다. 중심점 추출 유닛(300)은 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 일정 개수의 집합들로 구분하여 각 집합들에 대한 대표 특징점(이하, '중심점')을 추출한다.

영상 검출 유닛(100)은, 도 1에 도시한 바와 같이, 로봇 청소기의 상부에 설치되고, 상방을 촬영하여 상방 영상을 검출하는 상방 카메라일 수 있다. 또, 영상 검출 유닛(100)은 또는 전방을 촬영하여 전방 영상을 검출하는 전방 카메라일 수 있다. 영상 검출 유닛(100)은, 렌즈를 포함할 수 있는데, 상기 렌즈로는 소정의 위치에서도 상방 또는 전방의 모든 영역, 예를 들어 천장의 모든 영역이 촬영될 수 있도록 화각이 넓은 렌즈, 예를 들어 화각이 160도 이상을 사용하는 것이 좋다.

특징점 추출 유닛(200)은 영상 검출 유닛(100)이 검출한 영상으로부터 하나 이상의 특징점을 추출한다. 도 2를 참조하면, 영상 검출 유닛(100)을 통해 검출된 영상에서, 상기 특징점들은 천장을 포함하는 상방 영역 또는 전방에 존재하는 형광등, 인테리어 구조물 등의 자연 표식이다. 특징점은, 영상에서의 위치, 방향, 및 기술자로 구성된 특징점 정보를 구비한다. 기술자(descriptor)는, 특징점의 추출 정보를 나타낸다. 위치는 영상에서의 위치, 예를 들어 도 7a에서의 (x_1,i, y_{1 ,i}), (x_1,j, y_{1 ,j}), (x_2,i, y_{2 ,i}), (x_2,j, y_{2 ,j})이고, 도 7b에서의 (x_1,i, y_{1 ,i}), (x_1,j, y_{1 ,j}), (x'_2,i, y'_{2 ,i}), (x'_2,j, y'_{2 ,j})이다. 방향은, 특징점이 추출된 구조물의 방향이나, 영상으로부터 연산된 방향으로서, 도 7a에서의 α_1,j, α_1,j, α_2,j, α_2,j이고, 도 7b에서의 α_1,j, α_1,j, α'_2,j, α'_2,j이다. 기술자는, 특징점의 특징을 나타내는 것으로서, 도 6a 또는 도 6b에 도시한 바와 같이, 영상에서 특징점을 포함하는 일정한 크기의 행렬이 된다. 도 6a는 4*4 행렬로 표현되고, 각 셀은 다시 4*4 행렬이 되어 256 차원으로 특징점이 기술된다. 도 6b를 참조하면, 특징점은 128차원으로 기술된다. 즉, 특징점은 임의의 차원을 갖는 기술자로 기술될 수 있다. 기술자는, 영상으로부터 추출된 위치에서의 구조물의 형태 또는 모양을 포함한다.

중심점 추출 유닛(300)은 복수의 특징점들을 일정 개수(예를 들어, 16, 32, 64개)로 클러스터화를 하고, 개개의 클러스터에서의 중심점들을 추출한다. 이때, 중심점 추출 유닛(300)은 k-means 알고리즘을 이용할 수 있다. 여기서, 중심점들은 각 클러스터 내의 특징점들의 특징을 포함할 수 있다. 각각의 특징점들과 중심점들과의 관계는, 도 12에 도시한 바와 같이, 히스토그램의 형태로 표현될 수 있다. 이러한 관계를 이용하여 각 영상들을 표현할 수 있다.

중심점을 이용하여 표현된 각 영상들은 저장 유닛(500)에 저장될 수 있다. 저장 유닛은 영상과 함께 특징점 정보, 장애물 정보, 위치 정보, 청소 영역, 청소 지도 등을 더 저장할 수 있다. 저장 유닛은 비휘발성 메모리를 주로 사용한다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 저장 장치이다. 비휘발성 메모리로는 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브, 마그네틱 RAM, PRAM 등을 사용한다.

제어 유닛(400)은 상기 중심점들을 이용하여 상기 복수의 영상들 사이의 유사도를 연산하고, 연산 결과를 근거로 로봇 청소기의 위치를 인식한다. 도 12를 참조하면, 중심점들로 표현된 영상들 사이의 유사도는 각 히스토그램 사이의 관계로부터 연산될 수 있다. 도 12에 도시한 바와 같이, 처음 두 장의 영상은 유사도가 94%인 반면, 다음 영상과의 유사도는 68%이다. 영상의 유사도는, 유클리디안 디스턴스의 누적합 등의 방법, 예를 들어 하기 수학식 1로 연산될 수 있다.

여기서, α는 유사도, H1, H2는 히스토그램, K는 클러스터의 수이다.

도 13을 참조하면, 일정한 영역을 연속해서 찍은 영상들은 유사도가 높은 반면(88%, 83%, 95%), 다른 영역의 영상들은 서로 유사도가 낮음을 볼 수 있다(26%, 21%). 그러나, 도 14를 참조하면, 다른 영역에서의 영상들도 유사도가 높게 나올 수 있다. 이를 구분하기 위해, 예를 들어 도 7a, 도 7b에 도시한 바와 같은 특징점 정합을 수행할 수 있다. 도 15를 참조하면, 조명 변화에 따라 영상의 유사도 차이를 보여준다. 도 15를 참조하면, 조명 변화에 불구하고, 여전히 동일한 영역에 대한 영상들의 유사도가 높게 연산됨을 볼 수 있다.

도 7a 및 도 7b를 참조하여, 제어 유닛(400)이 위치를 인식하는 동작을 설명한다. 물론 특징점 정합을 이용하여 위치를 인식하는 다른 알고리즘을 이용할 수 있다. 제어 유닛(400)은 연산한 유사도가 일정 기준 유사도 이상인 영상들 내의 특징점들과 새로 검출한 영상들 내의 특징점들을 정합하여 위치를 인식한다. 또, 제어 유닛은 연산한 유사도가 큰 일정 개수의 영상들을 선별하고, 선별한 영상들 내의 특징점들과 새로 검출한 영상들 내의 특징점들을 정합할 수 있다.

상기 특징점 집합은, 상기 복수의 특징점들 사이의 방향 벡터, 및 방향각으로 구성된 특징점 집합 정보를 구비하고, 상기 방향각은, 각 특징점의 방향과 상기 방향 벡터가 이루는 각이다. 도 7a 또는 도 7b를 참조하면, 상기 방향 벡터는, 특징점 (x_1,i, y_{1 ,i})에서 (x_1,j, y_{1 ,j})로의 벡터, 특징점 (x_2,i, y_{2 ,i})에서 (x_2,j, y_{2 ,j})로의 벡터, 또는 특징점 (x'_2,i, y'_{2 ,i})에서 (x'_2,j, y'_{2 ,j})로의 벡터를 나타낸다. 또한, 상기 방향각은, 도 7a 또는 도 7b에서의 θ 또는 θ'가 된다. 이때, 제어 유닛(400)은, 상기 방향 벡터, 및 상기 방향각의 변화를 근거로 상기 특징점을 정합한다. 제어 유닛은, 예를 들어, 상기 방향 벡터의 길이 변화가 일정 변위 이하이고, 상기 방향각의 변화가 없거나, 그 차이가 일정 각 이하인 경우에 특징점을 정합한다.

제어 유닛(400)은, 상기 특징점들의 정합 결과를 근거로 로봇 청소기 자신의 위치를 인식한다. 즉, 제어 유닛(400)은, 상기 방향 벡터의 길이 변화가 일정 변위 이하이고, 상기 방향각의 변화가 없거나, 그 차이가 일정 각 이하이면, 상기 특징점들이 정합된 것으로 판단한다. 그런 다음, 제어 유닛(400)은, 상기 특징점 집합들에 포함된 특징점들 중에 적어도 둘 이상의 특징점이 정합되면, 두 개의 특징점들을 가진 특징점 집합의 경우에 두 개의 특징점이 모두 정합되면, 상기 특징점들의 이동 변위를 통해 로봇 청소기 자신의 위치 변화를 인식한다.

도 4를 참조하면, 다른 실시 예에 따른 로봇 청소기는, 영상 검출 유닛(100)과, 특징점 추출 유닛(200)과, 중심점 추출 유닛(300)과, 제어 유닛(400)과, 장애물 검출 유닛(600)을 포함하여 구성된다. 도 3에 대한 설명과 중복되는 부분은 그에 갈음하고, 이하 생략한다.

장애물 검출 유닛(600)은, 가정이나 사무실 등의 실내에서 이동 중이거나, 청소 중에 로봇 청소기 주변의 장애물을 검출하고, 상기 장애물의 유무, 또는 위치, 크기 등의 장애물 정보를 제어 유닛(400)에 전달한다. 장애물 검출유닛(600)으로는 적외선 센서, 초음파 센서, RF 센서(Radio Frequency Sensor)나 범퍼(Bumper) 등을 사용할 수 있다. 또한, 장애물 검출유닛(600)은, 초음파 센서, 적외선 삼각 측량 방식을 이용하여 거리를 정확히 산출할 수 있는 PSD (Position Sensitive Device) 센서, 또는 레이저를 발사한 뒤 반사되어 되돌아오는 레이저를 검출하여 정확한 거리를 측정하는 레이저 거리 측정기(Laser Range Finder; LRF) 등을 이용하여 벽면과의 거리를 측정하고, 이를 근거로 벽면의 형태, 위치 등을 검출할 수 있다.

제어 유닛(400)은, 장애물 검출 유닛(600)을 통해 검출한 상기 장애물을 근거로 내부지도를 생성하고, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정한다. 또, 제어 유닛(400)은, 특징점의 정합 결과를 근거로 인식한 위치를 이용하여 상기 청소경로 또는 상기 주행경로를 수정하고, 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행한다.

도 4를 참조하면, 상기 로봇 청소기는 바퀴를 구동하여 이동하는 구동 유닛(700)을 더 포함할 수 있다. 구동 유닛(500)은 복수의 주바퀴와 하나 이상의 보조바퀴를 포함하는 상기 다수의 바퀴를 회전시키는 소정의 휠모터(Wheel Motor)를 구동하여 로봇 청소기가 이동하도록 한다.

도 4를 참조하면, 상기 로봇 청소기는, 저장 유닛(500)에 저장된 영상, 특징점 등의 정보나, 장애물 정보, 또는 제어 유닛(400)을 통해 생성된 내부지도를 디스플레이하는 출력 유닛(810)을 더 포함할 수 있다. 출력 유닛(810)은, 로봇 청소기를 구성하는 각 유닛들의 현재 상태와, 현재 청소 상태 등의 상태 정보들을 더 표시할 수 있다. 출력 유닛(810)은, 발광다이오드(Light Emitting Diode; LED), 액정표시장치(Liquid Crystal Display; LCD), 플라즈마표시패널(Plasma Display Panel), 유기발광다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.

상기 로봇 청소기는, 직접 제어 명령을 입력하거나, 또는 장애물 정보나, 상기 저장 유닛(500)에 저장된 정보를 출력하도록 하는 명령을 입력받는 입력 유닛(820)을 더 포함하여 구성된다. 입력 유닛(820)은, 장애물의 위치, 로봇 청소기의 위치 등의 위치 정보나, 내부지도, 청소경로, 또는 주행경로를 확인하는 명령을 입력하는 확인버튼, 설정하는 명령을 입력하는 설정버튼, 재설정하는 명령을 입력하는 재설정버튼, 삭제버튼, 청소시작버튼, 정지버튼 중 하나 이상의 입력 버튼을 구비할 수 있다. 또한, 사용자 등은 입력 유닛(820)을 통해 제어 명령을 입력함으로써 상기 출력 유닛(810)에 표시된 내부지도에서 청소가 필요한 섹터나, 또는 방을 선택하여 청소를 수행하도록 할 수 있으며, 청소 패턴, 청소 순서 등을 설정하는 제어 명령을 입력할 수 있다. 상기 입력 유닛(820)과 상기 출력 유닛(810)은, 입력 또는 출력이 모두 가능한 터치스크린의 형태를 가질 수 있다.

상기 로봇 청소기는 전원 유닛(900)을 더 포함할 수 있다. 전원 유닛(900)은, 충전 가능한 전원 공급 수단을 구비하여 로봇 청소기 내로 전원을 공급한다. 상기 전원 유닛(900)은 로봇 청소기가 이동하고, 청소를 수행하는데 따른 동작 전원을 공급하며, 전원 잔량이 부족하면 충전대로 이동하여 충전 전류를 공급받아 충전된다.

상기 로봇 청소기는, 청소 유닛(미도시)을 더 포함할 수 있는데, 상기 청소 유닛은 공기를 흡입하는 소정의 흡입 모터와, 먼지를 응집하는 수단을 구비하고, 주변의 먼지 또는 이물질을 흡입한다.

도 5를 참조하면, 또 다른 실시 예에 따른 로봇 청소기는, 도 3 또는 도 4에서와는 달리, 특징점 추출 유닛, 중심점 추출 유닛, 특징점 정합 유닛을 각각 상기 제어 유닛(400)에 특징점 추출 모듈(410), 중심점 정합 모듈(420), 특징점 정합 모듈(430)의 모듈 형태로 포함할 수 있다. 즉, 도 5를 참조하면, 본 발명에 따른 로봇 청소기는,주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 유닛(100)과, 상기 복수의 영상들을 이용하여 로봇 청소기의 위치를 인식하는 제어 유닛(400)을 포함한다. 여기서, 제어 유닛(400)은, 상기 복수의 영상들 각각에 대하여 특징점 정보를 갖는 복수의 특징점들을 추출하는 특징점 추출 모듈(410)과, 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 일정 개수의 집합들로 구분하여 각 집합들에 대한 중심점을 추출하고, 이를 정합하는 중심점 정합 모듈(420)과, 상기 특징점들을 각각 비교하여 정합하는 특징점 정합 모듈(430)과, 상기 정합 결과를 근거로 상기 위치를 인식하는 위치 인식 모듈(440)을 포함하여 구성된다. 중심점 정합 모듈(420)은 새로 검출한 영상에 대한 일정 개수의 중심점들과 상기 복수의 영상들에 대한 중심점들 사이의 유사도를 이용하여 중심점들을 정합한다.

실시 예들에 따른 로봇 청소기는, 도 5에 도시한 바와 같이, 별도의 위치 인식 유닛(910)을 더 포함할 수 있다. 위치 인식 유닛(910)으로는 속도 및 위치를 인식하는 가속도 센서, 로봇 청소기의 바퀴를 구동하는 휠모터와 연결되어 속도를 검출하는 인코더, 로봇 청소기의 회전 속도를 검출하는 자이로 센서 등이 사용될 수 있다. 제어 유닛(400)은 위치 인식 유닛을 통해 인식된 위치를 이용하여 특징점 정합을 통해 인식된 위치를 보완할 수 있다.

도 8을 참조하면, 일 실시 예에 따른 로봇 청소기의 제어 방법은, 복수의 영상들 각각에 대하여 특징점 정보를 갖는 복수의 특징점들을 추출하고, 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 일정 개수의 집합들로 구분하여 각 집합들에 대한 중심점을 추출한 다음, 상기 중심점들을 이용하여 로봇 청소기의 위치를 인식한다. 이하 장치의 구성은 도 1 내지 도 7을 참조한다.

도 8을 참조하면, 일 실시 예에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 상기 복수의 영상들을 검출하는 영상 검출 단계(S100)와, 상기 복수의 영상들 각각에 대하여 상기 복수의 특징점들을 추출하는 특징점 추출 단계(S200)와, 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 상기 중심점들을 추출하는 중심점 추출 단계(S300)와, 상기 중심점들을 이용하여 상기 복수의 영상들 사이의 유사도를 이용하여 상기 중심점들을 정합하는 중심점 정합 단계(S400)와, 상기 중심점들의 정합 결과를 이용하여 상기 위치를 인식하는 위치 인식 단계(S500)를 포함하여 구성된다.

먼저, 상기 로봇 청소기는, 상부에 설치되고, 상방을 촬영하여 상방 영상을 검출하는 상방 카메라이거나, 또는 전방을 촬영하여 전방 영상을 검출하는 전방 카메라 등의 영상 검출 유닛을 통해 복수의 영상을 검출한다(S100). 그런 다음, 상기 로봇 청소기는, 복수의 영상들로부터 천장을 포함하는 상방 영역 또는 전방에 존재하는 형광등, 인테리어 구조물 등의 자연 표식으로부터 특징점을 추출한다(S200). 도 2를 참조하면, 특징점들은 천장을 포함하는 상방 영역 또는 전방에 존재하는 형광등, 인테리어 구조물 등의 자연 표식이다. 특징점은, 영상에서의 위치, 방향, 및 기술자로 구성된 특징점 정보를 구비한다. 기술자(descriptor)는, 특징점의 추출 정보를 나타낸다. 위치는 영상에서의 위치, 예를 들어 도 7a에서의 (x_1,i, y_{1 ,i}), (x_1,j, y_{1 ,j}), (x_2,i, y_{2 ,i}), (x_2,j, y_{2 ,j})이고, 도 7b에서의 (x_1,i, y_{1 ,i}), (x_1,j, y_{1 ,j}), (x'_2,i, y'_{2 ,i}), (x'_2,j, y'_{2 ,j})이다. 방향은, 특징점이 추출된 구조물의 방향이나, 영상으로부터 연산된 방향으로서, 도 7a에서의 α_1,j, α_1,j, α_2,j, α_2,j이고, 도 7b에서의 α_1,j, α_1,j, α'_2,j, α'_2,j이다. 기술자는, 특징점의 특징을 나타내는 것으로서, 도 6a 또는 도 6b에 도시한 바와 같이, 영상에서 특징점을 포함하는 일정한 크기의 행렬이 된다. 도 6a는 4*4 행렬로 표현되고, 각 셀은 다시 4*4 행렬이 되어 256 차원으로 특징점이 기술된다. 도 6b를 참조하면, 특징점은 128차원으로 기술된다. 즉, 특징점은 임의의 차원을 갖는 기술자로 기술될 수 있다. 기술자는, 영상으로부터 추출된 위치에서의 구조물의 형태 또는 모양을 포함한다.

상기 로봇 청소기는 복수의 특징점들을 일정 개수(예를 들어, 16, 32, 64개)로 클러스터화를 하고, 개개의 클러스터에서의 중심점들을 추출한다(S300). 이때, 예를 들어, k-means 알고리즘을 이용할 수 있다. 여기서, 중심점들은 각 클러스터 내의 특징점들의 특징을 포함할 수 있다. 각각의 특징점들과 중심점들과의 관계는, 도 12에 도시한 바와 같이, 히스토그램의 형태로 표현될 수 있다. 이러한 관계를 이용하여 각 영상들을 표현할 수 있다.

상기 로봇 청소기는 상기 중심점들을 이용하여 상기 복수의 영상들 사이의 유사도를 연산하고, 연산 결과를 근거로 로봇 청소기의 위치를 인식한다(S400). 도 12를 참조하면, 중심점들로 표현된 영상들 사이의 유사도는 각 히스토그램 사이의 관계로부터 연산될 수 있다. 도 12에 도시한 바와 같이, 처음 두 장의 영상은 유사도가 94%인 반면, 다음 영상과의 유사도는 68%이다.

도 13을 참조하면, 일정한 영역을 연속해서 찍은 영상들은 유사도가 높은 반면(88%, 83%, 95%), 다른 영역의 영상들은 서로 유사도가 낮음을 볼 수 있다(26%, 21%). 그러나, 도 14를 참조하면, 다른 영역에서의 영상들도 유사도가 높게 나올 수 있다. 이를 구분하기 위해, 예를 들어 도 7a, 도 7b에 도시한 바와 같은 특징점 정합을 수행할 수 있다. 도 15를 참조하면, 조명 변화에 따라 영상의 유사도 차이를 보여준다. 도 15를 참조하면, 조명 변화에 불구하고, 여전히 동일한 영역에 대한 영상들의 유사도가 높게 연산됨을 볼 수 있다.

도 9 또는 도 10을 참조하면, 상기 로봇 청소기의 제어 방법은, 상기 복수의 영상들을 상기 중심점들로 표현하여 저장하는 영상 저장 단계(S310)를 더 포함하여 구성된다. 또, 상기 제어 방법은, 상기 특징점 정보를 비교하여 상기 복수의 특징점들을 정합하는 특징점 정합 단계(S410)를 더 포함하여 구성된다. 상기 로봇 청소기는, 연산한 유사도가 일정 기준 유사도 이상인 영상들 내의 특징점들과 새로 검출한 영상들 내의 특징점들을 정합하여 위치를 인식한다. 또, 상기 로봇 청소기는, 연산한 유사도가 큰 일정 개수의 영상들을 선별하고, 선별한 영상들 내의 특징점들과 새로 검출한 영상들 내의 특징점들을 정합할 수 있다.

도 10을 참조하면, 다른 실시 예에 따른 로봇 청소기의 제어 방법은, 새로 검출한 영상에 대한 일정 개수의 중심점들과 상기 복수의 영상들에 대한 중심점들 이용하여 상기 복수의 영상들 사이의 유사도를 연산하고, 연산 결과를 근거로 로봇 청소기의 위치를 인식한다. 장애물에 끼거나 들리거나 또는 사용자 등에 의해 위치 변동이 있은 후, 일정 위치에 놓이면, 상기 로봇 청소기는 다시 주변으로부터 영상을 검출한다(S100). 그런 다음, 영상으로부터 특징점들을 추출하고(S200), 중심점들을 추출한다(S300). 상기 로봇 청소기는 미리 저장된 영상들과 새로 검출한 영상의 중심점들을 정합하고(S400), 연산한 유사도가 일정 기준 유사도 이상이거나, 연산한 유사도가 큰 일정 개수의 영상들을 선별하여 특징점을 정합한다(S401, S410). 도 16을 참조하면, 새로 검출한 영상과 저장된 영상들의 중심점들을 상기 수학식 1을 이용하여 유사도를 연산한 다음, 일정 값 이상(예를 들어, 90%)의 유사도를 갖는 세 장의 영상들을 선별한다(93%, 96%, 91%). 그런 다음, 로봇 청소기는 선별된 영상들 내의 특징점들과 새로 검출한 영상 내의 특징점들을 특징점 정합 알고리즘을 이용하여 정합한 다음, 정합 결과를 이용하여 위치를 인식한다.

도 11을 참조하면, 또 다른 실시 예에 따른 로봇 청소기의 제어 방법은, 주변의 장애물을 검출하는 장애물 검출 단계(S600)와, 상기 장애물을 근거로 내부지도를 생성하는 지도 생성 단계(S700)와, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 단계(S800)와, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하는 단계(S810)와, 상기 수정된 청소경로 또는 상기 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 수행 단계(S900)를 더 포함하여 구성된다.

상기 로봇 청소기는, 장애물 검출 유닛을 통해 이동하거나, 청소하는 중에 주변의 장애물을 검출하고(S600), 검출한 상기 장애물을 근거로 내부지도를 생성한 다음(S700), 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정한다(S800). 또한, 상기 로봇 청소기는, 상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하고(S810), 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행한다(S900).

이상 설명한 바와 같이, 본 발명은 상방 카메라와 같은 영상 검출 유닛을 통해 복수의 영상을 검출하여 상기 복수의 영상으로부터 둘 이상의 특징점들을 추출하고, 특징점들의 정보를 상호 비교하여 정합함으로써 위치를 정밀하게 인식할 수 있다. 본 발명은 정밀하게 인식된 위치와 내부지도를 연계하여 청소 또는 주행을 수행한다. 본 발명은 영상을 이용하여 위치를 인식함에 있어서, 장애물에 끼거나 들리거나 사용자 등에 의해 위치 변동이 있는 경우 등에 발생하기 쉬운 오차를 줄이고, 모든 특징점들을 상호 비교하지 아니함으로써 연산량 및 연산 시간을 줄임과 동시에 자기 위치를 정밀하게 인식할 수 있다.

100: 영상 검출 유닛 200: 특징점 추출 유닛
300: 중심점 추출 유닛 400: 제어 유닛
500: 저장 유닛 600: 장애물 검출 유닛
700: 구동 유닛 810: 출력 유닛
820: 입력 유닛 900: 전원 유닛
910: 위치 인식 유닛 410: 특징점 추출 모듈
420: 중심점 정합 모듈 430: 특징점 정합 모듈
440: 위치 인식 모듈

Claims (18)

1. 주변을 촬영하여 복수의 영상들을 검출하는 영상 검출 유닛;
   상기 복수의 영상들 각각에 대하여 특징점 정보를 갖는 복수의 특징점들을 추출하는 특징점 추출 유닛;
   상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 일정 개수의 집합들로 구분하여 각 집합들에 대한 중심점을 추출하는 중심점 추출 유닛; 및
   상기 중심점들을 이용하여 상기 복수의 영상들 사이의 유사도를 연산하고, 연산 결과를 근거로 로봇 청소기의 위치를 인식하는 제어 유닛;을 포함하는 로봇 청소기.
2. 제1 항에 있어서,
   상기 복수의 영상들을 상기 중심점들로 표현하여 저장하는 저장 유닛;을 더 포함하는 로봇 청소기.
3. 제2 항에 있어서, 상기 제어 유닛은,
   새로 검출한 영상에 대한 일정 개수의 중심점들과 상기 복수의 영상들에 대한 중심점들 사이의 유사도를 이용하여 중심점들을 정합하는 중심점 정합 모듈;을 포함하는 것을 특징으로 하는 로봇 청소기.
4. 제3 항에 있어서, 상기 제어 유닛은,
   상기 특징점 정보를 비교하여 상기 복수의 특징점들을 정합하는 특징점 정합 모듈;을 더 포함하는 것을 특징으로 하는 로봇 청소기.
5. 제4 항에 있어서, 상기 특징점 정합 모듈은,
   상기 연산한 유사도가 일정 기준 유사도 이상인 영상들 내의 특징점들과 상기 새로 검출한 영상들 내의 특징점들을 정합하는 것을 특징으로 하는 로봇 청소기.
6. 제4 항에 있어서, 상기 특징점 정합 모듈은,
   상기 연산한 유사도가 큰 일정 개수의 영상들을 선별하고, 선별한 영상들 내의 특징점들과 상기 새로 검출한 영상들 내의 특징점들을 정합하는 것을 특징으로 하는 로봇 청소기.
7. 제1 항 내지 제6 항 중 어느 한 항에 있어서,
   상기 특징점 정보는, 상기 영상에서의 위치, 방향, 및 기술자를 포함하고,
   상기 기술자는, 상기 특징점의 추출 정보를 나타내는 것을 특징으로 하는 로봇 청소기.
8. 제7 항에 있어서,
   주변의 장애물을 검출하는 장애물 검출 유닛;을 더 포함하고,
   상기 제어 유닛은, 상기 장애물을 근거로 내부지도를 생성하고, 상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 것을 특징으로 하는 로봇 청소기.
9. 제8 항에 있어서, 상기 제어 유닛은,
   상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하고, 수정된 청소경로 또는 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 것을 특징으로 하는 로봇 청소기.
10. 제1 항에 있어서, 상기 영상 검출 유닛은,
    로봇 청소기의 상부에 설치되고, 상방을 촬영하여 상방 영상을 검출하는 상방 카메라;인 것을 특징으로 하는 로봇 청소기.
11. 복수의 영상들 각각에 대하여 특징점 정보를 갖는 복수의 특징점들을 추출하고, 상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 일정 개수의 집합들로 구분하여 각 집합들에 대한 중심점을 추출한 다음, 상기 중심점들을 이용하여 로봇 청소기의 위치를 인식하는 로봇 청소기의 제어 방법.
12. 제11 항에 있어서,
    새로 검출한 영상에 대한 일정 개수의 중심점들과 상기 복수의 영상들에 대한 중심점들 이용하여 상기 복수의 영상들 사이의 유사도를 연산하고, 연산 결과를 근거로 로봇 청소기의 위치를 인식하는 로봇 청소기의 제어 방법.
13. 제11 항 또는 제12 항에 있어서,
    주변을 촬영하여 상기 복수의 영상들을 검출하는 영상 검출 단계;
    상기 복수의 영상들 각각에 대하여 상기 복수의 특징점들을 추출하는 특징점 추출 단계;
    상기 특징점 정보를 근거로 상기 복수의 특징점들로부터 상기 중심점들을 추출하는 중심점 추출 단계;
    상기 중심점들을 이용하여 상기 복수의 영상들 사이의 유사도를 이용하여 상기 중심점들을 정합하는 중심점 정합 단계; 및
    상기 중심점들의 정합 결과를 이용하여 상기 위치를 인식하는 위치 인식 단계;를 포함하는 로봇 청소기의 제어 방법.
14. 제13 항에 있어서,
    상기 복수의 영상들을 상기 중심점들로 표현하여 저장하는 영상 저장 단계;를 더 포함하는 로봇 청소기의 제어 방법.
15. 제14 항에 있어서,
    상기 특징점 정보를 비교하여 상기 복수의 특징점들을 정합하는 특징점 정합 단계;를 더 포함하는 로봇 청소기의 제어 방법.
16. 제15 항에 있어서, 상기 특징점 정합 단계는,
    상기 연산한 유사도가 일정 기준 유사도 이상인 영상들 내의 특징점들과 상기 새로 검출한 영상들 내의 특징점들을 정합하는 것을 특징으로 하는 로봇 청소기의 제어 방법.
17. 제15 항에 있어서, 상기 특징점 정합 단계는,
    상기 연산한 유사도가 큰 일정 개수의 영상들을 선별하고, 선별한 영상들 내의 특징점들과 상기 새로 검출한 영상들 내의 특징점들을 정합하는 것을 특징으로 하는 로봇 청소기의 제어 방법.
18. 제15 항에 있어서,
    주변의 장애물을 검출하는 장애물 검출 단계;
    상기 장애물을 근거로 내부지도를 생성하는 지도 생성 단계;
    상기 내부지도를 근거로 청소경로 또는 주행경로를 설정하는 단계;
    상기 위치를 근거로 상기 청소경로 또는 상기 주행경로를 수정하는 단계; 및
    상기 수정된 청소경로 또는 상기 수정된 주행경로를 근거로 청소를 수행하거나, 또는 주행하는 수행 단계;를 더 포함하는 로봇 청소기의 제어 방법.

Images