KR101575597B1

KR101575597B1 - 로봇 청소 시스템 및 로봇 청소기의 제어방법

Info

Publication number: KR101575597B1
Application number: KR1020140097317A
Authority: KR
Inventors: 김영기; 김상윤
Original assignee: 엘지전자 주식회사
Priority date: 2014-07-30
Filing date: 2014-07-30
Publication date: 2015-12-08
Also published as: US9950429B2; CN105310604B; CN105310604A; US20160052133A1; EP2980670A2; EP2980670B1; EP2980670A3

Abstract

본 발명의 로봇 청소기의 제어방법은 소정의 기준위치에서, 일정한 간격으로 서로 이격된 2 개의 마커가 표지된 로봇 청소기와 그 주변의 영상을 획득하는 (a)단계; 상기 획득된 영상으로부터 상기 2개의 마커를 추출하는 (b)단계; 상기 획득된 영상에서의 상기 2 개의 마커의 위치와, 상기 2개의 마커 간의 실제 거리를 바탕으로, 실제 공간 상에서 상기 2 개의 마커가 위치하는 수평면을 정의하는 (c)단계; 상기 수평면 상에서의 상기 2 개의 마커의 위치 정보를 바탕으로, 상기 기준위치에 대한 상기 로봇 청소기의 위치 정보를 획득하는 (d)단계; 및 상기 기준위치에 대한 상기 로봇 청소기의 위치 정보를 바탕으로 상기 로봇 청소기의 주행을 제어하는 (e)단계를 포함한다.

Description

로봇 청소 시스템 및 로봇 청소기의 제어방법{ROBOT CLEANING SYSTEM AND METHOD OF CONTROLLING ROBOT CLEANER}

본 발명은 로봇 청소 시스템 및 상기 로봇 청소 시스템을 구성하는 로봇 청소기의 제어방법에 관한 것이다.

종래에는 로봇 청소기는 사용자의 조작 없이도 청소하고자 하는 구역 내를 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입하여 자동으로 청소하는 기기이다.

로봇 청소기 기술 분야에서 초음파센서나 비젼센서 등을 이용하여 로봇 청소기의 위치를 인식하고 지도를 형성하는 SLAM(Simultaneous and Mapping Method)은 다양하게 알려져 있다.

그런데, 종래의 SLAM 방식은 로봇 청소기를 기준으로 주변의 지도를 형성하는 것으로, 사용자와 로봇 청소기 간의 위치 관계를 파악할 수 없었으며, 따라서, 사용자 중심의 서비스를 제공하는 것이 용이하지 못하였다.

또한, 로봇 청소기의 자세를 파악하지 로봇 청소기의 자세를 기반으로한 서비스를 제공하지 못하는 한계가 있었다.

본 발명이 해결하고자 하는 과제는 첫째, 이동 단말기를 통해 획득한 화면을 바탕으로 로봇 청소기의 위치 정보를 파악할 수 있는 로봇 청소 시스템 및 로봇 청소기 제어방법을 제공하는 것이다.

둘째, 로봇 청소기의 위치 정보를 전역 좌표계를 기반으로 하여 표시할 수 있는 로봇 청소 시스템 및 로봇 청소기 제어방법을 제공하는 것이다.

셋째, 이동 단말기에 구비된 관선 센서를 통해 알수 있는 이동 단말기의 자세 정보를 활용함으로써, 로봇청소기의 위치와 자세를 구하는 데 필요로 하는 마커의 개수를 2개로 줄인 로봇 청소 시스템 및 로봇 청소기 제어방법을 제공하는 것이다.

넷째, 이동 단말기에 표시된 화면을 바탕으로 사용자 정의구역 청소, 로봇 청소기의 사용자 추종 등의 다양한 제어를 구현할 수 있는 로봇 청소 시스템 및 로봇 청소기 제어방법을 제공하는 것이다.

본 발명의 로봇 청소기의 제어방법은, 소정의 기준위치에서, 일정한 간격으로 서로 이격된 2 개의 마커가 표지된 로봇 청소기와 그 주변의 영상을 획득하는 (a)단계; 상기 획득된 영상으로부터 상기 2개의 마커를 추출하는 (b)단계; 상기 획득된 영상에서의 상기 2 개의 마커의 위치와, 상기 2개의 마커 간의 실제 거리를 바탕으로, 실제 공간 상에서 상기 2 개의 마커가 위치하는 수평면을 정의하는 (c)단계; 상기 수평면 상에서의 상기 2 개의 마커의 위치 정보를 바탕으로, 상기 기준위치에 대한 상기 로봇 청소기의 위치 정보를 획득하는 (d)단계; 및 상기 기준위치에 대한 상기 로봇 청소기의 위치 정보를 바탕으로 상기 로봇 청소기의 주행을 제어하는 (e)단계를 포함한다.

다르게는, 본 발명의 로봇 청소 시스템은 일정한 간격으로 서로 이격된 2 개의 마커가 표지된 주행 가능한 로봇 청소기; 및 상기 로봇 청소기와 그 주변의 영상을 획득하고, 상기 획득된 영상에서의 상기 2 개의 마커의 위치와, 상기 2 개의 마커 간의 실제 거리를 바탕으로, 상기 2 개의 마커가 위치하는 실제 공간 상의 수평면을 정의하고, 상기 정의된 수평면 상에서의 상기 2 개의 마커의 위치 정보를 바탕으로, 상기 영상을 촬영하는 기준위치에 대한 상기 로봇 청소기의 위치 정보를 획득하고, 상기 획득된 위치 정보를 바탕으로 상기 로봇 청소기의 주행을 제어하는 이동 단말기를 포함한다.

본 발명의 로봇 청소 시스템 및 로봇 청소기의 제어방법은, 이동 단말기에 표시된 화면을 통해 직관적이고 정교하게 로봇 청소기의 주행을 제어할 수 있는 효과가 있다.

또한, 특정한 기준위치에 대한 로봇 청소기의 위치 정보를 구할 수 있으며, 이러한 위치 정보는 전역 좌표계를 기준으로 표현될 수 있다. 따라서, 전역 좌표계를 기반으로 로봇 청소기의 주행을 제어할 수 있어, 이동 단말기의 자세 변화에 무관하게 일관성을 갖는 제어가 가능하다.

또한, 로봇 청소기에 배치된 마커들과, 이를 촬영한 영상을 바탕으로 로봇 청소기의 주행 제어를 위해 필요한 수평면을 정의할 수 있으며, 이때, 이동 단말기에 구비된 관성 센서에 의해 중력 방향과, 자세 정보 등이 추가적으로 구해지기 때문에, 로컬 좌표계와 전역 좌표계간의 변환이 용이하며, 특히, 로봇 청소기의 자세 결정을 위해 필요한 마커의 수를 2개로 줄일 수 있고, 그 형태 또한 단순화가 가능하다. 따라서, 로봇 청소기의 미관이 개선될 수 있다.

또한, 로봇 청소기의 주행 금지지역이나, 청소 범위나 주행 경로를 쉽게 설정할 수 있는 효과가 있다.

도 1은 (a)본 발명의 일 실시예에 따른 로봇 청소 시스템의 적용례와, (b)이동 단말기 화면을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 로봇 청소기의 사시도이다.
도 3은 도 2의 로봇 청소기의 배면을 도시한 것이다.
도 4는 로봇 청소기의 주요 구성간의 제어관계를 도시한 블록도이다.
도 5는 이동 단말기의 주요 구성간의 제어관계를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다.
도 7은 이동 단말기의 촬영 범위 내에 속한 수평면들 중에서 마커들이 위치한 수평면을 도시한 것이다.
도 8은 이동 단말기를 중심(O)으로한 지역 좌표계(Local Coordinate System, X'Y'Z'와 전역 좌표계(Global Coordinate System, XYZ)를 도시한 것이다.
도 9는 이동 단말기를 통해 획득한 영상으로부터 로봇 청소기가 위치하는 수평면을 구하는 과정을 설명하는데 참조되는 도면이다.
도 10은 터치입력을 통해 획득영상에 표시된 패턴들에 따른 로봇 청소기의 주행 제어 방법의 예들을 도시한 것이다.

본발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본발명의 개시가 완전하도록 하고, 본발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 (a)본 발명의 일 실시예에 따른 로봇 청소 시스템의 적용례와, (b)이동 단말기 화면을 도시한 것이다. 도 2는 본 발명의 일 실시예에 따른 로봇 청소기의 사시도이다. 도 3은 도 2의 로봇 청소기의 배면을 도시한 것이다. 도 4는 로봇 청소기의 주요 구성간의 제어관계를 도시한 블록도이다. 도 5는 이동 단말기의 주요 구성간의 제어관계를 도시한 블록도이다.

도 1을 참조하면, 로봇 청소 시스템은 청소구역 내의 이물질을 제거하는 로봇 청소기(1)와, 로봇 청소기(1)와 그 주변의 영상을 획득하는 이동 단말기(100)를 포함한다. 도 1의 (a)은 사용자가 이동 단말기(100)로 로봇 청소기(1)와, 청소기(1) 주변의 이물질을 촬영하는 것을 보여주고 있으며, 이렇게 촬영된 영상은 도 1의 (b)에 도시되었다.

로봇 청소기(1)가 스스로의 위치와 자세를 감지하는 SLAM(Simultaneous and Mapping Method) 기법은 이미 다양하게 알려져 있다. 예를들어, 로봇 청소기(1)는 청소영역 내의 장애물 상황을 감지하는 장애물 감지부(53, 도 4 참조)를 포함할 수 있으며, 장애물 감지부(53)에 의해 감지된 주변의 장애물 상황을 바탕으로 청소구역의 지도를 생성할 수 있다. 장애물 감지부(53)는 초음파 센서, 적외선 센서, 레이져 센서 및/또는 비젼 카메라 등을 포함할 수 있다. 예를들어, 로봇 청소기(1)는 청소 구역 내로 소정 패턴의 레이져 광을 조사하는 레이져 광원과, 레이져가 조사된 청소 구역을 촬영하여 영상을 획득하는 카메라로 구성된 장애물 감지부(53)를 포함할 수 있으며, 이 경우, 카메라를 통해 획득된 영상으로부터 레이져 광 패턴을 추출하고, 영상에서의 상기 패턴의 위치와, 형태, 자세 등의 변화를 바탕으로 청소 구역 내의 장애물 상황과 청소 구역의 지도를 생성할 수 있다.

그런데, 이러한 방식은 로봇 청소기(1)를 중심으로 한 주변의 지도나 장애물 상황을 파악할 수는 있으나, 사용자와 로봇 청소기(1) 간의 위치 관계를 파악할 수는 없으며, 따라서, 사용자 관점에서 직관적으로 로봇 청소기(1)를 제어할 수 있는 서비스를 제공하는데는 한계가 있다. 따라서, 이동 단말기(100)를 통해 획득한 영상(이하, '획득영상'이라고 함.)을 통해 직관적으로 로봇 청소기(1)를 제어할 수 있다면 편리할 것이나, 이를 위해서는 이동 단말기(100)를 기준으로 한 로봇 청소기(1)의 위치정보가 파악될 수 있어야 한다.

도 2 내지 도 4를 참조하면, 로봇 청소기(1)는 외관을 형성하는 본체(10)와, 본체(10)에 구비되어 청소 구역 내의 먼지를 흡입하는 흡입유닛(70)과, 본체(10)를 주행시키는 좌륜(61a, 62a)과, 로봇 청소기(1)의 작동 전반을 제어하는 제 1 제어부(52)를 포함할 수 있다.

좌륜(61a)과 우륜(62a)이 회전함에 따라, 본체(10)가 청소하고자 하는 구역(이하, 청소구역이라고 함.)을 이동하며, 흡입유닛(70)을 통해 청소구역 내의 먼지나 쓰레기 등의 이물질이 흡입된다.

흡입유닛(70)은 본체(10)에 구비되어 흡입력을 발생시키는 흡입 팬(72)과, 흡입 팬(72)의 회전에 의해 생성된 기류가 흡입되는 흡입구(71)를 포함할 수 있다. 또한, 흡입유닛(70)은 흡입구(71)를 통해 흡입된 기류 중에서 이물질을 채집하는 필터(미도시)와, 상기 필터에 의해 채집된 이물질들이 축적되는 이물질 수용기(미도시)를 더 포함할 수 있다.

좌륜(61a)과 우륜(62a)을 구동시키는 주행 구동부(60)가 구비될 수 있으며, 주행 구동부(60)는 좌륜(61a)을 구동시키는 좌륜 구동부와 우륜(62a)을 구동시키는 우륜 구동부를 포함할 수 있다. 특히, 제 1 제어부(52)의 제어에 의해 좌륜 구동부(61)와 우륜 구동부(62)의 작동이 독립적으로 제어됨으로써 본체(10)의 직진, 후진 또는 선회가 이루어 진다. 예를들어, 좌륜 구동부(61)에 의해 좌륜이 정방향으로 회전되고, 우륜 구동부(62)에 의해 우륜(62a)은 역방향으로 회전되는 경우 본체(10)가 좌측 또는 우측으로 회전된다. 제어부(90)는 좌륜 구동부(61)와 우륜 구동부(62)의 회전 속도에 차이가 있도록 제어함으로써, 직진운동과 회전운동을 겸하는 본체(10)의 병진운동을 유도하는 것도 가능하다. 이와 같은 제어부(90) 제어를 통한 본체(10)의 운동은 장애물에 대한 회피 또는 선회를 가능하게 한다. 본체(10)의 안정적인 지지를 위한 적어도 하나의 보조륜(13)이 더 구비될 수 있다.

로봇 청소기(1)는 이동 단말기(100)와 무선통신하는 제 1 무선 통신부(51)를 포함할 수 있다. 이동 단말기(100)는 제 1 무선 통신부(51)와 서로 통신하는 제 2 무선 통신부(120, 도 5 참조)를 포함할 수 있다. 제 1 무선 통신부(51)와 제 2 무선 통신부(120) 간의 무선 통신은, WiFi, 블루투스, IR통신 등의 다양한 방식으로 이루어질 수 있다.

본체(10)에는 일정한 간격(D)으로 서로 이격된 한 쌍의 마커(PS1, PS2)가 구비될 수 있다. 마커들(PS1, PS2)은 이동 단말기(100)에 의해 획득된 영상에서 쉽게 식별될 수 있어야 하며, 이를 위해 마커들(PS1, PS2)은 주변과 대비되는 특정한 패턴이나 색상으로 이루어지는 것이 바람직하다.

도 5를 참조하면, 이동 단말기(100)는 제 2 무선 통신부(120)와, 영상 획득부(130)와, 디스플레이부(140)와, 터치 입력부(150)와, 마이크로폰(160)과, 관성센서(170)와, 이들 구성들을 제어하는 제 2 제어부(110)를 포함할 수 있다. 영상 획득부(130)는 영상을 촬영하는 카메라를 포함할 수 있으며, 상기 카메라의 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(140)에 표시되거나 메모리(미도시)에 저장될 수 있다.

디스플레이부(140)는 영상 획득부(130)를 통해 획득된 영상을 표시한다. 디스플레이부(140)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(140)에 대한 터치를 감지하는 터치센서(미도시)를 포함할 수 있다. 이를 이용하여, 디스플레이부(140)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(110)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.

디스플레이부(140)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

마이크로폰(150)은 사용자의 음성, 기타 소리 등을 입력 받는다. 마이크로폰(150)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.

관성센서(160)는 운동의 관성력을 검출하여 측정 대상인 움직이는 물체의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 제공하는 것으로, 인가되는 가속도에 의해 관성체에 작용하는 관성력을 검출한다. 관성센서(160)는 가속도 센서(acceleration sensor), 중력 센서(G-sensor), 각속도 센서(gyroscope sensor) 등을 포함할 수 있다.

본 발명의 일 실시예에 따른 로봇 청소기의 제어방법은 소정의 기준위치에서, 서로 간의 거리가 일정한 2 개의 마커(PS1, PS2)가 표지된 로봇 청소기(1)와 주변의 영상을 획득하는 단계와, 상기 획득된 영상으로부터 상기 2개의 마커를 추출하는 단계와, 상기 획득된 영상에 표시된 상기 2 개의 마커의 위치와, 상기 2개의 마커 간의 실제 거리(D)를 바탕으로, 실제 공간 상에서 상기 2 개의 마커가 위치하는 수평면을 정의하는 단계와, 상기 수평면 상에서의 상기 2 개의 마커의 위치 정보를 바탕으로, 상기 기준위치에 대한 로봇 청소기(1)의 위치 정보를 획득하는 단계; 및 상기 위치 정보를 바탕으로 상기 로봇 청소기의 주행을 제어하는 단계를 포함한다.

도 6은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다. 이하, 도 6을 참조하여 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 보다 상세하게 설명하도록 한다.

기준위치(O)에서 사용자가 이동 단말기(100)를 이용하여 로봇 청소기(1)와, 그 주변을 촬영한다. 영상 획득부(130)에 의해 영상이 획득된다. 이렇게 획득된 영상은 정지된 것에 한하지 않고, 동적인 것일 수도 있다. 영상 획득부(130)는 획득된 영상의 밝기를 조절하고, 노이즈를 제거하고, 색상(color)을 보정하는 등의 이미지 개선 작업을 실시할 수 있다(S2).

이렇게 이미지가 개선된 영상은 디스플레이부(140)의 화면에 표시되며, 제 2 제어부(110)는 화면에 표시된 영상에서 마커들(PS1, PS2)을 추출한다. 제 2 제어부(110)는 기 설정된 탬플릿(Template)에 부응하는 형상의 특징들을 추출할 수 있다. 이러한 과정에서 마커의 색상도 함께 고려될 수 있다(S3, 마커 추출 단계). 예를들어, 마커가 원형이고 빨강색으로 이루어진 경우, 제 2 제어부(110)는 영상에서 원형으로 이루어진 특징들을 추출하고, 그 중에서 빨강색을 다시 선별함으로써 마커를 추출할 수 있다.

마커 추출 단계(S3)에서 유효한 마커가 추출되지 못한 경우, 다시 영상이 획득되나(S1), 유효한 마커가 추출된 경우에는 위치 정보 산출 단계(S5)가 실시된다.

위치 정보 산출 단계(S5)에서, 제 2 제어부(110)는 S3단계에서 추출된 마커를 바탕으로 기준위치(O)에 대한 로봇 청소기(1)의 위치 정보를 산출한다. 영상에서의 마커들의 위치, 마커의 폭과 높이, 마커들 간의 거리 등이 계산될 수 있으며, 이들을 바탕으로 기준위치(O)로부터 로봇 청소기(1)까지의 거리, 이동 단말기(1)의 상향각(pitch angle), 방위각(yaw angle)등이 계산될 수 있다. 특히, 영상 획득부(130)에 의해 획득된 영상을 바탕으로, 로봇 청소기(1)가 위치하는 실제 수평면 또는 2 개의 마커가 위치하는 수평면을 전역 좌표계(XYZ)를 기준으로 정의될 수 있다.

이후, 제 2 제어부(110)는 위치 정보 산출 단계(S5)에서 구해진 위치 정보를 바탕으로 로봇 청소기(1)의 주행을 제어할 수 있다. 특히, S5 단계에서 구해진 로봇 청소기(1)의 위치나 자세를 기반으로 한 다양한 서비스가 제공될 수 있다(S6).

도 7은 이동 단말기의 촬영 범위 내에 속한 수평면들 중에서 마커들이 위치한 수평면을 도시한 것이다. 도 8은 이동 단말기를 중심(O)으로한 지역 좌표계(Local Coordinate System, X'Y'Z'와 전역 좌표계(Global Coordinate System, XYZ)를 도시한 것이다.

먼저, 이동 단말기(100)를 중심(O)으로 한 지역 좌표계(X'Y'Z')는 영상 획득부(130)의 카메라의 주축 또는 시선이 향하는 방향을 +X'로 정의하고, 화면의 세로가 수평면(S)과 이루는 각도를 피치각(p: pitch angle)로 정의하고, 상기 피치각을 정의하는 회전축을 Y'로 하여 구해진 것이다. 지역 좌표계(X'Y'Z')는 이동 단말기(100)의 피치(pitch), 요우(yaw) 및/또는 롤링(rolling) 운동에 따라 회전되는 회전 좌표계이다.

전역 좌표계(XYZ)는 이동 단말기(100)를 중심(O)으로 한 고정 좌표계로, 중력 방향을 ?로 정의하였으며, XY는 수평면을 정의한다. 앞에서 설명한 바와 같이, 이동 단말기(100)는 관성센서(160)로써, 가속도 센서, 중력 센서, 각속도 센서 등을 구비할 수 있으며, 이들 센서들을 이용하여 피치, 요우, 롤링과 같은 그 자신의 자세 변화를 감지할 수 있을 뿐 만 아니라, 정확한 중력 방향을 감지할 수 있다. 따라서, 이동 단말기(100)의 자세가 변하더라도, 상기 센서들을 통해 감지된 피치, 요우, 롤링 운동의 각도를 바탕으로 좌표 변환을 함으로써, 로컬 좌표계 상에서 기술된 좌표나 방정식들이전역 좌표계를 기준으로 표현될 수 있다.

도 7 내지 도 8을 참조하면, 기준위치(O)를 중심으로 한 전역 좌표계(XYZ)에서 로봇 청소기(1)의 위치를 정의하기 위해서는 먼저, 이동 단말기(100 통해 획득된 영상으로부터 로봇 청소기(1)가 실제로 위치하는 수평면을 구하여야 한다. 도 7에서 보이는 바와 같이, 마커들(PS1, PS2)은 영상 획득부(130)의 시야 내에서 실제로는 깊이(+X'방향)가 다를 뿐만 아니라, 이동 단말기(100)의 운동(pitch , yaw, roll)에 따라 영상에서의 위치와 형태가 변하나, 영상 획득부(130)를 통해 구해진 영상은 수평면(2D)적인 것으로, 이를 통해서는 2차원적인 정보밖에 구할 수가 없다. 따라서, 획득영상을 통해 확인되는 마커들(PS1, PS2)의 위치를 바탕으로, 전역 좌표계(XYZ)를 기준으로 한 마커들의 위치를 위치나 자세 정보를 구하기 위해서는, 전역 좌표계의 Z축을 법선으로한 수평면들(S(1), S(2), S(3), S(4), S(5) 등) 중에서 실제로 마커들(PS1, PS2)이 위치하는 수평면(S(2))을 구하여야 한다.

도 9는 이동 단말기를 통해 획득한 영상으로부터 로봇 청소기가 위치하는 수평면을 구하는 과정을 설명하는데 참조되는 도면이다. 이하, 도 9를 참조하여, 영상 획득부(130)에 의해 획득된 영상을 통해 마커들이 위치하는 실제 공간 상의 수평면을 구하는 과정을 살펴본다. 도 9에 전역 좌표계(XYZ)는 중력 방향을 ?축, 영상 획득부(130)의 카메라가 주축이 향하는 방향을 +X으로 하여 설정하였으며, 지역 좌표계(X'Y'Z')를 Y' 축을 기준으로 90도 회전(pitch: 90 °)한 것과 합치된다.

도 9에 표시된 획득영상은 영상 획득부(130)에 의해 획득된 영상이며, 영상 거리 f는 상기 획득된 영상이 카메라의 시야에서 기준위치로부터 위치하는 거리를 표시한 것이다. 상기 획득영상이 카메라의 이미지 센서에 촬상된 것인 경우, 통상의 카메라는 렌즈의 핀홀(pin hole)로부터 초점거리에 이미지 센서가 위치하므로, 영상 거리 f는 렌즈의 초점거리에 해당한다.

획득영상이 디스플레이부(140)의 화면에 표시된 것인 경우, 영상 거리는, 도 9와 같이, 기준위치(O)를 소실점으로 하는 삼각 투시도 상에서, 촬영 대상이 되는 실제의 전경과, 상기 획득영상 간의 기하(symmetric)관계를 통해 알 수 있는 것으로, 카메라 사양에 따라 기 정해진 값이다.

위의 어느 경우에나, 영상 거리 f는 미리 알 수 있는 값이며, 이하, 획득영상은 디스플레이부(140)의 화면에 표시된 것을 기준으로 설명한다.

도 9에서 실제 공간 상에서 로봇 청소기(1)에 배치된 2 개의 마커는 PS1, PS2로 표시되었고, 실제 마커들과의 구분을 위해 획득영상에 표시된 것은 P1, P2로 표시하였다. 그리고, 획득영상의 상한의 한쪽 모서리의 좌표를 (f, w, h)로 정의하였으며, 이를 바탕으로 P1=(f, aw, -bh)로, P2=(f, cw, -dh)로 표시하였다. 여기서, a, b, c 및 d는 모두 0과 1사이의 수이다.

기준위치(O)와 P1을 지나는 제 1 선(Line 1)의 방정식과, 기준위치(O)와 P2를 지나는 제 2 선(Line 2)의 방정식과, Z 방향으로 법선을 갖는 임의의 수평면의 방정식은 각각 다음과 같다.

Line 1의 방정식:

Line 2의 방정식:

Z 방향으로 법선을 갖는 임의의 수평면의 방정식:

PS1과 PS2는 동일한 하나의 수평면(s) 상에 위치하면서 각각 제 1 선(Line 1)과 제 2 선(Line 2) 상의 점들이다. 따라서, PS1과 PS2의 좌표는 각각 다음과 같이 표시될 수 있다.

이제 PS1과 PS2 사이의 거리 관계식을 구하고, 이 거리 관계식에 실제 두 점들 간의 거리 D를 대입함으로써, 이들 두 점이 위치하는 수평면의 방정식을 구할 수 있다.

식 8에서 양의 근은 -X 방향에서 선들(Line 1, Line 2)과 교차되는 수평면을 정의하는 허근이다.

위의 식들을 통해 실제 공간 상에서 마커들(PS1, PS2)이 위치하는 수평면(s)을 구할 수가 있고, 이를 통해 기준위치(O)에 대한 마커들까지의 위치정보와, 2 개의 마커들 사이의 위치 관계로부터 로봇 청소기(1)의 자세정보등을 구할 수 있다.

위와 같은 연산들은 이동 단말기(100)의 제 2 제어부(110)에 의해 실시되며, 이렇게 연산된 결과들은 제 2 무선 통신부(120)를 통해 전송될 수 있다. 제 2 무선 통신부(120)를 통해 전송된 정보들은 로봇 청소기(1)의 제 1 무선 통신부(51)로 수신되며, 로봇 청소기(1)의 제 1 제어부(52)는 로봇 청소기(1) 자신을 기준으로 하여 맵핑하였던 지도와 상기 수신된 정보를 취합하여, 전역 좌표계 기반으로 지도를 재구성할 수 있다.

이렇게 재구성된 지도는 다시 제 1 무선 통신부(51)와 제 2 무선 통신부(120) 간의 통신을 통해 이동 단말기(100)로 전송될 수 있으며, 이동 단말기(100)의 제 2 제어부(110)는 이와 같은 과정을 통해 얻어진 전역 좌표계 기반의 지도를 바탕으로 로봇 청소기(1)의 주행을 제어할 수 있다.

제 2 제어부(110)는 디스플레이부(140)의 화면에 표시된 획득영상에 대한 사용자의 터치 동작을 인식하여, 로봇 청소기(1)에 대한 직관적인 제어를 가능하게 한다. 예를들어, 사용자의 터치 동작을 통해 획득영상에서 임의의 점이 선택되었을 경우, 상기 선택된 점과, 기준위치(O)를 연결하는 직선의 방정식을 구할 수 있고, 이렇게 구한 직선과 앞서 구한 두 개의 마커가 위치하는 수평면(s)의 방정식을 연립함으로써, 상기 직선과 수평면(s)이 만나는 점의 좌표, 즉, 상기 선택된 점을 수평면(s)에 투영한 좌표를 구할 수 있다. 이렇게 구해진 점의 좌표는 전역 좌표계를 기반으로 한 것이므로, 그 지점으로의 로봇 청소기(1)의 이동을 지시하거나, 그 지점을 회피하여 주행하게 하는 등의 다양한 제어가 가능하며, 이러한 제어는 영상 획득부(130)를 통해 획득된 영상 위에 가해진 터치 동작을 바탕으로 한다는 점에서 매우 직관적이고 편리하다. 한편, 터치 동작은 어느 한점을 지정하는 것에 한하는 것이 아니라, 선으로 둘러 쌓인 영역의 지정, 주행 경로를 지정하거나, 주행 금지선을 지정하는 등의 다양한 방식일 수 있으며, 터치 동작에 의해 선이 지정된 경우라 할지라도, 선은 점들로 구성되었기 때문에, 각점들을 수평면(s)에 투영한 좌표들을 구할 수 있으며, 수평면(s)에서 이들 좌표들로 구성된 선에 의해 지정되는 영역이나 주행 경로 등 역시 전역 좌표계를 기준으로 표현될 수 있다.

또한, 로봇 청소기(1)는 장애물 감지부(53)를 통해 주변의 장애물 상황을 파악할 수 있으며, 이렇게 파악한 장애물 상황은 제 1 무선 통신부(51)와 제 2 무선 통신부(120) 간의 상호 통신에 의해 디스플레이부(140)에 표시된 획득 영상에 오버랩될 있으며, 이 경우, 사용자가 로봇 청소기(1) 주변의 장애물 상황에 대해 보다 직권적으로 파악할 수 있으며, 오버랩 과정에서 장애물에 대한 자세한 정보들이 화면에 추가로 표시될 수 있다.

이상에는, 로봇 청소기(1)에 배치된 두 개의 마커들(PS1, PS2)의 획득영상에서의 좌표(획득영상에서의 위치정보)와 기 알고 있는 획득영상이 구해진 영상 거리를 바탕으로, 두 개의 마커가 실제 공간 상에서 위치하는 수평면(s)을 정의하였다. 그리고 터치 입력을 통해 획득영상 상에 표시된 점과 선을 상기 수평면(s)에 투영한 좌표를 구할 수 있음을 설명하였다. 이때, 두 개의 마커(PS1, PS2)가 위치하는 수평면(s)은 로봇 청소기(1)가 주행하는 수평면과 평행한 것이므로, 터치 입력을 통해 수평면(s) 상에 투영된 점과 선으로 이루어진 도형은 로봇 청소기(1)의 주행 경로나 주행 영역을 지정하는데 이용될 수 있다. 이하, 도 10을 참조하여, 보다 상세하게 설명한다.

도 10은 터치입력을 통해 획득영상에 표시된 패턴들에 따른 로봇 청소기의 주행 제어 방법의 예들을 도시한 것이다. 도 10의 (a)를 참조하면, 디스플레이부(140)의 화면에 로봇 청소기(1)가 표시되고 있는 상태에서, 사용자는 상기 화면을 터치하여 청소 범위를 지정하는 폐곡선 형태의 패턴을 입력할 수 있다. 제 2 제어부(110)는 로봇 청소기(1)에 구비된 2 개의 마커들(PS1, PS2)을 바탕으로 구해진 수평면으로부터 이미 전역 좌표계를 기준으로 한 로봇 청소기(1)의 위치 정보를 알고 있고, 상기 패턴을 상기 수평면에 투영한 좌표들도 알 수 있다. 따라서, 제 2 제어부(110)는 상기 패턴에 의해 정해진 범위를 따라 로봇 청소기(1)가 주행할 수 있도록, 제 2 무선 통신부(120)를 통해 주행 제어 명령을 전송할 수 있다. 상기 주행 제어 명령은 상기 획득영상에 표시된 패턴을 바탕으로 한 주행 지도일 수 있으며, 다르게는, 로봇 청소기(1)의 구동부(60)를 실시간으로 제어하는 제어 신호일 수도 있다.

한편, 이동 단말기(100)는 마이크로폰(150)을 통해 입력된 음성을 인식하는 음성 인식 모듈(미도시)을 포함할 수 있으며, 이 경우, 제 2 제어부(110)는 상기 음성 인식 모듈을 통해 “여기 청소 해”와 같은 기 설정된 음성 명령이 입력된 경우, 터치 입력된 패턴에 의해 지정된 경로를 따라 로봇 청소기(1)가 주행되도록 제어할 수 있다(청소구역 지정).

도 10의 (b)를 참조하면, 사용자는 디스플레이부(140)의 화면에 로봇 청소기(1)가 표시되고 있는 상태에서, 상기 화면을 터치하여 로봇 청소기(1)의 주행 경로를 지정하는 패턴을 입력할 수 있다. 앞서 설명한 청소구역 지정과 마찬가지로, 제 2 제어부(110)는 수평면(s)상에 투영된 상기 주행 경로를 지정하는 패턴에 따라 로봇 청소기(1)가 주행하도록 제어할 수 있다. 상기 음성 인식 모듈을 통해 “여기를 이렇게 청소 해”와 같은 기 설정된 음성 명령이 입력된 경우, 터치 입력된 패턴에 의해 지정된 경로를 따라 로봇 청소기(1)가 주행되도록 제어할 수 있다(주행 경로의 지정).

도 10의 (c)를 참조하면, 사용자는 디스플레이부(140)의 화면에 로봇 청소기(1)가 표시되고 있는 상태에서, 로봇 청소기(1)가 사용자 본인에게로 오도록 소정의 명령을 입력할 수 있다. 예를들어, 사용자는 마이크로폰(150)을 통해 "이리와"라는 음성 명령을 입력할 수 있다. 제 2 제어부(110)는 상기 음성명령에 따라 로봇 청소기(1)가 기준위치(O)로 이동되도록 제어할 수 있다.

도 10의 (d)를 참조하면, 사용자는 디스플레이부(140)의 화면에 로봇 청소기(1)가 표시되고 있는 상태에서, 상기 화면을 터치하여 로봇 청소기(1)의 주행 금지 구역을 지정하는 금지선을 입력할 수 있다. 사용자는 금지선을 입력함과 아울러, “가지마”와 같은 음성 명령을 입력할 수 있다. 제 2 제어부(110)는 로봇 청소기(1)가 수평면(s)상에 투영된 상기 급지선을 넘지 않도록 제어할 수 있다(주행 금지선의 설정).

도 10의 (e)를 참조하면, 사용자는 디스플레이부(140)의 화면에 로봇 청소기(1)가 표시되고 있는 상태에서, 상기 화면에 일정한 패턴의 터치를 가함으로써, 로봇 청소기(1)의 주행을 정지시킬 수 있다. 예를들어, 로봇 청소기(1)가 이동 중에 급박하게 멈추어야할 필요성이 있는 경우, 디스플레이부(140)의 화면을 두번 연속하여 터치하는 동작을 통해 로봇 청소기(1)를 급제동할 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

소정의 기준위치에서, 일정한 간격으로 서로 이격된 2 개의 마커가 표지된 로봇 청소기와 그 주변의 영상을 획득하는 (a)단계;
상기 획득된 영상으로부터 상기 2개의 마커를 추출하는 (b)단계;
상기 획득된 영상에서의 상기 2 개의 마커의 위치와, 상기 2개의 마커 간의 실제 거리를 바탕으로, 실제 공간 상에서 상기 2 개의 마커가 위치하는 수평면을 정의하는 (c)단계;
상기 수평면 상에서의 상기 2 개의 마커의 위치 정보를 바탕으로, 상기 기준위치에 대한 상기 로봇 청소기의 위치 정보를 획득하는 (d)단계; 및
상기 기준위치에 대한 상기 로봇 청소기의 위치 정보를 바탕으로 상기 로봇 청소기의 주행을 제어하는 (e)단계를 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (c)단계는,
상기 획득된 영상에 표시된 각각의 마커와 상기 기준위치를 연결한 제 1 선 및 제 2 선이 임의의 수평면과 교차하는 점들간의 거리 관계식에 상기 2 개의 마커들 간의 실제 거리를 대입하여 얻어진 수평면을 상기 2 개의 마커가 위치하는 수평면으로 정의하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (d)단계에서,
상기 기준위치에 대한 상기 로봇 청소기의 위치 정보는 고정 좌표계를 기반으로 정의되는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (e)단계는,
상기 획득된 영상에 청소 영역을 설정하는 단계; 및
상기 (c)단계에서 정의된 수평면 상에 상기 청소 영역을 투영하고, 상기 투영된 영역 내를 상기 로봇 청소기가 주행하도록 제어하는 단계를 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 획득된 영상에 주행 경로를 설정하는 단계; 및
상기 (c)단계에서 정의된 수평면 상에 상기 주행 경로를 투영하고, 상기 수평면 상에 투영된 주행 경로를 따라 상기 로봇 청소기가 주행하도록 제어하는 단계를 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (e)단계는,
상기 (d)단계에서 획득된 상기 기준위치에 대한 상기 로봇 청소기의 위치 정보를 바탕으로, 상기 로봇 청소기가 상기 기준위치로 이동하도록 제어하는 단계를 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 획득된 영상에 주행 금지선을 설정하는 단계; 및
상기 (c)단계에서 정의된 수평면 상에 상기 주행 금지선을 투영하고, 상기 수평면 상에 투영된 주행 금지선을 상기 로봇 청소기가 지나치지 않도록 상기 로봇 청소기의 주행을 제어하는 단계를 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 획득 영상이 표시된 디스플레이부를 통해 기 설정된 터치 입력이 있을 시, 상기 로봇 청소기를 급제동하는 단계를 더 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (e)단계는,
상기 로봇 청소기의 주행을 제어하는 명령을 음성으로 입력받는 단계를 포함하는 로봇 청소기의 제어방법.
일정한 간격으로 서로 이격된 2 개의 마커가 표지된 주행 가능한 로봇 청소기; 및
상기 로봇 청소기와 그 주변의 영상을 획득하고, 상기 획득된 영상에서의 상기 2 개의 마커의 위치와, 상기 2 개의 마커 간의 실제 거리를 바탕으로, 상기 2 개의 마커가 위치하는 실제 공간 상의 수평면을 정의하고, 상기 정의된 수평면 상에서의 상기 2 개의 마커의 위치 정보를 바탕으로, 상기 영상을 촬영하는 기준위치에 대한 상기 로봇 청소기의 위치 정보를 획득하고, 상기 획득된 위치 정보를 바탕으로 상기 로봇 청소기의 주행을 제어하는 이동 단말기를 포함하는 로봇 청소 시스템.
제 10 항에 있어서,
상기 이동 단말기는,
무선 통신을 통해 상기 로봇 청소기의 주행을 제어하는 로봇 청소 시스템.
제 10 항에 있어서,
상기 이동 단말기는,
상기 획득된 영상을 표시하는 터치 스크린; 및
상기 터치 스크린을 통해 입력된 터치 입력에 따라, 무선 통신을 통해 상기 로봇 청소기의 주행을 제어하는 제어부를 포함하는 로봇 청소 시스템.
제 12 항에 있어서,
상기 터치 스크린을 통해 입력된 터치 입력은,
상기 로봇 청소기의 청소 범위를 지정하는 것인 로봇 청소 시스템.
제 12 항에 있어서,
상기 터치 스크린을 통해 입력된 터치 입력은,
상기 로봇 청소기의 주행 경로를 지정하는 것인 로봇 청소 시스템.
제 12 항에 있어서,
상기 터치 스크린을 통해 입력된 터치 입력은,
상기 로봇 청소기의 주행 금지선을 지정하는 것인 로봇 청소 시스템.