KR20160042619A

KR20160042619A - 로봇 청소기 및 로봇 청소기의 제어방법

Info

Publication number: KR20160042619A
Application number: KR1020140136768A
Authority: KR
Inventors: 노동기; 백승민; 안광호; 김연수
Original assignee: 엘지전자 주식회사
Priority date: 2014-10-10
Filing date: 2014-10-10
Publication date: 2016-04-20
Also published as: US9610691B2; EP3007025B1; EP3007025A1; US20160101524A1; KR101620428B1

Abstract

본 발명의 로봇 청소기 및 로봇 청소기의 제어방법은 본체 전방을 촬영한 영상에서 씨드 픽셀을 선정하고, 상기 씨드 픽셀 주변의 픽셀들에 대해 그 픽셀이 속한 일정한 검색 영역을 수평 분할하여 구해지는 상부영역과 하부영역간의 밝기 차를 구하고, 상기 밝기 차가 가장 큰 검색 영역에 속하는 픽셀을 상기 영상에 표시된 오브젝트들 간의 경계를 구성하는 픽셀로 선정한다. 따라서, 영상을 통해 청소구역 내 존재하는 오브젝트들간의 경계를 빠르고 정확하게 파악할 수 있다.

Description

로봇 청소기 및 로봇 청소기의 제어방법{ROBOT CLENER AND CONTROL METHOD THEREOF}

본 발명은 로봇 청소기 및 로봇 청소기의 제어방법에 관한 것이다.

로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다.

가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기로써, 청소하고자 하는 구역을 주행하면서 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기에는 본체의 전방을 촬영하는 카메라가 구비되며, 상기 카메라로부터 얻어진 영상을 분석하여 청소구역 내의 상황을 파악한다.

영상을 통해 파악되어야할 정보들 중 중요한 것들로, 획득영상에 나타난 오브젝트(object)들 간의 경계를 들 수 있다. 상기 오브젝트들로는, 청소구역내 바닥, 벽, 바닥 위에 놓여진 장애물 등을 예로 들 수 있다. 특히, 바닥과 벽 간의 경계, 바닥과 장애물 간의 경계 등은 로봇 청소기의 주행간에 장애가 되기 때문에 로봇 청소기의 올바른 주행을 위해서는 영상을 통해서 검출되어야할 필요가 있다. 따라서, 영상을 통해 이들 경계들을 파악할 수 있는 방법을 강구할 필요가 있다.

본 발명이 해결하고자 하는 과제는 영상으로부터 청소구역 내의 오브젝트들 간의 경계를 검출할 수 있는 로봇 청소기 및 이의 제어방법을 제공하는 것이다.

본 발명의 로봇 청소기의 제어방법은 본체 전방의 영상을 획득하는 (a)단계; 상기 (a)단계에서 획득된 영상에서 씨드 픽셀을 선정하는 (b)단계; 상기 씨드 픽셀과 인접한 열에서 상기 씨드 픽셀과 같은 행에 속한 픽셀을 포함하여 구성되는 검색 대상 픽셀들 각각에 대해 실시되며, 상기 검색 대상 픽셀이 속하는 일정한 검색 영역을 수평 분할하여 구해지는 상부영역과 하부영역간의 밝기 차를 구하는 (c)단계; 및 상기 검색 대상 픽셀들 중, 상기 밝기 차가 가장 큰 검색 영역에 속하는 픽셀을 상기 영상에 표시된 오브젝트들 간의 경계를 구성하는 픽셀로 선정하는 (d)단계를 포함한다.

본 발명의 로봇 청소기는 주행 가능한 본체; 상기 본체의 전방의 영상을 획득하는 영상획득부; 및 상기 영상획득부에 의해 획득된 영상에서 씨드 픽셀을 선정하고, 상기 씨드 픽셀과 인접한 열에서 상기 씨드 픽셀과 같은 행에 속한 픽셀을 포함하여 구성되는 검색 대상 픽셀들 각각에 대해, 상기 검색 대상 픽셀이 속하는 일정한 검색 영역을 수평 분할하여 구해지는 상부영역과 하부영역간의 밝기 차를 구하고, 상기 검색 대상 픽셀들 중, 상기 밝기 차가 가장 큰 검색 영역에 속하는 픽셀을 상기 영상에 표시된 오브젝트들 간의 경계를 구성하는 픽셀로 선정하는 제어부를 포함한다.

본 발명의 로봇 청소기 및 로봇 청소기의 제어방법은 로봇 청소기의 전방을 촬영한 영상을 통해 청소구역 내 오브젝트들 간의 경계를 검출할 수 있으며, 특히, 로봇 청소기의 주행 간에 장애가 되는 바닥과 벽 간의 경계와, 바닥과 장애물 간의 경계를 검출함으로써 벽 또는 장애물과의 충돌 위험을 사전에 제거할 수 있는 효과가 있다.

또한, 본 발명의 로봇 청소기 및 로봇 청소기의 제어방법은 전방의 장애물 상황에 따라 경계 검출을 실시하는 영역을 특정함으로써, 경계 검출의 정확도를 향상시킬 수 있을 뿐만 아니라, 경계 검출에 소요되는 시간을 줄일 수 있는 효과가 있다.

또한, 영상을 통해 확인되는 오브젝트들간의 경계와 광 조사부에 의해 조사된 광 패턴에 대한 정보를 함께 이용함으로써, 보다 정교한 영상의 깊이정보를 구할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 로봇 청소기를 도시한 사시도이다.
도 2는 도 1에 도시된 로봇 청소기의 상면부를 도시한 것이다.
도 3은 도 1에 도시된 로봇 청소기를 정면부를 도시한 것이다.
도 4는 도 1에 도시된 로봇 청소기의 저면부를 도시한 것이다.
도 5는 로봇 청소기를 구성하는 주요부들 간의 제어관계를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다.
도 7은 광 조사부에 의해 조사된 패턴 광과 바닥과 벽의 경계가 표시된 획득영상을 도시한 것이다.
도 8은 특징검출시 적용되는 마스크를 도시한 것이다.
도 9는 마스크를 작용하여 획득영상으로부터 특징검출을 실시하여 경계를 검출하는 태양을 도시한 것이다.
도 10은 특징검출을 통해 경계를 구성하는 픽셀들을 검출하는 과정을 도시한 것이다.
도 11은 본 발명의 다른 실시예에 따른 로봇 청소기의 제어방법을 도시한 것이다.
도 12는 영상획득부의 촬영범위 내에 장애물이 존재하는 경우에 있어서 획득영상을 도시한 것이다.
도 13은 도 12에 도시된 획득영상을 장애물 존재영역과 장애물 부존재영역으로 수직분할한 것을 도시한 것이다.

본발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본발명의 개시가 완전하도록 하고, 본발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 본 발명의 일 실시예에 따른 로봇 청소기를 도시한 사시도이다. 도 2는 도 1에 도시된 로봇 청소기의 상면부를 도시한 것이다. 도 3은 도 1에 도시된 로봇 청소기를 정면부를 도시한 것이다. 도 4는 도 1에 도시된 로봇 청소기의 저면부를 도시한 것이다. 도 5는 로봇 청소기를 구성하는 주요부들 간의 제어관계를 도시한 블록도이다.

도 1 내지 도 5를 참조하면, 로봇 청소기(100)는 본체(110)와, 본체(110) 주변의 영상을 획득하는 영상획득부(120)를 포함할 수 있다. 이하, 본체(110)의 각부분을 정의함에 있어서, 청소구역 내의 천장을 향하는 부분을 상면부(도 2 참조.)로 정의하고, 청소구역 내의 바닥을 향하는 부분을 저면부(도 4 참조.)로 정의하고, 상기 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주행방향을 향하는 부분을 정면부(도 3 참조.)라고 정의한다.

본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)가 구비되며, 구동 바퀴(136)는 구동 모터(139)에 의해 구동된다. 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(136(L))과 우륜(136(R))이라고 한다.

좌륜(136(L))과 우륜(136(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(136(L))을 구동시키는 좌륜 구동 모터와 우륜(62a)을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(136(L))과 우륜(136(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.

본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(110h)가 형성될 수 있으며, 본체(110) 내에는 흡입구(110h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(110h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.

본체(110)는 내측으로 로봇 청소기(100)를 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 상기 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.

흡입구(110h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(134)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(135)가 구비될 수 있다. 이들 브러시(134, 135)들의 회전에 의해 청소구역내 바닥으로부터 먼지들이 제거되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(110h)를 통해 흡입되어 먼지통에 모인다.

배터리(138)는 상기 구동 모터 뿐만 아니라, 로봇 청소기(100)의 작동 전반에 필요한 전원을 공급하는 것이다. 배터리(138)가 방전될 시, 로봇 청소기(100)는 충전을 위해 충전대로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 로봇 청소기(100)는 스스로 상기 충전대의 위치를 탐지할 수 있다.

광 조사부(150)는 청소 구역 내로 소정 패턴의 광(이하, '패턴 광'이라고 함.)을 조사한다. 광 조사부(150)는 광 조사부(150)는 광원과, 패턴생성자(OPPE: Optical Pattern Projection Element)를 포함할 수 있다. 상기 광원으로부터 입사된 광이 상기 패턴생성자에 투과됨으로써 상기 패턴 광이 생성된다. 상기 광원은 레이져 다이오드(Laser Diode, LD), 발광 다이오드(Light Emitteing Diode, LED) 등 일 수 있다. 그런데, 레이져 광은 단색성, 직진성 및 접속 특성에 있어 다른 광원에 비해 월등해, 정밀한 거리 측정이 가능하며, 특히, 적외선 또는 가시광선은 대상체의 색상과 재질 등의 요인에 따라 거리 측정의 정밀도에 있어서 편차가 큰 문제가 있기 때문에, 상기 광원으로는 레이져 다이오드가 바람직하다. 상기 패턴생성자는 렌즈, DOE(Diffractive optical element)를 포함할 수 있다.

광 조사부(150)는 본체(110) 전방의 바닥을 향해 광을 조사할 수 있다. 광 조사부(150)에 의해 조사되는 광의 패턴은 특정한 패턴으로 한정되어야만 하는 것 은 아니라, 바람직하게는, 수평선을 포함하여 구성된다. 실시예에서는 수평선(PL)의 패턴을 예로드나, 수평선(PL)과 교차하는 수직선을 더 포함하는 십자형 패턴도 가능하다.

영상획득부(120)는 패턴 광이 조사된 영역을 촬영하여 영상을 획득한다. 이하, 영상획득부(120)에 의해 획득된 영상을 획득영상이라고 한다. 영상획득부(120)는 피사체의 상을 전기적 신호로 변환시킨 후 다시 디지털 신호로 바꿔 메모리소자에 기억시키는 디지털 카메라를 포함하며, 상기 디지털 카메라는 이미지센서(121)와 영상처리모듈(122)을 포함할 수 있다.

이미지센서(121)는 광학 영상(image)을 전기적 신호로 변환하는 장치로, 다수개의 광 다이오드(photo diode)가 집적된 칩으로, 상기 광 다이오드로는 픽셀(pixel)을 예로들 수 있다. 렌즈를 통과한 광에 의해 칩에 맺힌 영상에 의해 각각의 픽셀들에 전하가 축적되며, 픽셀에 축적된 전하들은 전기적 신호(예를들어, 전압)로 변환된다. 이미지센서(121)로는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등이 잘 알려져 있다.

영상처리모듈(122)은 이미지센서(121)로부터 출력된 아날로그 신호를 바탕으로 디지털 영상을 생성한다. 영상처리모듈(122)은 상기 아날로그 신호를 디지털 신호로 변환하는 AD컨버터와, 상기 AD컨버터로부터 출력된 디지털 신호에 따라 일시적으로 디지털 정보(digital data)를 기록하는 버퍼 메모리(buffer memory)와, 상기 버퍼 메모리에 기록된 정보를 처리하여 디지털 영상을 구성하는 디지털 신호처리기(DSP:Digital Signal Processor)를 포함할 수 있다.

저장부(160)는 로봇 청소기(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 상기 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.

제어부(140)는 영상획득부(120)에 의해 획득된 영상(획득영상)에서 소정의 픽셀들에 대해 특징검출(feature detection)을 실시하여, 상기 특징검출의 결과에 따라 특징 픽셀들이 연속됨으로써 구성되는 선분을 검출한다.

보다 상세하게, 제어부(140)는 획득영상에 표시된 광 패턴(광 조사부(150)에 의해 조사된 패턴 광에 의해 생성된 것)을 검출하는 패턴검출모듈(141)과, 장애물과 청소구역의 바닥과의 경계 및/또는 상기 바닥과 벽의 경계를 검출하는 경계검출모듈(142)과, 구동 모터(139)를 제어하는 주행제어모듈(143)을 포함할 수 있다. 각 모듈들의 구체적인 구성과 작용은 보다 상세하게 후술하기로 한다. 이밖에도 제어부(140)는 로봇 청소기(100)를 구성하는 각부들의 작동을 제어할 수 있다.

도 6은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다. 도 7은 광 조사부에 의해 조사된 패턴 광과 바닥과 벽의 경계가 표시된 획득영상을 도시한 것이다. 도 8은 특징검출시 적용되는 마스크를 도시한 것이다. 도 9는 마스크를 작용하여 획득영상으로부터 특징검출을 실시하여 경계를 검출하는 태양을 도시한 것이다. 도 10은 특징검출을 통해 경계를 구성하는 픽셀들을 검출하는 과정을 도시한 것이다.

도 6 내지 도 10을 참조하면, 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법은 경계(이하, 바닥과 벽의 경계 또는 바닥과 장애물의 경계를 예로 든다.) 검출을 위한 경계검출단계(S30)를 포함한다.

획득영상에 경계는 이질적인 두 피사체가 서로 만나는 지점을 따라 형성되는 것으로, 일반적으로 두 피사체는 경계를 기준으로 서로 대비되는 밝기를 갖는다. 물론, 두 피사체 중 어느 것이 더 밝을지는 조명의 위치, 광의 반사, 피사체의 재질이나 색상 등의 여러요인에 의해 영향을 받는 것이기는 하나, 통상의 조건에서 경계를 이루는 두 피사체 간에는 밝기차가 존재한다. 획득영상에 표현된 오브젝트들 간의 경계들 중, 로봇 청소기(100)의 주행을 제어하는 관점에서 중요한 것은 바닥과 벽의 경계와, 바닥과 장애물의 경계를 들 수 있으며, 이들 경계는 상하로 위치하는 두 피사체들 사이에 형성되는 것이므로, 경계를 구성하는 임의의 픽셀을 선택하고, 선택된 픽셀 주변의 일정 영역 내에서 밝기 분포를 살펴보면, 상기 경계를 기준으로 상부영역과 하부영역간의 밝기가 서로 대비되는 특징을 보인다. 이렇게 영역간의 밝기 대비를 바탕으로, 경계를 구성하는 픽셀을 검출하기 위해서는 검출하고자하는 경계의 패턴이 고려된 적절한 형태의 마스크(mask)가 필요하다. 상기 마스크는 특징검출 대상이 되는 픽셀을 포함하여 구성되는 aXb 메트릭스(matrix) 형태의 영역이 수평분할됨으로써 상부영역과 하부영역이 정의되고, 상기 상부영역에 속하는 픽셀들의 밝기값과 상기 하부영역에 속하는 픽셀의 밝기값에 서로 다른 부호의 지수를 부여하는 것일 수 있다. 이때, 상기 상부영역에 부여되는 지수와 상기 하부영역에 부여되는 지수는 부호는 다르지만 같은 크기를 갖는 것이 바람직하다.

실시예에서는 검출 대상이 되는 픽셀(P(Xi, Yj))과 그 주변의 80개의 픽셀들로 구성된 9X9 형태의 메트릭스(matrix)가 위의 5개의 행으로 구성된 상부영역과 그 아래의 4개 행으로 구성된 하부영역으로 분할되고, 상기 상부영역에 속하는 픽셀들의 밝기값에는 -1의 지수를 부여하고, 상기 하부영역에 속하는 픽셀들의 밝기값에는 +1의 지수를 부여하는 마스크(M)가 사용되었다. 이하, 마스크를 적용한다고 함은, 검출 대상이되는 픽셀을 마스크(M)의 중심에 두고, 9X9의 영역에서 하부영역의 밝기(하부영역에 속하는 모든 픽셀들의 밝기값의 합한 것)와 상부영역의 밝기(상부영역에 속하는 모든 픽셀들의 밝기값을 합한 것) 차를 구하는 것으로 정의하고, 상기 하부영역과 하부영역의 밝기차를 밝기 대비값이라고 정의한다.

경계검출단계(S30, 도 11 참조)는 적어도 하나의 씨드 픽셀(seed pixel)을 검출하는 단계(S31)와, 검출된 씨드 픽셀들 중 어느 하나를 선택하는 단계(S32)와, 선택된 씨드 픽셀((Xi, Yj))과 인접하는 열(Col)을 구성하는 픽셀들에 마스크를 적용하여 가장 밝기 대비값이 큰 픽셀(이하, '특징점'이라고 함)을 선택하는 특징검출(feature detection)단계(S33, S36)를 포함할 수 있다.

씨드 픽셀 검출단계(S31)은 경계를 구성할 가능성이 높은 적어도 하나의 픽셀을 검출하는 단계이다. 획득영상의 모든 픽셀들로부터 그 주변 픽셀들로 마스크(M)를 적용해가며 밝기 대비값을 구하고, 특징점을 검출하는 것은 오랜 시간과 자원을 필요로 하다. 따라서, 먼저 씨드 픽셀을 선정하고, 씨드 픽셀로부터 그 주변으로 검출 영역을 확장해 가는 것이 효율적이다.

씨드검출단계(S31)는 획득영상의 각 행(Row)들에 마스크를 적용하여 밝기 대비값이 큰 몇 개의 픽셀을 선정할 수 있다. 씨드검출단계(S31)는 획득영상의 모든 픽셀들에 대해 실시될 수도 있으나, 바람직하게는 경계가 검출될 가능성이 높은 일부 영역에 대해서 실시된다. 예를들어, 도 7에 도시된 바와 같이, 로봇 청소기(100)의 전방에 장애물이 존재하지 않은 경우의 획득영상에서는 로봇 청소기(100)가 주행하는 수평한 바닥 상에 광 조사부(150)에 의해 조사된 광에 의한 패턴(PL)이 나타나고, 그 상측으로 바닥과 벽의 경계가 나타난다. 따라서, 이러한 경우는 획득영상에 나타난 수평 선분(즉, 패턴(PL))의 위치(P0)보다 상측의 일정한 영역이 씨드 검색 영역(A1)으로 설정될 수 있다.

즉, 패턴검출모듈(141)은 획득영상을 구성하는 픽셀들의 밝기를 바탕으로 패턴(PL)을 검출하고, 검출된 패턴(PL)이 본래 광 조사부(150)로부터 조사된 패턴과 일치하는 경우(즉, 수평한 선분인 경우), 경계검출모듈(142)은 패턴(PL)의 위치(P0)보다 상측에 설정된 씨드검색영역(A1)에 대하여 씨드 검색을 실시한다.

씨드검출단계(S31)는 씨드검색영역(A1)의 각 행을 따라 픽셀들에 차례로 마스크(M)를 적용하는 단계를 포함할 수 있다. 예를들어, 씨드검색영역(A1)이 c개의 행과 r개의 열로 구성된 경우, 첫번째 행을 구성하는 r개의 픽셀들에 대해 차례로 마스크(M)를 적용하고, 다시 그 다음번 행을 구성하는 r개의 픽셀들에 대해 차례로 마스크(M)를 적용하는 과정을 반복하여, c개의 행 모두에 대한 검색을 실시한다. 이러한 과정을 거쳐 구한 각 픽셀들에 대한 밝기 대비값을 비교하여 가장 그 값이 큰 몇 개의 픽셀이 씨드로 선정될 수 있으며, 다르게는 밝기 대비값이 큰 몇 개의 픽셀들 중에서 임의로 다시 몇 개의 픽셀들이 씨드로 선정될 수도 있다.

도 9를 참조하면, 본 실시예에서는 씨드검출단계(S31)를 통해 검출된 3개의 씨드(seed)가 표시되어 있다. 특징검출단계(S33, S36)는 경계를 구성하는 픽셀들을 검출하는 단계로, 씨드와 인접한 열을 구성하는 픽셀들에 대해 마스크(M)를 적용하여 밝기 대비값이 가장 큰 픽셀을 검출하는 단계를 포함한다. 특징검출단계(S33, S36)는 경계검출모듈(142)에 의해 실시될 수 있다. 이하, 픽셀들의 좌표는 m개의 행(Col)과 n개의 열(Row)로 구성된 mXn의 획득영상을 기준으로 표시한다.

도 10을 참조하면, 특징검출단계(S33)는 씨드(P(Xi, Yj))와 인접한 열(Col(Yj-1))을 구성하는 소정 개수의 픽셀들 각각에 대해 마스크(M)를 적용하는 단계를 포함한다. 마스크(M)는 열(Col(Yj-1))을 구성하는 모든 픽셀들에 대해서 실시될 수도 있으나, 우리가 찾고자 하는 경계는 수직방향보다는 수평방향으로 연장되는 성향이 강하기 때문에, 씨드(P(Xi, Yj))로부터 멀리 떨어진 행에 속하는 픽셀일수록 경계을 구성하는 것일 확률이 떨어진다. 따라서, 씨드(P(Xi, Yj))로부터 상하로 일정개수의 행들에 속하는 픽셀들에 대해서 마스크(M)를 적용하는 것이 바람직하며, 실시예에서는 열(Col(Yj-1))을 구성하는 픽셀들 중 P(Xi-2, Yj-1)부터 P(Xi+2, Yj-1)에 이르는 5개의 픽셀들에 대해서 마스크(M)가 적용되었다. 도면을 통해 알수 있듯이, 상기 5개의 픽셀은 씨드(P(Xi, Yj))와 같은 행에 속하는 P(Xi, Yj-1)과, 그 상하로 2개씩이 선정되었다. 도 10의 (a)에는 특징검출단계(S33)를 통해 열(Col(Yj-1))에서 검출된 특징 픽셀 P(Xi+1, Yj-1)이 표시되어 있다.

이제 다시 검출된 특징 픽셀 P(Xi+1, Yj-1)과 인접한 열(Col(Yj-2))에 대해서 특징검출이 실시된다(S34, S35, S33). 열(Col(Yj-2))에 대한 특징검출과정은 열(Col(Yj-1))에 대해 적용된 것과 실질적으로 동일하며, 도 10의 (b)는 열(Col(Yj-2))에서 검출된 특징 픽셀 P(Xi+1, Yj-2)가 표시되어 있다. 이렇게 열들로부터 차례로 특징들을 검출하는 과정은 씨드와 인접한 열(Col(Yj-1))로부터 획득영상의 첫번째 열에까지 차례로 실시될 수 있다(S34).

이상에서는 씨드 P(Xi, Yj)로부터 왼쪽방향으로 특징들을 검출하는 것을 설명하였으나, 이에 한하지 않고, 특징검출은 씨드로부터 오른쪽 방향으로도 실시될 수 있다. 즉, 씨드를 기준으로 양쪽으로 특징들이 검출될 수 있다. 도 6에서 S36 내지 S38단계는 씨드 P(Xi, Yj)로부터 오른쪽 방향으로 열들에 대해 차례로 특징검출단계(S36)를 실시하는 것에 해당하며, 이러한 단계들은 특징들이 씨드로부터 오른쪽으로 차례로 검출된다는 점에 있어서, S32 내지 S35단계와 차이가 있을 뿐 특징들을 검출하는 원리는 동일한 바, 앞서 설명한 바를 참조하기로 하고, 설명의 중복을 피하기로 한다.

한편, 특징검출단계(S33, S36)는 모든 씨드들에 대해서 실시될 수 있다. 도 9에는 3개의 시드들에 대해 특징검출을 실시한 결과 얻어지는 3개의 선분을 표시하고 있다. 경계검출모듈(142)은 상기 3개의 선분들로부터 일정한 기준에 따라 경계를 선정할 수 있다. 실시예에서와 같이, 장애물이 촬영되지 않은 획득영상에서는 상기 3개의 선분들 중에서 가장 길이가 긴 것이 바닥과 벽의 경계에 해당할 확률이 높으며, 따라서, 이 경우, 경계검출모듈(142)은 씨드로부터 검출된 선분들 중 가장 길이가 긴 것을 바닥과 벽의 경계로 선정할 수 있다.

도 11은 본 발명의 다른 실시예에 따른 로봇 청소기의 제어방법을 도시한 것이다. 도 12는 영상획득부의 촬영범위 내에 장애물이 존재하는 경우에 있어서 획득영상을 도시한 것이다. 도 13은 도 12에 도시된 획득영상을 장애물 존재영역과 장애물 부존재영역으로 수직분할한 것을 도시한 것이다.

도 11을 참조하면, 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법은 획득영상에서 광 패턴(패턴 광이 획득영상에 표시된 것)을 검출하는 단계(S10)와, 검출된 광 패턴을 바탕으로 획득영상 내에 장애물이 존재하는지 여부를 판단하는 단계(S20)를 포함하고, 장애물이 존재하지 않는 것으로 판단된 경우는 전술한 실시예에서와 마찬가지로 특징검출단계(S30)가 실시되고, 반대로 장애물이 존재하는 것으로 판단된 경우는 획득영상을 장애물이 존재하는 장애물 존재영역과 장애물이 존재하지 않는 장애물 부존재영역으로 분할하는 단계(S40)가 실시된다.

광 패턴을 검출하는 단계(S10)는 패턴검출모듈(141)에 의해 실시될 수 있으며, 광 조사부(150)로부터 조사된 패턴 광이 장애물의 표면에서 변형되는 양상으로부터 촬영범위(즉, 로봇 청소기(100)의 전방) 내에 장애물이 존재하는지 여부가 파악될 수 있다. 영상획득부(120)의 촬영범위 내에 장애물이 존재하지 않는 경우는 패턴 광이 바닥에 조사되기 때문에, 획득영상에서 수평한 선분의 광 패턴(PL, 도 7 참조.)이 확인되나, 장애물이 존재하는 경우는 장애물의 표면에 조사된 광에 의해 바닥에 조사된 패턴 광(PL1, 도 12 참조)의 위치(P0)보다 높은 위치에 패턴(PL2)이 확인된다. 특히, 이렇게 장애물에 의해 변형된 형태로 확인되는 패턴은 일반적으로, 장애물의 외곽에서 불연속적인 특성을 보이므로, 패턴검출모듈(141)은 획득영상을 통해 확인되는 패턴의 불연속성을 바탕으로 장애물의 존재를 파악할 수도 있다.

획득영상에 장애물이 존재하는 것으로 판단된 경우, 경계검출모듈(142)은 수직분할을 통해 획득영상을 장애물이 존재하는 장애물 존재영역(B1)과, 장애물이 존재하지 않는 장애물 부존재영역(B2)으로 분할한다. 실시예에서는 획득영상을 장애물 존재영역(B1)과, 그 양쪽의 장애물 부존재영역들(B2)로 분할하였다.

이제 경계검출모듈(142)은 분할된 각 영역, 즉, 장애물 존재영역(B1)과 장애물 부존재영역(B2) 각각에서 경계를 검출할 영역(이하, 경계검출영역이라고 함.)을 설정한다(S50). 장애물 부존재영역(B2)에서는 바닥과 벽의 경계가 선분(PL1)의 위치(P0)보다 위쪽에서 검출되기 때문에, P0보다 위쪽에 경계검출영역(C2)이 설정되고, 장애물 존재영역(B1)에서는 장애물과 바닥과의 경계가 P0보다 아래쪽에서 검출되기 때문에, P0보다 아래쪽에 경계검출영역(C1)이 설정된다.

경계검출모듈(142)은 각각의 경계검출영역(C1, C2)에서 특징검출을 실시한다(S30). 여기서의 특징검출단계(S30)는 경계검출영역들에서 각각 실시되는 점을 제외하고는 실질적으로 도 6을 참조하여 전술한 바와 같다. 특히, 각각의 경계검출영역들 내에서 다시 씨드검색영역들(A1, 도 7 참조)이 설정될 수도 있으며, 실시예에서는 장애물 존재영역(B1)내의 일부분(A1(1))과, 장애물 부존재영역(B2)내의 일부분(A1(2))이 각각 씨드검색영역으로 설정되었다.

이와 같이 장애물이 존재하는 경우에 있어서, 획득영상을 분할하고, 이렇게 분할된 각 영역의 특성을 고려하여(즉, 기하학적으로 경계가 검출될 것으로 예상되는 영역을 고려하여) 경계가 검색되는 범위를 줄이므써, 경계검색의 속도를 향상시킬 수 있음은 물론이고, 경계가 검출될 수 없는 영역임에도 불구하고 경계로 오인된 선분들이 검출되는 것을 방지할 수 있다.

한편, 주행제어모듈(143)은 경계검출모듈(143)에 의해 검출된 경계들을 바탕으로, 로봇 청소기(100)가 경계를 회피하여 주행하도록 구동 모터(139)를 제어할 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

본체 전방의 영상을 획득하는 (a)단계;
상기 (a)단계에서 획득된 영상에서 씨드 픽셀을 선정하는 (b)단계;
상기 씨드 픽셀과 인접한 열에서 상기 씨드 픽셀과 같은 행에 속한 픽셀을 포함하여 구성되는 검색 대상 픽셀들 각각에 대해 실시되며, 상기 검색 대상 픽셀이 속하는 일정한 검색 영역을 수평 분할하여 구해지는 상부영역과 하부영역간의 밝기 차를 구하는 (c)단계; 및
상기 검색 대상 픽셀들 중, 상기 밝기 차가 가장 큰 검색 영역에 속하는 픽셀을 상기 영상에 표시된 오브젝트들 간의 경계를 구성하는 픽셀로 선정하는 (d)단계를 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (b)단계는,
상기 영상에서 행을 구성하는 픽셀들 각각에 대해, 그 픽셀이 속하는 일정한 검색 영역을 수평 분할하여 구해지는 상부영역과 하부영역간의 밝기 차를 구하는 (b-1)단계; 및
상기 행을 구성하는 픽셀들 중 상기 밝기 차가 가장 큰 검색 영역에 속하는 것을 상기 시드 픽셀로 선정하는 (b-2)단계를 포함하는 로봇 청소기의 제어방법.
제 4 항에 있어서,
상기 (b-1)단계는,
상기 영상을 구성하는 2 이상의 행들에 대해서 실시되는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 씨드 픽셀은,
상기 영상에서 기 설정된 특정한 영역 내의 픽셀들 중에서 선정되는 로봇 청소기의 제어방법.
제 4 항에 있어서,
상기 로봇 청소기는,
상기 본체의 전방으로 수평 선분을 포함하는 패턴 광을 하향으로 조사하는 광 조사부를 포함하고,
상기 특정한 영역은,
상기 광 조사부에 의해 상기 본체가 위치하는 수평한 바닥 상에 광이 조사될 시, 상기 조사된 광에 의해 상기 영상에 표시되는 수평 선분의 위치보다 상측의 일정한 영역으로 정의되는 로봇 청소기의 제어방법.
제 5 항에 있어서,
상기 영상을, 상기 광 조사부에 의해 조사된 광이 소정의 기준 높이 보다 위쪽에 표시되는 장애물 존재영역과, 상기 기준 높이 상에 표시되는 장애물 부존재영역으로 수직분할하는 단계를 더 포함하고,
상기 특정한 영역은,
상기 장애물 존재영역에서는 상기 기준 높이 하측의 일정한 영역으로 정의되고, 상기 장애물 부존재영역에서는 상기 기준 높이의 상측의 일정한 영역으로 정의되는 로봇 청소기의 제어방법.
제 6 항에 있어서,
상기 소정의 기준 높이는,
상기 광 조사부에 의해 상기 본체가 위치하는 수평한 바닥 상에 광이 조사될 시, 상기 조사된 광에 의해 상기 영상에 수평 선분이 표시되는 높이인 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (d)단계에서 선정된 픽셀들을 바탕으로 경계를 검출하는 단계; 및
상기 검출된 경계를 바탕으로 로봇 청소기의 주행을 제어하는 단계를 더 포함하는 로봇 청소기의 제어방법.
주행 가능한 본체;
상기 본체의 전방의 영상을 획득하는 영상획득부; 및
상기 영상획득부에 의해 획득된 영상에서 씨드 픽셀을 선정하고, 상기 씨드 픽셀과 인접한 열에서 상기 씨드 픽셀과 같은 행에 속한 픽셀을 포함하여 구성되는 검색 대상 픽셀들 각각에 대해, 상기 검색 대상 픽셀이 속하는 일정한 검색 영역을 수평 분할하여 구해지는 상부영역과 하부영역간의 밝기 차를 구하고, 상기 검색 대상 픽셀들 중, 상기 밝기 차가 가장 큰 검색 영역에 속하는 픽셀을 상기 영상에 표시된 오브젝트들 간의 경계를 구성하는 픽셀로 선정하는 제어부를 포함하는 로봇 청소기.
제 9 항에 있어서,
상기 제어부는,
상기 영상에서 행을 구성하는 픽셀들 각각에 대해, 그 픽셀이 속하는 일정한 검색 영역을 수평 분할하여 구해지는 상부영역과 하부영역간의 밝기 차를 구하고, 상기 행을 구성하는 픽셀들 중 상기 밝기 차가 가장 큰 검색 영역에 속하는 것을 상기 시드 픽셀로 선정하는 로봇 청소기.
제 9 항에 있어서,
상기 제어부는,
상기 영상을 구성하는 2 이상의 행들에서 상기 씨드 픽셀을 선정하는 로봇 청소기.
제 9 항에 있어서,
상기 제어부는,
상기 영상에서 기 설정된 특정한 영역 내의 픽셀들 중에서 상기 씨드 픽셀을 선정하는 로봇 청소기.
제 12 항에 있어서,
상기 본체의 전방으로 수평 선분을 포함하는 패턴 광을 하향으로 조사하는 광 조사부를 더 포함하고,
상기 제어부는,
상기 광 조사부에 의해 상기 본체가 위치하는 수평한 바닥 상에 광이 조사될 시, 상기 조사된 광에 의해 상기 영상에 표시되는 수평 선분의 위치보다 상측의 일정한 영역을 상기 특정한 영역으로 정의하는 로봇 청소기.
제 13 항에 있어서,
상기 제어부는,
상기 영상획득부에 의해 획득된 영상을, 상기 광 조사부에 의해 조사된 광이 소정의 기준 높이 보다 위쪽에 표시되는 장애물 존재영역과, 상기 기준 높이 상에 표시되는 장애물 부존재영역으로 수직분할하고, 상기 장애물 존재영역에서는 상기 기준 높이 하측의 일정한 영역을 상기 특정한 영역으로 정의하고, 상기 장애물 부존재영역에서는 상기 기준 높이의 상측의 일정한 영역을 상기 특정한 영역으로 정의하는 로봇 청소기.
제 14 항에 있어서,
상기 소정의 기준 높이는,
상기 광 조사부에 의해 상기 본체가 위치하는 수평한 바닥 상에 광이 조사될 시, 상기 조사된 광에 의해 상기 영상에 수평 선분이 표시되는 높이인 로봇 청소기.
제 9 항에 있어서,
상기 제어부는,
상기 선정된 픽셀들을 바탕으로 경계를 검출하고, 상기 검출된 경계를 바탕으로 로봇 청소기의 주행을 제어하는 로봇 청소기.