KR20160043841A

KR20160043841A - 로봇 청소기의 제어방법

Info

Publication number: KR20160043841A
Application number: KR1020140138555A
Authority: KR
Inventors: 노동기; 김연수; 백승민
Original assignee: 엘지전자 주식회사
Priority date: 2014-10-14
Filing date: 2014-10-14
Publication date: 2016-04-22
Also published as: EP3009238B1; US10255501B2; EP3009238A1; US20160104044A1; US10133930B2; EP3415281A1; KR101620427B1; EP3415281B1; US20180218216A1

Abstract

본 발명의 로봇 청소기의 제어방법은 전방의 바닥을 향하는 일정한 방향으로 소정 패턴의 광을 조사하고, 상기 광이 조사된 영역의 영상을 획득하는 로봇 청소기의 제어방법에 있어서, 상기 로봇 청소기의 전방의 영상을 획득하는 (a)단계; 상기 (a)단계에서 획득된 영상에서 상기 패턴을 검출하는 (b)단계; 및 상기 영상으로부터 상기 패턴이 2 이상이 검출되는 경우, 광의 조사방향과 영상이 획득되는 광학 중심축의 방향에 의해 규정되는 기하학적 특성을 바탕으로 상기 획득영상에 표시된 패턴들 중 반사 광에 의해 형성된 패턴과, 상기 로봇 청소기로부터 직접 조사된 광에 의해 형성된 유효한 패턴을 선별하는 (c)단계를 포함한다.

Description

로봇 청소기의 제어방법{METHOD OF CONTROLLING ROBOT CLEANER}

본 발명은 로봇 청소기의 제어방법에 관한 것이다.

로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다.

가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기로써, 청소하고자 하는 구역을 주행하면서 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기에는 본체 전방의 바닥을 향해 소정 패턴의 광을 조사하는 패턴조사부와, 상기 광이 조사된 영역을 촬영하는 카메라가 구비되며, 상기 카메라에 의해 얻어진 영상에 나타난 광 패턴을 분석하여 청소구역 내의 상황(예를들어, 바닥의 위치, 로봇 청소기 주변의 장애물 상황, 바닥과 장애물 간의 경계 등)이 파악될 수 있다.

그런데, 광이 조사된 바닥이나 물체의 재질에 따라서는 광을 반사시키기 때문에, 본래의 광 패턴에 더하여 반사로 인한 새로운 광 패턴이 검출될 수 있다. 이 경우, 광의 반사로 인해 생성된 패턴은 청소구역의 상황을 분석함에 있어서는 배제되어야 하는 것이다. 따라서, 영상으로부터 검출된 광 패턴들 중 불필요한 것, 즉, 광의 반사로 인해 생성된 것을 식별하는 방법을 강구할 필요가 있다.

본 발명이 해결하고자 하는 과제는 영상으로부터 검출된 광 패턴들 중, 패턴조사부로부터 조사된 광에 의해 생성된 패턴과, 상기 조사된 광이 바닥이나 물체에 의해 반사됨으로써 생성된 패턴을 구별할 수 있는 로봇 청소기의 제어방법을 제공하는 것이다.

본 발명의 로봇 청소기의 제어방법은 획득영상을 통해 검출된 패턴들 중 바닥 또는 물체에 반사된 광에 의해 형성된 패턴을 구별하여 배제함으로써, 물체 또는 바닥에 직접 조사되어 형성된 유효한 패턴을 선별할 수 있다. 따라서, 상기 유효한 패턴을 바탕으로 로봇 청소기 주변의 장애물 상황을 파악함으로써 정확한 장애물 정보를 구할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 로봇 청소기를 도시한 사시도이다.
도 2는 도 1에 도시된 로봇 청소기의 상면부를 도시한 것이다.
도 3은 도 1에 도시된 로봇 청소기를 정면부를 도시한 것이다.
도 4는 도 1에 도시된 로봇 청소기의 저면부를 도시한 것이다.
도 5는 로봇 청소기를 구성하는 주요부들 간의 제어관계를 도시한 블록도이다.
도 6의 (a)는 패턴조사부로부터 물체로 광을 조사한 것을 도시한 모식도이고, (b)는 이때의 획득영상이다.
도 7은 물체가 패턴 광의 조사 범위 보다 멀리 위치한 경우에 있어서, 바닥에 반사된 광에 의해 물체에 패턴이 형성되는 원리를 도시한 모식도(a)와, 이때의 획득영상(b)을 도시한 것이다.
도 8은 물체가 패턴 광의 조사 범위 내에 위치한 경우에 있어서, 물체에 반사된 광에 의해 바닥에 패턴이 형성되는 원리를 도시한 모식도(a)와, 이때의 획득영상(b)을 도시한 것이다.
도 9는 패턴조사부(150)의 조사범위 내에 물체가 위치하는 경우에 있어서, 이미지센서에 상이 맺히는 광학적 기하구조(optical geometry)를 모식적으로 도시한 것(a)과, 이때의 획득영상(b)을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다.
도 11은 기 설정된 기준위치와 바닥으로 조사된 광에 의해 형성된 패턴의 위치간에 오차가 발생한 경우의 획득영상을 도시한 것이다.
도 12는 기준위치를 업데이트하는 방법의 일 실시예를 도시한 순서도이다.

본발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본발명의 개시가 완전하도록 하고, 본발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 본 발명의 일 실시예에 따른 로봇 청소기를 도시한 사시도이다. 도 2는 도 1에 도시된 로봇 청소기의 상면부를 도시한 것이다. 도 3은 도 1에 도시된 로봇 청소기를 정면부를 도시한 것이다. 도 4는 도 1에 도시된 로봇 청소기의 저면부를 도시한 것이다. 도 5는 로봇 청소기를 구성하는 주요부들 간의 제어관계를 도시한 블록도이다.

도 1 내지 도 5를 참조하면, 로봇 청소기(100)는 본체(110)와, 본체(110) 주변의 영상을 획득하는 영상획득부(120)를 포함할 수 있다. 이하, 본체(110)의 각부분을 정의함에 있어서, 청소구역 내의 천장을 향하는 부분을 상면부(도 2 참조.)로 정의하고, 청소구역 내의 바닥을 향하는 부분을 저면부(도 4 참조.)로 정의하고, 상기 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주행방향을 향하는 부분을 정면부(도 3 참조.)라고 정의한다.

본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)가 구비되며, 구동 바퀴(136)는 구동 모터(139)에 의해 구동된다. 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(136(L))과 우륜(136(R))이라고 한다.

좌륜(136(L))과 우륜(136(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(136(L))을 구동시키는 좌륜 구동 모터와 우륜(136(R))을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(136(L))과 우륜(136(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.

본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(110h)가 형성될 수 있으며, 본체(110) 내에는 흡입구(110h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(110h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.

본체(110)는 내측으로 로봇 청소기(100)를 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 상기 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.

흡입구(110h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(134)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(135)가 구비될 수 있다. 이들 브러시(134, 135)들의 회전에 의해 청소구역내 바닥으로부터 먼지들이 제거되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(110h)를 통해 흡입되어 먼지통에 모인다.

배터리(138)는 상기 구동 모터 뿐만 아니라, 로봇 청소기(100)의 작동 전반에 필요한 전원을 공급하는 것이다. 배터리(138)가 방전될 시, 로봇 청소기(100)는 충전을 위해 충전대로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 로봇 청소기(100)는 스스로 상기 충전대의 위치를 탐지할 수 있다.

패턴조사부(150)는 청소 구역 내로 소정 패턴의 광(이하, '패턴 광'이라고 함.)을 조사한다. 패턴조사부(150)는 패턴조사부(150)는 광원과, 패턴생성자(OPPE: Optical Pattern Projection Element)를 포함할 수 있다. 상기 광원으로부터 입사된 광이 상기 패턴생성자에 투과됨으로써 상기 패턴 광이 생성된다. 상기 광원은 레이져 다이오드(Laser Diode, LD), 발광 다이오드(Light Emitteing Diode, LED) 등 일 수 있다. 그런데, 레이져 광은 단색성, 직진성 및 접속 특성에 있어 다른 광원에 비해 월등해, 정밀한 거리 측정이 가능하며, 특히, 적외선 또는 가시광선은 대상체의 색상과 재질 등의 요인에 따라 거리 측정의 정밀도에 있어서 편차가 큰 문제가 있기 때문에, 상기 광원으로는 레이져 다이오드가 바람직하다. 상기 패턴생성자는 렌즈, DOE(Diffractive optical element)를 포함할 수 있다.

패턴조사부(150)는 본체(110) 전방의 바닥을 향해 광을 조사할 수 있다. 패턴조사부(150)에 의해 조사되는 광의 패턴은 특정한 패턴으로 한정되어야만 하는 것은 아니나, 바람직하게는, 수평선을 포함하여 구성된다. 실시예에서는 수평선과 수직선이 교차하는 십자형 패턴(P)을 예로든다.

영상획득부(120)는 패턴 광이 조사된 영역을 촬영하여 영상을 획득한다. 이하, 영상획득부(120)에 의해 획득된 영상을 획득영상이라고 한다. 영상획득부(120)는 피사체의 상을 전기적 신호로 변환시킨 후 다시 디지털 신호로 바꿔 메모리소자에 기억시키는 디지털 카메라를 포함하며, 상기 디지털 카메라는 이미지센서(121)와 영상처리모듈(122)를 포함할 수 있다.

이미지센서(121)는 광학 영상(image)을 전기적 신호로 변환하는 장치로, 다수개의 광 다이오드(photo diode)가 집적된 칩으로 구성되며, 상기 광 다이오드로는 픽셀(pixel)을 예로들 수 있다. 렌즈를 통과한 광에 의해 칩에 맺힌 영상에 의해 각각의 픽셀들에 전하가 축적되며, 픽셀에 축적된 전하들은 전기적 신호(예를들어, 전압)로 변환된다. 이미지센서(121)로는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등이 잘 알려져 있다.

영상처리모듈(122)은 이미지센서(121)로부터 출력된 아날로그 신호를 바탕으로 디지털 영상을 생성한다. 영상처리모듈(122)은 상기 아날로그 신호를 디지털 신호로 변환하는 AD컨버터와, 상기 AD컨버터로부터 출력된 디지털 신호에 따라 일시적으로 디지털 정보(digital data)를 기록하는 버퍼 메모리(buffer memory)와, 상기 버퍼 메모리에 기록된 정보를 처리하여 디지털 영상을 구성하는 디지털 신호처리기(DSP:Digital Signal Processor)를 포함할 수 있다.

저장부(160)는 로봇 청소기(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 상기 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.

제어부(140)는 영상획득부(120)에 의해 획득된 영상(획득영상)에서 소정의 픽셀들에 대해 특징검출(feature detection)을 실시하여, 상기 특징검출의 결과에 따라 특징 픽셀들이 연속됨으로써 구성되는 선분을 검출한다.

보다 상세하게, 제어부(140)는 획득영상에 표시된 광 패턴(패턴조사부(150)에 의해 조사된 패턴 광에 의해 생성된 것)을 검출하는 패턴검출모듈(141)과, 패턴검출모듈(141)에 의해 검출된 패턴들에 대한 유효성 검사를 실시하는 유효성판단모듈(142)을 포함할 수 있다. 여기서, 유효성 검사란, 패턴검출모듈(141)에 의해 검출된 패턴들 중 유효한 것(패턴조사부(150)로부터 물체의 표면으로 직접 조사된 광에 의해 생성된 패턴으로, 이하, 유효한 패턴이라고 함.)과, 반사 광에 의해 생성된 패턴(패턴조사부(150)로부터 조사된 광이 물체의 표면에 반사된 후 다른 곳에 맺히므로써 생성된 패턴으로, 이하, 반사광에 의한 패턴이라고 함)을 구별하는 검사이다. 패턴조사부(150)로부터 광이 조사되는 방향과, 영상획득부(150)를 구성하는 카메라의 시선이 향하는 방향은 알 수 있는 정보들로써, 유효성 검사는 이들 정보들을 활용한 기하 해석(Geometrical analysis)을 통해 유효한 패턴과 반사광에 의한 패턴을 구별하는 것을 원리로 한다. 특히, 패턴조사부(150)로부터 바닥으로 패턴 광이 조사되는 경우, 획득영상에서 패턴이 표시되는 위치(이하, 기준위치라고 함.)는, 패턴조사부(150)로부터 패턴 광이 조사되는 방향과, 영상획득부(120)의 광학 중심축(예를들어, 카메라의 렌즈의 중심축)이 향하는 방향에 따라 결정되며, 이때의 기준위치는 유효성 검사를 하는데 있어서 유효한 패턴과 반사광에 의한 패턴을 구별하는 중요한 기준이 될 뿐만 아니라, 기준위치에 대한 유효한 패턴의 상대 위치는 로봇 청소기(100) 주변의 장애물 상황을 3차원적으로 재구성(3D 재구성, 도 10의 S15단계 참조.)하는데 있어서 중요한 정보가 된다. 도면들에서 패턴조사부(150)로부터 패턴 광이 조사되는 방향은 수평과 이루는 각도 α로 표시(도 9의 (a)참조.)하고, 영상획득부(120)의 광학 중심축이 향하는 방향(β, 미표기)은 수평한 것으로 가정하였으며, 실시예와 같이 영상획득부(120)와 패턴조사부(150)가 본체(100)에 대해 고정된 경우 이들 각도들은 각각 고정된 값을 갖는다. 그러나, 이에 한하지 않고, 영상획득부(120) 및/또는 패턴조사부(150)가 위치변동(예를들어, 승강, 수평이동)이 가능하거나 자세변화(예를들어, XYZ 직교 좌표기준으로, X축 회전, Y축 회전, Z축 회전)이 가능하도록 구비되는 경우에 있어서도, 영상이 획득될 시의 위치나 자세를 정의하는 인자(예를들어, 변위나 회전각도)들은 파악될 수 있기 때문에, 이 경에 있어서도 획득영상에서 기준위치가 정의될 수 있다.

한편, 로봇 청소기(100)는 청소구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서(132)와, 바닥의 영상을 획득하는 하부 카메라 센서(139)와, 배터리(138)를 충전하는 충전단자(133)를 더 포함할 수 있다.

도 6의 (a)는 패턴조사부로부터 물체로 광을 조사한 것을 도시한 모식도이고, (b)는 이때의 획득영상이다. 도 6을 참조하면, 패턴조사부(150)로부터 물체를 향해 광이 조사된 경우, 광은 바닥에 이르지 못하고 물체의 표면에 패턴을 형성한다. 도면에서 L0은 광이 바닥으로 조사되는 경우에 있어서 패턴이 맺히는 위치를 표시한 것이고, L1은 패턴 광이 조사되는 범위 내에 물체가 위치할 시 물체에 맺히는 패턴을 표시한 것이며, 다른 도면들에서도 마찬가지로 표시하기로 한다. 획득영상(b)을 통해 알 수 있듯이, 패턴조사부(150)의 조사 범위 내에 물체가 위치하는 경우, 광 반사로 인한 영향이 없을 시에는 획득영상에서 기준위치(L0)보다 상측에서 유효한 패턴(L1)이 검출된다. 제어부(140)는 획득영상에서 검출된 유효한 패턴(L1)을 바탕으로 로봇 청소기(100) 전방의 장애물 정보를 획득하는 장애물정보획득모듈(143)을 포함할 수 있으며, 이 경우, 장애물정보획득모듈(143)은 획득영상에서의 유효한 패턴(L1)과 기준위치(L0)간의 위치 관계를 바탕으로 장애물의 분포 상태, 장애물까지의 거리(또는, 영상에서 장애물의 깊이) 등의 장애물 정보를 획득할 수 있다. 예를들어, 획득영상에서 유효한 패턴(L1)과 기준위치(L0) 간의 거리가 멀어질수록 실제 공간상에서 장애물은 로봇 청소기(100)와 근접한 곳에 위치하는 것으로 판단할 수 있다.

한편, 기준위치(L0)에서 패턴이 검출되는 경우, 유효성판단모듈(142)은 기준위치(L0)를 기준으로 상측 또는 하측에서 검출된 패턴을 반사광에 의한 패턴(L0')으로 판단할 수 있다. 반사광에 의한 패턴(L0')은 도 7에 도시된 바와 같이, 바닥으로부터 반사된 광이 물체의 표면에 형성한 것이다. 바닥이 평평한 경우, 유효한 패턴(L0)과 반사 광에 의한 패턴(L0')은 상하방향으로 서로 이격되기 때문에, 이미지센서(121)상에서, 유효한 패턴(L0)을 구성하는 픽셀들과 반사광에 의한 패턴(L0')을 구성하는 픽셀들은 같은 열에 속하는 것들이 있을 수 있다(도 7의 (b)참조.).

한편, 도 8의 (b)에 도시된 바와 같이, 획득영상에서 기준위치(L0)에서는 패턴이 검출되지 않으나, 기준위치(L0)의 상측과 하측에서 각각 패턴이 검출되는 경우, 유효성판단모듈(142)은 기준위치(L0)의 상측에서 검출된 패턴(L1)이 유효한 패턴이고, 기준위치(L0)의 하측에서 검출된 패턴(L1')이 반사광에 의한 패턴인 것으로 구분할 수 있다. 이와 같이 유효성을 판단할 수 있는 이유는, 도 8의 (a)에서 보이는 바와 같이, 물체 표면에서 반사된 광이 바닥에 맺히므로써 반사광에 의한 패턴(L1')을 형성하기 때문이다. 특히, 이 경우 패턴조사부(150)로부터 광이 하향(α>0, 도 9 참조)으로 로봇 청소기(100)의 전방을 향해 조사되는 한, 기하학적으로 물체표면에서 반사된 광은 바닥을 향해 진행하여, 물체보다 더 로봇 청소기(100)에 근접한 곳에 패턴이 맺히기 때문에, 획득영상에서 반사광에 의한 패턴(L1')은 기준위치(L0)보다 아래에 표시된다.

도 9는 패턴조사부(150)의 조사범위 내에 물체가 위치하는 경우에 있어서, 이미지센서(121)에 상이 맺히는 광학적 기하구조(optical geometry)를 모식적으로 도시한 것(a)과, 이때의 획득영상(b)을 도시한 것이다. 여기서, O는 영상획득부(120)의 광학 중심(optical center)이고, 광학 중심축은 Y방향, 패턴조사부(150)의 조사방향은 광학 중심축과 각도 α를 이루며, 광학 중심(O)을 통과한 광에 의해 이미지센서(121)의 촬상면(image plane)에는 역상이 맺히며, 획득영상(b)은 이를 다시 정상으로 변환한 것이다.

이하, 촬상면에서 검출되는 특징들(예를들어, 패턴, 물체와 바닥의 경계)간의 위치관계를 촬상면에서 측정한 거리를 바탕으로 정의하나, 획득영상은 촬상면에 맺힌 영상(이 역시 영상획득부(120)에 의해 획득된 영상의 범주에 듦은 물론이다.)과 스케일(scale)은 다를 수 있으나, 기하학적으로는 상사한 것이기 때문에, 획득영상에서 측정된 거리 값들을 가지고 특징들간의 위치관계를 정의할 수도 있으며, 이렇게 정의된 위치관계는 촬상면을 기준으로 정의한 경우와 마찬가지 결과에 이를 수 있음은 물론이다.

도 9를 참조하면, 유효성 검사는 촬상면(또는, 획득영상)으로부터 물체와 바닥 간의 경계를 검출하여, 검출된 경계(M)와, 기준위치(L0)간의 위치관계를 바탕으로 촬상면(또는, 획득영상)에서 유효한 패턴이 검출될 위치(이하, 유효 패턴 추정 위치(L1)라고 함.)를 추정하는 단계와, 유효 패턴 추정 위치를 바탕으로 촬상면(또는, 획득영상)에서 검출된 여러 패턴들(반사광에 의한 패턴을 포함)들의 유효성을 판단하는 단계를 포함할 수 있다.

기하학적 분석을 통해 도 9의 (a)로 부터 다음과 같은 식을 도출할 수 있다.

여기서, a', ref'(기준위치 ref와 대응하는 것으로 도 9의 (b)에서는 L0로 표시되었다.), b'는 각각 물체에 조사된 유효한 패턴의 위치, 물체가 없을 시 바닥에 조사된 유효한 패턴의 위치(즉, 기준위치), 물체와 바닥 간의 경계와 각각 대응하는 것으로, 촬상면에 표시된 원점(O')을 기준으로 표시되었으며, 광이 조사되는 물체의 표면은 실질적으로 바닥과 수직한 것으로 가정하였다.

ref'는 기 설정된 바에 따라 정해진 것이고, a'는 패턴검출모듈(141)에 의해 구해질 수 있으며, h1, h2는 패턴조사부(150)와 영상획득부(120)의 배치로부터 구해지는 값이기 때문에, 결과적으로 위의 식으로부터 b'는 a', ref', h1 및 h2 간의 관계식으로 표현될 수 있다. 이렇게 구해진 b'는 물체와 바닥 간의 경계로 추정되는 위치(이하, 경계추정위치라고 함.)로써, 경계검출모듈(146)은 상기 경계추정위치를 바탕으로 획득영상에서 검출된 여러 특징들(예를들어, 도 9의 (b)에서 L1, M, L') 중에서 경계를 선정할 수 있다. 예를들어, 경계검출모듈(146)은 패턴검출모듈(141)에 의해 검출된 여러 패턴들 중, b'와 가장 근접하게 위치에서 검출된 것을 물체와 바닥간의 경계로 선정할 수 있다. 영상의 왜곡이 없고, h1, h2의 값이 정확하게 구해진 경우, 도 9의 (b)에 표시된 물체와 바닥 간의 경계(M)의 위치가 도 9의 (a)에서 b'와 대응한다.

더 나아가, 설령 획득영상으로부터 경계(M)에 해당하는 패턴을 검출하지 않는 경우에도, 앞서 추정한 경계추정위치와 유효한 패턴의 위치(L1) 관계로부터 물체의 높이를 추정할 수 있다. 이경우, 물체의 높이는 적어도 패턴의 위치(L1)보다는 높은 것으로 추정된다.

장애물정보획득모듈(143)은 경계검출모듈(146)에 선정된 경계(M)를 바탕으로, 장애물 정보를 획득할 수 있다. 이때, 장애물정보획득모듈(143)은 전술한 바와 같이 기준위치(ref)와 상기 유효한 패턴 간의 위치 관계를 바탕으로 로봇 청소기(100)로부터 물체까지의 거리를 추정할 수 있을 뿐만 아니라, 경계(M)의 위치를 바탕으로 보다 세밀한 장애물 정보를 구할 수 있다.. 이후, 주행제어모듈(144)은 장애물정보획득모듈(143)을 통해 획득된 장애물 정보(예를들어, 로봇 청소기(100)로부터 물체까지의 거리, 바닥과 물체의 경계(M))를 바탕으로 본체(110)가 주행 간에 물체를 회피하도록 구동 모터(139)의 작동을 제어할 수 있다(S16단계 참조).

도 10은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다.

S11단계는 로봇 청소기(100) 전방의 영상을 획득하는 단계로, 영상획득부(120)에 의해 실시될 수 있다.

S12단계는 S11단계에서 획득된 영상을부터 패턴을 검출하는 단계로, 패턴검출모듈(141)에 의해 실시될 수 있다.

S13단계는 패턴검출모듈(141)에 의해 둘 이상의 검출되는지를 판단하는 단계로, S13단계에서 둘 이상의 패턴이 검출된 것으로 판단된 경우, S14의 기하학적 유효성 판단 단계가 실시된다. 도면에 표시된 Num(P)는 패턴(P)의 개수이다.

S14단계에서는 도 6 내지 도 9를 참조하여 전술한 실시예들에 따른 유효성 판단 검사가 실시될 수 있다. 보다 상세하게, S14단계에서 유효성판단모듈(143)은 획득영상에 표시된 패턴들의 위치관계에 따라, 도 7에서와 같이 바닥으로부터 반사된 광에 의해 생성된 패턴(L0') 및/또는 도 8 또는 도 9에서와 같이 물체로부터 반사되어 형성된 패턴(L1')을 배제하고 유효한 패턴(L0, L1)을 선별할 수 있다.

S15단계는 S14단계에서 검출된 유효한 패턴을 바탕으로 로봇 청소기(100) 주변의 장애물 상황을 입체적으로 재구성하는 단계이다. S15단계는 장애물정보획득모듈(143)에 의해 실시될 수 있으며, 특히, 유효한 패턴(L1)과 기준위치(L0) 간의 위치관계로부터 로봇 청소기(100)로부터 물체까지의 거리를 구하고, 이렇게 구해진 거리를 바탕으로 로봇 청소기(100) 주변의 장애물 상황이 맵핑(mapping)될 수 있다.

S16단계는 S15단계에서 구해진 장애물 정보(예를들어, 로봇 청소기(100)로부터 장애물까지의 거리, 이를 매핑하여 구해진 맵 등)를 바탕으로 로봇 청소기(100)의 주행이 제어되는 단계이다. 이 단계에서 주행제어모듈(144)은 본체(110)가 주행 간에 물체를 회피하도록 구동 모터(139)의 작동을 제어할 수 있다.

도 11은 기 설정된 기준위치와 바닥으로 조사된 광에 의해 형성된 패턴의 위치간에 오차가 발생한 경우의 획득영상을 도시한 것이다. 도 12는 기준위치를 업데이트하는 방법의 일 실시예를 도시한 순서도이다. 앞서 설명한 실시예들에서 정확하게 유효성 검사가 이루어질 수 있기 위해서는 우선 기준위치(L0)가 정확하게 정해져야 한다. 특히, 패턴조사부(150)의 조사방향과, 영상획득부(120)의 시야가 고정된 구조의 로봇 청소기(100)는 기하학적으로 기준위치(L0)가 결정되기 때문에, 제품의 제조과정에서 기준위치(L0)가 설정되나, 이후, 사용중에 발생하는 여러가지 사정들에 의해 기준위치(L0)가 변경될 수 있다. 이 경우, 유효성 판단 과정(S14)이 부정확해 질 뿐만 아니라, 장애물 상황을 재구성하는 과정(S15)도 부정확하게되는 문제가 있다. 따라서, 기준위치(L0)의 업데이트가 가능한 로봇 청소기의 제어방법을 강구할 필요가 있다. 이하, 도 5, 도 11 및 도 12를 참조한다.

도 11에 표시된 패턴(L01)은 패턴조사부(150)에 의해 바닥으로 조사된 패턴으로, 이하, 기준패턴이라고 한다.

패턴검출모듈(141)은 영상획득부(120)로부터 출력된 제 1 획득영상을 입력받고(S21), 제 1 영상으로부터 기준패턴(L01)을 검출할 수 있다(S22). 상기 제 1 획득영상은 로봇 청소기(100)를 평평한 바닥에 놓고 패턴 광이 조사되도록 한 상태에서 획득된 것이 바람직하다.

패턴조사부(150)에 의해 십자형 패턴 광(도 1 참조)이 조사되는 경우, 패턴검출모듈(141)은 열과 행이 교차하는 '+'형태의 패턴(패턴 광에 의해 형성되는 전체 패턴에 비해서는 충분히 작은 크기)을 기 설정된 기준위치(L0) 주변의 일정한 영역에서 검출하고, 이로부터 횡방향으로 특징검색을 실시하여 기준패턴(L01)을 검출할 수 있다. '+'형태의 특징 검출을 위해 십자모양의 특성을 갖는 특징 마스크(feature mask)를 활용한 NCC(normalized cross correlation)기법이 이용될 수 있으며, 이에 한하지 않고 기 알려진 다양한 방식의 특징 검출(feature detection) 알고리즘이 적용될 수 있다. 패턴 광의 조사 범위가 고정되었다는 점과 기준패턴은 바닥에 조사된 광에 의해 생성된다는 점을 고려하면, 획득영상에서 '+'형태의 특징이 검출되는 영역은 한정되며, 따라서, 전술한 '+'형태의 특징을 검출하는 과정을 획득영상 전체에서 실시하는 것보다는 특징이 검출될 것으로 예상되는 일정한 영역(A)에서만 실시하는 것이 검출 속도를 향상시킬 수 있어 바람직하다.

기준위치설정모듈(145)은 S22단계에서 검출된 기준패턴(L01)의 위치와 저장부(160)에 기 저장된 기준위치(L0)를 비교할 수 있다(S23). 이 단계에서는 특히, 획득영상에서 기준패턴(L01)과 기준위치(L0)간의 거리(d)가 측정될 수 있으며, 거리(d)와 기 설정된 허용거리(dset)를 비교한다.

S23단계에서 거리(d)가 허용거리(dset) 이하인 경우에는, S22단계에서 검출된 기준패턴(L01)의 위치가 새로운 기준위치(L0)로 업데이트 된다.

반대로, S23단계에서 거리(d)가 허용거리(dset) 보다 큰 경우는, 바닥으로 조사된 광이 기준위치(L0)에 패턴을 형성하지 못한 경우(즉, 기 저장된 기준위치와 현재 기준패턴의 위치 간의 오차가 상당한 경우)로, S22단계에서 검출된 기준패턴(L01)의 위치가 저장부(160)에 임시로 저장된다(S24). 그런데, 이 경우에 있어서, 기준패턴(L01)은 기 설정된 기준위치(L0)로부터 허용거리(dset)보다 더 멀리떨어져 있는 것이기 때문에, 기준패턴(L01)이 특별한 사정(예를들어, 바닥의 굴곡)에 의해 일시적으로 그 위치에서 검출된 것은 아닌지 확인할 필요가 있다.

S25단계에서 패턴검출모듈(141)은 S21단계에서와는 다른 위치에서 획득된 제 2 획득영상을 입력받는다. 즉, S21단계에서 영상이 획득된 위치로부터 로봇 청소기(100)를 이동시킨 후, 영상획득부(120)에 의해 제 2 획득영상이 획득된다.

S26단계는 제 2 획득영상으로부터 기준패턴(L01)을 검출하는 단계로, 실질적으로 S22단계와 동일하다.

S27단계는 S26단계에서 검출된 기준패턴의 위치가 S24단계에서 임시 저장된 위치와 실질적으로 동일한 것인지를 판단하는 것으로, S27단계에서 검출된 기준패턴의 위치와 상기 임시 저장된 위치 간의 차이가 소정의 오차 범위 내이면 S26단계에서 검출된 기준패턴은 실질적으로 S22단계에서 검출된 기준패턴과 동일한 위치에서 검출된 것으로 판단될 수 있으며, 이 경우는 기 설정된 기준위치(L0)가 상기 임시저장된 기준패턴의 위치로 업데이트될 수 있다(S28).

반대로, S27단계에서, S26단계에서 검출된 기준패턴의 위치가 S24단계에서 임시 저장된 위치와 동일한 것이 아니라고 판단된 경우는, 기준위치(L0)가 그대로 유지될 수 있다.

한편, 조작부(137)는 기준위치 업데이트 명령을 입력받는 소정의 입력수단을 포함할 수 있으며, S21 내지 S29단계에 따른 로봇 청소기의 제어방법은 상기 입력수단을 통해 업데이트 명령이 입력된 경우에 있어서 실시될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

전방의 바닥을 향하는 일정한 방향으로 소정 패턴의 광을 조사하고, 상기 광이 조사된 영역의 영상을 획득하는 로봇 청소기의 제어방법에 있어서,
상기 로봇 청소기의 전방의 영상을 획득하는 (a)단계;
상기 (a)단계에서 획득된 영상에서 상기 패턴을 검출하는 (b)단계; 및
상기 영상으로부터 상기 패턴이 2 이상이 검출되는 경우, 광의 조사방향과 영상이 획득되는 광학 중심축의 방향에 의해 규정되는 기하학적 특성을 바탕으로 상기 획득영상에 표시된 패턴들 중 반사 광에 의해 형성된 패턴과, 상기 로봇 청소기로부터 직접 조사된 광에 의해 형성된 유효한 패턴을 선별하는 (c)단계를 포함하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 획득영상에서, 상기 바닥에 광이 직접 조사됨으로써 형성된 패턴의 위치를 기준위치라고 정의할 시,
상기 (c)단계는,
상기 2 개 이상의 패턴 중 어느 하나가 상기 기준위치에서 검출되고, 다른 적어도 하나의 패턴은 상기 기준위치 보다 위쪽에서 검출될 시, 상기 기준위치에서 검출된 패턴을 유효한 패턴으로 선정하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 획득영상에서, 상기 바닥에 광이 직접 조사됨으로써 형성된 패턴의 위치를 기준위치라고 정의할 시,
상기 (c)단계는,
상기 기준위치를 기준으로 상측과 하측에 각각 패턴이 검출될 시, 상측에서 검출된 패턴을 유효한 패턴으로 선정하는 로봇 청소기의 제어방법.
제 3 항에 있어서,
상기 유효한 패턴을 바탕으로 물체까지의 거리를 구하는 (d)단계를 더 포함하는 로봇 청소기의 제어방법.
제 4 항에 있어서,
상기 (d)단계에서,
상기 물체까지의 거리는,
상기 획득영상에서 상기 기준위치에 대한 상기 유효한 패턴의 위치관계를 바탕으로 구해지는 로봇 청소기의 제어방법.
제 5 항에 있어서,
상기 (d)단계에서,
상기 기준위치로부터 상기 유효한 패턴까지의 거리가 멀수록 상기 장애물까지의 거리가 짧은 것으로 판단하는 단계를 포함하는 로봇 청소기의 제어방법.
제 2 항, 제 3 항 중 어느 한 항에 있어서,
상기 기준위치를 업데이트하는 (d)단계를 더 포함하고,
상기 (d)단계는,
상기 로봇 청소기의 전방의 영상을 획득하는 (d-1)단계;
상기 (d-1)단계에서 획득된 영상에서, 상기 로봇 청소기로부터 상기 바닥으로 직접 조사된 광에 의해 형성된 패턴을 검출하는 (d-2)단계;
상기 (d-2)단계에서 검출된 패턴과 상기 기준위치 간의 거리를 기 설정된 허용거리와 비교하는 (d-3)단계; 및
상기 (d-3)단계에서의 비교결과를 바탕으로, 상기 기준위치를 상기 (d-2)단계에서 검출된 패턴의 위치로 업데이트하는 (d-4)단계를 포함하는 로봇 청소기의 제어방법.
제 7 항에 있어서,
상기 (d)단계는,
상기 (d-3)단계에서 상기 (d-2)단계에서 구한 거리가 상기 허용거리보다 큰 것으로 판단된 경우, 상기 로봇 청소기의 위치를 이동시키는 (d-5)단계;
상기 이동된 위치에서 상기 로봇 청소기의 전방의 영상을 획득하는 (d-6)단계를 더 포함하고,
상기 (d-6)단계에서 획득된 영상으로부터 상기 로봇 청소기로부터 상기 바닥으로 직접 조사된 광에 의해 형성된 패턴을 검출하는 (d-7)단계;
상기 (d-7)단계에서 검출된 패턴의 위치를 (d-2)단계에서 검출된 패턴의 위치와 비교하는 (d-8)단계; 및
상기 (d-8)단계에서의 비교결과를 바탕으로, 상기 기준위치를 상기 (d-2)단계에서 검출된 패턴의 위치로 업데이트하는 (d-9)단계를 더 포함하는 로봇 청소기의 제어방법.
제 8 항에 있어서,
상기 (d-9)단계는,
상기 (d-7)단계에서 검출된 패턴의 위치가 상기 (d-2)단계에서 검출된 패턴의 위치와 동일한 경우, 상기 기준위치를 상기 (d-2)단계에서 검출된 패턴의 위치로 업데이트하는 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 획득영상에서, 상기 바닥에 광이 직접 조사됨으로써 형성된 패턴의 위치를 기준위치라고 정의할 시,
상기 기준위치와, 로봇 청소기의 전방에 위치한 물체에 직접 조사된 광에 의해 생성된 패턴의 위치와, 상기 기준위치를 바탕으로 상기 물체와 바닥간의 경계가 검출될 위치를 추정하는 (e)단계; 및
상기 (e)단계에서 추정한 경계가 검출될 위치를 바탕으로, 상기 (b)단계에서 검출된 패턴들 중에서 경계를 선정하는 (f)단계를 더 포함하는 로봇 청소기의 제어방법.
제 10 항에 있어서,
상기 (f)단계는,
상기 (b)단계에서 검출된 패턴들 중 상기 (e)단계에서 추정된 경계가 검출될 위치와 가장 근접한 것을 경계로 선정하는 로봇 청소기의 제어방법.