KR102102378B1 - 로봇 청소기 및 이의 제어 방법 - Google Patents

Abstract

본 발명은 로봇 청소기에 장착된 카메라 렌즈의 오염도를 검출하고, 사용자가 카메라 렌즈의 오염을 신속하게 제거할 수 있는 로봇 청소기의 제어 장치 및 그 방법에 과한 것으로서, 로봇 청소기의 제어 방법은 렌즈가 장착된 카메라를 통해 연속적인 피사체 이미지들을 획득하고, 상기 획득한 연속적인 피사체 이미지들을 근거로 상기 렌즈의 오염도를 검출하고, 상기 오염도를 근거로 알림 정보를 발생 및 출력할 수 있다.

Description

로봇 청소기 및 이의 제어 방법{ROBOT CLEANER AND METHOD FOR CONTROLLING THE SAME}

본 발명은 모니터링 기능을 수행하는 로봇 청소기 및 이의 제어 방법에 관한 것이다.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 전자기기의 일종이다. 최근 상기와 같은 기본적인 청소 기능 이외에 다양한 기능을 추가로 탑재한 로봇 청소기가 개발되고 있으며, 그 중 일정 영역을 감시하고, 이상 상황을 감지하는 모니터링(monitoring) 기능을 탑재한 로봇 청소기가 등장하고 있다.

한국특허 출원 번호 제10-1998-0023268호

본 발명은 로봇 청소기에 장착된 카메라 렌즈의 오염도를 검출하고, 사용자가 카메라 렌즈의 오염을 신속하게 제거할 수 있는 로봇 청소기의 제어 장치 및 그 방법을 제공하는 데 있다.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명은 렌즈가 장착된 카메라를 통해 연속적인 피사체 이미지들을 획득하고, 상기 획득한 연속적인 피사체 이미지들을 근거로 상기 렌즈의 오염도를 검출하고, 상기 오염도를 근거로 알림 정보를 발생 및 출력할 수 있다.

일 실시예에 따라, 본 발명은 상기 획득한 연속적인 피사체 이미지들 내에서 상기 로봇 청소기의 회전에 따라 변하지 않는 오브젝트를 검출하고, 상기 검출된 오브젝트를 상기 렌즈에 부착된 이물질인 것으로 결정할 수 있다.

다른 실시예에 따라, 본 발명은 획득한 연속적인 피사체 이미지들 내에서 상기 카메라의 촬영 방향의 변화에 따라 변하지 않는 오브젝트를 검출하고, 상기 검출된 오브젝트를 상기 렌즈에 부착된 이물질인 것으로 결정할 수 있다.

또 다른 실시예에 따라, 본 발명은 상기 검출한 오브젝트의 크기를 상기 오염도로서 검출하고, 상기 오브젝트의 크기가 기준치 이상인지를 결정하고, 상기 오염도가 상기 기준치 이상이면 상기 렌즈에 이물질이 부착되었음을 알리는 알림 정보를 발생할 수 있다.

또 다른 실시예에 따라, 본 발명은 상기 렌즈의 오염도가 상기 기준치 이상이면 상기 알림 정보를 상기 출력부에 출력함과 동시에 상기 로봇 청소기의 주행을 정지시킬 수 있다.

또 다른 실시예에 따라, 본 발명은 상기 렌즈의 오염도가 기준치 미만이면 상기 오염도에 대응하는 이미지를 보정할 수 있다.

또 다른 실시예에 따라, 상기 획득한 연속적인 피사체 이미지들은 상기 로봇 청소기의 회전에 따른 하나의 파노라마 이미지일 수 있다.

또한, 본 발명은 상기 로봇 청소기의 제어 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

이상의 본 발명에 따른 로봇 청소기의 제어 장치 및 그 방법은, 로봇 청소기에 장착된 카메라 렌즈의 오염도를 검출하고, 사용자가 카메라 렌즈의 오염을 신속하게 확인 및 제거할 수 있다.

도 1은 본 발명의 일 실시예에 따른 로봇 청소기 외관을 도시한 사시도를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 로봇 청소기 외관을 도시한 정면도를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 로봇 청소기의 구성을 도시한 블록도를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 로봇 청소기의 제어 방법을 나타낸 흐름도 이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니며, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

로봇 청소기

도 1은 본 발명의 일 실시예에 따른 로봇 청소기의 외관을 도시한 사시도를 나타낸 도면이고, 도 2는 그 정면도를 나타낸 도면이다. 또한, 도 3은 본 발명의 일 실시예에 따른 로봇 청소기의 구성을 도시한 블록도를 나타낸 도면이다.

도 1 내지 도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 로봇 청소기(100)는 제어부(110), 전원 공급부(120), 음향 획득 수단(130), 영상 획득 수단(140), 적외선 센서(150), 구동부(160), 출력부(171), 입력부(172), 통신부(180) 및 음원 데이터베이스(190)를 포함할 수 있다. 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 로봇 청소기가 구현될 수 있음은 물론이다. 이하, 각 구성요소들에 대해 살펴보기로 한다.

로봇 청소기(100)는 먼지 또는 이물질을 흡입 청소하기 위해 청소 유닛(미도시)을 포함한다. 청소 유닛은 집진된 먼지가 저장되는 먼지통과, 청소 영역의 먼지를 흡입하는 동력을 제공하는 흡입팬과, 상기 흡입팬을 회전시켜 공기를 흡입하는 흡입 모터를 포함함으로써, 주변의 먼지 또는 이물질을 흡입할 수 있다. 이때, 로봇 청소기는 청소 영역에 대한 자율 주행을 통해 청소 기능을 수행하게 되는데, 스스로 주행하기 위해 구동부(160)(도 3 참조)를 더 포함한다.

로봇 청소기(100)는 도 2에 도시한 바와 같이, 하부 양측에 이동 가능하도록 하는 좌, 우측 주(主) 바퀴(161, 162)를 구비할 수 있다. 구동부(160)는 좌, 우측 주 바퀴(161, 162)와 연결되고, 상기 바퀴들을 회전시키는 소정의 휠 모터(wheel motor)를 포함하여, 휠 모터를 구동시킴으로써 본체를 회전 또는 이동시킬 수 있게 된다. 이때, 휠 모터는 주 바퀴 각각에 연결되도록 복수 개 구비되는 것이 바람직하다. 복수의 휠 모터는 주 바퀴 각각에 대해 개별 제어가 가능하도록 독립적으로 동작할 수 있다.

또한, 로봇 청소기(100)는 배면에 하나 이상의 보조 바퀴를 더 포함하여 본체를 지지하고, 본체 하면과 바닥면 사이의 마찰을 최소화하여, 로봇 청소기가 원활한 이동을 할 수 있도록 보조할 수 있다.

또한, 로봇 청소기 본체 하부의 가장자리, 일 예로, 주 바퀴(161, 162)의 양 측면에는 사용자가 파지하기 용이하도록 손잡이가 설치될 수 있다.

한편, 로봇 청소기(100)는 제어 명령을 입력받는 입력부(172) 및/또는 출력부(171)를 더 포함할 수 있다. 입력부(172)는 사용자로부터 직접 제어 명령을 입력받기 위해 도 1에 도시한 바와 같이, 로봇 청소기 본체 상에 하드 키나 소프트 키, 터치 패드(디스플레이 기능을 함께 구비한 터치 스크린 형태 포함) 등을 포함할 수 있다. 이와 달리, 음향 획득 수단(130) 및/또는 음원 데이터베이스(190)를 활용하여, 제어부(110)는 공지의 단어(word) 인식 기능을 가진 다양한 알고리즘을 적용함으로써, 외부로부터 입력되는 음성을 통해 각종 입력을 수신할 수도 있다.

이러한 입력부(172)를 통해, 로봇 청소기(100)는 청소 기능, 모니터링 기능 등 로봇 청소기에 내장된 각종 기능을 수행하기 위해 필요한 정보를 입력받을 수 있다. 구체적으로, 미리 설정된 스케줄에 따라 청소 기능을 수행하기 위해 필요한 시간 정보, 청소 영역에 대한 정보 등을 입력받거나, 전후좌우의 직접적인 주행, 충전 스테이션으로의 복귀 혹은 특정 청소 영역으로의 이동 등과 같은 명령을 입력받거나, 내부의 각종 저장 수단에 저장된 정보를 출력하도록 하는 명령을 입력받거나, 로봇 청소기의 청소 모드나 주행 모드(수평 주행, 수직 주행, 지그재그 주행 등) 등의 각종 기능을 설정하거나 변경하는 명령을 입력받을 수 있다.

출력부(171)는 로봇 청소기(100)가 각종 정보를 사용자에게 제공하는 수단으로서, 다양한 위치에서 다양한 형태로 설치될 수 있으나, 도 1에 도시한 바와 같이, 사용자가 눈높이에서 로봇 청소기에서 출력되는 각종 정보를 용이하게 식별할 수 있도록 하기 위해, 로봇 청소기의 상부에 노출되도록 설치될 수 있다. 출력부(171)는 일 예로, 로봇 청소기를 구성하는 각 유닛들의 현재 상태, 예약 정보, 배터리 상태, 청소 모드 및/또는 주행 모드 상태, 청소 영역 정보, 장애물 정보, 위치 정보, 영상 정보, 이동 경로, 이동 예상 경로 등을 디스플레이할 수 있다. 물론 지도 정보 상에 상기와 같은 정보를 디스플레이할 수 있음은 물론이다.

한편, 로봇 청소기(100)는 본체의 구동에 따른 로봇 청소기(100)의 동작 및/또는 현재 상태를 감지하고 해당 정보를 출력하는 동작 감지 유닛(미도시)을 더 포함할 수 있다. 동작 감지 유닛은 로봇 청소기(100) 동작 및/또는 상태를 감지하기 위해 자이로 센서, 휠 센서, 가속도 센서 등을 이용할 수 있다. 이러한 동작 감지 유닛은 도 3에서 도시한 제어부(110)에서 동일 기능을 수행하도록 구현되거나, 제어부(110)와 물리적으로 독립된 별개 구성으로 구현될 수 있으나, 구현 형태에 대해 특별히 한정하지 않는다.

자이로 센서(gyro sensor)는 로봇 청소기가 움직일 때 회전 방향을 감지하고 회전각을 검출한다. 구체적으로, 자이로 센서는 로봇 청소기의 각속도를 검출하여 각속도에 비례하는 전압 혹은 전류 값을 출력하고, 동작 감지 유닛은 자이로 센서로부터 출력되는 전압 혹은 전류 값을 이용하여 회전 방향 및 회전각을 감지할 수 있다.

휠 센서(wheel sensor)는 주 바퀴(161, 162)에 연결되어 주 바퀴의 회전수를 감지한다. 여기서, 휠 센서는 로터리 엔코더(rotary encoder)일 수 있다. 로터리 엔코더는 좌측 및/또는 우측의 주 바퀴의 회전수를 감지하여 출력한다. 동작 감지 유닛은 회전수를 이용하여 좌, 우측 바퀴의 회전 속도를 연산할 수 있고, 또한, 좌, 우측 바퀴의 회전수 차이를 이용하여 로봇 청소기의 회전각을 연산할 수도 있다.

가속도 센서(acceleration sensor)는, 로봇 청소기의 속도 변화, 예를 들어, 출발, 정지, 방향 전환, 물체와의 충돌 등에 따른 이동 속도의 변화를 감지한다. 가속도 센서는 주 바퀴나 보조 바퀴의 인접한 위치에 부착되어, 바퀴의 미끄러짐이나 공회전을 검출할 수 있다. 또, 가속도 센서는 동작 감지 유닛에 내장되어 로봇 청소기의 속도 변화를 감지할 수 있다. 즉, 가속도 센서는 속도 변화에 따른 충격량을 검출하여 이에 대응하는 전압 혹은 전류 값을 출력한다. 따라서, 가속도 센서는 전자식 범퍼의 기능을 수행할 수 있다.

동작 감지 유닛으로부터 출력된 동작 정보를 근거로 제어부(110)는 로봇 청소기의 위치 변화를 산출할 수 있고, 이러한 위치 정보를 이용하여 로봇 청소기는 상대 위치를 산출할 수 있다.

물론, 로봇 청소기(100)는 영상 획득 수단(140)을 통해 획득한 영상으로부터 추출한 특징점 혹은 장애물 정보 등을 이용하여 기 저장된 영상과 비교함으로써, 절대적인 위치를 산출할 수도 있다.

한편, 본 발명에 따른 로봇 청소기(100)는 음향 획득 수단(130)을 포함한다. 음향 획득 수단(130)은 소리를 수신하여 전기적인 신호로 변환하는 수단으로서, 로봇 청소기(100) 외부에서 발생된 소리를 획득하기 위한 수단이다.

음향 획득 수단(130)은 로봇 청소기(100) 외부에 복수 개 구비되어, 제어부(110)가 외부에서 발생된 음원의 방향을 인식할 수 있도록 한다. 즉, 제어부(110)가 복수의 음향 획득 수단(130)을 통해 음원을 획득한 경우, 음압(sound pressure)을 근거로 외부 음원의 발생 방향을 감지할 수 있다. 구체적으로 복수의 음향 획득 수단(130) 중 수신되는 음파의 음압(sound pressure)이 가장 높은 하나의 음향 획득 수단(130)을 결정하고, 결정된 음향 획득 수단(130)이 로봇 청소기(100)에서 배치된 위치를 근거로 외부 음원의 발생 방향을 감지할 수 있다.

특정 방향으로 수신되는 음파에 대한 감도가 높은 지향성의 음향 획득 수단(130)을 로봇 청소기 측면의 외주 면을 따라 다수 배치할 수 있으나, 영상 획득 수단(140)의 화각 및 음향 획득 수단(130)의 개수에 따라 발생하는 비용 등을 고려하였을 때, 3개의 음향 획득 수단(130)을 로봇 청소기 측면의 외주 면을 따라 서로 동일한 각도를 가지도록 배치할 수 있다. 일 예로, 3개의 음향 획득 수단(130)은 로봇 청소기(100)의 중심을 기준으로 인접한 두 음향 획득 수단(130) 간에 120°의 각을 이루도록 배치될 수 있다.

한편, 로봇 청소기(100)는 영상 획득 수단(카메라)(140)을 포함할 수 있다. 영상 획득 수단(카메라)(140)은 외부로부터 수신된 빛을 전기적인 신호로 변환하는 이미지 센서를 포함하여 영상을 획득하는 수단으로서, 로봇 청소기(100)는 적어도 하나의 영상 획득 수단(140)을 이용하여 주변을 촬영함으로써 이미지를 획득한다. 이때, 영상 획득 수단(140)은 피사체로부터 반사된 빛을 수광하는 적어도 하나의 렌즈(도시되지 않음), 렌즈들 간 또는 렌즈와 이미지 센서 간의 거리를 조절하는 조절부(미도시) 등을 포함할 수 있다. 즉, 상기 영상 획득 수단(카메라)(140)은 렌즈를 통해 피사체 이미지를 촬영하고, 그 촬영된 이미지를 상기 제어부(110)에 출력한다.

영상 획득 수단(140)은 도 1에 도시한 바와 같이, 로봇 청소기(100) 전방에 설치되거나, 로봇 청소기(110) 상방(일 예로, 도면 부호 171의 위치)에 설치되어, 로봇 청소기(100) 주변 영상을 획득할 수 있다. 로봇 청소기(100)가 복수의 영상 획득 수단(140a, 140b)을 포함하는 경우, 일정 거리 또는 일정 각도로 로봇 청소기의 측면의 외주 면을 따라 배치될 수 있다.

일 예로, 영상 획득 수단(140a 또는 140b)은 로봇 청소기(100)의 이동 중 전방 이미지를 획득하기 위해 정면에 배치되거나, 음향 획득 수단(130a)의 인접한 위치에 배치되거나, 또는 영상 획득 수단(140)에 포함된 렌즈의 화각을 고려하여, 상기 음향 획득 수단(130a)이 위치한 방향에 대한 이미지를 누락하지 않고 촬영할 수 있도록 음향 획득 수단(130a)의 위치를 중심으로 좌, 우측에 영상 획득 수단(140a, 140b)이 배치(도 1 및 도 2 참조)될 수 있다.

음원 데이터베이스(190)는 각종 생활 소음을 음원으로 저장하되, 저장된 음원이 이상 음원에 해당하는지 분류하여 저장한다. 예를 들면, 각종 물체들이 떨어지거나 부러지는 소리, 유리 따위 등이 깨지는 소리, 드릴 회전 소리, 개가 짖는 소리, 각종 센서를 가진 경보 장치 따위에 의해 발생하는 경보음 등과 같이 외부로부터의 침입자가 있는 상황임을 판단한 수 있는 각종 소음을 이상 음원으로 저장할 수 있고, 반대로 로봇 청소기(100) 내부에서 발생하는 소음, 냉장고, 세탁기, 정수기 등의 가전 제품에서 발생하는 소음 등과 같이 외부 침입 여부와 무관하게 발생할 수 있는 각종 소음을 비(非)이상 음원으로 저장할 수 있다.

이러한 음원 데이터베이스(190)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 메모리(NVM; Non-Volatile Memory)를 사용하는 것이 바람직하다. 일 예로서, 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱테이프), 광디스크 드라이브 등을 포함하며, 천공 카드, 페이퍼 테이프뿐만 아니라, 마그네틱 RAM, PRAM 등을 포함한다.

제어부(110)는 로봇 청소기(100) 혹은 이에 포함된 각 구성 요소의 전반적인 동작을 제어하는 수단으로서, 음향 획득 수단(130)을 통해 획득한 음원의 이상 여부를 판단하고, 이상 음원의 발생 방향을 감지하여, 영상 획득 수단을 통해 이상 음원 발생 방향의 영상을 획득한다.

제어부(110)가 음향 획득 수단(130)을 통해 획득한 음원이 이상 음원에 해당하는 여부에 대한 판단은 공지의 다양한 수단 또는 방법을 통해 이루어질 수 있으나, 일 실시예로서, 음향 획득 수단(130)을 통해 획득한 음원이 음원 데이터베이스(190)에 저장된 음원 중 일치하거나 가장 유사한 음원을 찾아 결정된 음원이 이상 음원에 속하는지 여부를 파악하여, 이상 음원에 해당 여부를 판단할 수 있다. 이때, 음향 획득 수단(130)을 통해 획득한 음원과 음원 데이터베이스(190)에 저장된 음원 간에 유사도 산출을 통해 양 음원의 일치 여부 및/또는 유사 정도를 결정할 수 있다.

일 예로, 열 감지 센서(도시되지 않음), 가스 센서(도시되지 않음) 혹은 근접 센서(도시되지 않음)가 일정 온도 이상을 감지하거나 가스 누출을 감지하거나 외부 침입자를 감지하여 경고음을 발생하는 경우, 제어부(110)는 음향 획득 수단(130)을 통해 획득한 상기 경고음을 음원 데이터베이스(190)에 저장된 음원과 비교하여 이상 음원에 해당하는지 판단하고, 현재 이상 상황임을 판단하거나, 청소 영역에 방문자에 의한 초인종(doorbell)이 알람벨(300d)을 통해 울리는 경우, 제어부(110)는 음원 데이터베이스(190)에 저장된 음원과 비교하여 현재 이상 상황(청소 영역 내 방문자가 있음)임을 판단할 수도 있다.

제어부(110)가 이상 음원에 해당 여부를 판단하기 위해 비교대상이 되는 음원은 음향 획득 수단(130)을 통해 획득한 음원 중 음압이 일정 레벨(level) 이상인 음원만 필터링(filtering)하여 걸러진 일정 레벨 이상의 음원만을 대상으로 할 수 있다. 청소 영역 밖의 외부로부터 유입되는 음파에 대해서는 이상 음원에 해당 여부를 판단하지 않도록 사전에 거르는 것이 바람직하기 때문이다. 일 예로, 이상 상황이 아닌 평상시 음향 획득 수단(130)을 통해 획득되는 음파의 음압이 40~45db인 경우, 55db를 기준 레벨로 정함으로써, 청소 영역 내 90% 이상의 음원 인식률을 가질 수 있다.

제어부(110)가 전술한 바와 같이, 음향 획득 수단(130)을 통해 획득한 음원에 대해 이상 음원에 해당하는 것으로 판단한 경우에는, 로봇 청소기(100)는 현재 이상 상황임을 판단하여, 통신부(180)를 통해 원격의 단말기 또는 서버로 알람 신호를 전송할 수 있다.

로봇 청소기(100)는 컴퓨터(도시되지 않음), 스마트 텔레비전(도시되지 않음), 스마트폰 혹은 이동 단말기(도시되지 않음) 등과 같은 적어도 하나의 단말기(도시되지 않음)에 알람 신호를 전송하여, 이상 상황임을 원격의 사용자에게 경고할 수 있다. 이때, 로봇 청소기(100)는 상기 단말기와 직접 연결되어 데이터를 송수신하거나, 이종의 네트워크가 연결된 적어도 하나의 서버(미도시)를 통해 단말기와 데이터를 송수신할 수 있다.

제어부(110)는 원격의 단말기 또는 서버로 알람 신호와 함께, 음향 획득 수단(130)을 통해 획득한 음원을 전송하여, 사용자에게 제공함으로써, 사용자가 현재의 이상 상황이 긴급한지 여부를 판단할 수 있도록 할 수 있다.

제어부(110)는 상기 이상 음원이 발생한 방향 이외에도 이상 음원이 발생한 진원지를 파악할 수 있다. 즉, 전술한 바와 같이, 이상 음원의 발생 방향으로 구동부(160)를 통해 회전 또는 이동할 수 있으나, 이때, 이동 목표 지점을 정확하게 산정하기 위해 이상 음원이 발생한 진원지를 파악할 수 있다.

진원지 파악은 공지의 다양한 수단 또는 방법을 통해 이루어질 수 있으나, 일 실시예로서, 제어부(110)는 음향 획득 수단(130)을 통해 획득한 음파의 음압을 근거로 이상 음원 발생 거리를 예상하여 진원지를 파악하거나, 이와 달리, 음원 데이터베이스(190)에 저장된 각종 음원에 대응되는 지도상의 적어도 하나의 발생 예상 지점을 저장하고, 제어부(110)는 음향 획득 수단(130)을 통해 감지된 이상 음원의 발생 방향 내에 해당하는 상기 발생 예상 지점을 진원지로 파악할 수 있다.

제어부(110)가 이상 소음의 발생 방향보다 이상 소음의 발생 지점(진원지)을 파악한 경우에는 진원지로 이동하여 영상을 획득하거나 이동 중 영상을 획득할 수 있다. 이렇게 이상 음원이 발생한 지점으로 이동하여 영상을 통한 상황을 통신부(180)를 통해 원격의 단말기 또는 서버로 제공함으로써, 사용자는 단시간 내에 상기 상황에 대한 판단을 할 수 있도록 한다.

제어부(110)는 영상 획득 수단(140)을 통해 이상 음원 발생 방향의 영상 또는 진원지의 영상을 획득하거나 회전이나 이동 중의 영상을 획득할 수 있다. 이때, 영상 획득 수단(140)을 통해 획득한 영상은 정지 영상(still image) 및 동영상 중 어느 것도 무방하고, 로봇 청소기(100)가 회전 중 연속 획득한 복수의 정지 영상의 경우에는 하나의 파노라마 영상으로 이미지 처리하여, 영상 획득 수단(140)이 좁은 화각의 렌즈를 가지더라도 넓은 범위의 영상을 누락된 영상 없이 영상을 획득할 수 있다.

제어부(110)가 전술한 바와 같이, 음향 획득 수단(130)을 통해 획득한 음원에 대해 이상 음원에 해당하는 것으로 판단한 경우, 통신부(180)를 통해 원격의 단말기 또는 서버로 알람 신호를 전송할 때, 음향 획득 수단(130)을 통해 획득한 음원 및/또는 영상 획득 수단(140)을 통해 획득한 영상을 함께 전송하여, 사용자에게 제공할 수 있다.

한편, 이상 상황인지 여부에 대한 판단의 정확성을 높이기 위해 제어부(110)는 영상 획득 수단(140)을 통해 획득한 영상에 대한 이미지를 처리하여 움직이는 피사체가 존재하는지 판단할 수도 있다. 일 실시예로서, 연속된 복수의 영상을 비교하여, 영상 간의 차이를 통해 움직이는 오브젝트(object)가 있는지 검출할 수 있다.

외부 침입자에 의한 이상 상황인지 여부에 대한 판단 정확성을 높이기 위해 제어부(110)는 인체 영상을 감지하거나 동물 영상을 감지할 수도 있다.

제어부(110)는 정지 또는 동영상에 대해 공지의 다양한 알고리즘을 통한 이미지 처리를 수행하여 영상으로부터 영상 내에 인체 또는 동물 영상을 감지할 수 있다. 로봇 청소기(100)의 모니터링 기능은 청소 영역 내에 사람이 없는 경우에 동작하는 것이 일반적이므로, 제어부(110)가 영상 획득 수단(140)을 통해 획득한 영상 내에 인체 영상을 감지한 경우에는 이상 상황임을 판단하여, 음향 획득 수단(130)을 통해 획득한 음원 및/또는 영상 획득 수단(140)을 통해 획득한 영상(인체 영상 포함)을 통신부(180)를 통해 원격의 단말기 또는 서버로 전송하여도 무방하나, 동물 영상을 감지한 경우에는 감지된 동물(피사체)에 대한 영상의 움직임 변화 속도가 일정 속도 이상이거나, 감지된 동물(피사체)에 대해 획득한 음원이 일정 레벨 이상인 경우에는 이상 상황임을 판단하여, 음향 획득 수단(130)을 통해 획득한 음원 및/또는 영상 획득 수단(140)을 통해 획득한 영상(인체 영상 포함)을 통신부(180)를 통해 원격의 단말기 또는 서버로 전송할 수 있다.

예를 들어, 청소 영역 내에 사람은 없고 애완견이 있는 경우를 가정하면, 애완견에 대한 영상을 감지한 것으로 로봇 청소기(100)가 이상 상황으로 판단하는 경우에는 오판단할 가능성이 크므로, 애완견이 외부 침입자를 발견하고 뛰거나 짖는 경우에는 이상 상황으로 판단하는 것이 가능하므로, 제어부(110)가 감지한 동물 영상의 움직임 변화 속도가 빠르거나, 감지한 동물 영상에 대응하는 음원의 음압이 일정 레벨 이상인 경우에는 이상 상황으로 판단하는 것이 오판 가능성을 줄일 수 있다. 이때, 음원 데이터베이스(190)에는 애완견이 짖는 음원을 미리 저장하여, 미리 저장된 음원과 동일하거나 일정 값 이상의 유사도를 갖는 음원에 대해서만 입력되는 음압이 일정 레벨 이상인지 여부를 판단하여, 이상 상황으로 판단할 수도 있다.

본 발명에 따른 로봇 청소기(100)는 적외선 센서(150)를 더 포함할 수 있다.

적외선 센서(150)는 적외선을 이용하여 대상 물체가 가지고 있는 적외선 정보를 감지하여, 온도 등에 대한 물리/화학량을 전기적인 신호로 변환하는 수단으로서, 로봇 청소기(100) 전방 또는 상방에 설치되어, 로봇 청소기(100) 주변에 위치한 열원의 온도를 감지하고, 일정 온도 이상의 열원이 감지된 경우에는 영상 획득 수단(140)에 전원을 공급하여 작동되도록 함으로써, 상기와 같은 전력 소비 낭비를 줄일 수 있다.

상기 적외선 센서(150)도 제어부(110)가 음향 획득 수단(130)을 통해 획득한 음원이 이상 음원으로 판단한 경우에 작동되도록 함으로써, 적외선 센서(150)에 의해 발생하는 추가적인 전력 소비 낭비를 방지할 수 있다.

또한, 전술한 바와 같이, 제어부(110)가 음향 획득 수단(130)을 통해 획득한 음원을 이상 음원으로 판단한 경우에는 이상 음원의 발생 방향을 감지하고, 해당 방향의 영상을 획득할 수 있다. 이때, 비(非)이상 음원에 대해서 로봇 청소기(100)가 반응하여 영상 획득 수단(140)을 작동하는 등의 전력을 소비하지 않도록, 이상 음원으로 판단한 경우에만 음원의 발생 방향을 감지하고, 감지된 방향으로 회전하거나 이동하여, 이상 음원 발생 방향의 영상을 획득할 수 있다.

로봇 청소기(100)는 전원 공급부(120)를 포함할 수도 있다. 전원 공급부(120)는 충전 가능한 배터리를 포함하여 로봇 청소기 내에 포함된 각 구성들에 구동 전원을 공급한다.

로봇 청소기(100)가 주행하거나 청소를 수행하는 등에 요구되는 전원을 공급하며, 전원 잔량이 부족하면 충전 스테이션으로 이동하거나 사용자에 의해 연결된 외부 전원으로부터 전력을 공급받아 충전된다. 바람직하게, 제어부(110)는 배터리의 충전 상태를 감지하고, 감지된 배터리 잔량과 기 설정된 기준 배터리 값을 비교함으로써, 감지된 배터리 잔량이 기준 배터리 값 이하이면, 제어부(110)는 구동부(160)를 통해 로봇 청소기(100)를 충전 스테이션으로 이동시켜 충전을 수행토록 할 수 있다.

한편, 로봇 청소기(100)에 장착된 카메라(영상 획득 수단)(예를 들면, 140, 140a, 140b)의 렌즈는 쉽게 오염될 수 있으며, 상기 렌즈가 오염되면 상기 카메라(예를 들면, 140, 140a, 140b)의 성능이 저하될 수 있다. 따라서, 이하에서는 로봇 청소기(100)에 장착된 카메라(예를 들면, 140, 140a, 140b)의 렌즈의 오염 여부를 결정하고, 로봇 청소기(100)에 장착된 카메라(예를 들면, 140, 140a, 140b)의 렌즈가 오염될 때 그 렌즈가 오염되었음을 나타내는 알림 정보를 사용자에게 전달함으로써, 사용자가 렌즈의 오염을 신속하게 제거할 수 있는 로봇 청소기의 제어 장치 및 그 방법을 설명한다.

도 4는 본 발명의 일 실시예에 따른 로봇 청소기의 제어 방법을 나타낸 흐름도 이다.

먼저, 카메라(140)는 로봇 청소기(100)가 주행 중일 때(S11) 렌즈를 통해 피사체 이미지를 연속적으로 획득(촬영)하고, 그 획득한 연속적 이미지들을 상기 제어부(110)에 출력한다(S12). 상기 카메라(140)는 로봇 청소기(100)에 장착된 카메라들(예를 들면, 140, 140a, 140b) 중에서 어느 하나 이상일 수 있다.

제어부(110)는 상기 획득한 연속적인 피사체 이미지들을 근거로 렌즈의 오염도를 검출한다(S13). 제어부(110)는 로봇 청소기의 회전 중 획득한 연속적인 피사체 이미지들(영상들)을 하나의 파노라마 영상으로 이미지 처리할 수도 있다. 예를 들면, 제어부(110)는 상기 획득한 연속적인 피사체 이미지들(예를 들면, 5초~10초간의 연속된 피사체 이미지들 또는 하나의 파노라마 영상) 내에서 고정 위치를 갖는 오브젝트(object)(예를 들면, 상기 획득한 연속적인 피사체 이미지들 내에서 카메라의 촬영 방향의 변화(로봇 청소기의 회전)에 따라 변하지 않는 오브젝트(이미지))를 검출하고, 그 검출된 오브젝트를 상기 렌즈에 부착된 이물질(예를 들면, 물방울, 먼지 등)인 것으로 결정한다. 즉, 로봇 청소기(100)가 주행하면서 청소 기능을 수행할 때 상기 렌즈에 이물질이 부착되지 않으면 상기 카메라(140)에 의해 촬영된 연속적인 이미지들은 위치가 고정된 오브젝트를 포함하지 않지만, 상기 렌즈에 이물질이 부착되면 상기 카메라(140)에 의해 촬영된 연속적인 이미지들은 상기 이물질에 대응하는 오브젝트를 포함한다. 따라서, 제어부(110)는 상기 획득한 연속적인 피사체 이미지들(예를 들면, 5초~10초간의 연속된 피사체 이미지들) 내에서 고정 위치를 갖는 오브젝트(object)를 검출하고, 그 검출된 오브젝트를 상기 렌즈에 부착된 이물질(예를 들면, 물방울, 먼지 등)인 것으로 결정한다. 제어부(110)는 주기적으로 상기 획득한 연속적인 피사체 이미지들을 근거로 렌즈의 오염도를 검출할 수도 있다.

제어부(110)는 상기 렌즈의 오염도가 기준치 이상인지를 결정한다(S14). 예를 들면, 제어부(110)는 상기 검출한 오브젝트의 크기를 검출하고, 그 오브젝트의 크기가 상기 피사체 이미지(100%)의 10%(기준치) 이상인지를 결정한다. 상기 기준치는 사용자 또는 설계자의 의도에 따라 변경될 수 있다.

제어부(110)는 상기 렌즈의 오염도가 기준치 이상이면 상기 렌즈에 이물질이 부착되었음을 알리는 알림 정보를 발생하고(S15), 그 발생한 알림 정보를 상기 출력부(171)에 출력한다(S16). 예를 들면, 제어부(110)는 상기 알림 정보를 상기 출력부(171)에 표시함과 동시에 상기 알림 정보를 스피커를 통해 출력할 수도 있다.

제어부(110)는 상기 렌즈의 오염도가 기준치 이상이면 상기 렌즈에 이물질이 부착되었음을 알리는 알림 정보를 발생하고, 그 발생한 알림 정보를 상기 출력부(171)에 출력함과 동시에 상기 로봇 청소기의 주행을 정지시킬 수도 있다.

제어부(110)는 상기 렌즈의 오염도가 기준치 미만이면 상기 오염도에 대응하는 이미지를 보정(복원)한다(S17). 예를 들면, 제어부(110)는 상기 렌즈의 오염도가 기준치 미만이면 상기 오염도에 대응하는 이미지의 주변 영상 정보를 근거로 상기 오염도에 대응하는 이미지를 보간하는 영상 인페인팅(Image Inpainting) 기법을 이용하여 상기 오염도에 대응하는 이미지를 보정할 수도 있다.

컴퓨터 판독 가능한 기록매체

이상 설명된 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이나 컴퓨터 소프트웨어 분야의 당 업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크, 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 설명한 본 발명의 바람직한 실시예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 사상 및 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

100: 로봇 청소기 110: 제어부
120: 전원 공급부 130, 130a, 130b: 음향 획득 수단
140, 140a, 140b: 영상 획득 수단 150: 적외선 센서
160: 구동부 161, 162: 주 바퀴
171: 출력부 172: 입력부
180: 통신부 190: 음원 데이터베이스

Claims (15)

1. 렌즈와;
   상기 렌즈를 통해 연속적인 피사체 이미지들을 획득하는 카메라와;
   상기 획득한 연속적인 피사체 이미지들을 근거로 상기 렌즈의 오염도를 검출하고, 상기 오염도를 근거로 알림 정보를 발생하는 제어부와;
   상기 알림 정보를 출력하는 출력부를 포함하고,
   상기 제어부는,
   상기 획득한 연속적인 피사체 이미지들 내에서 로봇 청소기의 회전에 따라 변하지 않는 오브젝트를 검출하고, 상기 검출된 오브젝트를 상기 렌즈에 부착된 이물질인 것으로 결정하는 것을 특징으로 하는 로봇 청소기의 제어 장치.
2. 삭제
3. 렌즈와;
   상기 렌즈를 통해 연속적인 피사체 이미지들을 획득하는 카메라와;
   상기 획득한 연속적인 피사체 이미지들을 근거로 상기 렌즈의 오염도를 검출하고, 상기 오염도를 근거로 알림 정보를 발생하는 제어부와;
   상기 알림 정보를 출력하는 출력부를 포함하고,
   상기 제어부는,
   상기 획득한 연속적인 피사체 이미지들 내에서 상기 카메라의 촬영 방향의 변화에 따라 변하지 않는 오브젝트를 검출하고, 상기 검출된 오브젝트를 상기 렌즈에 부착된 이물질인 것으로 결정하는 것을 특징으로 하는 로봇 청소기의 제어 장치.
4. 제3항에 있어서, 상기 제어부는,
   상기 검출한 오브젝트의 크기를 상기 오염도로서 검출하고, 상기 오브젝트의 크기가 기준치 이상인지를 결정하고, 상기 오염도가 상기 기준치 이상이면 상기 렌즈에 이물질이 부착되었음을 알리는 알림 정보를 발생하고, 상기 발생한 알림 정보를 상기 출력부에 출력하는 것을 특징으로 하는 로봇 청소기의 제어 장치.
5. 제4항에 있어서, 상기 제어부는,
   상기 렌즈의 오염도가 상기 기준치 이상이면 상기 알림 정보를 상기 출력부에 출력함과 동시에 상기 로봇 청소기의 주행을 정지시키는 것을 특징으로 하는 로봇 청소기의 제어 장치.
6. 제1항에 있어서, 상기 제어부는,
   상기 렌즈의 오염도가 기준치 미만이면 상기 오염도에 대응하는 이미지를 보정하는 것을 특징으로 하는 로봇 청소기의 제어 장치.
7. 제1항에 있어서, 상기 획득한 연속적인 피사체 이미지들은 상기 로봇 청소기의 회전에 따른 하나의 파노라마 이미지인 것을 특징으로 하는 로봇 청소기의 제어 장치.
8. 렌즈가 장착된 카메라를 통해 연속적인 피사체 이미지들을 획득하는 단계와;
   상기 획득한 연속적인 피사체 이미지들을 근거로 상기 렌즈의 오염도를 검출하는 단계와;
   상기 오염도를 근거로 알림 정보를 발생하는 단계와;
   상기 알림 정보를 출력하는 단계를 포함하고,
   상기 렌즈의 오염도를 검출하는 단계는,
   상기 획득한 연속적인 피사체 이미지들 내에서 로봇 청소기의 회전에 따라 변하지 않는 오브젝트를 검출하는 단계와;
   상기 검출된 오브젝트를 상기 렌즈에 부착된 이물질인 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 로봇 청소기의 제어 방법.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 제8항에 따른 상기 로봇 청소기의 제어 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.

Images