KR101623642B1

KR101623642B1 - Control method of robot cleaner and terminal device and robot cleaner control system including the same

Info

Publication number: KR101623642B1
Application number: KR1020140101640A
Authority: KR
Inventors: 윤덕찬
Original assignee: 윤덕찬
Priority date: 2014-08-07
Filing date: 2014-08-07
Publication date: 2016-05-23
Also published as: KR20160017933A

Abstract

로봇 청소기 및 단말장치의 제어방법, 이를 포함하는 로봇 청소기 제어 시스템이 개시된다.
단말장치는 서버로부터 쓰레기 정보를 수신하고, 로봇청소기로부터 로봇청소기의 주변상황을 촬영한 영상을 수신하고, 쓰레기 정보를 기초하여 영상 내 쓰레기 객체를 검출하고, 쓰레기 객체를 디스플레이부에 출력하고, 사용자 입력부로부터 명령을 입력받고, 로봇청소기로 청소실행명령을 전송한다.
따라서, 서버로부터 단말장치에 수신된 쓰레기 정보와 로봇청소기로부터 수신된 촬영영상을 비교하고 쓰레기를 검출하여 청소를 실행함으로써 청소실행에 있어서 정확도를 높일 수 있다.A robot cleaner, a control method for a terminal device, and a robot cleaner control system including the same are disclosed.
The terminal device receives the garbage information from the server, receives the image of the surrounding situation of the robot cleaner from the robot cleaner, detects the garbage object in the image based on the garbage information, outputs the garbage object to the display unit, Receives a command from the input unit, and transmits a cleaning execution command to the robot cleaner.
Accordingly, the accuracy of cleaning can be improved by comparing the garbage information received from the server to the terminal device and the shot image received from the robot cleaner, detecting the garbage and performing cleaning.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a robot cleaner, a control method for a terminal device, and a robot cleaner control system including the robot cleaner and the robot cleaner control system including the robot cleaner and the robotic cleaner control device.

본 발명은 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템에 관한 것으로, 보다 상세하게는 단말장치로 로봇청소기를 원격 제어할 수 있는 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템에 관한 발명이다.
The present invention relates to a robot cleaner, a control method for a terminal device, and a robot cleaner control system including the robot cleaner. More particularly, the present invention relates to a robot cleaner capable of remotely controlling a robot cleaner with a terminal device, The present invention relates to a robot cleaner control system.

진공 청소기는 실내의 바닥이나 카페트 등을 청소하기 위한 장치로서, 청소기 본체 내부에 구비되어 공기 흡입력을 발생시키는 모터와 팬 등으로 구성되는 공기 흡입장치의 구동에 의해 이물질이 포함된 공기를 외부로부터 흡입한 후, 이물질을 분리하여 집진하고, 이물질이 분리된 정화공기를 청소기 외부로 배출하는 장치이다.BACKGROUND ART A vacuum cleaner is a device for cleaning the floor or carpet of an interior of a vacuum cleaner. The vacuum cleaner is installed inside a vacuum cleaner main body and drives an air suction device including a motor and a fan, After that, the foreign matter is separated and collected, and the purified air from which the foreign matter is separated is discharged to the outside of the cleaner.

진공 청소기는 사용자에 의해 직접 조작되는 수동 진공 청소기와 사용자의 조작 없이 스스로 청소를 수행하는 로봇 청소기와 사용자의 조작에 의해 수동으로 청소를 수행하는 로봇청소기를 포함할 수 있다.The vacuum cleaner may include a manual vacuum cleaner directly operated by a user, a robot cleaner performing a self-cleaning without user's operation, and a robot cleaner performing manual cleaning by a user's operation.

여기서, 로봇 청소기는 청소하고자 하는 구역 내를 스스로 주행하면서 바닥으로부터 먼지 등의 이물질을 흡입한다. 또한, 로봇 청소기는 이에 마련된 장애물 센서 및 기타 센서 등을 이용하여 청소 영역을 자동으로 주행하면서 청소하거나 로봇 청소기와 무선 접속된 리모컨을 이용하여 수동으로 로봇 청소기가 주행하면서 청소하도록 조종할 수 있다.Here, the robot cleaner sucks foreign matter such as dust from the floor while traveling in the area to be cleaned by itself. In addition, the robot cleaner can be controlled to automatically clean and run the cleaning area using an obstacle sensor and other sensors provided therein, or to manually clean the robot cleaner while using the remote controller wirelessly connected to the robot cleaner.

한편, 최근에는 스마트 폰, 스마트 탭, 태블릿 PC 등과 같은 휴대용 단말장치가 생활 필수품으로 자리매김 함으로써 이러한 휴대용 단말장치와 로봇청소기를 조화롭게 이용하는데 관심이 높아지고 있다.
In recent years, portable terminal devices such as smart phones, smart tabs, tablet PCs, and the like have become popular necessities, so that interest in using these portable terminal devices and robot cleaners in harmony is increasing.

본 발명의 일측면은 서버와 연결되어 로봇청소기를 원격제어하는 단말장치의 제어 방법으로서, 서버로부터 받은 쓰레기정보에 기초하여 영상 정보 내 쓰레기 객체를 검출하고, 로봇청소기를 제어하는 단말장치의 제어방법을 제공한다.According to an aspect of the present invention, there is provided a control method of a terminal device connected to a server to remotely control a robot cleaner, the method comprising: detecting a garbage object in image information based on garbage information received from a server, .

본 발명의 다른 측면은 서버로 연결된 단말장치로부터 원격제어를 받는 로봇청소기의 제어 방법으로서, 카메라부에서 주변환경을 촬영한 영상 정보를 단말장치로 전송하고, 단말장치에서 영상 정보 내에 서버로부터 수신된 쓰레기 정보가 인식되고, 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행하는 로봇청소기의 제어방법을 제공한다. According to another aspect of the present invention, there is provided a method of controlling a robot cleaner that is remotely controlled from a terminal device connected to a server, the method comprising the steps of: transmitting video information photographed in a camera unit to a terminal device, The garbage information is recognized and it is confirmed that there are a plurality of garbage objects recognized in the video information, and when a selective cleaning execution command for a plurality of garbage objects or a collective cleaning execution command for a plurality of garbage objects is transmitted, And a control method of the robot cleaner that performs selective garbage removal or collective garbage removal according to an instruction.

본 발명의 또 다른 측면은 단말장치로 쓰레기 정보를 전송하는 서버와 서버로부터 받은 쓰레기정보에 기초하여 영상 정보 내 쓰레기 객체를 검출하고, 로봇청소기를 제어하는 단말장치와 카메라부에서 촬영된 영상 정보를 단말장치로 전송하고, 수신된 청소실행명령에 기초하여 청소를 실행하는 로봇청소기를 포함하는 로봇청소기 제어 시스템을 제공한다.
According to another aspect of the present invention, there is provided a terminal device for detecting garbage objects in image information based on garbage information received from a server for transmitting garbage information to a terminal device and garbage information received from a server, And a robot cleaner that transmits the received cleaning execution command to the terminal device and performs cleaning based on the received cleaning execution command.

본 발명의 일측면은 서버와 연결되어 로봇청소기를 원격제어하는 단말장치의 제어 방법에 있어서, 상기 서버로부터 실시간으로 또는 미리 정해진 시간에 쓰레기 정보를 수신하여 업데이트하고, 상기 로봇청소기로부터 촬영되어 전송되는 주변 환경에 대한 영상 정보를 수신하며, 상기 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 상기 영상 정보 내 쓰레기 객체를 검출하고, 해당 쓰레기 객체를 마킹하여 표시할 수 있다. One aspect of the present invention is a method of controlling a terminal device connected to a server and remotely controlling the robot cleaner, the method comprising: receiving and updating garbage information from the server in real time or at a predetermined time, And if the garbage information received from the server is recognized in the image information of the surrounding environment, the garbage object is detected, and the garbage object is marked and displayed have.

한편, 상기 영상 정보 내 쓰레기 객체를 검출하는 것은, 상기 영상 정보 내에서 객체들의 윤곽을 검출하여 에지영상을 생성하고, 미리 저장된 집안의 배경영상으로부터 윤곽을 검출하여 배경에지영상을 생성하여, 상기 에지영상에서 상기 배경에지영상을 뺀 차영상에서 상기 쓰레기 객체를 검출 할 수 있다.The detection of the garbage object in the image information may include generating an edge image by detecting an outline of objects in the image information, generating a background edge image by detecting an outline from a background image of a previously stored house, The garbage object may be detected in a difference image obtained by subtracting the background edge image from the image.

또한, 사용자의 선택에 의한 명령을 입력 받아 상기 로봇청소기로 청소실행명령을 전송하는 것을 더 포함하고, 상기 청소실행명령은 복수 개의 상기 쓰레기 객체가 검출될 경우 상기 검출된 쓰레기 객체 중 상기 사용자가 선택한 쓰레기 객체만 처리하는 명령과 상기 검출된 쓰레기 객체를 일괄적으로 처리하는 명령을 선택할 수 있다.The robot cleaner according to claim 1, further comprising instructions for receiving a command by a user and transmitting a cleaning execution command to the robot cleaner, wherein when the plurality of the garbage objects are detected, A command to process only the garbage object and an instruction to collectively process the detected garbage object can be selected.

본 발명의 다른 측면은 서버로 연결된 단말장치로부터 원격제어를 받는 로봇청소기의 제어 방법에 있어서, 상기 로봇청소기의 카메라부에서 주변환경을 촬영한 영상 정보를 상기 단말장치로 전송하고,According to another aspect of the present invention, there is provided a method of controlling a robot cleaner that is remotely controlled from a terminal device connected to a server, the method comprising: transmitting, to the terminal device,

상기 단말장치에서 상기 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되고, 상기 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 상기 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 상기 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 상기 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행할 수 있다.Wherein the terminal device recognizes the garbage information received from the server in the image information and identifies a plurality of garbage objects recognized in the image information, When a collective cleaning execution command for the trash objects is transmitted, the selective trash removal or the collective trash removal operation can be performed according to the cleaning execution command.

한편, 상기 단말장치로부터 상기 청소실행명령을 수신이 확인되지 않으면, 상기 로봇청소기는 현재위치에서 다른 위치로 이동하여 상기 로봇청소기의 이동한 주변환경을 촬영하고, 상기 이동한 주변환경을 촬영한 영상을 상기 단말장치로 전송할 수 있다.On the other hand, if the reception of the cleaning execution command from the terminal device is not confirmed, the robot cleaner moves from the current position to another position, captures the moving environment of the robot cleaner, To the terminal device.

본 발명의 또 다른 측면은 단말장치로 쓰레기 정보를 전송하는 서버와 상기 서버로부터 쓰레기 정보와 로봇청소기로부터 주변 환경에 대한 영상정보를 수신하고, 상기 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 상기 영상 정보 내 쓰레기 객체를 검출하고, 해당 쓰레기 객체를 마킹하여 표시하는 단말장치와 상기 영상 정보를 상기 단말장치로 전송하고, 상기 단말장치에서 상기 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되고, 상기 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 상기 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 상기 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행하는 로봇청소기를 포함하는 로봇청소기 제어 시스템을 제공할 수 있다.According to another aspect of the present invention, there is provided a terminal device including a server for transmitting garbage information to a terminal device, image information on the surrounding environment from garbage information and the robot cleaner from the server, A terminal device for detecting a garbage object in the image information and marking and displaying the garbage object when the information is confirmed to be recognized, and transmitting the image information to the terminal device, wherein in the terminal device, The received garbage information is recognized, and it is confirmed that there are a plurality of garbage objects recognized in the image information, so that a selective cleaning execution command for the plurality of garbage objects or a collective cleaning execution command for the plurality of garbage objects Once transferred, according to the cleaning execution command, Can provide bulk trash removal or removal robot vacuum cleaner control system including the robot vacuum cleaner to do the job.

한편, 상기 영상 정보 내 쓰레기 객체를 검출하는 것은, 상기 촬영된 영상 정보 내 배경의 영상 데이터 프레임에서 전경에 해당하는 객체의 에지를 검출하고, 상기 영상 정보에서 상기 검출된 전경 객체의 에지를 적용하고, 상기 전경 객체의 에지가 적용된 영상 데이터의 영역에 객체 검출 분류기를 적용하여 상기 쓰레기 객체를 검출하는 것을 포함할 수 있다.The detection of the garbage object in the image information may include detecting an edge of the object corresponding to the foreground in the image data frame of the background in the captured image information and applying an edge of the detected foreground object in the image information And detecting the garbage object by applying an object detection classifier to an area of the image data to which an edge of the foreground object is applied.

또한, 상기 객체 검출 분류기는 쓰레기의 모양이나 외부 환경을 달리하여 기촬영한 상기 쓰레기 객체의 영상들로부터 훈련 DB 를 구축하여 학습된 것으로 쓰레기 객체의 DB 를 생성하는 것을 포함할 수 있다.
In addition, the object detection classifier may include generating a DB of a garbage object as a learned object by constructing a training DB from images of the garbage object photographed by different shapes of the garbage or an external environment.

상술한 본 발명의 일측면에 따르면, 서버로부터 단말장치에 수신된 쓰레기 정보와 로봇청소기로부터 수신된 촬영영상을 비교하고 쓰레기를 검출하여 청소를 실행함으로써 청소실행에 있어서 정확도를 높일 수 있다. According to one aspect of the present invention, the garbage information received from the server to the terminal device is compared with the shot image received from the robot cleaner, and the garbage is detected and cleaned, thereby improving the accuracy in the cleaning execution.

또한, 디스플레이부에 출력하는 표시 형태를 아이콘이나 게임형태 등으로 다양하게 설정할 수 있는 부가적인 기능을 제공함으로써, 사용자에게 즐거움을 제공하는 이점이 있다.
In addition, there is an advantage of providing the user with pleasure by providing an additional function that can set the display form to be output to the display unit variously by an icon, a game form, and the like.

도 1 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템을 도시한 도면이다.
도 2a 내지 도2b 는 본 발명의 일실시예에 의한 로봇 청소기 제어 단말장치를 도시한 도면이다.
도 3 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템의 타임 차트이다.
도 4 는 본 발명의 일실시예에 의한 단말장치의 블록 구성도이다.
도 5 는 본 발명의 일실시예에 의한 영상정보 내 쓰레기를 검출하기 위한 단말장치의 동작 순서도이다.
도 6a 내지 6d 는 단말장치의 디스플레이부의 일 예를 도시한 도면이다.
도 7 은 본 발명의 일실시예에 의한 로봇청소기의 블록 구성도이다.
도 8 은 본 발명의 일실시예에 의한 로봇청소기의 동작 순서도이다.1 is a view showing a robot cleaner control system according to an embodiment of the present invention.
2A and 2B are views showing a terminal device for controlling a robot cleaner according to an embodiment of the present invention.
3 is a time chart of a robot cleaner control system according to an embodiment of the present invention.
4 is a block diagram of a terminal device according to an embodiment of the present invention.
5 is an operation flowchart of a terminal device for detecting garbage in image information according to an embodiment of the present invention.
6A to 6D are views showing an example of a display unit of a terminal device.
7 is a block diagram of a robot cleaner according to an embodiment of the present invention.
8 is a flowchart illustrating an operation of the robot cleaner according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템을 도시한 도면이다.1 is a view showing a robot cleaner control system according to an embodiment of the present invention.

로봇 청소기 제어 시스템(1000)은 서버(100)와 단말장치(200)와 로봇 청소기(300)를 포함할 수 있다.The robot cleaner control system 1000 may include a server 100, a terminal device 200, and a robot cleaner 300.

서버(100)는 단말장치(200)로 쓰레기 정보를 전송할 수 있다. 서버(100)는 주기적으로 쓰레기 정보를 업데이트 시켜 단말장치(200)로 쓰레기 정보를 전송할 수 있다. 서버(100)는 네트워크를 통해 접속되어 있는 외부서버에 접속하거나, 사용자가 직접 서버(100)에 쓰레기 정보를 입력하여 쓰레기 정보를 업데이트 할 수 있다. 서버(100)의 업데이트 방법은 자동일 수도 있고, 수동일 수도 있다. 자동일 경우, 서버(100)는 사용자가 설정해 놓은 일정한 시간 간격에 따라 자동으로 업데이트 되거나 단말장치(200)를 통해 실행되는 앱에 접속할 때마다 업데이트 될 수 있다. 수동일 경우, 서버(100)는 원하는 시간에 사용자의 조작에 의해 업데이트 될 수 있다. The server 100 can transmit the garbage information to the terminal device 200. [ The server 100 may periodically update the garbage information and transmit the garbage information to the terminal device 200. [ The server 100 may access an external server connected via a network or the user may input garbage information directly to the server 100 to update the garbage information. The updating method of the server 100 may be automatic or may be equal. In the case of automatic, the server 100 can be updated automatically at a predetermined time interval set by the user or updated every time when accessing the app executed through the terminal device 200. If the number is the same, the server 100 can be updated by a user's operation at a desired time.

단말장치(200)는 서버(100)로부터 실시간으로 또는 미리 정해진 시간에 쓰레기 정보를 수신 받아 업데이트할 수 있다. 단말장치(200)는 로봇청소기(300)로부터 촬영되어 전송되는 주변 환경에 대한 영상 정보를 수신할 수 있다. 단말장치(200)는 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 영상 정보 내 쓰레기 객체를 검출할 수 있다. 단말장치(200)는 검출된 해당 쓰레기 객체를 마킹하여 표시할 수 있다. The terminal device 200 can receive and update the garbage information from the server 100 in real time or at a predetermined time. The terminal device 200 can receive image information about the surrounding environment photographed and transmitted from the robot cleaner 300. The terminal device 200 can detect the garbage object in the image information if it is confirmed that the garbage information received from the server is recognized in the image information about the surrounding environment. The terminal device 200 can mark and display the detected garbage object.

단말장치(200)는 다양한 형태로 구현될 수 있다. 단말장치(200)는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 넷북, 태블릿 등을 포함할 수 있다.The terminal device 200 may be implemented in various forms. The terminal device 200 may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a netbook, have.

로봇청소기(300)는 로봇청소기(300)의 카메라부(361, 도 7 참조)에서 주변환경을 촬영한 영상 정보를 상기 단말장치(200)로 전송하고, 단말장치(200)에서 영상 정보 내에 서버로부터 수신된 쓰레기 정보가 인식되고, 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행할 수 있다.The robot cleaner 300 transmits image information of the surrounding environment taken in the camera unit 361 (see FIG. 7) of the robot cleaner 300 to the terminal device 200. In the terminal device 200, , It is confirmed that there are a plurality of garbage objects recognized in the image information, and when a selective cleaning execution command for a plurality of garbage objects or a collective cleaning execution command for a plurality of garbage objects is transmitted , It is possible to perform the selective garbage removal or the collective garbage removal operation according to the cleaning execution command.

도 2a 내지 도2b 는 본 발명의 일실시예에 의한 로봇 청소기 제어 단말장치를 도시한 도면이다.2A and 2B are views showing a terminal device for controlling a robot cleaner according to an embodiment of the present invention.

도 2a 는 로봇청소기(300)에 단말장치(200b)를 도킹한 구성이다. 단말장치(200b)가 도킹된 로봇청소기(300)는 단말장치(200b)에 기본적으로 내장된 구성을 활용하여 사용할 수 있다. 예를 들면, 단말장치(200b)가 도킹된 로봇청소기(300)는 단말장치(200b) 내에 카메라부(361, 도 7 참조)를 실행하여 주변상황을 촬영할 수 있다. 그리고, 또다른 단말장치(200a)는 도킹된 단말장치(200b)를 제어하여 로봇청소기(300)를 동작시킬 수 있다. 본 실시예에서는 도킹이 가능한 로봇청소기(300)에 단말장치(200b)을 도킹시켜, 그 기능을 보완하고, 또 다른 단말장치(200a)로부터 제어를 받아 청소를 수행하는 로봇청소기(300)에 대한 것이다.FIG. 2A shows a configuration in which the terminal device 200b is docked to the robot cleaner 300. FIG. The robot cleaner 300 in which the terminal device 200b is docked can be used by utilizing a configuration built in the terminal device 200b. For example, the robot cleaner 300 in which the terminal apparatus 200b is docked can photograph the surrounding situation by executing the camera unit 361 (see Fig. 7) in the terminal apparatus 200b. Further, another terminal device 200a can operate the robot cleaner 300 by controlling the docked terminal device 200b. The robot cleaner 300 for docking the terminal device 200b to the robot cleaner 300 capable of docking and complementing the function of the terminal device 200b and performing cleaning by receiving control from another terminal device 200a will be.

도 2b 는 단말장치(200)를 이용하여 직접적으로 로봇청소기(300)를 제어하는 구성이다. 단말장치(200)는 원격으로 로봇청소기(300)를 제어할 수 있다. 단말장치(200)는 로봇청소기(300)로부터 주변 영상 정보가 송신되면, 해당 정보를 수신하고, 수신된 영상 정보에 미리 저장된 쓰레기 정보가 있는 것으로 인식되면 해당 정보를 자체 디스플레이부(241, 도 4 참조)에 표시할 수 있다. 단말장치(200)는 사용자에 의해 영상에 표시된 복수 개의 쓰레기 객체에 대한 청소실행명령이 입력되면, 해당 명령을 로봇청소기(300)에 전송하여 청소를 실행할 수 있다.FIG. 2B is a configuration for directly controlling the robot cleaner 300 using the terminal device 200. FIG. The terminal device 200 can control the robot cleaner 300 remotely. When the surrounding image information is transmitted from the robot cleaner 300 to the terminal device 200, the terminal device 200 receives the information, and if the received image information is recognized as having the garbage information stored in advance, the terminal device 200 displays the corresponding information on its own display part 241 ). &Lt; / RTI > When a cleaning execution command for a plurality of garbage objects displayed on the image is input by the user, the terminal device 200 can transmit the command to the robot cleaner 300 to perform cleaning.

도 3 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템의 타임 차트이다.3 is a time chart of a robot cleaner control system according to an embodiment of the present invention.

서버(100)는 단말장치(200)로 쓰레기 정보를 전송할 수 있다(S10). 단말장치(200)는 서버(100)로부터 쓰레기 정보를 수신할 수 있다. 로봇청소기(300)는 카메라부(361, 도 7 참조)를 실행(S20)하여 주변상황을 촬영(S30)하고, 촬영된 영상 정보를 단말장치(200)로 전송(S40)할 수 있다. 단말장치(200)는 로봇청소기(300)로부터 촬영된 영상 정보를 수신할 수 있다. 단말장치(200)는 영상 정보 내에 서버(100)로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면, 쓰레기 객체를 검출(S50)할 수 있다. 단말장치(200)는 검출된 쓰레기 객체를 디스플레이부(241, 도 4 참조)에 출력(S60)할 수 있다. 단말장치(200)는 사용자입력부(230, 도 4 참조)에서 사용자로부터 입력(S70)받은 명령을 토대로 청소실행 명령을 생성하여 로봇청소기(300)로 전송(S80)할 수 있다. 로봇청소기(300)는 단말장치(200)로부터 청소실행명령을 수신하고, 청소를 시작(S90) 할 수 있다The server 100 may transmit the garbage information to the terminal device 200 (S10). The terminal device 200 can receive the garbage information from the server 100. [ The robot cleaner 300 may execute the camera unit 361 (see FIG. 7) (S20) to photograph the surrounding situation (S30) and transmit the photographed image information to the terminal device 200 (S40). The terminal device 200 can receive image information photographed from the robot cleaner 300. [ If it is confirmed that the garbage information received from the server 100 is recognized in the video information, the terminal device 200 can detect the garbage object (S50). The terminal device 200 can output the detected garbage object to the display unit 241 (see Fig. 4) (S60). The terminal device 200 can generate a cleaning execution command based on the instruction received from the user at step S70 in the user input unit 230 (see FIG. 4) and transmit the cleaning execution command to the robot cleaner 300 (S80). The robot cleaner 300 can receive a cleaning execution command from the terminal device 200 and start cleaning (S90)

도 4 는 본 발명의 일실시예에 의한 단말장치의 블록 구성도이다.4 is a block diagram of a terminal device according to an embodiment of the present invention.

도 4 를 참조하면, 본 발명의 일실시예에 따른 단말장치(200)는 무선 통신부(210), A/V(Audio/Video) 입력부(220), 사용자 입력부(230), 출력부(240), 메모리부(250), 인터페이스부(260), 제어부(270) 및 전원 공급부(280)를 포함할 수 있다. 도 4 는 다양한 구성요소를 가지고 있는 단말장치(200)를 도시하고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 단말장치(200)가 구현될 수 있고, 그보다 적은 구성요소에 의해 단말장치(200)가 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 살펴본다.4, a terminal 200 according to an exemplary embodiment of the present invention includes a wireless communication unit 210, an audio / video (A / V) input unit 220, a user input unit 230, an output unit 240, A memory unit 250, an interface unit 260, a control unit 270, and a power supply unit 280. FIG. 4 illustrates a terminal device 200 having various components. However, not all illustrated components are required. The terminal device 200 can be implemented by a larger number of components than the illustrated components, and the terminal device 200 can be implemented by fewer components. Hereinafter, the above-mentioned components will be described in detail.

무선 통신부(210)는 단말장치(200)와 서버(100) 간의 무선 통신 또는 단말장치(200)와 로봇청소기(300)의 근거리 무선 통신을 수행하게 하는 하나 이상의 구성요소를 포함할 수 있다. The wireless communication unit 210 may include at least one component for performing wireless communication between the terminal device 200 and the server 100 or short range wireless communication between the terminal device 200 and the robot cleaner 300.

예를 들면, 무선 통신부(210)는 이동 통신 모듈(211), 무선 인터넷 모듈(212), 근거리 통신 모듈(213) 및 위치정보 모듈(214)을 포함할 수 있다.For example, the wireless communication unit 210 may include a mobile communication module 211, a wireless Internet module 212, a short range communication module 213, and a location information module 214.

이동 통신 모듈(211)은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나의 무선 신호를 송수신한다. 여기서, 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication module 211 transmits and receives a radio signal of at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to a voice call signal, a video call signal, or a text / multimedia message transmission / reception.

무선 인터넷 모듈(212)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말장치(200)에 내장되거나 외장될 수 있다. 이러한 무선 인터넷 모듈(212)은 서버(100)로부터 쓰레기 정보를 수신하고, 로봇청소기(300)로부터 영상 정보를 수신할 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.The wireless Internet module 212 is a module for wireless Internet access, and may be embedded in the terminal device 200 or externally. The wireless Internet module 212 receives garbage information from the server 100 and receives image information from the robot cleaner 300. WLAN (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) and the like can be used as wireless Internet technologies.

근거리 통신 모듈(213)은 근거리 통신을 위한 모듈을 말한다. 이러한 근거리 통신 모듈(213)은 단말장치(200)와 근접한 위치의 로봇청소기(300)와 통신하여 영상 정보를 수신할 수 있다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다.The short-range communication module 213 is a module for short-range communication. The local communication module 213 can receive image information by communicating with the robot cleaner 300 at a position close to the terminal device 200. Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IRDA), Ultra Wideband (UWB), ZigBee, and NFC (Near Field Communication) can be used as short range communication technology. have.

위치정보 모듈(214)은 단말장치(200)의 위치를 확인하거나 얻기 위한 모듈이다. 일예로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수개의 인공위성으로부터 위치 정보를 수신한다. 위치정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다. 예를 들어, GPS 모듈은 3개 이상의 위성으로부터 정확한 시간과 거리를 측정하여 3개의 각각 다른 거리를 삼각 방법에 따라서 현 위치를 정확히 계산할 수 있다. 3개의 위성으로부터 거리와 시간 정보를 얻고 1개 위성으로 오차를 수정하는 방법이 사용될 수 있다. 특히, GPS 모듈은 위성으로부터 수신한 위치 정보로부터 위도, 경도, 고도뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다. 또한 IPS(Indoor Positioning System)도 이용될 수 있다.The location information module 214 is a module for confirming or obtaining the location of the terminal device 200. For example, there is a GPS (Global Position System) module. The GPS module receives position information from a plurality of satellites. The location information may include coordinate information indicated by latitude and longitude. For example, the GPS module can accurately calculate the current position according to the triangulation method by measuring the precise time and distance from three or more satellites and measuring three different distances. A method of obtaining distance and time information from three satellites and correcting the error by one satellite may be used. In particular, the GPS module can obtain latitude, longitude and altitude as well as three-dimensional velocity information and accurate time from the position information received from the satellite. An IPS (Indoor Positioning System) can also be used.

A/V(Audio/Video) 입력부(220)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(221)와 마이크(222) 등이 포함될 수 있다. 도 2a 에서와 같이 단말장치(200)를 로봇청소기(300)에 도킹하여 사용할 경우, 단말장치(200)의 카메라(221)를 통해 로봇청소기(300)의 주변상황을 촬영할 수 있다.The A / V (Audio / Video) input unit 220 is for inputting an audio signal or a video signal, and may include a camera 221 and a microphone 222. 2A, when the terminal device 200 is docked to the robot cleaner 300, the robot cleaner 300 can photograph the surroundings of the robot cleaner 300 through the camera 221 of the terminal device 200. [

사용자 입력부(230)는 사용자가 단말장치(200)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(230)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(241)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.The user input unit 230 generates input data for controlling the operation of the terminal device 200 by a user. The user input unit 230 may include a key pad dome switch, a touch pad (static / static), a jog wheel, a jog switch, and the like. Particularly, when the touch pad has a mutual layer structure with the display unit 241 described later, it can be called a touch screen.

이러한 사용자 입력부(230)는 도 6a 내지 6c 에서와 같이, 검출된 쓰레기의 위치가 디스플레이부(241)에 표시되면, 청소실행 명령을 전송해야 할 쓰레기 객체를 선택할 수 있도록 사용자로부터 입력받을 수 있고, 도 6d 에서와 같이, 디스플레이부(241)에 표시된 쓰레기를 한꺼번에 처리할 것인지에 대한 사용자의 선택('Yes' , 'No')을 입력받을 수 있다.6A to 6C, when the position of the detected garbage is displayed on the display unit 241, the user input unit 230 can receive input from the user to select a garbage object to which a cleaning execution command is to be transmitted, 6D, the user's selection ('Yes', 'No') as to whether to process the garbage displayed on the display unit 241 at a time can be inputted.

출력부(240)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(241), 음향 출력 모듈(242), 알람 모듈(243), 및 햅틱 모듈(244) 등이 포함될 수 있다.The output unit 240 includes an output unit 241, an audio output module 242, an alarm module 243, a haptic module 244, and the like, for generating an output related to visual, auditory, .

디스플레이부(241)는 단말장치(200)에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 단말장치(200)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다. 그리고 단말장치(200)가 화상 통화 모드 또는 촬영 모드인 경우 촬영 또는 수신된 영상 또는 UI, GUI를 표시할 수 있다. The display unit 241 can display (output) information processed in the terminal device 200. [ For example, when the terminal device 200 is in the call mode, a UI (User Interface) or GUI (Graphic User Interface) related to the call can be displayed. When the terminal device 200 is in the video communication mode or the photographing mode, it can display the captured or received image, the UI, and the GUI.

상술한 바와 같이, 디스플레이부(241)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(241)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(241)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 단말장치(200)의 구현 형태에 따라 디스플레이부(241)가 2 개 이상 존재할 수 있다.As described above, when the display unit 241 and the touch pad have a mutual layer structure to constitute a touch screen, the display unit 241 can be used as an input device in addition to the output device. The display unit 241 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display display, and a 3D display. In addition, there may be two or more display units 241 according to the embodiment of the terminal device 200.

이러한 디스플레이부(241)는 도 6a 내지 6c 에서와 같이, 검출된 쓰레기 객체를 마킹하여 표시하고 사용자 입력을 위한 '쓰레기 위치 좌표 아이콘'의 키를 표시할 수 있다. 또한, 디스플레이부(241)는 도 6d 에서와 같이, 디스플레이부(241)에 표시된 쓰레기를 한꺼번에 처리할 것인지에 대한 사용자의선택('Yes' , 'No')을 입력 받기 위한 키를 표시할 수 있다.6A to 6C, the display unit 241 may mark and display the detected garbage object and display a key of a 'garbage position coordinate icon' for user input. 6D, the display unit 241 may display a key for receiving the user's selection ('Yes', 'No') as to whether to process the garbage displayed on the display unit 241 at a time .

음향 출력 모듈(242)에는 음향 출력 모듈(242)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 콘텐츠 수신 모드 등에서 무선 통신부(210)로부터 수신되거나 메모리(250)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향 출력 모듈(242)은 단말장치(200)에서 수행되는 기능과 관련된 음향 신호를 출력할 수 있다. 음향 출력 모듈(242)에는 스피커, 비저 등이 포함될 수 있다.In the sound output module 242, the sound output module 242 outputs audio data received from the wireless communication unit 210 or stored in the memory 250 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, can do. Also, the sound output module 242 can output an acoustic signal related to a function performed in the terminal device 200. The sound output module 242 may include a speaker, a visor, and the like.

알람 모듈(243)은 단말장치(200)의 이벤트 발생을 알리기 위한 신호를 출력할 수 있다. 단말장치(200)에서 발생되는 이벤트의 예로는, 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람 모듈(243)은 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 예를 들면, 진동 형태로 출력할 수 있다.The alarm module 243 may output a signal for notifying the occurrence of an event of the terminal device 200. [ Examples of events generated in the terminal device 200 include signal reception, message reception, key signal input, and the like. The alarm module 243 may output a signal for informing occurrence of an event in a form other than an audio signal or a video signal. For example, it can be output in a vibration mode.

이러한 알람 모듈(243)은 로봇청소기(300)에서 촬영된 영상에서 검출한 쓰레기 객체와 서버(100)로부터 수신한 쓰레기 정보를 비교하여 검출된 쓰레기가 있음을 알리는 알림 메시지를 사용자에게 다양한 형태로 출력할 수 있다.The alarm module 243 compares the garbage object detected from the image photographed by the robot cleaner 300 with the garbage information received from the server 100 and outputs a notification message indicating that the garbage is detected to the user in various forms can do.

햅틱 모듈(244)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(244)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(244)이 발생하는 진동의 세기와 패턴 등은 제어가 가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.The haptic module 244 generates various tactile effects that the user can feel. A typical example of the haptic effect generated by the haptic module 244 is vibration. The intensity and pattern of the vibration generated by the haptic module 244 can be controlled. For example, different vibrations may be synthesized and output or sequentially output.

이러한 햅틱 모듈(244) 로봇청소기(300)에서 촬영된 영상 정보에서 검출한 쓰레기 객체와 서버(100)로부터 수신한 쓰레기 정보를 비교하여 검출된 쓰레기가 있음을 알리는 알림 메시지를 사용자에게 전송하거나 디스플레이부(241)에 표시된 쓰레기를 선택했을 때 출력할 수 있다.The haptic module 244 compares the garbage object detected from the image information photographed by the robot cleaner 300 with the garbage information received from the server 100 and transmits a notification message to the user to inform the user of the detected garbage, When the garbage displayed on the display unit 241 is selected.

메모리(250)는 제어부(270)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 메모리(250)는 터치스크린 상의 터치 입력 시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory 250 may store a program for the operation of the controller 270, and temporarily store input / output data. The memory 250 may store data related to vibrations and sounds of various patterns output upon touch input on the touch screen.

또한, 이러한 메모리(250)는 로봇청소기(300)로부터 수신한 로봇청소기(300) 주변 촬영 영상 정보를 저장하고, 서버(100)로부터 수신된 쓰레기 정보 등을 저장할 수 있다.In addition, the memory 250 stores the photographed image information of the robot cleaner 300 received from the robot cleaner 300, and can store the garbage information and the like received from the server 100.

메모리(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 250 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory), a RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM A disk, and / or an optical disk.

인터페이스부(260)는 단말장치(200)에 연결되는 모든 외부기기와의 통로 역할을 할 수 있다. 인터페이스부(260)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말장치(200) 내부의 각 구성 요소에 전달하거나, 단말장치(200) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(260)에 포함될 수 있다.The interface unit 260 may serve as a path for communication with all external devices connected to the terminal device 200. The interface unit 260 may receive data from an external device or supply power to each component in the terminal device 200 or may transmit data in the terminal device 200 to an external device. For example, a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device having an identification module, an audio I / O port, A video input / output (I / O) port, an earphone port, and the like may be included in the interface unit 260.

이러한 인터페이스부(260)는 사용자가 개별적으로 쓰레기정보를 단말장치(200)에 직접 입력하거나 메모리부(250)에 저장된 쓰레기 정보나 로봇청소기(300) 주변 영상 정보를 다른 장치로 전송할 수 있다.The interface unit 260 can directly input the garbage information to the terminal device 200 or transmit the garbage information stored in the memory unit 250 or the surrounding image information of the robot cleaner 300 to another apparatus.

제어부(270)는 통상적으로 단말장치(200)의 전반적인 동작을 제어할 수 있다.The control unit 270 can generally control the overall operation of the terminal device 200. [

제어부(270)는 영상 전처리부(271), 객체 검출부(272), 쓰레기 영상 표시부(273), 청소실행 명령 생성부(274) 등을 포함할 수 있다.The control unit 270 may include an image preprocessing unit 271, an object detection unit 272, a garbage image display unit 273, a cleaning execution command generation unit 274, and the like.

보다 구체적으로, 제어부(270)는 무선통신부(210)로부터 로봇청소기(300) 주변영상 정보를 수신하면, 영상 전처리부(271)를 통해 영상 정보의 노이즈를 저감할 수 있다. 제어부(270)는 노이즈를 저감시킨 영상 정보와 메모리(250)에 저장된 쓰레기 정보를 비교하여 객체검출부(272)를 통해 쓰레기 객체를 추출할 수 있다. 제어부(270)는 쓰레기영상표시부(273)를 통해 객체검출부(270)에서 추출된 쓰레기로 인식한 위치의 좌표값을 계산하고, 디스플레이부(241)에 출력할 수 있다. 제어부(270)는 디스플레이부(241)에 출력된 쓰레기 표시 아이콘(이미지) 중 사용자입력부(230)를 통해 사용자의 선택한 쓰레기 아이콘의 좌표값에 대하여 청소 실행 명령 생성부(274)를 통해 청소실행명령을 생성하여 로봇청소기(300)로 전송할 수 있도록 제어할 수 있다.More specifically, the controller 270 can reduce the noise of the image information through the image preprocessing unit 271 when receiving the image information of the surrounding area of the robot cleaner 300 from the wireless communication unit 210. The control unit 270 may compare the image information in which the noise is reduced and the garbage information stored in the memory 250 to extract the garbage object through the object detection unit 272. [ The control unit 270 may calculate coordinate values of the positions recognized as garbage extracted by the object detection unit 270 through the garbage image display unit 273 and output the coordinate values to the display unit 241. [ The control unit 270 displays a cleaning execution command through the cleaning execution command generation unit 274 on the coordinate values of the user selected trash icon through the user input unit 230 among the trash display icons (images) So that the robot cleaner 300 can be controlled.

이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

영상 전처리부(271)는 로봇청소기(300)로부터 수신된 영상 정보에서 노이즈를 저감할 수 있다. 영상 전처리부(271)는 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 메트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 영상 전처리부(271)는 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다.The image preprocessing unit 271 can reduce noise from the image information received from the robot cleaner 300. [ The image preprocessing unit 271 performs image enhancement such as gamma correction, color filter array interpolation, color matrix, color correction, and color enhancement It is possible to perform the video signal processing for the video signal. The image preprocessing unit 271 can perform color processing, blur processing, edge emphasis processing, image analysis processing, image recognition processing, image effect processing, and the like.

객체 검출부(272)는 영상 전처리부(271)에 의해 영상 신호 처리가 수행된 영상 정보로부터 적어도 하나의 쓰레기 객체를 검출할 수 있다.The object detection unit 272 may detect at least one garbage object from the image information processed by the image preprocessing unit 271. [

보다 구체적으로, 객체 검출부(272)는 영상 정보에서 객체의 외곽선을 검출하고, 검출된 외곽선과 서버로부터 수신 받아 메모리부(250)에 미리 저장된 쓰레기의 외형을 비교하여 미리 저장된 쓰레기의 외형과 매칭되는 외곽선을 가진 객체를 쓰레기 객체로서 검출할 수 있다. 이때, 메모리부(250)에 저장된 쓰레기 객체의 외형은 적어도 하나 이상의 쓰레기 객체의 외형일 수 있으며, 객체 검출부(272)는 상술한 바와 같이 매칭되는 외곽선을 가진 객체를 쓰레기 객체로서 검출함과 동시에 해당 쓰레기 객체의 종류도 판단할 수 있다.More specifically, the object detection unit 272 detects the outline of the object in the image information, compares the outline of the object with the outline of the garbage received from the server and previously stored in the memory unit 250, An object having an outline can be detected as a garbage object. At this time, the outer shape of the garbage object stored in the memory unit 250 may be the outer shape of at least one garbage object, and the object detecting unit 272 detects an object having an outline matched as described above as a garbage object, The type of garbage object can also be judged.

또한, 객체 검출부(272)는 영상 정보 내의 객체의 특징점을 추출하고, 추출된 특징점이 메모리부(250)에 미리 저장된 쓰레기 객체의 특징점에 임계치 이상의 근접도로 매칭되면, 해당 영상 정보 내의 객체를 쓰레기 객체로서 검출할 수 있다. 이때, 객체 검출부(272)는 비교 대상이 되는 두 객체의 영상에서 특징점을 추출하고, 추출된 두 객체의 특징점 기술자(descriptor)를 매칭하는 SIFT(Scale Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features) 알고리즘을 사용할 수 있다.The object detection unit 272 extracts the feature points of the object in the image information, and if the extracted feature points are matched with the feature points of the garbage object stored in advance in the memory unit 250, Can be detected. At this time, the object detecting unit 272 extracts feature points from the images of the two objects to be compared, and performs Scale Invariant Feature Transform (SIFT) or SURF (Speeded Up Robust Features) for matching the feature point descriptors of the extracted two objects. Algorithm can be used.

또한, 객체 검출부(272)는 영상 정보에서 객체들의 윤곽을 기초로 쓰레기 객체를 검출할 수 있다. 보다 구체적으로, 객체 검출부(272)는 영상 정보에서 객체들의 윤곽을 검출하여 에지 영상을 생성하고, 메모리부(250)에 미리 저장된 집안의 배경 영상인 전경 영상 데이터로부터 윤곽을 검출하여 배경 에지 영상을 생성하며, 에지 영상에서 배경 에지 영상을 뺀 차 영상(different image) 에서 쓰레기 객체를 검출할 수 있다.In addition, the object detecting unit 272 can detect the garbage object based on the outline of the objects in the image information. More specifically, the object detection unit 272 detects an outline of objects in the image information to generate an edge image, detects an outline from foreground image data, which is a background image of the house stored in advance in the memory unit 250, And the garbage object can be detected from a different image obtained by subtracting the background edge image from the edge image.

이때, 객체 검출부(272)는 영상 정보 프레임의 그래디언트(gradient) 정보를 이용하여 프레임 내에 나타나는 객체의 윤곽을 에지로 검출하여 에지 영상을 생성할 수 있다. 여기서, 그래디언트 정보는 프레임에서 소정의 화소들 중 인접하는 화소들 간의 차이값으로부터 생성된 값으로서 차이의 절대값의 합을 의미 하고, 에지는 그래디언트 정보를 이용한 객체 간의 경계선을 의미한다.At this time, the object detecting unit 272 can generate an edge image by detecting the outline of the object appearing in the frame as an edge by using the gradient information of the image information frame. Here, the gradient information means a sum of absolute values of differences as values generated from difference values between adjacent pixels among predetermined pixels in a frame, and an edge means a boundary line between objects using the gradient information.

또한, 객체 검출부(272)는 기촬영된 집안 내 전경의 영상 정보 프레임에서 배경에 해당하는 객체의 에지를 검출하여 배경 에지 영상을 생성할 수 있다. 이때의 배경 에지 영상은 기설정된 영역의 객체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 기촬영된 집안 내 전경의 복수개의 영상 정보 프레임을 비교하여 소정의 횟수이상 반복하여 동일하게 나타나는 객체의 윤곽을 배경에지로 검출한 영상일 수도 있다.In addition, the object detection unit 272 can detect the edge of the object corresponding to the background in the captured image information frame of the foreground in the house to generate the background edge image. At this time, the background edge image may be an image obtained by detecting the outline of the objects of the predetermined area on the background, but it is also possible to compare the plurality of image information frames of the foreground in the captured home and repeat the same more than a predetermined number of times It may also be an image that detects the outline in the background.

또한, 객체 검출부(272)는 객체 검출 분류기를 이용하여 영상 정보에서 쓰레기 객체를 검출할 수 있다. 이때, 객체 검출 분류기는 쓰레기의 모양이나 외부 환경을 달리하여 기촬영한 쓰레기 객체의 영상들로부터 훈련 DB를 구축하여 학습된 것으로서, 이러한 객체 검출 분류기는 SVM(Support Vector Machine), 신경망, AdaBoost 알고리즘 등을 포함하는 다양한 학습 알고리즘을 통해 쓰레기 객체의 DB를 생성할 수 있다. 구체적으로, 객체 검출부(272)는 기촬영된 내 배경의 영상 정보 프레임에서 전경에 해당하는 객체의 에지를 검출하고, 영상 정보에서 검출된 전경 객체의 에지를 적용하고, 전경 객체의 에지가 적용된 영상 정보의 영역에 객체 검출 분류기를 적용하여 신속하게 쓰레기 객체를 검출할 수 있다.In addition, the object detecting unit 272 can detect the garbage object in the image information using the object detection classifier. At this time, the object detection classifier is learned by constructing a training DB from images of garbage objects photographed by different shapes of garbage or external environments. Such object classifiers are classified into SVM (Support Vector Machine), neural network, AdaBoost algorithm The DB of the garbage object can be generated through various learning algorithms including the learning algorithm. Specifically, the object detection unit 272 detects the edge of the object corresponding to the foreground in the image information frame of the captured background, applies the edge of the detected foreground object in the image information, The garbage object can be detected quickly by applying the object detection classifier to the information area.

쓰레기 영상 표시부(273)는 쓰레기로 인식한 위치의 좌표값을 계산하여 단말장치(200)의 디스플레이부(241)에 출력할 수 있다.The garbage image display unit 273 can calculate the coordinate value of the position recognized as garbage and output it to the display unit 241 of the terminal device 200. [

청소실행 명령 생성부(274)는 단말장치(200)의 디스플레이부(241)의 특정 부위에 가해진 압력 또는 디스플레이부(241)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하여 해당하는 좌표에 대한 명령을 생성하여 로봇청소기(300)로 전송할 수 있다.The cleaning execution command generating unit 274 converts a change in a pressure applied to a specific portion of the display unit 241 of the terminal device 200 or a capacitance generated at a specific portion of the display unit 241 into an electrical input signal And transmits the generated command to the robot cleaner 300.

전원 공급부(280)는 제어부(270)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.The power supply unit 280 may receive external power and internal power under the control of the controller 270 to supply power necessary for operation of each component.

도 5 는 본 발명의 일실시예에 의한 영상정보 내 쓰레기를 검출하기 위한 단말장치의 동작 순서도이다.5 is an operation flowchart of a terminal device for detecting garbage in image information according to an embodiment of the present invention.

무선통신부(210)는 서버(100)로부터 쓰레기 정보를 수신하여 메모리(250)에 저장할 수 있다(410). 메모리(250)에 저장하는 쓰레기 정보는 서버(100)를 통하여 수신하여 저장할 수 있고, 사용자가 직접 단말장치(200)의 인터페이스부(260)를 조작하여 웹상의 쓰레기 정보를 메모리(250)에 저장할 수도 있다. 무선통신부(210)는 로봇청소기(300)로부터 주변영상 정보를 수신하여 메모리(250)에 저장할 수 있다(420). 영상전처리부(271)는 메모리(250)에 저장된 영상 정보의 노이즈를 저감시킬 수 있다(430). 객체검출부(272)는 노이즈를 저감시킨 영상 정보 내 쓰레기 객체를 검출할 수 있다(440). 쓰레기 영상 표시부(273)는 검출된 객체를 디스플레이부(241)에 출력할 수 있다(450). 디스플레이부(241)에 출력하는 형태는 다양한 형태와 색깔을 포함할 수 있으며, 3D 형태나 이모티콘 등으로 표시할 수 있다. 실행명령생성부(274)는 출력된 쓰레기 객체 중 사용자의 선택에 의한 청소 실행 명령을 생성할 수 있다(460). 청소실행 명령은 사용자가 디스플레이부(241)에 터치한 순서대로 전송될 수 있다. 단말장치(200)의 제어부(270)는 생성된 청소실행명령을 무선통신부(210)를 통해 로봇청소기(300)로 전송할 수 있다(470). The wireless communication unit 210 may receive the garbage information from the server 100 and store the garbage information in the memory 250 (410). The garbage information to be stored in the memory 250 can be received and stored through the server 100 and the user can directly operate the interface unit 260 of the terminal device 200 to store the garbage information on the web in the memory 250 It is possible. The wireless communication unit 210 may receive peripheral image information from the robot cleaner 300 and store the peripheral image information in the memory 250 (420). The video pre-processing unit 271 may reduce the noise of the image information stored in the memory 250 (430). The object detecting unit 272 may detect the garbage object in the image information in which the noise is reduced (440). The garbage image display unit 273 can output the detected object to the display unit 241 (450). The form output to the display unit 241 may include various shapes and colors, and may be displayed in 3D form or emoticon. The execution command generating unit 274 may generate a cleaning execution command based on the user's selection among the output garbage objects (460). The cleaning execution command can be transmitted in the order that the user touched the display unit 241. The control unit 270 of the terminal device 200 may transmit the generated cleaning execution command to the robot cleaner 300 through the wireless communication unit 210 at step 470.

도 6a 내지 6d 는 단말장치의 디스플레이부의 일 예를 도시한 도면이다.6A to 6D are views showing an example of a display unit of a terminal device.

도 6a 를 참조하면 단말장치(200)의 디스플레이부(241)는 로봇청소기(300)의 카메라부(361)로부터 촬영된 집 내부 영상 정보(로봇청소기 주변 촬영 영상 정보) 내에 서버(100)로부터 수신된 쓰레기 정보가 인식되어 쓰레기 객체가 검출되면 해당 쓰레기 객체(T)를 표시 할 수 있다. 표시된 쓰레기 객체(T)를 디스플레이부(241)에서 터치하여 사용자가 선택하게 되면 실행명령생성부(274)에서 청소 실행 명령을 생성하여 로봇청소기(300)로 전송할 수 있다. 6A, the display unit 241 of the terminal device 200 receives (receives) information from the server 100 in the house indoor image information (robot cleaner peripheral image information) photographed from the camera unit 361 of the robot cleaner 300 And if the garbage object is detected, the garbage object T can be displayed. When the displayed garbage object T is touched by the display unit 241 and the user selects the garbage object T, the execution command generating unit 274 generates a cleaning execution command and transmits the cleaning execution command to the robot cleaner 300.

도 6b 를 참조하면 도 6a 에서와 같이 쓰레기 객체가 검출되면 해당 객체를 점(D)의 형태로 디스플레이부(241)에 표시할 수 있다. 쓰레기 객체가 다수개가 검출되어 점(D)이 여러 개가 표시 되었을 경우, 사용자가 디스플레이부(241)에 표시된 점(D)을 터치한 순서대로 로봇청소기(300)가 청소를 실행할 수 있다.Referring to FIG. 6B, when a garbage object is detected as shown in FIG. 6A, the object may be displayed on the display unit 241 in the form of a point (D). When a plurality of garbage objects are detected and a plurality of points D are displayed, the robot cleaner 300 can perform cleaning in the order that the user touches the point D displayed on the display unit 241.

도 6c 를 참조하면 도 6a 에서와 같이 쓰레기 객체가 검출되면 해당 객체를 사용자가 원하는 모양(S)의 형태로 디스플레이부(241)에 표시할 수 있다. 검출된 쓰레기 객체는 사용자가 원하는 다양한 모양뿐만 아니라 사용자가 원하는 색으로도 표시할 수 있다. 사용자가 디스플레이부(241)에 표시된 모양(S)을 터치했을 때, 햅틱 모듈(244)을 통해 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있다. 다양한 촉각 효과는 진동의 세기와 패턴 등은 제어하여 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수 있다. 또한, 사용자가 디스플레이부(241)에 표시된 모양(S)을 터치했을 때, 모양(S)이 좌우로 움직이거나 회전하는 등의 다양한 시각적 효과를 출력할 수 있다. Referring to FIG. 6C, when a garbage object is detected as shown in FIG. 6A, the object may be displayed on the display unit 241 in a form of a shape S desired by the user. The detected garbage object can display not only the various shapes desired by the user but also the color desired by the user. When the user touches the shape S displayed on the display unit 241, various tactile effects that the user can feel through the haptic module 244 can be generated. Various tactile effects can be produced by synthesizing and outputting different vibrations by controlling the intensity and pattern of vibration. In addition, when the user touches the shape S displayed on the display unit 241, it is possible to output various visual effects such as the shape S moving left or right or rotating.

도 6d 를 참조하면 두 개 이상의 쓰레기 객체가 검출될 경우 디스플레이부(241)에 검출된 쓰레기 객체 중 사용자의 선택에 의한 쓰레기 객체만 처리하는 명령과 디스플레이부(241)에 검출된 쓰레기 객체를 일괄적으로 처리하는 명령을 선택할 수 있도록 사용자의선택('Yes' , 'No')을 입력 받기 위한 메시지 창이 뜰 수 있다.Referring to FIG. 6D, when two or more garbage objects are detected, a command to process only the garbage object selected by the user among the garbage objects detected by the display unit 241 and a garbage object detected by the display unit 241 are collectively A message window may be displayed for receiving a selection of the user ('Yes', 'No') so that the user can select a command to process the command.

도 7 은 본 발명의 일실시예에 의한 로봇청소기의 블록 구성도이다.7 is a block diagram of a robot cleaner according to an embodiment of the present invention.

로봇 청소기(300) 본체의 전방부에는 로봇 청소기(300)의 각종 부품과 접속되어 로봇 청소기(300)의 구동을 제어하는 제어부(330)가 구비될 수 있다. 그리고, 로봇 청소기(300) 본체의 내부, 제어부(330)의 후방에는 흡입장치 등에 전원을 공급하는 배터리(340)가 구비될 수 있다. 배터리(340)의 후방에는 공기 흡입력을 발생시키는 흡입장치(310)가 구비 될 수 있다.The robot cleaner 300 may include a control unit 330 connected to various components of the robot cleaner 300 and controlling the operation of the robot cleaner 300. In addition, a battery 340 for supplying power to the suction device or the like may be provided inside the main body of the robot cleaner 300 and behind the controller 330. A suction device 310 for generating an air suction force may be provided at the rear of the battery 340.

외부에서 로봇 청소기(300)를 제어하기 위하여, 본 실시예에 따른 로봇 청소기(300)는 외부 장치와 무선 통신이 가능한 무선 통신부(350)를 포함할 수 있다.In order to control the robot cleaner 300 from the outside, the robot cleaner 300 according to the present embodiment may include a wireless communication unit 350 capable of wireless communication with an external device.

무선 통신부(350)는 로봇 청소기(300)를 외부 장치 또는 외부 네트워크와 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(350)는 무선 인터넷 모듈(351), 근거리 통신 모듈(352) 등을 포함할 수 있다.The wireless communication unit 350 may include one or more modules that enable the robot cleaner 300 to perform wireless communication with an external device or an external network. For example, the wireless communication unit 350 may include a wireless Internet module 351, a short distance communication module 352, and the like.

무선 인터넷 모듈(351)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 로봇 청소기(300)에 내장되거나 외장될 수 있다. 이러한 무선 인터넷 모듈(351)은 카메라부(361)에서 촬영한 주변영상을 단말장치(200)로 전송할 수 있다.The wireless Internet module 351 refers to a module for wireless Internet access and may be built in or enclosed in the robot cleaner 300. The wireless Internet module 351 can transmit the peripheral image captured by the camera unit 361 to the terminal device 200. [

근거리 통신 모듈(352)은 근거리 통신을 위한 모듈을 말한다. 이러한 근거리 통신 모듈(352)은 로봇청소기(300)와 근접한 위치의 단말장치(200)와 통신하여 영상정보를 발송할 수 있다.The short-range communication module 352 is a module for short-range communication. The local area communication module 352 can communicate image information with the terminal device 200 located close to the robot cleaner 300.

바퀴(320)는 청소기 본체의 양측 하부에 각각 설치되는 좌, 우측 구동 바퀴가 구비될 수 있다.The wheels 320 may be provided with left and right driving wheels respectively installed on both lower sides of the cleaner main body.

좌, 우측 구동 바퀴는 각각, 청소기 제어부(330)에 의해 제어되는 좌륜모터(321)와 우륜모터(322)에 의해 회전하도록 구성되어, 좌륜모터(321)와 우륜모터(322)의 구동에 따라 로봇 청소기(300)가 스스로 방향전환을 하면서 실내의 청소를 수행할 수 있다.The left and right drive wheels are configured to rotate by a left wheel motor 321 and a right wheel motor 322 controlled by the cleaner control unit 330 and are driven by the left wheel motor 321 and the right wheel motor 322 The robot cleaner 300 can perform the indoor cleaning while changing the direction of the robot cleaner 300 itself.

A/V(Audio/Video) 입력부(360)는 로봇청소기(300)의 주변 환경의 영상을 촬영하기 위한 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(361)와 마이크(362) 등이 포함될 수 있다. 카메라(261)는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 촬영된 영상은 제어부(330)를 통해 단말장치(200)로 전송될 수 있다. The A / V (Audio / Video) input unit 360 is for inputting an audio signal or a video signal for capturing an image of a surrounding environment of the robot cleaner 300, and includes a camera 361 and a microphone 362 . The camera 261 can process an image frame such as a still image or a moving image. The photographed image can be transmitted to the terminal device 200 through the control unit 330.

카메라(361)에서 처리된 화상 프레임은 메모리부(370)에 저장되거나 무선 통신부(350)를 통하여 외부로 전송될 수 있다. 카메라(361)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 361 may be stored in the memory unit 370 or may be transmitted to the outside via the wireless communication unit 350. [ Two or more cameras 361 may be provided depending on the use environment.

도 8 은 본 발명의 일실시예에 의한 로봇청소기의 동작 순서도이다.8 is a flowchart illustrating an operation of the robot cleaner according to an embodiment of the present invention.

로봇청소기(300)는 카메라(361)를 실행(510)시켜 주변 상황을 촬영(520)할 수 있다. 로봇청소기(300)는 단말장치로 촬영된 영상을 전송(530)할 수 있다. 이때, 로봇청소기(300)는 청소 실행 명령 수신 여부(540)에 따라, 청소실행 명령을 수신했을 경우, 청소를 실행(550)하고, 청소실행 명령을 수신하지 않을 경우, 로봇청소기(300)의 위치를 다른 위치로 이동(560)하여 주변 상황을 촬영(520)하고 상기의 과정을 반복할 수 있다. The robot cleaner 300 can execute (510) the camera 361 and photograph 520 the surrounding environment. The robot cleaner 300 can transmit (530) an image captured by the terminal device. At this time, the robot cleaner 300 executes cleaning (550) when receiving a cleaning execution command according to whether or not the cleaning execution command is received (540). If the cleaning cleaning command is not received, the robot cleaner 300 The position is moved to another position (560) and the surrounding situation is photographed (520), and the above process can be repeated.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. You will understand.

100: 서버
200: 단말장치
300: 로봇 청소기
1000: 로봇 청소기 제어 시스템100: Server
200: terminal device
300: Robot cleaner
1000: Robot vacuum cleaner control system

Claims

A control method of a terminal device connected to a server for remotely controlling a robot cleaner,
Receiving and updating the garbage information from the server in real time or at a predetermined time,
Receiving image information on a surrounding environment photographed and transmitted from the robot cleaner,
Detecting the garbage object in the image information and marking and displaying the garbage object if it is confirmed that the garbage information received from the server is recognized in the image information of the surrounding environment.

The method according to claim 1,
Detecting the garbage object in the image information,
And generating a background edge image by detecting an outline from a background image of a previously stored home image by detecting an outline of the objects in the image information to generate a background image in the difference image obtained by subtracting the background edge image from the edge image, A method of controlling a terminal device for detecting an object.

The method according to claim 1,
Further comprising receiving a command based on a user's selection and transmitting a cleaning execution command to the robot cleaner,
Wherein the cleaning execution command includes a command for processing only the garbage object selected by the user among the detected garbage objects when the plurality of garbage objects are detected and a command for collectively processing the detected garbage objects Control method.

A control method of a robot cleaner that receives remote control from a terminal device connected to a server,
And transmits the image information photographed in the camera section of the robot cleaner to the terminal device,
The terminal device detects an outline of the object in the image information, compares the outline of the object with the outline of the garbage information received from the server and stored in advance, and stores an object having an outline matching with the outline of the previously stored garbage information, And when a plurality of garbage objects are detected and a selective cleaning execution command for the plurality of garbage objects or a collective cleaning execution command for the plurality of garbage objects is transmitted, A method of controlling a robot cleaner that performs garbage removal or collective garbage removal.

5. The method of claim 4,
The robot cleaner moves from the current position to another position to photograph the surrounding environment moved by the robot cleaner, and when the robot cleaner receives the cleaning execution command from the terminal device, A control method of a robot cleaner for transmitting to a terminal device.

A server for transmitting garbage information to the terminal device;
Receiving garbage information from the server and image information on the surrounding environment from the robot cleaner, and when it is determined that garbage information received from the server is recognized in the image information about the surrounding environment, the garbage object in the image information is detected A terminal device for marking and displaying the garbage object; And
The video information is transmitted to the terminal device, the garbage information received from the server is recognized in the video information at the terminal device, and it is confirmed that there are a plurality of garbage objects recognized in the video information, And a robot cleaner for performing selective garbage removal or collective garbage removal according to a cleaning execution command when an optional cleaning execution command for the object or a collective cleaning execution command for the plurality of garbage objects is transmitted, system.

The method according to claim 6,
Detecting the garbage object in the image information,
An edge of the object corresponding to the foreground in the image data frame of the background of the captured image information is detected, an edge of the detected foreground object is applied in the image information, and an edge of the foreground object, And detecting the garbage object by applying a detection classifier.

8. The method of claim 7,
The object detection classifier
And constructing a training DB from the images of the garbage object photographed by changing the shape of the garbage or the external environment to generate a DB of the garbage object.