KR20160017933A - Control method of robot cleaner and terminal device and robot cleaner control system including the same - Google Patents
Control method of robot cleaner and terminal device and robot cleaner control system including the same Download PDFInfo
- Publication number
- KR20160017933A KR20160017933A KR1020140101640A KR20140101640A KR20160017933A KR 20160017933 A KR20160017933 A KR 20160017933A KR 1020140101640 A KR1020140101640 A KR 1020140101640A KR 20140101640 A KR20140101640 A KR 20140101640A KR 20160017933 A KR20160017933 A KR 20160017933A
- Authority
- KR
- South Korea
- Prior art keywords
- garbage
- robot cleaner
- terminal device
- information
- image
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Electric Vacuum Cleaner (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
본 발명은 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템에 관한 것으로, 보다 상세하게는 단말장치로 로봇청소기를 원격 제어할 수 있는 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템에 관한 발명이다.
The present invention relates to a robot cleaner, a control method for a terminal device, and a robot cleaner control system including the robot cleaner. More particularly, the present invention relates to a robot cleaner capable of remotely controlling a robot cleaner with a terminal device, The present invention relates to a robot cleaner control system.
진공 청소기는 실내의 바닥이나 카페트 등을 청소하기 위한 장치로서, 청소기 본체 내부에 구비되어 공기 흡입력을 발생시키는 모터와 팬 등으로 구성되는 공기 흡입장치의 구동에 의해 이물질이 포함된 공기를 외부로부터 흡입한 후, 이물질을 분리하여 집진하고, 이물질이 분리된 정화공기를 청소기 외부로 배출하는 장치이다.BACKGROUND ART A vacuum cleaner is a device for cleaning the floor or carpet of an interior of a vacuum cleaner. The vacuum cleaner is installed inside a vacuum cleaner main body and drives an air suction device including a motor and a fan, After that, the foreign matter is separated and collected, and the purified air from which the foreign matter is separated is discharged to the outside of the cleaner.
진공 청소기는 사용자에 의해 직접 조작되는 수동 진공 청소기와 사용자의 조작 없이 스스로 청소를 수행하는 로봇 청소기와 사용자의 조작에 의해 수동으로 청소를 수행하는 로봇청소기를 포함할 수 있다.The vacuum cleaner may include a manual vacuum cleaner directly operated by a user, a robot cleaner performing a self-cleaning without user's operation, and a robot cleaner performing manual cleaning by a user's operation.
여기서, 로봇 청소기는 청소하고자 하는 구역 내를 스스로 주행하면서 바닥으로부터 먼지 등의 이물질을 흡입한다. 또한, 로봇 청소기는 이에 마련된 장애물 센서 및 기타 센서 등을 이용하여 청소 영역을 자동으로 주행하면서 청소하거나 로봇 청소기와 무선 접속된 리모컨을 이용하여 수동으로 로봇 청소기가 주행하면서 청소하도록 조종할 수 있다.Here, the robot cleaner sucks foreign matter such as dust from the floor while traveling in the area to be cleaned by itself. In addition, the robot cleaner can be controlled to automatically clean and run the cleaning area using an obstacle sensor and other sensors provided therein, or to manually clean the robot cleaner while using the remote controller wirelessly connected to the robot cleaner.
한편, 최근에는 스마트 폰, 스마트 탭, 태블릿 PC 등과 같은 휴대용 단말장치가 생활 필수품으로 자리매김 함으로써 이러한 휴대용 단말장치와 로봇청소기를 조화롭게 이용하는데 관심이 높아지고 있다.
In recent years, portable terminal devices such as smart phones, smart tabs, tablet PCs, and the like have become popular necessities, so that interest in using these portable terminal devices and robot cleaners in harmony is increasing.
본 발명의 일측면은 서버와 연결되어 로봇청소기를 원격제어하는 단말장치의 제어 방법으로서, 서버로부터 받은 쓰레기정보에 기초하여 영상 정보 내 쓰레기 객체를 검출하고, 로봇청소기를 제어하는 단말장치의 제어방법을 제공한다.According to an aspect of the present invention, there is provided a control method of a terminal device connected to a server to remotely control a robot cleaner, the method comprising: detecting a garbage object in image information based on garbage information received from a server, .
본 발명의 다른 측면은 서버로 연결된 단말장치로부터 원격제어를 받는 로봇청소기의 제어 방법으로서, 카메라부에서 주변환경을 촬영한 영상 정보를 단말장치로 전송하고, 단말장치에서 영상 정보 내에 서버로부터 수신된 쓰레기 정보가 인식되고, 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행하는 로봇청소기의 제어방법을 제공한다. According to another aspect of the present invention, there is provided a method of controlling a robot cleaner that is remotely controlled from a terminal device connected to a server, the method comprising the steps of: transmitting video information photographed in a camera unit to a terminal device, The garbage information is recognized and it is confirmed that there are a plurality of garbage objects recognized in the video information, and when a selective cleaning execution command for a plurality of garbage objects or a collective cleaning execution command for a plurality of garbage objects is transmitted, And a control method of the robot cleaner that performs selective garbage removal or collective garbage removal according to an instruction.
본 발명의 또 다른 측면은 단말장치로 쓰레기 정보를 전송하는 서버와 서버로부터 받은 쓰레기정보에 기초하여 영상 정보 내 쓰레기 객체를 검출하고, 로봇청소기를 제어하는 단말장치와 카메라부에서 촬영된 영상 정보를 단말장치로 전송하고, 수신된 청소실행명령에 기초하여 청소를 실행하는 로봇청소기를 포함하는 로봇청소기 제어 시스템을 제공한다.
According to another aspect of the present invention, there is provided a terminal device for detecting garbage objects in image information based on garbage information received from a server for transmitting garbage information to a terminal device and garbage information received from a server, And a robot cleaner that transmits the received cleaning execution command to the terminal device and performs cleaning based on the received cleaning execution command.
본 발명의 일측면은 서버와 연결되어 로봇청소기를 원격제어하는 단말장치의 제어 방법에 있어서, 상기 서버로부터 실시간으로 또는 미리 정해진 시간에 쓰레기 정보를 수신하여 업데이트하고, 상기 로봇청소기로부터 촬영되어 전송되는 주변 환경에 대한 영상 정보를 수신하며, 상기 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 상기 영상 정보 내 쓰레기 객체를 검출하고, 해당 쓰레기 객체를 마킹하여 표시할 수 있다. One aspect of the present invention is a method of controlling a terminal device connected to a server and remotely controlling the robot cleaner, the method comprising: receiving and updating garbage information from the server in real time or at a predetermined time, And if the garbage information received from the server is recognized in the image information of the surrounding environment, the garbage object is detected, and the garbage object is marked and displayed have.
한편, 상기 영상 정보 내 쓰레기 객체를 검출하는 것은, 상기 영상 정보 내에서 객체들의 윤곽을 검출하여 에지영상을 생성하고, 미리 저장된 집안의 배경영상으로부터 윤곽을 검출하여 배경에지영상을 생성하여, 상기 에지영상에서 상기 배경에지영상을 뺀 차영상에서 상기 쓰레기 객체를 검출 할 수 있다.The detection of the garbage object in the image information may include generating an edge image by detecting an outline of objects in the image information, generating a background edge image by detecting an outline from a background image of a previously stored house, The garbage object may be detected in a difference image obtained by subtracting the background edge image from the image.
또한, 사용자의 선택에 의한 명령을 입력 받아 상기 로봇청소기로 청소실행명령을 전송하는 것을 더 포함하고, 상기 청소실행명령은 복수 개의 상기 쓰레기 객체가 검출될 경우 상기 검출된 쓰레기 객체 중 상기 사용자가 선택한 쓰레기 객체만 처리하는 명령과 상기 검출된 쓰레기 객체를 일괄적으로 처리하는 명령을 선택할 수 있다.The robot cleaner according to claim 1, further comprising instructions for receiving a command by a user and transmitting a cleaning execution command to the robot cleaner, wherein when the plurality of the garbage objects are detected, A command to process only the garbage object and an instruction to collectively process the detected garbage object can be selected.
본 발명의 다른 측면은 서버로 연결된 단말장치로부터 원격제어를 받는 로봇청소기의 제어 방법에 있어서, 상기 로봇청소기의 카메라부에서 주변환경을 촬영한 영상 정보를 상기 단말장치로 전송하고,According to another aspect of the present invention, there is provided a method of controlling a robot cleaner that is remotely controlled from a terminal device connected to a server, the method comprising: transmitting, to the terminal device,
상기 단말장치에서 상기 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되고, 상기 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 상기 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 상기 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 상기 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행할 수 있다.Wherein the terminal device recognizes the garbage information received from the server in the image information and identifies a plurality of garbage objects recognized in the image information, When a collective cleaning execution command for the trash objects is transmitted, the selective trash removal or the collective trash removal operation can be performed according to the cleaning execution command.
한편, 상기 단말장치로부터 상기 청소실행명령을 수신이 확인되지 않으면, 상기 로봇청소기는 현재위치에서 다른 위치로 이동하여 상기 로봇청소기의 이동한 주변환경을 촬영하고, 상기 이동한 주변환경을 촬영한 영상을 상기 단말장치로 전송할 수 있다.On the other hand, if the reception of the cleaning execution command from the terminal device is not confirmed, the robot cleaner moves from the current position to another position, captures the moving environment of the robot cleaner, To the terminal device.
본 발명의 또 다른 측면은 단말장치로 쓰레기 정보를 전송하는 서버와 상기 서버로부터 쓰레기 정보와 로봇청소기로부터 주변 환경에 대한 영상정보를 수신하고, 상기 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 상기 영상 정보 내 쓰레기 객체를 검출하고, 해당 쓰레기 객체를 마킹하여 표시하는 단말장치와 상기 영상 정보를 상기 단말장치로 전송하고, 상기 단말장치에서 상기 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되고, 상기 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 상기 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 상기 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행하는 로봇청소기를 포함하는 로봇청소기 제어 시스템을 제공할 수 있다.According to another aspect of the present invention, there is provided a terminal device including a server for transmitting garbage information to a terminal device, image information on the surrounding environment from garbage information and the robot cleaner from the server, A terminal device for detecting a garbage object in the image information and marking and displaying the garbage object when the information is confirmed to be recognized, and transmitting the image information to the terminal device, wherein in the terminal device, The received garbage information is recognized, and it is confirmed that there are a plurality of garbage objects recognized in the image information, so that a selective cleaning execution command for the plurality of garbage objects or a collective cleaning execution command for the plurality of garbage objects Once transferred, according to the cleaning execution command, Can provide bulk trash removal or removal robot vacuum cleaner control system including the robot vacuum cleaner to do the job.
한편, 상기 영상 정보 내 쓰레기 객체를 검출하는 것은, 상기 촬영된 영상 정보 내 배경의 영상 데이터 프레임에서 전경에 해당하는 객체의 에지를 검출하고, 상기 영상 정보에서 상기 검출된 전경 객체의 에지를 적용하고, 상기 전경 객체의 에지가 적용된 영상 데이터의 영역에 객체 검출 분류기를 적용하여 상기 쓰레기 객체를 검출하는 것을 포함할 수 있다.The detection of the garbage object in the image information may include detecting an edge of the object corresponding to the foreground in the image data frame of the background in the captured image information and applying an edge of the detected foreground object in the image information And detecting the garbage object by applying an object detection classifier to an area of the image data to which an edge of the foreground object is applied.
또한, 상기 객체 검출 분류기는 쓰레기의 모양이나 외부 환경을 달리하여 기촬영한 상기 쓰레기 객체의 영상들로부터 훈련 DB 를 구축하여 학습된 것으로 쓰레기 객체의 DB 를 생성하는 것을 포함할 수 있다.
In addition, the object detection classifier may include generating a DB of a garbage object as a learned object by constructing a training DB from images of the garbage object photographed by different shapes of the garbage or an external environment.
상술한 본 발명의 일측면에 따르면, 서버로부터 단말장치에 수신된 쓰레기 정보와 로봇청소기로부터 수신된 촬영영상을 비교하고 쓰레기를 검출하여 청소를 실행함으로써 청소실행에 있어서 정확도를 높일 수 있다. According to one aspect of the present invention, the garbage information received from the server to the terminal device is compared with the shot image received from the robot cleaner, and the garbage is detected and cleaned, thereby improving the accuracy in the cleaning execution.
또한, 디스플레이부에 출력하는 표시 형태를 아이콘이나 게임형태 등으로 다양하게 설정할 수 있는 부가적인 기능을 제공함으로써, 사용자에게 즐거움을 제공하는 이점이 있다.
In addition, there is an advantage of providing the user with pleasure by providing an additional function that can set the display form to be output to the display unit variously by an icon, a game form, and the like.
도 1 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템을 도시한 도면이다.
도 2a 내지 도2b 는 본 발명의 일실시예에 의한 로봇 청소기 제어 단말장치를 도시한 도면이다.
도 3 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템의 타임 차트이다.
도 4 는 본 발명의 일실시예에 의한 단말장치의 블록 구성도이다.
도 5 는 본 발명의 일실시예에 의한 영상정보 내 쓰레기를 검출하기 위한 단말장치의 동작 순서도이다.
도 6a 내지 6d 는 단말장치의 디스플레이부의 일 예를 도시한 도면이다.
도 7 은 본 발명의 일실시예에 의한 로봇청소기의 블록 구성도이다.
도 8 은 본 발명의 일실시예에 의한 로봇청소기의 동작 순서도이다.1 is a view showing a robot cleaner control system according to an embodiment of the present invention.
2A and 2B are views showing a terminal device for controlling a robot cleaner according to an embodiment of the present invention.
3 is a time chart of a robot cleaner control system according to an embodiment of the present invention.
4 is a block diagram of a terminal device according to an embodiment of the present invention.
5 is an operation flowchart of a terminal device for detecting garbage in image information according to an embodiment of the present invention.
6A to 6D are views showing an example of a display unit of a terminal device.
7 is a block diagram of a robot cleaner according to an embodiment of the present invention.
8 is a flowchart illustrating an operation of the robot cleaner according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.
도 1 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템을 도시한 도면이다.1 is a view showing a robot cleaner control system according to an embodiment of the present invention.
로봇 청소기 제어 시스템(1000)은 서버(100)와 단말장치(200)와 로봇 청소기(300)를 포함할 수 있다.The robot
서버(100)는 단말장치(200)로 쓰레기 정보를 전송할 수 있다. 서버(100)는 주기적으로 쓰레기 정보를 업데이트 시켜 단말장치(200)로 쓰레기 정보를 전송할 수 있다. 서버(100)는 네트워크를 통해 접속되어 있는 외부서버에 접속하거나, 사용자가 직접 서버(100)에 쓰레기 정보를 입력하여 쓰레기 정보를 업데이트 할 수 있다. 서버(100)의 업데이트 방법은 자동일 수도 있고, 수동일 수도 있다. 자동일 경우, 서버(100)는 사용자가 설정해 놓은 일정한 시간 간격에 따라 자동으로 업데이트 되거나 단말장치(200)를 통해 실행되는 앱에 접속할 때마다 업데이트 될 수 있다. 수동일 경우, 서버(100)는 원하는 시간에 사용자의 조작에 의해 업데이트 될 수 있다. The
단말장치(200)는 서버(100)로부터 실시간으로 또는 미리 정해진 시간에 쓰레기 정보를 수신 받아 업데이트할 수 있다. 단말장치(200)는 로봇청소기(300)로부터 촬영되어 전송되는 주변 환경에 대한 영상 정보를 수신할 수 있다. 단말장치(200)는 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 영상 정보 내 쓰레기 객체를 검출할 수 있다. 단말장치(200)는 검출된 해당 쓰레기 객체를 마킹하여 표시할 수 있다. The
단말장치(200)는 다양한 형태로 구현될 수 있다. 단말장치(200)는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 넷북, 태블릿 등을 포함할 수 있다.The
로봇청소기(300)는 로봇청소기(300)의 카메라부(361, 도 7 참조)에서 주변환경을 촬영한 영상 정보를 상기 단말장치(200)로 전송하고, 단말장치(200)에서 영상 정보 내에 서버로부터 수신된 쓰레기 정보가 인식되고, 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행할 수 있다.The
도 2a 내지 도2b 는 본 발명의 일실시예에 의한 로봇 청소기 제어 단말장치를 도시한 도면이다.2A and 2B are views showing a terminal device for controlling a robot cleaner according to an embodiment of the present invention.
도 2a 는 로봇청소기(300)에 단말장치(200b)를 도킹한 구성이다. 단말장치(200b)가 도킹된 로봇청소기(300)는 단말장치(200b)에 기본적으로 내장된 구성을 활용하여 사용할 수 있다. 예를 들면, 단말장치(200b)가 도킹된 로봇청소기(300)는 단말장치(200b) 내에 카메라부(361, 도 7 참조)를 실행하여 주변상황을 촬영할 수 있다. 그리고, 또다른 단말장치(200a)는 도킹된 단말장치(200b)를 제어하여 로봇청소기(300)를 동작시킬 수 있다. 본 실시예에서는 도킹이 가능한 로봇청소기(300)에 단말장치(200b)을 도킹시켜, 그 기능을 보완하고, 또 다른 단말장치(200a)로부터 제어를 받아 청소를 수행하는 로봇청소기(300)에 대한 것이다.FIG. 2A shows a configuration in which the
도 2b 는 단말장치(200)를 이용하여 직접적으로 로봇청소기(300)를 제어하는 구성이다. 단말장치(200)는 원격으로 로봇청소기(300)를 제어할 수 있다. 단말장치(200)는 로봇청소기(300)로부터 주변 영상 정보가 송신되면, 해당 정보를 수신하고, 수신된 영상 정보에 미리 저장된 쓰레기 정보가 있는 것으로 인식되면 해당 정보를 자체 디스플레이부(241, 도 4 참조)에 표시할 수 있다. 단말장치(200)는 사용자에 의해 영상에 표시된 복수 개의 쓰레기 객체에 대한 청소실행명령이 입력되면, 해당 명령을 로봇청소기(300)에 전송하여 청소를 실행할 수 있다.FIG. 2B is a configuration for directly controlling the
도 3 은 본 발명의 일실시예에 의한 로봇 청소기 제어 시스템의 타임 차트이다.3 is a time chart of a robot cleaner control system according to an embodiment of the present invention.
서버(100)는 단말장치(200)로 쓰레기 정보를 전송할 수 있다(S10). 단말장치(200)는 서버(100)로부터 쓰레기 정보를 수신할 수 있다. 로봇청소기(300)는 카메라부(361, 도 7 참조)를 실행(S20)하여 주변상황을 촬영(S30)하고, 촬영된 영상 정보를 단말장치(200)로 전송(S40)할 수 있다. 단말장치(200)는 로봇청소기(300)로부터 촬영된 영상 정보를 수신할 수 있다. 단말장치(200)는 영상 정보 내에 서버(100)로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면, 쓰레기 객체를 검출(S50)할 수 있다. 단말장치(200)는 검출된 쓰레기 객체를 디스플레이부(241, 도 4 참조)에 출력(S60)할 수 있다. 단말장치(200)는 사용자입력부(230, 도 4 참조)에서 사용자로부터 입력(S70)받은 명령을 토대로 청소실행 명령을 생성하여 로봇청소기(300)로 전송(S80)할 수 있다. 로봇청소기(300)는 단말장치(200)로부터 청소실행명령을 수신하고, 청소를 시작(S90) 할 수 있다The
도 4 는 본 발명의 일실시예에 의한 단말장치의 블록 구성도이다.4 is a block diagram of a terminal device according to an embodiment of the present invention.
도 4 를 참조하면, 본 발명의 일실시예에 따른 단말장치(200)는 무선 통신부(210), A/V(Audio/Video) 입력부(220), 사용자 입력부(230), 출력부(240), 메모리부(250), 인터페이스부(260), 제어부(270) 및 전원 공급부(280)를 포함할 수 있다. 도 4 는 다양한 구성요소를 가지고 있는 단말장치(200)를 도시하고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 단말장치(200)가 구현될 수 있고, 그보다 적은 구성요소에 의해 단말장치(200)가 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 살펴본다.4, a terminal 200 according to an exemplary embodiment of the present invention includes a
무선 통신부(210)는 단말장치(200)와 서버(100) 간의 무선 통신 또는 단말장치(200)와 로봇청소기(300)의 근거리 무선 통신을 수행하게 하는 하나 이상의 구성요소를 포함할 수 있다. The
예를 들면, 무선 통신부(210)는 이동 통신 모듈(211), 무선 인터넷 모듈(212), 근거리 통신 모듈(213) 및 위치정보 모듈(214)을 포함할 수 있다.For example, the
이동 통신 모듈(211)은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나의 무선 신호를 송수신한다. 여기서, 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication module 211 transmits and receives a radio signal of at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to a voice call signal, a video call signal, or a text / multimedia message transmission / reception.
무선 인터넷 모듈(212)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말장치(200)에 내장되거나 외장될 수 있다. 이러한 무선 인터넷 모듈(212)은 서버(100)로부터 쓰레기 정보를 수신하고, 로봇청소기(300)로부터 영상 정보를 수신할 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.The wireless Internet module 212 is a module for wireless Internet access, and may be embedded in the
근거리 통신 모듈(213)은 근거리 통신을 위한 모듈을 말한다. 이러한 근거리 통신 모듈(213)은 단말장치(200)와 근접한 위치의 로봇청소기(300)와 통신하여 영상 정보를 수신할 수 있다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다.The short-range communication module 213 is a module for short-range communication. The local communication module 213 can receive image information by communicating with the
위치정보 모듈(214)은 단말장치(200)의 위치를 확인하거나 얻기 위한 모듈이다. 일예로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수개의 인공위성으로부터 위치 정보를 수신한다. 위치정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다. 예를 들어, GPS 모듈은 3개 이상의 위성으로부터 정확한 시간과 거리를 측정하여 3개의 각각 다른 거리를 삼각 방법에 따라서 현 위치를 정확히 계산할 수 있다. 3개의 위성으로부터 거리와 시간 정보를 얻고 1개 위성으로 오차를 수정하는 방법이 사용될 수 있다. 특히, GPS 모듈은 위성으로부터 수신한 위치 정보로부터 위도, 경도, 고도뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다. 또한 IPS(Indoor Positioning System)도 이용될 수 있다.The location information module 214 is a module for confirming or obtaining the location of the
A/V(Audio/Video) 입력부(220)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(221)와 마이크(222) 등이 포함될 수 있다. 도 2a 에서와 같이 단말장치(200)를 로봇청소기(300)에 도킹하여 사용할 경우, 단말장치(200)의 카메라(221)를 통해 로봇청소기(300)의 주변상황을 촬영할 수 있다.The A / V (Audio / Video)
사용자 입력부(230)는 사용자가 단말장치(200)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(230)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(241)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.The
이러한 사용자 입력부(230)는 도 6a 내지 6c 에서와 같이, 검출된 쓰레기의 위치가 디스플레이부(241)에 표시되면, 청소실행 명령을 전송해야 할 쓰레기 객체를 선택할 수 있도록 사용자로부터 입력받을 수 있고, 도 6d 에서와 같이, 디스플레이부(241)에 표시된 쓰레기를 한꺼번에 처리할 것인지에 대한 사용자의 선택('Yes' , 'No')을 입력받을 수 있다.6A to 6C, when the position of the detected garbage is displayed on the
출력부(240)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(241), 음향 출력 모듈(242), 알람 모듈(243), 및 햅틱 모듈(244) 등이 포함될 수 있다.The
디스플레이부(241)는 단말장치(200)에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 단말장치(200)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다. 그리고 단말장치(200)가 화상 통화 모드 또는 촬영 모드인 경우 촬영 또는 수신된 영상 또는 UI, GUI를 표시할 수 있다. The
상술한 바와 같이, 디스플레이부(241)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(241)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(241)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 단말장치(200)의 구현 형태에 따라 디스플레이부(241)가 2 개 이상 존재할 수 있다.As described above, when the
이러한 디스플레이부(241)는 도 6a 내지 6c 에서와 같이, 검출된 쓰레기 객체를 마킹하여 표시하고 사용자 입력을 위한 '쓰레기 위치 좌표 아이콘'의 키를 표시할 수 있다. 또한, 디스플레이부(241)는 도 6d 에서와 같이, 디스플레이부(241)에 표시된 쓰레기를 한꺼번에 처리할 것인지에 대한 사용자의선택('Yes' , 'No')을 입력 받기 위한 키를 표시할 수 있다.6A to 6C, the
음향 출력 모듈(242)에는 음향 출력 모듈(242)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 콘텐츠 수신 모드 등에서 무선 통신부(210)로부터 수신되거나 메모리(250)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향 출력 모듈(242)은 단말장치(200)에서 수행되는 기능과 관련된 음향 신호를 출력할 수 있다. 음향 출력 모듈(242)에는 스피커, 비저 등이 포함될 수 있다.In the sound output module 242, the sound output module 242 outputs audio data received from the
알람 모듈(243)은 단말장치(200)의 이벤트 발생을 알리기 위한 신호를 출력할 수 있다. 단말장치(200)에서 발생되는 이벤트의 예로는, 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람 모듈(243)은 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 예를 들면, 진동 형태로 출력할 수 있다.The
이러한 알람 모듈(243)은 로봇청소기(300)에서 촬영된 영상에서 검출한 쓰레기 객체와 서버(100)로부터 수신한 쓰레기 정보를 비교하여 검출된 쓰레기가 있음을 알리는 알림 메시지를 사용자에게 다양한 형태로 출력할 수 있다.The
햅틱 모듈(244)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(244)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(244)이 발생하는 진동의 세기와 패턴 등은 제어가 가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.The
이러한 햅틱 모듈(244) 로봇청소기(300)에서 촬영된 영상 정보에서 검출한 쓰레기 객체와 서버(100)로부터 수신한 쓰레기 정보를 비교하여 검출된 쓰레기가 있음을 알리는 알림 메시지를 사용자에게 전송하거나 디스플레이부(241)에 표시된 쓰레기를 선택했을 때 출력할 수 있다.The
메모리(250)는 제어부(270)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 메모리(250)는 터치스크린 상의 터치 입력 시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The
또한, 이러한 메모리(250)는 로봇청소기(300)로부터 수신한 로봇청소기(300) 주변 촬영 영상 정보를 저장하고, 서버(100)로부터 수신된 쓰레기 정보 등을 저장할 수 있다.In addition, the
메모리(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The
인터페이스부(260)는 단말장치(200)에 연결되는 모든 외부기기와의 통로 역할을 할 수 있다. 인터페이스부(260)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말장치(200) 내부의 각 구성 요소에 전달하거나, 단말장치(200) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(260)에 포함될 수 있다.The
이러한 인터페이스부(260)는 사용자가 개별적으로 쓰레기정보를 단말장치(200)에 직접 입력하거나 메모리부(250)에 저장된 쓰레기 정보나 로봇청소기(300) 주변 영상 정보를 다른 장치로 전송할 수 있다.The
제어부(270)는 통상적으로 단말장치(200)의 전반적인 동작을 제어할 수 있다.The
제어부(270)는 영상 전처리부(271), 객체 검출부(272), 쓰레기 영상 표시부(273), 청소실행 명령 생성부(274) 등을 포함할 수 있다.The
보다 구체적으로, 제어부(270)는 무선통신부(210)로부터 로봇청소기(300) 주변영상 정보를 수신하면, 영상 전처리부(271)를 통해 영상 정보의 노이즈를 저감할 수 있다. 제어부(270)는 노이즈를 저감시킨 영상 정보와 메모리(250)에 저장된 쓰레기 정보를 비교하여 객체검출부(272)를 통해 쓰레기 객체를 추출할 수 있다. 제어부(270)는 쓰레기영상표시부(273)를 통해 객체검출부(270)에서 추출된 쓰레기로 인식한 위치의 좌표값을 계산하고, 디스플레이부(241)에 출력할 수 있다. 제어부(270)는 디스플레이부(241)에 출력된 쓰레기 표시 아이콘(이미지) 중 사용자입력부(230)를 통해 사용자의 선택한 쓰레기 아이콘의 좌표값에 대하여 청소 실행 명령 생성부(274)를 통해 청소실행명령을 생성하여 로봇청소기(300)로 전송할 수 있도록 제어할 수 있다.More specifically, the
이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.
영상 전처리부(271)는 로봇청소기(300)로부터 수신된 영상 정보에서 노이즈를 저감할 수 있다. 영상 전처리부(271)는 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 메트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 영상 전처리부(271)는 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다.The
객체 검출부(272)는 영상 전처리부(271)에 의해 영상 신호 처리가 수행된 영상 정보로부터 적어도 하나의 쓰레기 객체를 검출할 수 있다.The
보다 구체적으로, 객체 검출부(272)는 영상 정보에서 객체의 외곽선을 검출하고, 검출된 외곽선과 서버로부터 수신 받아 메모리부(250)에 미리 저장된 쓰레기의 외형을 비교하여 미리 저장된 쓰레기의 외형과 매칭되는 외곽선을 가진 객체를 쓰레기 객체로서 검출할 수 있다. 이때, 메모리부(250)에 저장된 쓰레기 객체의 외형은 적어도 하나 이상의 쓰레기 객체의 외형일 수 있으며, 객체 검출부(272)는 상술한 바와 같이 매칭되는 외곽선을 가진 객체를 쓰레기 객체로서 검출함과 동시에 해당 쓰레기 객체의 종류도 판단할 수 있다.More specifically, the
또한, 객체 검출부(272)는 영상 정보 내의 객체의 특징점을 추출하고, 추출된 특징점이 메모리부(250)에 미리 저장된 쓰레기 객체의 특징점에 임계치 이상의 근접도로 매칭되면, 해당 영상 정보 내의 객체를 쓰레기 객체로서 검출할 수 있다. 이때, 객체 검출부(272)는 비교 대상이 되는 두 객체의 영상에서 특징점을 추출하고, 추출된 두 객체의 특징점 기술자(descriptor)를 매칭하는 SIFT(Scale Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features) 알고리즘을 사용할 수 있다.The
또한, 객체 검출부(272)는 영상 정보에서 객체들의 윤곽을 기초로 쓰레기 객체를 검출할 수 있다. 보다 구체적으로, 객체 검출부(272)는 영상 정보에서 객체들의 윤곽을 검출하여 에지 영상을 생성하고, 메모리부(250)에 미리 저장된 집안의 배경 영상인 전경 영상 데이터로부터 윤곽을 검출하여 배경 에지 영상을 생성하며, 에지 영상에서 배경 에지 영상을 뺀 차 영상(different image) 에서 쓰레기 객체를 검출할 수 있다.In addition, the
이때, 객체 검출부(272)는 영상 정보 프레임의 그래디언트(gradient) 정보를 이용하여 프레임 내에 나타나는 객체의 윤곽을 에지로 검출하여 에지 영상을 생성할 수 있다. 여기서, 그래디언트 정보는 프레임에서 소정의 화소들 중 인접하는 화소들 간의 차이값으로부터 생성된 값으로서 차이의 절대값의 합을 의미 하고, 에지는 그래디언트 정보를 이용한 객체 간의 경계선을 의미한다.At this time, the
또한, 객체 검출부(272)는 기촬영된 집안 내 전경의 영상 정보 프레임에서 배경에 해당하는 객체의 에지를 검출하여 배경 에지 영상을 생성할 수 있다. 이때의 배경 에지 영상은 기설정된 영역의 객체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 기촬영된 집안 내 전경의 복수개의 영상 정보 프레임을 비교하여 소정의 횟수이상 반복하여 동일하게 나타나는 객체의 윤곽을 배경에지로 검출한 영상일 수도 있다.In addition, the
또한, 객체 검출부(272)는 객체 검출 분류기를 이용하여 영상 정보에서 쓰레기 객체를 검출할 수 있다. 이때, 객체 검출 분류기는 쓰레기의 모양이나 외부 환경을 달리하여 기촬영한 쓰레기 객체의 영상들로부터 훈련 DB를 구축하여 학습된 것으로서, 이러한 객체 검출 분류기는 SVM(Support Vector Machine), 신경망, AdaBoost 알고리즘 등을 포함하는 다양한 학습 알고리즘을 통해 쓰레기 객체의 DB를 생성할 수 있다. 구체적으로, 객체 검출부(272)는 기촬영된 내 배경의 영상 정보 프레임에서 전경에 해당하는 객체의 에지를 검출하고, 영상 정보에서 검출된 전경 객체의 에지를 적용하고, 전경 객체의 에지가 적용된 영상 정보의 영역에 객체 검출 분류기를 적용하여 신속하게 쓰레기 객체를 검출할 수 있다.In addition, the
쓰레기 영상 표시부(273)는 쓰레기로 인식한 위치의 좌표값을 계산하여 단말장치(200)의 디스플레이부(241)에 출력할 수 있다.The garbage
청소실행 명령 생성부(274)는 단말장치(200)의 디스플레이부(241)의 특정 부위에 가해진 압력 또는 디스플레이부(241)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하여 해당하는 좌표에 대한 명령을 생성하여 로봇청소기(300)로 전송할 수 있다.The cleaning execution
전원 공급부(280)는 제어부(270)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.The
도 5 는 본 발명의 일실시예에 의한 영상정보 내 쓰레기를 검출하기 위한 단말장치의 동작 순서도이다.5 is an operation flowchart of a terminal device for detecting garbage in image information according to an embodiment of the present invention.
무선통신부(210)는 서버(100)로부터 쓰레기 정보를 수신하여 메모리(250)에 저장할 수 있다(410). 메모리(250)에 저장하는 쓰레기 정보는 서버(100)를 통하여 수신하여 저장할 수 있고, 사용자가 직접 단말장치(200)의 인터페이스부(260)를 조작하여 웹상의 쓰레기 정보를 메모리(250)에 저장할 수도 있다. 무선통신부(210)는 로봇청소기(300)로부터 주변영상 정보를 수신하여 메모리(250)에 저장할 수 있다(420). 영상전처리부(271)는 메모리(250)에 저장된 영상 정보의 노이즈를 저감시킬 수 있다(430). 객체검출부(272)는 노이즈를 저감시킨 영상 정보 내 쓰레기 객체를 검출할 수 있다(440). 쓰레기 영상 표시부(273)는 검출된 객체를 디스플레이부(241)에 출력할 수 있다(450). 디스플레이부(241)에 출력하는 형태는 다양한 형태와 색깔을 포함할 수 있으며, 3D 형태나 이모티콘 등으로 표시할 수 있다. 실행명령생성부(274)는 출력된 쓰레기 객체 중 사용자의 선택에 의한 청소 실행 명령을 생성할 수 있다(460). 청소실행 명령은 사용자가 디스플레이부(241)에 터치한 순서대로 전송될 수 있다. 단말장치(200)의 제어부(270)는 생성된 청소실행명령을 무선통신부(210)를 통해 로봇청소기(300)로 전송할 수 있다(470). The
도 6a 내지 6d 는 단말장치의 디스플레이부의 일 예를 도시한 도면이다.6A to 6D are views showing an example of a display unit of a terminal device.
도 6a 를 참조하면 단말장치(200)의 디스플레이부(241)는 로봇청소기(300)의 카메라부(361)로부터 촬영된 집 내부 영상 정보(로봇청소기 주변 촬영 영상 정보) 내에 서버(100)로부터 수신된 쓰레기 정보가 인식되어 쓰레기 객체가 검출되면 해당 쓰레기 객체(T)를 표시 할 수 있다. 표시된 쓰레기 객체(T)를 디스플레이부(241)에서 터치하여 사용자가 선택하게 되면 실행명령생성부(274)에서 청소 실행 명령을 생성하여 로봇청소기(300)로 전송할 수 있다. 6A, the
도 6b 를 참조하면 도 6a 에서와 같이 쓰레기 객체가 검출되면 해당 객체를 점(D)의 형태로 디스플레이부(241)에 표시할 수 있다. 쓰레기 객체가 다수개가 검출되어 점(D)이 여러 개가 표시 되었을 경우, 사용자가 디스플레이부(241)에 표시된 점(D)을 터치한 순서대로 로봇청소기(300)가 청소를 실행할 수 있다.Referring to FIG. 6B, when a garbage object is detected as shown in FIG. 6A, the object may be displayed on the
도 6c 를 참조하면 도 6a 에서와 같이 쓰레기 객체가 검출되면 해당 객체를 사용자가 원하는 모양(S)의 형태로 디스플레이부(241)에 표시할 수 있다. 검출된 쓰레기 객체는 사용자가 원하는 다양한 모양뿐만 아니라 사용자가 원하는 색으로도 표시할 수 있다. 사용자가 디스플레이부(241)에 표시된 모양(S)을 터치했을 때, 햅틱 모듈(244)을 통해 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있다. 다양한 촉각 효과는 진동의 세기와 패턴 등은 제어하여 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수 있다. 또한, 사용자가 디스플레이부(241)에 표시된 모양(S)을 터치했을 때, 모양(S)이 좌우로 움직이거나 회전하는 등의 다양한 시각적 효과를 출력할 수 있다. Referring to FIG. 6C, when a garbage object is detected as shown in FIG. 6A, the object may be displayed on the
도 6d 를 참조하면 두 개 이상의 쓰레기 객체가 검출될 경우 디스플레이부(241)에 검출된 쓰레기 객체 중 사용자의 선택에 의한 쓰레기 객체만 처리하는 명령과 디스플레이부(241)에 검출된 쓰레기 객체를 일괄적으로 처리하는 명령을 선택할 수 있도록 사용자의선택('Yes' , 'No')을 입력 받기 위한 메시지 창이 뜰 수 있다.Referring to FIG. 6D, when two or more garbage objects are detected, a command to process only the garbage object selected by the user among the garbage objects detected by the
도 7 은 본 발명의 일실시예에 의한 로봇청소기의 블록 구성도이다.7 is a block diagram of a robot cleaner according to an embodiment of the present invention.
로봇 청소기(300) 본체의 전방부에는 로봇 청소기(300)의 각종 부품과 접속되어 로봇 청소기(300)의 구동을 제어하는 제어부(330)가 구비될 수 있다. 그리고, 로봇 청소기(300) 본체의 내부, 제어부(330)의 후방에는 흡입장치 등에 전원을 공급하는 배터리(340)가 구비될 수 있다. 배터리(340)의 후방에는 공기 흡입력을 발생시키는 흡입장치(310)가 구비 될 수 있다.The
외부에서 로봇 청소기(300)를 제어하기 위하여, 본 실시예에 따른 로봇 청소기(300)는 외부 장치와 무선 통신이 가능한 무선 통신부(350)를 포함할 수 있다.In order to control the robot cleaner 300 from the outside, the
무선 통신부(350)는 로봇 청소기(300)를 외부 장치 또는 외부 네트워크와 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(350)는 무선 인터넷 모듈(351), 근거리 통신 모듈(352) 등을 포함할 수 있다.The
무선 인터넷 모듈(351)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 로봇 청소기(300)에 내장되거나 외장될 수 있다. 이러한 무선 인터넷 모듈(351)은 카메라부(361)에서 촬영한 주변영상을 단말장치(200)로 전송할 수 있다.The wireless Internet module 351 refers to a module for wireless Internet access and may be built in or enclosed in the
근거리 통신 모듈(352)은 근거리 통신을 위한 모듈을 말한다. 이러한 근거리 통신 모듈(352)은 로봇청소기(300)와 근접한 위치의 단말장치(200)와 통신하여 영상정보를 발송할 수 있다.The short-range communication module 352 is a module for short-range communication. The local area communication module 352 can communicate image information with the
바퀴(320)는 청소기 본체의 양측 하부에 각각 설치되는 좌, 우측 구동 바퀴가 구비될 수 있다.The
좌, 우측 구동 바퀴는 각각, 청소기 제어부(330)에 의해 제어되는 좌륜모터(321)와 우륜모터(322)에 의해 회전하도록 구성되어, 좌륜모터(321)와 우륜모터(322)의 구동에 따라 로봇 청소기(300)가 스스로 방향전환을 하면서 실내의 청소를 수행할 수 있다.The left and right drive wheels are configured to rotate by a
A/V(Audio/Video) 입력부(360)는 로봇청소기(300)의 주변 환경의 영상을 촬영하기 위한 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(361)와 마이크(362) 등이 포함될 수 있다. 카메라(261)는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 촬영된 영상은 제어부(330)를 통해 단말장치(200)로 전송될 수 있다. The A / V (Audio / Video)
카메라(361)에서 처리된 화상 프레임은 메모리부(370)에 저장되거나 무선 통신부(350)를 통하여 외부로 전송될 수 있다. 카메라(361)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the
도 8 은 본 발명의 일실시예에 의한 로봇청소기의 동작 순서도이다.8 is a flowchart illustrating an operation of the robot cleaner according to an embodiment of the present invention.
로봇청소기(300)는 카메라(361)를 실행(510)시켜 주변 상황을 촬영(520)할 수 있다. 로봇청소기(300)는 단말장치로 촬영된 영상을 전송(530)할 수 있다. 이때, 로봇청소기(300)는 청소 실행 명령 수신 여부(540)에 따라, 청소실행 명령을 수신했을 경우, 청소를 실행(550)하고, 청소실행 명령을 수신하지 않을 경우, 로봇청소기(300)의 위치를 다른 위치로 이동(560)하여 주변 상황을 촬영(520)하고 상기의 과정을 반복할 수 있다. The
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. You will understand.
100: 서버
200: 단말장치
300: 로봇 청소기
1000: 로봇 청소기 제어 시스템100: Server
200: terminal device
300: Robot cleaner
1000: Robot vacuum cleaner control system
Claims (8)
상기 서버로부터 실시간으로 또는 미리 정해진 시간에 쓰레기 정보를 수신하여 업데이트하고,
상기 로봇청소기로부터 촬영되어 전송되는 주변 환경에 대한 영상 정보를 수신하며,
상기 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 상기 영상 정보 내 쓰레기 객체를 검출하고, 해당 쓰레기 객체를 마킹하여 표시하는 단말장치의 제어방법.A control method of a terminal device connected to a server for remotely controlling a robot cleaner,
Receiving and updating the garbage information from the server in real time or at a predetermined time,
Receiving image information on a surrounding environment photographed and transmitted from the robot cleaner,
Detecting the garbage object in the image information and marking and displaying the garbage object if it is confirmed that the garbage information received from the server is recognized in the image information of the surrounding environment.
상기 영상 정보 내 쓰레기 객체를 검출하는 것은,
상기 영상 정보 내에서 객체들의 윤곽을 검출하여 에지영상을 생성하고, 미리 저장된 집안의 배경영상으로부터 윤곽을 검출하여 배경에지영상을 생성하여, 상기 에지영상에서 상기 배경에지영상을 뺀 차영상에서 상기 쓰레기 객체를 검출하는 단말장치의 제어방법. The method according to claim 1,
Detecting the garbage object in the image information,
And generating a background edge image by detecting an outline from a background image of a previously stored home image by detecting an outline of the objects in the image information to generate a background image in the difference image obtained by subtracting the background edge image from the edge image, A method of controlling a terminal device for detecting an object.
사용자의 선택에 의한 명령을 입력 받아 상기 로봇청소기로 청소실행명령을 전송하는 것을 더 포함하고,
상기 청소실행명령은 복수 개의 상기 쓰레기 객체가 검출될 경우 상기 검출된 쓰레기 객체 중 상기 사용자가 선택한 쓰레기 객체만 처리하는 명령과 상기 검출된 쓰레기 객체를 일괄적으로 처리하는 명령을 선택할 수 있는 단말장치의 제어방법.The method according to claim 1,
Further comprising receiving a command based on a user's selection and transmitting a cleaning execution command to the robot cleaner,
Wherein the cleaning execution command includes a command for processing only the garbage object selected by the user among the detected garbage objects when the plurality of garbage objects are detected and a command for collectively processing the detected garbage objects Control method.
상기 로봇청소기의 카메라부에서 주변환경을 촬영한 영상 정보를 상기 단말장치로 전송하고,
상기 단말장치에서 상기 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되고, 상기 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 상기 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 상기 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 상기 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행하는 로봇청소기의 제어방법.A control method of a robot cleaner that receives remote control from a terminal device connected to a server,
And transmits the image information photographed in the camera section of the robot cleaner to the terminal device,
Wherein the terminal device recognizes the garbage information received from the server in the image information and identifies a plurality of garbage objects recognized in the image information, When the collective cleaning execution command for the trash objects is transmitted, performs the selective trash removal or the collective trash removal operation according to the cleaning execution command.
상기 단말장치로부터 상기 청소실행명령을 수신이 확인되지 않으면, 상기 로봇청소기는 현재위치에서 다른 위치로 이동하여 상기 로봇청소기의 이동한 주변환경을 촬영하고, 상기 이동한 주변환경을 촬영한 영상을 상기 단말장치로 전송하는 로봇청소기의 제어방법.5. The method of claim 4,
The robot cleaner moves from the current position to another position to photograph the surrounding environment moved by the robot cleaner, and when the robot cleaner receives the cleaning execution command from the terminal device, A control method of a robot cleaner for transmitting to a terminal device.
상기 서버로부터 상기 쓰레기 정보와 로봇청소기로부터 주변 환경에 대한 영상정보를 수신하고, 상기 주변 환경에 대한 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되는 것으로 확인되면 상기 영상 정보 내 쓰레기 객체를 검출하고, 해당 쓰레기 객체를 마킹하여 표시하는 단말장치; 및
상기 영상 정보를 상기 단말장치로 전송하고, 상기 단말장치에서 상기 영상 정보 내에 상기 서버로부터 수신된 쓰레기 정보가 인식되고, 상기 영상 정보 내에서 인식되는 쓰레기 객체가 복수 개인 것으로 확인되어, 상기 복수 개의 쓰레기 객체에 대한 선택적인 청소실행명령 또는 상기 복수 개의 쓰레기 객체에 대한 일괄적인 청소실행명령이 전송되면, 청소실행명령에 따라 선택적 쓰레기 제거 또는 일괄적 쓰레기 제거 작업을 수행하는 로봇청소기를 포함하는 로봇청소기 제어 시스템. A server for transmitting garbage information to the terminal device;
Receiving garbage information from the server and image information on the surrounding environment from the robot cleaner, and when it is determined that garbage information received from the server is recognized in the image information about the surrounding environment, the garbage object in the image information is detected A terminal device for marking and displaying the garbage object; And
The video information is transmitted to the terminal device, the garbage information received from the server is recognized in the video information at the terminal device, and it is confirmed that there are a plurality of garbage objects recognized in the video information, And a robot cleaner for performing selective garbage removal or collective garbage removal according to a cleaning execution command when an optional cleaning execution command for the object or a collective cleaning execution command for the plurality of garbage objects is transmitted, system.
상기 영상 정보 내 쓰레기 객체를 검출하는 것은,
촬영된 영상 정보 내 배경의 영상 데이터 프레임에서 전경에 해당하는 객체의 에지를 검출하고, 상기 영상 정보에서 상기 검출된 전경 객체의 에지를 적용하고, 상기 전경 객체의 에지가 적용된 영상 데이터의 영역에 객체 검출 분류기를 적용하여 상기 쓰레기 객체를 검출하는 것을 포함하는 로봇청소기 제어 시스템. The method according to claim 6,
Detecting the garbage object in the image information,
An edge of the object corresponding to the foreground in the image data frame of the background of the captured image information is detected, an edge of the detected foreground object is applied in the image information, and an edge of the foreground object, And detecting the garbage object by applying a detection classifier.
상기 객체 검출 분류기는
쓰레기의 모양이나 외부 환경을 달리하여 기촬영한 상기 쓰레기 객체의 영상들로부터 훈련 DB를 구축하여 학습된 것으로 쓰레기 객체의 DB를 생성하는 것을 포함하는 로봇청소기 제어 시스템.
8. The method of claim 7,
The object detection classifier
And constructing a training DB from the images of the garbage object photographed by changing the shape of the garbage or the external environment to generate a DB of the garbage object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140101640A KR101623642B1 (en) | 2014-08-07 | 2014-08-07 | Control method of robot cleaner and terminal device and robot cleaner control system including the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140101640A KR101623642B1 (en) | 2014-08-07 | 2014-08-07 | Control method of robot cleaner and terminal device and robot cleaner control system including the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160017933A true KR20160017933A (en) | 2016-02-17 |
KR101623642B1 KR101623642B1 (en) | 2016-05-23 |
Family
ID=55457283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140101640A KR101623642B1 (en) | 2014-08-07 | 2014-08-07 | Control method of robot cleaner and terminal device and robot cleaner control system including the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101623642B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108065866A (en) * | 2017-11-07 | 2018-05-25 | 郑州谦贤科技有限公司 | A kind of automatic pointing sweeping machine and method |
WO2019027140A1 (en) * | 2017-08-02 | 2019-02-07 | 삼성전자주식회사 | Cleaning robot and control method therefor |
KR20190106923A (en) * | 2019-06-24 | 2019-09-18 | 엘지전자 주식회사 | Method for displaing image and robot implementing thereof |
CN111194452A (en) * | 2017-06-09 | 2020-05-22 | 川崎重工业株式会社 | Motion prediction system and motion prediction method |
WO2021020621A1 (en) * | 2019-07-31 | 2021-02-04 | 엘지전자 주식회사 | Artificial intelligence moving agent |
US20210142061A1 (en) * | 2019-11-12 | 2021-05-13 | Samsung Electronics Co., Ltd. | Mistakenly ingested object identifying robot cleaner and controlling method thereof |
CN115444304A (en) * | 2022-08-18 | 2022-12-09 | 东莞市品佳智能科技有限公司 | Control method and system of handheld dust collector, handheld dust collector and storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020262737A1 (en) * | 2019-06-28 | 2020-12-30 | 엘지전자 주식회사 | Intelligent robot cleaner |
-
2014
- 2014-08-07 KR KR1020140101640A patent/KR101623642B1/en active IP Right Grant
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111194452A (en) * | 2017-06-09 | 2020-05-22 | 川崎重工业株式会社 | Motion prediction system and motion prediction method |
CN111194452B (en) * | 2017-06-09 | 2023-10-10 | 川崎重工业株式会社 | Motion prediction system and motion prediction method |
WO2019027140A1 (en) * | 2017-08-02 | 2019-02-07 | 삼성전자주식회사 | Cleaning robot and control method therefor |
US11452423B2 (en) | 2017-08-02 | 2022-09-27 | Samsung Electronics Co., Ltd. | Cleaning robot and method of controlling the same |
CN108065866A (en) * | 2017-11-07 | 2018-05-25 | 郑州谦贤科技有限公司 | A kind of automatic pointing sweeping machine and method |
KR20190106923A (en) * | 2019-06-24 | 2019-09-18 | 엘지전자 주식회사 | Method for displaing image and robot implementing thereof |
WO2021020621A1 (en) * | 2019-07-31 | 2021-02-04 | 엘지전자 주식회사 | Artificial intelligence moving agent |
US20210142061A1 (en) * | 2019-11-12 | 2021-05-13 | Samsung Electronics Co., Ltd. | Mistakenly ingested object identifying robot cleaner and controlling method thereof |
WO2021096144A1 (en) * | 2019-11-12 | 2021-05-20 | Samsung Electronics Co., Ltd. | Mistakenly ingested object identifying robot cleaner and controlling method thereof |
US11641994B2 (en) | 2019-11-12 | 2023-05-09 | Samsung Electronics Co., Ltd. | Mistakenly ingested object identifying robot cleaner and controlling method thereof |
CN115444304A (en) * | 2022-08-18 | 2022-12-09 | 东莞市品佳智能科技有限公司 | Control method and system of handheld dust collector, handheld dust collector and storage medium |
CN115444304B (en) * | 2022-08-18 | 2024-07-02 | 东莞市品佳智能科技有限公司 | Control method and system of handheld dust collector, handheld dust collector and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR101623642B1 (en) | 2016-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101623642B1 (en) | Control method of robot cleaner and terminal device and robot cleaner control system including the same | |
US11699271B2 (en) | Beacons for localization and content delivery to wearable devices | |
WO2019196581A1 (en) | Body posture prediction method, apparatus, device, and storage medium | |
KR101893152B1 (en) | robot cleaner system and a control method of the same | |
CN109151442B (en) | Image shooting method and terminal | |
TWI755762B (en) | Target tracking method, intelligent mobile device and storage medium thereof | |
CN109495616B (en) | Photographing method and terminal equipment | |
CN109522863B (en) | Ear key point detection method and device and storage medium | |
CN108174109B (en) | Photographing method and mobile terminal | |
CN111325699A (en) | Image restoration method and training method of image restoration model | |
CN113205515B (en) | Target detection method, device and computer storage medium | |
CN111027490A (en) | Face attribute recognition method and device and storage medium | |
EP4040332A1 (en) | Method and apparatus for upgrading an intelligent model and non-transitory computer readable storage medium | |
CN112150560A (en) | Method and device for determining vanishing point and computer storage medium | |
CN111857793B (en) | Training method, device, equipment and storage medium of network model | |
US10776631B2 (en) | Monitoring | |
CN111898535A (en) | Target identification method, device and storage medium | |
JP7405083B2 (en) | Information processing device, information processing method, and program | |
KR101613130B1 (en) | Multi smartphone and control method thereof | |
US20170316117A1 (en) | Controlling the output of information using a computing device | |
JP2021033752A (en) | Output control device, display control system, output control method and program | |
US20200349719A1 (en) | Information processing apparatus, control method, and program | |
CN113432620B (en) | Error estimation method and device, vehicle-mounted terminal and storage medium | |
CN106647794A (en) | Flight control method and apparatus | |
CN109257543B (en) | Shooting mode control method and mobile terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |