KR102071575B1 - 이동로봇, 사용자단말장치 및 그들의 제어방법 - Google Patents

이동로봇, 사용자단말장치 및 그들의 제어방법 Download PDF

Info

Publication number
KR102071575B1
KR102071575B1 KR1020130044835A KR20130044835A KR102071575B1 KR 102071575 B1 KR102071575 B1 KR 102071575B1 KR 1020130044835 A KR1020130044835 A KR 1020130044835A KR 20130044835 A KR20130044835 A KR 20130044835A KR 102071575 B1 KR102071575 B1 KR 102071575B1
Authority
KR
South Korea
Prior art keywords
information
area
user
mobile robot
setting
Prior art date
Application number
KR1020130044835A
Other languages
English (en)
Other versions
KR20140126539A (ko
Inventor
홍순혁
김정욱
브룰루츠키 니콜라이
신승영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130044835A priority Critical patent/KR102071575B1/ko
Publication of KR20140126539A publication Critical patent/KR20140126539A/ko
Application granted granted Critical
Publication of KR102071575B1 publication Critical patent/KR102071575B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in preceding groups G01C1/00-G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00Application
    • G05D2201/02Control of position of land vehicles
    • G05D2201/0203Cleaning or polishing vehicle
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Abstract

본 발명은 영역 내의 환경을 맵으로 생성하고 사용자는 영역 내 구조와 위치 기반 서비스에 필요한 정보를 맵 상에 설정하여 좀 더 직관적으로 지능적인 서비스를 이용할 수 있도록 할 수 있는 이동로봇, 사용자단말장치 및 그들의 제어방법이 제공된다. 본 이동로봇은 영역을 이동하여 소정 동작을 수행하는 동작수행부와; 상기 영역에 관한 맵구축정보를 수집할 수 있는 감지부와; 상기 수집된 맵구축정보에 기초하여 생성된 상기 영역에 대한 맵정보를 참조하여 상기 영역 내에 설정된 특정구역으로 이동하여, 상기 특정구역에 대한 상기 동작을 수행하도록 제어하는 제어부를 포함하는 것을 특징으로 한다. 이로 인하여 이동로봇(1)이 영역 내의 환경을 맵으로 생성하고 사용자는 영역 내 구조와 위치 기반 서비스에 필요한 정보를 맵 상에 설정하여 좀 더 직관적으로 지능적인 서비스를 이용할 수 있도록 할 수 있으며, 또한, 맵정보 상에 특정구역을 설정하여 이동로봇(1)을 이용하는데 편리하며 사용자의 사생활 및 영역 내에 사용자가 없을 경우에 위험한 상황이 발생하여도 이에 대한 대처를 효과적으로 할 수 있는 이동로봇, 사용자단말장치 및 그들의 제어방법을 제공할 수 있다.

Description

이동로봇, 사용자단말장치 및 그들의 제어방법{MOVING ROBOT, USER TERMINAL APPARATUS, AND CONTROL METHOD THEREOF}

본 발명은 이동로봇, 사용자단말장치 및 그들의 제어방법에 관한 것으로서, 상세하게는 이동로봇이 영역 내의 환경을 맵으로 생성하고 사용자는 영역 내 구조와 위치 기반 서비스에 필요한 정보를 맵 상에 설정하여 좀 더 직관적으로 지능적인 서비스를 이용할 수 있도록 하는 이동로봇, 사용자단말장치 및 그들의 제어방법에 관한 것이다.

기존 영역 내에서 서비스를 제공하기 위한 로봇 시스템은 자체적으로 환경을 인식하고 정해진 서비스 만을 자동으로 수행하도록 하고 있다. 즉, 로봇이 파악한 영역 내 구조 등은 로봇 자체에서 활용되고, 사용자는 정해진 서비스만을 받는다. 그러나, 점점 청소로봇 등 디바이스들이 스마트화 되고 있으며, 좀 더 다양한 확장 가능한 서비스를 제공할 것이 요구되고 있다.

 영역 내에서 이동이 가능한 유일한 스마트 디바이스로 청소로봇 등이 있는데, 좀 더 지능화된 서비스를 사용자에게 제공하기 위해서는 댁내 환경을 파악하고 이를 가시화하여 위치 기반 서비스를 가능하도록 해야 한다.

일 예로, 기존 청소로봇의 경우, 자체적으로 영역 내 환경을 인지해 구석구석 탐험하며, 청소를 하는 것이 주기능이다. 청소 등 기능 수행은 로봇의 자체 감지 능력에 의해 사용자의 간섭이 없이 자율적으로 수행되기 때문에, 기능의 확장이나 좀 더 사용자 친화적인 방법으로 기능 수행을 하도록 하는 것이 필요하다.

 이로 인하여 로봇은 영역 내의 환경을 상세히 파악하지만, 영역 내의 맵은 단순한 형태를 나타내고 있어서 이러한 맵을 활용하여 로봇을 이용하는 사용자는 불편함을 가지고 있었다.

본 발명의 목적은 상술한 종래 이동로봇, 사용자단말장치 및 그들의 제어방법을 해결하기 위한 것으로, 이동로봇이 영역 내의 환경을 맵으로 생성하고 사용자는 영역 내 구조와 위치 기반 서비스에 필요한 정보를 맵 상에 설정하여 좀 더 직관적으로 지능적인 서비스를 이용할 수 있도록 하는 이동로봇, 사용자단말장치 및 그들의 제어방법을 제공함에 있다.

상기 본 발명의 해결과제를 달성하기 위한 이동로봇은, 영역을 이동하여 소정 동작을 수행하는 동작수행부와; 상기 영역에 관한 맵구축정보를 수집할 수 있는 감지부와; 상기 수집된 맵구축정보에 기초하여 생성된 상기 영역에 대한 맵정보를 참조하여 상기 영역 내에 설정된 특정구역으로 이동하여, 상기 특정구역에 대한 상기 동작을 수행하도록 제어하는 제어부를 포함하는 이동로봇에 의해 달성될 수 있다.

여기서, 상기 제어부는, 사용자의 명령에 따라 상기 특정구역을 설정할 수 있다.

그리고, 상기 제어부는, 사용자의 명령에 따라 상기 동작을 설정할 수 있다.

여기서, 상기 특정구역을 설정하기 위한 상기 사용자의 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나의 정보를 포함하고, 상기 제어부는, 상기 정보에 기초하여 상기 특정구역을 설정할 수 있다.

그리고, 상기 사용자의 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 포함할 수 있다.

여기서, 상기 사용자의 명령은 위치정보를 포함하고, 상기 제어부는, 상기 위치정보에 기초하여 상기 특정구역으로 이동하여 상기 특정구역을 설정할 수 있다.

그리고, 상기 사용자의 명령은 동작정보를 포함하고, 상기 제어부는, 상기 동작정보에 기초하여 상기 특정구역으로 이동하여 상기 동작을 수행할 수 있다.

여기서, 영역참조정보를 포함하는 사용자의 명령을 입력할 수 있는 사용자입력부를 더 포함하고, 상기 제어부는, 상기 사용자입력부를 통해 입력되는 상기 영역참조정보를 참조하여 상기 영역에 관한 상기 맵구축정보를 수집할 수 있다.

그리고, 음성메세지를 출력하는 음성출력부를 더 포함하고, 상기 제어부는, 사용자의 명령에 대응하는 상기 특정구역의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 출력하도록 상기 음성출력부를 제어할 수 있다.

여기서, 상기 제어부는, 복수의 상기 특정영역에 대한 상기 동작정보가 입력되면, 상기 복수의 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행할 수 있다.

그리고, 상기 제어부는, 기설정된 조건이 발생되면, 상기 발생된 조건에 대응하는 상기 특정구역으로 이동하여, 기설정된 동작을 수행할 수 있다.

한편, 본 발명의 해결과제를 달성하기 위한 이동로봇의 제어방법은, 영역을 이동하여 상기 영역에 관한 맵구축정보를 수집하는 단계와; 상기 수집된 맵구축정보에 기초하여 생성된 상기 영역에 대한 맵정보를 참조하여 상기 영역 내에 설정된 특정구역으로 이동하는 단계와; 상기 특정구역에 대한 상기 동작을 수행하는 단계를 포함하는 이동로봇의 제어방법에 의해 달성될 수 있다.

여기서, 상기 이동하는 단계는, 사용자의 명령에 따라 상기 특정구역을 설정하는 단계를 포함할 수 있다.

그리고, 상기 동작을 수행하는 단계는, 사용자의 명령에 따라 상기 동작을 설정하는 단계를 포함할 수 있다.

여기서, 상기 특정구역을 설정하기 위한 상기 사용자의 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나의 정보를 포함하고, 상기 이동하는 단계는, 상기 정보에 기초하여 상기 특정구역을 설정하는 단계를 포함할 수 있다.

그리고, 상기 사용자의 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 포함할 수 있다.

여기서, 상기 특정구역을 설정하는 단계는, 상기 사용자의 명령은 위치정보를 포함하고, 상기 위치정보에 기초하여 상기 특정구역으로 이동하여 상기 특정구역을 설정하는 단계를 포함할 수 있다.

그리고, 상기 동작을 설정하는 단계는, 상기 사용자의 명령은 동작정보를 포함하고, 상기 동작정보에 기초하여 상기 특정구역으로 이동하여 상기 동작을 수행하는 단계를 포함할 수 있다.

여기서, 상기 맵구축정보를 수집하는 단계는, 사용자입력부를 통해 입력되는 상기 영역참조정보를 참조하여 상기 영역에 관한 상기 맵구축정보를 수집하는 단계를 포함할 수 있다.

그리고, 상기 특정구역 및 상기 동작을 설정하는 단계는, 사용자의 명령에 대응하는 상기 특정구역의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 출력하는 단계를 포함할 수 있다.

여기서, 상기 동작을 수행하는 단계는, 복수의 상기 특정영역에 대한 상기 동작정보가 입력되면, 상기 복수의 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행하는 단계를 포함할 수 있다.

그리고, 상기 이동하는 단계는, 기설정된 조건이 발생되면, 상기 발생된 조건에 대응하는 상기 특정구역으로 이동하는 단계를 포함하며, 상기 동작을 수행하는 단계는, 기설정된 동작을 수행하는 단계를 포함할 수 있다.

한편, 본 발명의 해결과제를 달성하기 위한 사용자단말장치는, 영역을 이동하여 동작을 수행하는 이동로봇과 통신하는 통신부와; 상기 이동로봇에 관한 영상을 표시하는 디스플레이부와; 사용자의 명령을 입력하는 사용자입력부와; 상기 영역의 맵정보를 상기 디스플레이부에 표시하고, 상기 사용자의 명령에 따라 상기 영역 내의 특정구역을 설정하여, 상기 설정된 특정구역의 정보를 상기 이동로봇으로 전송하도록 제어하는 제어부를 포함하는 사용자단말장치에 의해 달성될 수 있다.

여기서, 상기 제어부는, 사용자의 명령에 따라 상기 특정구역의 이름을 설정할 수 있다.

그리고, 상기 제어부는, 사용자의 명령에 따라 상기 동작을 설정할 수 있다.

여기서, 상기 특정구역을 설정하기 위한 상기 사용자의 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나를 포함하고, 상기 제어부는, 상기 정보에 기초하여 상기 특정구역이 설정되도록 할 수 있다.

그리고, 상기 제어부는, 상기 사용자의 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 이용하여 설정되도록 할 수 있다.

여기서, 상기 사용자의 명령은 위치정보를 포함하고, 상기 제어부는, 상기 위치정보를 상기 이동로봇으로 전송하여 상기 이동로봇을 상기 특정구역으로 이동시켜 상기 특정구역을 설정할 수 있다.

그리고, 상기 사용자의 명령은 동작정보를 포함하고, 상기 제어부는, 상기 동작정보를 상기 이동로봇으로 전송하여 상기 동작이 수행되도록 할 수 있다.

여기서, 상기 제어부는, 영역참조정보를 상기 이동로봇으로 전송하여 상기 영역에 관한 맵구축정보를 수집하도록 할 수 있다.

그리고, 상기 제어부는, 상기 특정구역의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 수신하며, 상기 특정구역의 설정 및 상기 동작의 설정 중 적어도 하나를 설정할 수 있다.

여기서, 상기 제어부는, 상기 이동로봇이 상기 복수의 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행하도록 복수의 상기 특정영역에 대한 상기 동작정보를 전송할 수 있다.

그리고, 상기 제어부는, 사용자의 명령에 따라 상기 영역 내에서의 소정의 조건, 소정의 동작을 설정하여 상기 이동로봇으로 전송할 수 있다.

한편, 본 발명의 해결과제를 달성하기 위한 사용자단말장치의 제어방법은, 상기 영역의 맵정보를 표시하는 단계와; 상기 사용자의 명령에 따라 상기 영역 내의 특정구역을 설정하는 단계와; 상기 설정된 특정구역의 정보를 상기 이동로봇으로 전송하는 단계를 포함하는 사용자단말장치의 제어방법에 의해 달성될 수 있다.

여기서, 상기 특정구역을 설정하는 단계는, 사용자의 명령에 따라 상기 특정구역의 이름을 설정하는 단계를 포함할 수 있다.

그리고, 상기 특정구역을 설정하는 단계는, 사용자의 명령에 따라 상기 동작을 설정하는 단계를 포함할 수 있다.

여기서, 상기 특정구역을 설정하기 위한 상기 사용자의 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나를 포함하고, 상기 특정구역을 설정하는 단계는, 상기 제어부는, 상기 정보에 기초하여 상기 특정구역을 설정하는 단계를 포함할 수 있다.

그리고, 상기 동작을 설정하는 단계는, 상기 사용자의 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 이용하여 설정하는 단계를 포함할 수 있다.

여기서, 상기 특정구역의 이름을 설정하는 단계는, 상기 사용자의 명령은 위치정보를 포함하고, 상기 위치정보에 기초하여 상기 특정구역으로 이동하여 상기 특정구역의 이름을 설정하는 단계를 포함할 수 있다.

그리고, 상기 동작을 설정하는 단계는, 상기 사용자의 명령은 동작정보를 포함하고, 상기 동작이 수행되도록 상기 동작정보를 상기 이동로봇으로 전송하는 단계를 포함할 수 있다.

여기서, 상기 맵정보를 표시하는 단계는, 상기 영역에 관한 맵구축정보를 수집하도록 영역참조정보를 상기 이동로봇으로 전송하는 단계를 포함할 수 있다.

그리고, 상기 특정구역의 이름 및 상기 동작을 설정하는 단계는, 상기 특정구역의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 수신하는 단계와; 상기 특정구역의 설정 및 상기 동작의 설정 중 적어도 하나를 설정하는 단계를 포함할 수 있다.

여기서, 상기 이동로봇으로 전송하는 단계는, 상기 이동로봇이 상기 복수의 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행하도록 복수의 상기 특정영역에 대한 상기 동작정보를 전송하는 단계를 포함할 수 있다.

그리고, 상기 이동로봇으로 전송하는 단계는, 사용자의 명령에 따라 상기 영역 내에서의 소정의 조건, 소정의 동작을 설정하여 상기 이동로봇으로 전송하는 단계를 포함할 수 있다.

본 발명에 의하면, 이동로봇이 영역 내의 환경을 맵으로 생성하고 사용자는 영역 내 구조와 위치 기반 서비스에 필요한 정보를 맵 상에 설정하여 좀 더 직관적으로 지능적인 서비스를 이용할 수 있도록 하는 효과가 있다.

또한, 맵정보 상에 특정구역을 설정하여 이동로봇을 이용하는데 편리하며 사용자의 사생활 및 영역 내에 사용자가 없을 경우에 위험한 상황이 발생하여도 이에 대한 대처를 효과적으로 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 이동로봇을 이용한 영역 내의 맵 생성 시스템 구조를 나타내는 개략도이며,
도 2는 본 발명에 따른 이동로봇의 구성을 나타내는 블럭도이고,
도 3은 본 발명의 일 실시 예에 따른 이동로봇의 구성을 나타내는 블럭도이며,
도 4는 본 발명에 따른 사용자단말장치의 구성을 나타내는 블럭도이고,
도5는 본 발명의 일 실시 예에 따른 사용자단말장치의 구성을 나타내는 블럭도이며,
도 6은 본 발명의 일 실시 예에 따른 클라우드 서버의 구성을 나타내는 블럭도이고,
도 7은 본 발명의 일 실시 예에 따른 이동로봇이 2D 평면도 및 3D 모델을 생성하는 예시도이며,
도 8 은 본 발명의 일 실시 예에 따른 클라우드 서버에서 2D 평면도 및 3D 모델을 생성하는 예시도이고,
도 9는 본 발명의 일 실시 예에 따른 클라우드 서버에서 기 생성된 2차원 평면도 및 3차원 모델이 저작도구에 의해 수정되는 예시도이며,
도 10 내지 12는 본 발명의 일 실시 예에 따른 이동로봇, 클라우드 서버, 사용자단말장치에서 특정구역 정보가 설정되는 예시도이고,
도 13내지 도 14는 본 발명의 일 실시 예에 따른 이동로봇, 사용자단말장치에서 영역참조정보가 입력되는 예시도이며,
도 15는 본 발명의 일 실시 예에 따른 이동로봇의 영역 내 디바이스의 위치 인식을 위한 디바이스 메타데이터를 활용한 위치 정보를 설정하는 것을 나타내는 예시도이고,
도 16는 본 발명의 일 실시 예에 따른 홈 네트워크를 활용한 음성인식명령의 공유방법을 나타내는 예시도이며,
도 17은 본 발명의 일 실시 예에 따른 이동로봇을 이용한 영역 내의 실내공간 맵 생성과정을 나타내는 예시도이고,
도 18 내지 도 19는 본 발명의 일 실시 예에 따른 영역 내 맵이 생성된 후에 이를 활용한 위치기반 서비스를 나타내는 예시도이며,
도 20은 본 발명의 일 실시 예에 따른 특정구역 지정을 통한 청소 및 명령을 스케줄링하는 예시도이고,
도 21은 본 발명의 일 실시 예에 따른 영역 내의 맵에 가상벽 및 청소영역을 설정하는 예시도이며,
도 22내지 도 23은 본 발명의 일 실시 예에 따른 제스처 및 음성, 포인터 디바이스 등으로 이동로봇을 이동시킨 후 특정영역을 설정하는 예시도이고,
도 24는 본 발명의 일 실시 예에 따른 이동로봇을 이용한 영역 내 맵생성을 위한 동작흐름도이며,
도 25는 본 발명에 따른 이동로봇의 제어흐름도이고,
도 26은 본 발명의 일 실시 예에 따른 사용자단말장치의 제어흐름도이다.

이하에서는 첨부한 도면을 참조하여 본 발명에 대해 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다. 설명의 편의상 본 발명과 직접적으로 관련이 없는 부분은 생략하였고, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 부여하였다.

도 1은 본 발명의 일 실시 예에 따른 이동로봇(1)을 이용한 영역 내의 맵 생성 시스템 구조를 나타내는 개략도이다.

3차원 센싱 시스템을 구비한 이동로봇(1)은 3D Depth 센서, RGB 카메라, 주행거리 추정 가능한 Odometry(휠 엔코더, 자이로 센서 등)를 포함한 이동로봇(1)으로 영역 내 공간에서 이동이 자유로운 자율 이동로봇(1)이다. 이동로봇(1)은 도 1에 도시된 바와 같은 시스템 구조를 이용하여 자체적으로 영역 내 환경의 3차원 점 데이터를 추출하고 이를 통해서 이동로봇(1)의 위치와 주변환경의 맵을 실시간으로 계속 생성/업데이트 한다. 이러한 기능을 3D SLAM (Simultaneous Localization And Mapping) 이라고 한다. 3D SLAM의 결과로 로봇이 파악한 영역 내 맵 정보와 실제 환경의 3차원 점 데이터를 얻을 수 있는데, 3D SLAM에서 얻어진 3차원 점 데이터를 처리하여 영역 내 환경의 외벽면을 추출하는 SW 모듈, 추출된 외벽면 구조에 기반한 영역 내 영역 구분 SW 모듈 등이 이동로봇(1)에 탑재 포함될 수 있다.

클라우드 기반 서버 혹은 홈 클라우드는 이동형 디바이스로부터의 실내환경 센싱 정보를 저장/가공하여 사용자단말장치(2)에 영역 내 맵정보를 제공하기 위한 것으로 영역 내의 홈 클라우드 혹은 외부의 클라우드 서버(3)가 될 수 있다. 또한, 자동 생성되는 영역 내 맵정보를 사용자가 수정/보완할 수 있도록 사용자 저작도구 등을 제공할 수 있다.

생성된 맵을 활용하여 이동로봇(1)을 조작, 명령 수행을 하기 위한 사용자단말장치(2)는 스마트폰/스마트탭/스마트패드, 스마트TV 등으로 구현될 수 있으며, 생성된 영역 내 맵을 이동로봇(1)에 직접 통신하여 수신하거나 혹은 홈 클라우드, 외부의 클라우드 서버(3)에 접속하여 수신할 수 있고, 생성된 영역 내 맵을 활용하여 영역 내 이동로봇(1) 혹은 디바이스 등을 제어할 수 있다.

여기서, 도 24에 도시된 본 발명의 일 실시 예에 따른 이동로봇(1)을 이용한 영역 내 맵생성을 위한 동작흐름도를 설명한다. 사용자가 이동로봇(1)을 구매하여 사용자의 영역 내에서 이동로봇(1)을 이용하는 것을 일 예로 설명한다.

사용자는 이동로봇(1)을 구매하여 영역 내에서 초기 시동 시, 영역 내의 구조를 이동로봇(1)이 자동으로 탐사하여 3차원 맵을 생성하기 위한 과정을 나타낸다.

 사용자가 이동로봇(1)을 구매할 경우(S1), 영역 내에 대한 영역참조정보(146)를 입력할 수 있다(S2). 예를 들어, 영역 내에 방의 개수, 스마트장치(냉장고, 에어컨, TV 등)의 개수, 무선 AP의 존재 여부 등을 사용자와의 문답을 통해서 이동로봇(1)에 입력할 수 있다. 이 경우, 이동로봇(1)에 영역참조정보(146)를 입력하기 위해서는 스마트폰을 활용하여 GUI 기반으로 입력하거나 혹은 이동로봇(1) 자체의 음성인식/출력 기능을 활용할 수 있다. 또한, 특정위치로 이동로봇(1)을 이동하도록 조작하여 해당 위치에 위치정보를 로봇이 기억하도록 할 수 있다. 예를 들어, 특정 위치로 로봇을 이동 시킨 후, 해당 위치를 '거실', '에어컨 앞' 등으로 이름을 미리 부여할 수 있다.

영역 내 환경 영역참조정보(146) 입력 후, 사용자는 이동로봇(1)을 이용하여 영역 내 환경을 자동 탐사하도록 한다(S3). 이동로봇(1)은 자체적으로 바퀴 엔코더(미도시) 및 자이로 센서(미도시) 등을 통해서 이동한 궤적을 계산하여 이동로봇(1)의 현재 위치와 진행방향을 추정한다. 또한, 3차원 센서를 구비하여 이동로봇(1) 전면부의 실사 이미지와 이미지에 대응하는 물체까지의 깊이 정보를 얻을 수 있으므로 3차원 센서를 이용하여 3D SLAM을 수행할 수 있다. 3D SLAM은 실사 이미지로부터 특징을 추출하며, 연속하는 두 이미지 간의 변하지 않는 특징을 추출하여 이동로봇(1)의 이동을 추정하는데 앞서 언급한 바퀴 엔코더 및 자이로 센서 등을 활용한 이동로봇(1)의 위치 및 진행방향 추정에 부가적으로 활용되어 추정성능을 향상시킬 수 있다.

 이 과정에서 이동로봇(1)은 3차원 환경 정보를 얻으며, 실내의 주변 구조물 등의 3차원 점 데이터들을 얻게 된다. 결과적으로 이동로봇(1)을 이용한 영역 내 자동 탐사(3D SLAM)를 통하여 이동로봇(1)의 현재 위치, 진행방향, 그리고 주변 구조물에 대한 3차원 점 데이터들을 얻게 된다. 이동 로봇이 전체 영역 내를 탐사하게 되면, 이러한 3차원 점 데이터들을 전체 실내 환경에 대하여 획득할 수 있다.

 획득된 실내환경의 3차원 점 데이터들을 이용하여 영역 내 구조의 맵을 생성할 수가 있다. 맵을 생성하기 위해서는 3차원 점 데이터들로부터 영역 내 벽면정보를 추출할 수 있다. 먼저, 3차원 점 데이터들의 최외각 점들을 기반으로 벽면으로 추정되는 부분을 추출하여 실내의 외벽면 구조를 알 수가 있다. 벽면 모델링을 위한 데이터 이외에 제거된 공간 내 구조물 데이터 등은 사용자 저작도구에서 수동 모델링 시 맵정보로 활용될 수 있다.

또한, 이동로봇(1)이 주행 중 전면부 실사 이미지와 3차원 점 데이터를 활용하여 영역 내에 존재하는 특정 디바이스, 예를 들어, 스마트 TV, 에어컨, 냉장고 등 스마트 디바이스를 이미지 처리를 통하여 인식하고, 이동로봇(1)의 현재 위치를 기반으로 해당 디바이스의 상대적 위치를 계산함으로써, 영역 내에 존재하는 스마트 디바이스의 위치를 추출할 수 있다(S4). 영역 내 스마트 디바이스의 위치는 이후 영역 내의 맵이 생성된 후(S5), 맵에 위치가 등록되어 위치기반 서비스에 활용될 수 있다.

 공간 내 벽면 추출이 완료되면, 실내 공간은 몇 개의 구역으로 구분될 수 있다. 예를 들어, 거실, 방1, 방2, 주방 등으로 나뉘어 질 수 있다. 그러나, 자동으로 추출된 맵정보는 해당 구역이 거실인지, 방인지 주방인지는 알 수 없으므로 구역을 설정해야 하는데, 이 부분은 사용자의 입력에 의해서 이루어진다. 이를 위해서 사용자는 영역 내 환경 특정구역 입력 시 혹은 저작도구 혹은 스마트폰의 프로그램을 활용하거나 혹은 맵 생성 이후, 이동로봇(1) 조작을 통한 설정과정을 통해서 특정구역에 대한 이름을 부여할 수가 있다. 예를 들어, '거실', '주방', '영수방', '철수방' 등으로 특정구역에 사용자가 사용할 명칭을 부여할 수 있다.

 이동로봇(1)이 수집한 공간 내 벽면의 추출과정은 자동으로 이루어지게 되는데, 벽면 추출결과로 영역 내 실내환경에 대한 2차원 평면도 형태로 추출될 수 있다. 사용자는 자동 추출된 2차원 평면도가 실제와 같은지 확인하고 그렇지 않을 경우, 추출된 벽면정보를 사용자 저작도구를 이용하여 수정할 수가 있다.

 이러한 과정을 통해서 실내 공간에 대한 2차원 평면도가 구축되면, 2D-3D 변환에 의해 실내 공간에 대한 3차원 맵을 자동으로 생성할 수 있다(S6). 여기서 2차원 평면도의 외곽벽면에 일정 두께와 높이를 적용하여 3차원 맵을 생성할 수 있다. 사용자 저작도구를 통하여 자동으로 변환된 실내 공간의 3차원 맵은 사용자 저작도구를 이용하여 구성된 벽면 이외의 실내 구조물, 예를 들어, 탁자, 의자 등 모델을 추가하여 사용자 특정구역 내의 맵을 구성할 수가 있다.

 상기와 같은 과정를 통해서 도 24에서 구성된 영역 내 실내환경 3차원 맵은 이동로봇(1)의 3차원 센싱 데이터를 활용하여 벽면이 자동으로 구성되고, 사용자 저작도구를 통하여 실내구조물 등을 생성할 수 있다. 또한, 생성된 3차원 맵에 특정구역의 설정이 가능하며, 스마트TV, 에어컨 등 실내에 인식 가능한 스마트 디바이스의 위치가 표시될 수 있다.

 그러므로 생성된 실내환경 3차원 맵은 사용자가 이동로봇(1)을 활용하여 위치 기반의 명령 수행 등이 가능한 지능화된 서비스를 제공하는 데 활용될 수 있다.

 도 24에서 벽면 정보 및 영역정보 추출 모듈의 영역 내 실내환경 2차원 평면도 생성은 이동로봇(1) 자체에서 수행될 수 있으며, 2D-3D 변환 모듈 및 3차원 사용자 저작은 PC 등을 이용하여 별도 수행될 수 있다.

본 발명에서 도 1과 같은 시스템에서 이동로봇(1)은 도 2의 '벽면 정보 및 영역정보 추출 기능', '2차원 영역 내 평면도 생성', '2D-3D 변환'을 자체적으로 수행할 수 있으며, 도 1의 클라우드 서버(3) 등에서 2D/3D 저작도구를 활용하여 2차원 평면도 및 3차원 실내 공간 맵생성이 가능하다. 즉, 이동로봇(1)에서 생성되는 2차원 평면도와 자동 변환된 3D 맵은 클라우드 서버(3) 등에서 사용자에 의해 변경된 부분을 공유하여 업데이트될 수 있다. 또한, 이동로봇(1)의 영역 내 탐사 결과가 업데이트 될 경우, 클라우드 서버(3)의 2차원 평면도 및 3차원 모델도 업데이트될 수 있다.

 또한, 도 1에서 이동로봇(1)-클라우드 서버(3)-사용자 단말 간 공유정보로써, 특정구역을 들 수 있는데, 사용자는 이동로봇(1) 자체를 이용하여 특정위치로 이동 시킨 뒤, 특정구역('철수방', '영희방' 등 의미정보)을 설정할 수 있으며, 이러한 특정구역의 갱신도 클라우드 서버(3)에 동기화되어 적용될 수 있다. 또한, 클라우드 서버(3)에서 2D/3D 저작도구를 이용한 특정구역 설정 시에도 설정된 특정구역이 이동로봇(1)에 2차원 평면도와 함께 저장될 수 있다. 또한, 스마트폰과 같은 사용자단말장치(2)에서 클라우드 서버(3) 혹은 이동로봇(1)으로부터 해당 2차원 평면도 혹은 3차원 모델 데이터를 제공받을 수 있으며, 사용자는 모델의 자동 추출된 영역에 특정구역을 설정/수정할 수 있으며, 클라우드 서버(3) 혹은 이동로봇(1)에 특정구역으로 업데이트/저장될 수 있다.

도 2는 본 발명에 따른 이동로봇(1)의 구성을 나타내는 블록도이다. 도 2에 도시된 바와 같이, 본 발명에 따른 이동로봇(1)은 동작수행부(110), 감지부(120), 통신부(130), 저장부(140), 제어부(100)를 포함할 수 있다.

동작수행부(110)는 이동로봇(1)이 이동할 수 있도록 하는 역할을 하며, 영역 내를 감지할 수 있도록 센서를 회전시킬 수 있도록 할 수 있다. 일 예로, 이동로봇(1)을 청소로봇으로 구현할 경우, 청소를 위한 흡입을 수행할 수도 있다. 또한, 화재의 발생 시 이를 감지하여 이를 알리는 이동과 동작을 수행할 수 있다. 이와 같은 동작수행부(110)는 구성요소로 마련되어 이동로봇(1)의 동작을 수행할 수 있으며, 소프트웨어로 마련되어 제어의 역할과 함께 동작을 수행할 수도 있다. 또한, 동작수행부(110)는 소프트웨어로 마련될 경우, 제어부(100)와 같은 공간에 마련되어 제어부(100)에 포함될 수도 있다.

감지부(120)는 영역 내의 벽면, 디바이스 및 구조물의 위치를 감지할 수 있는 센서로 구현될 수 있다. 제어부(100)의 제어에 의해 주변을 자동 탐사할 수 있으며, 위치를 감지할 수 있도록 마련될 수 있다.

통신부(130)는 외부입력에 의한 신호를 수신할 수 있다. 통신부(130)는 다양한 무선으로 수신되는 신호를 미리 정해진 무선통신규격에 따라서 수신할 수 있다.

통신부(130)는 외부입력으로부터의 신호/데이터를 수신하는 구성뿐 아니라, 이동로봇(1)의 설계 방식에 따라서, 무선 통신을 위한 무선통신모듈(미도시)이나 방송신호의 튜닝을 위한 튜너(미도시)와 같은 다양한 부가적인 구성을 더 포함할 수 있다. 통신부(130)는 외부장치로부터 신호를 수신하는 것 이외에도, 이동로봇(1)의 정보/데이터/신호를 외부장치에 전송할 수도 있다. 즉, 통신부(130)는 외부장치의 신호를 수신하는 구성으로만 한정할 수 없으며, 양방향 통신이 가능한 인터페이스(interface)로 구현될 수 있다. 통신부(130)는 복수의 제어장치로부터 UI를 선택하기 위한 제어신호를 수신할 수 있다. 통신부(130)는 무선랜 (WiFi), 블루투스(Bluetooth), IR(Infrared), UWB(Ultra Wideband), 지그비(Zigbee) 등 공지의 근거리 무선통신을 위한 통신모듈로 구성되거나, 3G, 4G, LTE 등의 이동통신 모듈로 구성될 수 있으며, 유선통신을 위한 공지의 통신포트로 구성될 수도 있다. 통신부(130)는 UI를 선택하기 위한 제어신호 이외에, 디스플레이의 조작을 위한 명령, 데이터의 송수신 등 다양한 목적으로 활용될 수 있다.

저장부(140)는 이동로봇(1)에 전원이 차단되더라도 데이터들이 남아있어야 하며, 사용자의 변동 사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable ROM)로 마련되는 것이 바람직하다. 즉, 저장부(140)는 플래쉬 메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 마련될 수 있다. 제어부(100)의 제어에 의해 감지부(120)의 감지 데이터 및 맵에 관한 정보를 자동 저장할 수 있도록 제어될 수 있다. 또한, 생산자 및 사용자에 의해 조건 및 동작에 관한 정보가 기설정되어 저장부(140)에 저장될 수 있다.

제어부(100)는 이동로봇(1) 내의 디바이스를 전반적으로 제어할 수 있다. 제어부(100)는 영역을 이동하도록 동작수행부(110)를 제어하여 감지부(120)를 통하여 영역에 관한 맵구축정보를 수집할 수 있도록 제어할 수 있다. 제어부(100)는 수집된 맵구축정보에 기초하여 생성된 영역에 대한 맵정보를 참조하여 영역 내에 설정된 특정구역으로 이동하여, 특정구역에 대한 동작을 수행하도록 제어할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 이동로봇(1)의 구성을 나타내는 블럭도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이동로봇(1)은 동작수행부(110), 감지부(120), 통신부(130), 저장부(140), 제어부(100)의 도 2의 구성을 포함할 수 있으며, 추가적으로 사용자입력부(150), 음성출력부(160)를 포함할 수 있다.

사용자입력부(150)는 사용자의 조작 및 입력에 따라서 기 설정된 다양한 제어 커맨드 또는 정보를 제어부(100)에 전달한다. 사용자입력부(150)는 디스플레이장치 외측에 설치된 메뉴 키(menu-key) 또는 입력 패널(panel)이나, 이동로봇(1)과 분리 이격된 리모트 컨트롤러(remote controller) 등으로 구현될 수 있다. 또는, 사용자입력부(150)는 디스플레이부(미도시)와 일체형으로 구현될 수 있는 바, 디스플레이부가 터치스크린(touch-screen)인 경우에 사용자는 디스플레이부에 표시된 입력메뉴(미도시)를 터치함으로써 기 설정된 커맨드를 제어부(100)에 전달할 수 있다.

사용자입력부(150)는 영역 내를 감지하는 센서를 통하여 사용자의 제스처를 감지하여 사용자의 명령을 제어부(100)로 전달할 수 있으며, 사용자의 음성명령을 제어부(100)로 전달하여 동작 및 설정을 수행할 수도 있다.

음성출력부(160)는 사용자의 명령에 대한 설정을 할 수 있도록 제어부(100)의 제어에 의해 사용자 및 사용자단말장치(2)로 음성메세지를 출력할 수 있다. 이를 테면, '영역이름을 설정하시겠습니까?'와 같은 음성메세지를 출력하여 사용자가 특정구역을 설정하는 것을 확인할 수 있다.

동작수행부(110)는 도 3에 도시된 바와 같이, 이동을 위한 구동모듈(111), 감지부(120)에서 감지된 정보를 처리하는 2D/3D처리모듈(112), 2차원 평면도 생성모듈(113), 2D-3D모델변환모듈(114)을 포함할 수 있다. 여기서, 동작수행부(110)는 소프트웨어로 구성될 경우, 제어부(100)에 포함될 수 있으며, 구성요소인 하드웨어로 마련될 경우, 제어부(100)와 별도로 마련되어 동작을 수행할 수도 있다.

저장부(140)는 특정구역정보(145), 감지부(120)에서 감지된 2D/3D 센싱 정보(142), 2D평면도(143), 3D모델정보(144), 영역참조정보(141), 그리고 영역 내 가전기기 등 디바이스 위치정보(146)를 제어부(100)의 제어에 의해 각각의 영역에 저장할 수 있다.

감지부(120)는 영역 내를 감지하는 센서로 자동탐사모듈(121), 2D/3D센싱모듈(122), 위치인식모듈(123)을 포함할 수 있다.

제어부(100)는 사용자의 명령에 따라 특정구역을 설정할 수 있고, 사용자의 명령에 따라 동작을 설정할 수 있다. 특정구역을 설정하기 위한 사용자의 명령은 특정구역 내의 디바이스 및 구조물 중 적어도 하나의 정보를 포함하고, 제어부(100)는 정보에 기초하여 특정구역을 설정할 수 있다.

사용자의 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 포함하는 것으로 제어부(100)는 이에 대한 디바이스를 제어할 수 있다. 사용자의 명령은 위치정보를 포함하고, 제어부(100)는 위치정보에 기초하여 특정구역으로 이동하여 특정구역을 설정할 수 있다. 또한, 사용자의 명령은 동작정보를 포함하고,

제어부(100)는 동작정보에 기초하여 특정구역으로 이동하여 동작을 수행할 수 있다. 특정구역을 포함하는 사용자의 명령을 입력할 수 있는 사용자입력부(150)를 더 포함하고, 제어부(100)는 사용자입력부(150)를 통해 입력되는 영역참조정보를 참조하여 영역에 관한 맵구축정보를 수집하도록 제어할 수 있다. 제어부(100)는 사용자의 명령에 대응하는 특정구역의 설정 및 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 출력하도록 음성출력부(160)를 제어할 수 있다. 제어부(100)는 복수의 특정영역에 대한 동작정보가 입력되면, 복수의 특정구역의 위치에 기초하여 순차적으로 동작을 수행하도록 제어할 수 있다. 제어부(100)는 기설정된 조건이 발생되면 발생된 조건에 대응하는 특정구역으로 이동하여 기설정된 동작을 수행할 수 있도록 동작수행부(110)를 제어할 수 있다.

도 4는 본 발명에 따른 사용자단말장치(2)의 구성을 나타내는 블록도이다. 도 4에 도시된 바와 같이, 본 발명에 따른 사용자단말장치(2)는 사용자입력부(210), 통신부(220), 디스플레이부(230), 저장부(240), 제어부(200)를 포함할 수 있다.

사용자입력부(210)는 사용자의 조작 및 입력에 따라서 기 설정된 다양한 제어 커맨드 또는 정보를 제어부(200)에 전달한다. 사용자입력부(210)는 디스플레이장치 외측에 설치된 메뉴 키(menu-key) 또는 입력 패널(panel)이나, 사용자단말장치(2)와 분리 이격된 리모트 컨트롤러(remote controller) 등으로 구현될 수 있다. 또는, 사용자입력부(210)는 디스플레이부(230)와 일체형으로 구현될 수 있는 바, 디스플레이부(230)가 터치스크린(touch-screen)인 경우에 사용자는 디스플레이부(230)에 표시된 입력메뉴(미도시)를 터치함으로써 기 설정된 커맨드를 제어부(200)에 전달할 수 있다.

사용자입력부(210)는 영역 내를 감지하는 센서를 통하여 사용자의 제스처를 감지하여 사용자의 명령을 제어부(200)로 전달할 수 있으며, 사용자의 음성명령을 제어부(200)로 전달하여 동작 및 설정을 수행할 수도 있다.

통신부(220)는 외부입력에 의한 신호를 수신할 수 있다. 통신부(220)는 다양한 무선으로 수신되는 신호를 미리 정해진 무선통신규격에 따라서 수신할 수 있다.

통신부(220)는 외부입력으로부터의 신호/데이터를 수신하는 구성뿐 아니라, 이동로봇(1)의 설계 방식에 따라서, 유선/무선 통신을 위한 유선/무선통신모듈(미도시)이나 방송신호의 튜닝을 위한 튜너(미도시)와 같은 다양한 부가적인 구성을 더 포함할 수 있다. 통신부(220)는 외부장치로부터 신호를 수신하는 것 이외에도, 사용자단말장치(2)의 정보/데이터/신호를 외부장치에 전송할 수도 있다. 즉, 통신부(220)는 외부장치의 신호를 수신하는 구성으로만 한정할 수 없으며, 양방향 통신이 가능한 인터페이스(interface)로 구현될 수 있다. 통신부(220)는 복수의 제어장치로부터 UI를 선택하기 위한 제어신호를 수신할 수 있다. 통신부(220)는 무선랜 (WiFi), 블루투스(Bluetooth), IR(Infrared), UWB(Ultra Wideband), 지그비(Zigbee) 등 공지의 근거리 무선통신을 위한 통신모듈로 구성되거나, 3G, 4G, LTE 등의 이동통신 모듈로 구성될 수 있으며, 유선통신을 위한 공지의 통신포트로 구성될 수도 있다. 통신부(220)는 UI를 선택하기 위한 제어신호 이외에, 디스플레이의 조작을 위한 명령, 데이터의 송수신 등 다양한 목적으로 활용될 수 있다.

저장부(240)는 사용자단말장치(2)에 전원이 차단되더라도 데이터들이 남아있어야 하며, 사용자의 변동 사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable ROM)로 마련되는 것이 바람직하다. 즉, 저장부(240)는 플래쉬 메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 마련될 수 있다. 제어부(200)의 제어에 의해 감지부의 감지 데이터 및 맵에 관한 정보를 자동 저장할 수 있도록 제어될 수 있다. 또한, 생산자 및 사용자에 의해 조건 및 동작에 관한 정보가 기설정되어 저장부(240)에 저장될 수 있다.

디스플레이부(230)는 영상처리부(250)(미도시)로부터 출력되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(230)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.

디스플레이부(230)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(230)가 액정 방식인 경우, 디스플레이부(230) 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함한다.

제어부(200)는 영역의 맵정보를 디스플레이부(230)에 표시하고, 사용자의 명령에 따라 영역 내의 특정구역을 설정하여, 설정된 특정구역의 정보를 이동로봇(1)으로 전송하도록 제어할 수 있다.

도5는 본 발명의 일 실시 예에 따른 사용자단말장치(2)의 구성을 나타내는 블럭도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 사용자단말장치(2)는 도 4의 사용자입력부(210), 통신부(220), 디스플레이부(230), 저장부(230), 제어부(200)를 포함하며, 추가로 영상처리부(250), UI생성부(260)를 포함할 수 있다.

영상처리부(250)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.

영상처리부(250)는 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 사용자단말장치(2)에 내장될 수 있다.

UI생성부(260)는 실행되는 응용프로그램을 동작하기 위한 UI를 생성할 수 있다. 생성되는 UI는 아이콘, 텍스트 등의 형태로 제공되는 복수의 서브 UI를 포함하며, 사용자단말장치(2)를 통해 특정 서브UI를 선택하면 선택된 서브UI에 대응하여 응용프로그램이 동작될 수 있다. 즉, 각각의 서브UI는 사용자단말장치(2)에서 실행 중인 응용프로그램을 동작할 수 있는 복수의 기능 또는 이벤트 단위로 생성될 수 있다.

UI생성부(260)는 디스플레이부(230)에 표시되는 UI를 생성하고 제어하는 소프트웨어 또는 하드웨어 적 기능을 의미하는 것으로, 후술할 제어부(200)에 의해 그 기능이 수행될 수 있을 것이다. 다시 말하면, UI생성부(260)가 별도의 칩셋으로 구성되거나, 별도의 마이크로프로세서에 의해 구현될 필요는 없다.

저장부(240)는 영역참조정보(241), 2D/3D센싱정보(242), 2차원 평면도(243), 3D모델정보(244), 특정구역정보(245), 디바이스 위치정보(246)를 제어부(200)의 제어에 의해 각각의 정보를 저장할 수 있다.

제어부(200)는 2D/3D맵정보를 볼 수 있도록 하는 뷰어프로그램(201), 이동로봇(1)의 제어/상태 표시모듈(202), 특정구역 설정모듈(203)을 포함할 수 있다.

제어부(200)는 사용자의 명령에 따라 특정구역의 이름을 설정할 수 있으며, 사용자의 명령에 따라 동작을 설정할 수 있다.

특정구역을 설정하기 위한 사용자의 명령은 특정구역 내의 디바이스 및 구조물 중 적어도 하나를 포함할 수 있다. 제어부(200)는 특정구역 내의 디바이스 및 구조물 중 적어도 하나에 기초하여 상기 특정구역이 설정되도록 할 수 있다. 제어부(200)는 사용자의 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 이용하여 설정되도록 할 수 있다. 사용자의 명령은 위치정보를 포함하고 제어부(200)는 위치정보를 이동로봇(1)으로 전송하여 이동로봇(1)을 특정구역으로 이동시켜 특정구역을 설정할 수 있다. 사용자의 명령은 동작정보를 포함하고 제어부(200)는 동작정보를 이동로봇(1)으로 전송하여 동작이 수행되도록 할 수 있다. 제어부(200)는 특정구역를 이동로봇(1)으로 전송하여 영역에 관한 맵구축정보를 수집하도록 할 수 있다. 제어부(200)는 특정구역의 설정 및 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 수신하며 특정구역의 설정 및 동작의 설정 중 적어도 하나를 설정할 수 있다. 제어부(200)는 이동로봇(1)이 복수의 특정구역의 위치에 기초하여 순차적으로 동작을 수행하도록 복수의 특정영역에 대한 동작정보를 전송할 수 있다. 제어부(200)는 사용자의 명령에 따라 영역 내에서의 소정의 조건, 소정의 동작을 설정하여 이동로봇(1)으로 전송할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 클라우드 서버(3)의 구성을 나타내는 블럭도이다. 도 6에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 클라우드 서버(3)는 통신부(310), 저장부(320), 제어부(300)를 포함할 수 있다.

통신부(310)는 외부입력에 의한 신호를 수신할 수 있다. 통신부(310)는 다양한 무선으로 수신되는 신호를 미리 정해진 무선통신규격에 따라서 수신할 수 있다.

통신부(310)는 외부입력으로부터의 신호/데이터를 수신하는 구성뿐 아니라, 클라우드 서버(3)의 설계 방식에 따라서, 무선 통신을 위한 무선통신모듈(미도시)이나 방송신호의 튜닝을 위한 튜너(미도시)와 같은 다양한 부가적인 구성을 더 포함할 수 있다. 통신부(310)는 외부장치로부터 신호를 수신하는 것 이외에도, 클라우드 서버(3)의 정보/데이터/신호를 외부장치에 전송할 수도 있다. 즉, 통신부(310)는 외부장치의 신호를 수신하는 구성으로만 한정할 수 없으며, 양방향 통신이 가능한 인터페이스(interface)로 구현될 수 있다. 통신부(310)는 복수의 제어장치로부터 UI를 선택하기 위한 제어신호를 수신할 수 있다. 통신부(310)는 무선랜 (WiFi), 블루투스(Bluetooth), IR(Infrared), UWB(Ultra Wideband), 지그비(Zigbee) 등 공지의 근거리 무선통신을 위한 통신모듈로 구성되거나, 3G, 4G, LTE 등의 이동통신 모듈로 구성될 수 있으며, 유선통신을 위한 공지의 통신포트로 구성될 수도 있다. 통신부(310)는 UI를 선택하기 위한 제어신호 이외에, 디스플레이의 조작을 위한 명령, 데이터의 송수신 등 다양한 목적으로 활용될 수 있다.

저장부(320)는 클라우드 서버(3)에 전원이 차단되더라도 데이터들이 남아있어야 하며, 사용자의 변동 사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable ROM)로 마련되는 것이 바람직하다. 즉, 저장부(320)는 플래쉬 메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 마련될 수 있다.

제어부(300)의 제어에 의해 감지부의 감지 데이터 및 맵에 관한 정보를 자동 저장할 수 있도록 제어될 수 있다. 또한, 생산자 및 사용자에 의해 조건 및 동작에 관한 정보가 기설정되어 저장부에 저장될 수 있다. 저장부는 특정구역정보(324), 이동로봇(1)의 감지부에서 감지된 2D/3D 센싱 정보(321), 2D평면도(322), 3D모델정보(323), 디바이스 위치정보(325)를 제어부(300)의 제어에 의해 각각의 영역에 저장할 수 있다.

제어부(300)는 2D평면도저작도구(301), 벽면 및 영역추출모듈(302), 2차원 평면도 생성모듈(303), 2D-3D모델변환모듈(304)을 포함할 수 있다. 제어부(300)는 이동로봇(1)로부터 수신되는 맵구축정보에 기초하여 2D평면도저작도구, 벽면정보 및 영역추출모듈, 2D평면도생성모듈, 2D-3D모델변환모듈을 이용하여 맵정보를 생성하여 저장하고 사용자단말장치(2)와 이동로봇(1)으로 전송하여 공유할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 이동로봇(1)이 2D 평면도 및 3D 모델을 생성하는 예시도이다. 사용자의 영역(집) 내에서 이동로봇(1)을 이용하여 2D 평면도 및 3D 모델을 생성하는 것을 일 예로 설명한다. 여기서, 모듈들은 각각 구성으로 분리되어 있을 수 있으며, 모듈의 형태로 제어부에 포함되어 구성될 수 있으며, 이에 대하여 한정되지 않는다.

도 7은 이동로봇(1)의 소프트웨어 모듈 구성이 도시된다. 이동로봇(1)을 이용한 영역 내 맵 생성을 위한 동작 흐름에서 각 단계의 기능 모듈이 구성되어 있으며, 이동로봇(1)의 고유 기능인 구동 및 자동탐사 모듈이 탑재된다. 또한, 각 기능 모듈이 생성한 각 단계의 정보들이 DB로 구성된다. 또한, DB로 구성된 각 정보를 클라우드 서버(3)와 사용자단말장치(2)에 전송/공유하기 위해서 기기 간 통신 모듈도 구성된다. 여기서, 이동로봇(1)의 처리능력에 따라 벽면정보 및 영역추출 모듈(14), 2차원 영역 내 평면도 생성 모듈(15), 2D-3D 모델 변환 모듈(16) 등은 클라우드 서버(3)에 구성될 수도 있다. 이 경우, 이동로봇(1)은 2D/3D 센싱 및 처리 모듈(13)과 디바이스 위치 인식 모듈(17)을 통해서 2D/3D 센싱 정보(22), 디바이스 위치정보(26) 등을 획득하여 이를 클라우드 서버(3)로 전송할 수 있다.

도7은 클라우드 서버(3)의 SW 모듈 구성이 도시된다. 클라우드 서버(3)에서는 이동로봇(1)으로부터의 2D/3D 센싱 정보(41), 2차원 영역 내 평면도(42), 3D 모델(43), 특정구역정보(44), 디바이스 위치정보(45) 등을 수신할 수 있다. 여기서 만약, 이동로봇(1)이 2D/3D 센싱 정보(22)와 디바이스 위치정보(26)만을 클라우드 서버(3)로 전송하는 경우에는 클라우드 서버(3) 자체에서 벽면정보 및 영역추출 모듈(33), 2차원 영역 내 평면도 생성 모듈(34), 2D-3D 모델 변환 모듈(35)을 통해서 2차원 영역 내 평면도(42), 3D 모델(43), 특정구역정보(44) 등을 생성해 내며, 생성된 2차원 영역 내 평면도(42), 3D 모델(43), 특정구역정보(44) 등을 이동로봇(1)에 전송/공유할 수 있다.

도 7은 이동로봇(1)이 자동 탐사모듈(12), 2D/3D 센싱 및 처리 모듈(13) 이외에 벽면정보 및 영역추출 모듈(14), 2차원 영역 내 평면도 생성 모듈(15), 2D-3D 모델 변환 모듈(16), 디바이스 위치 인식 모듈(17)을 모두 내장하고 있어, 로봇에서 이동로봇(1)을 이용한 영역 내 맵 생성 기능을 모두 수행하는 경우를 설명한다. 즉, 이동로봇(1)에서 2D/3D 센싱 정보(22), 2차원 영역 내 평면도(23), 3D 모델정보(24), 특정구역정보(25), 디바이스 위치정보(26) 등을 모두 생성하여 네트워크로 연결된 클라우드 서버(3)에 전송하여 DB에 저장하도록 하는 것이다. 이후, 클라우드 서버(3)는 DB에 저장된 이동로봇(1)으로부터의 정보들을 2차원 평면도 저작도구(31), 3차원 모델 저작도구(32)를 통해서 사용자가 수정할 수 있다. 2차원 평면도 저작도구(31)를 통해서는 2차원 영역 내 평면도(42)를 수정할 수 있으며, 3차원 모델 저작도구(32)로는 3D 모델정보(43), 특정구역정보(44) 등을 수정할 수가 있다. 공유된 정보 중 2D/3D 센싱 정보(41)는 저작도구에서 2차원 영역 내 평면도(42) 및 3D 모델(43)을 수정할 때, 평면도(42) 및 3D 모델(43)에 중첩 가시화하여 사용자가 모델을 수정하는 데에 참조할 수 있다. 또한, 디바이스 위치정보(45) 등은 3차원 모델 저작도구(32)에서 3D 모델(43)과 함께 사용자에게 가시화되어 영역 내 환경 및 구조물을 사용자가 파악할 수 있고, 자동 생성/구축된 3D 모델(43)에 영역 내 구조물을 사용자가 추가하여 영역 내 3D 환경을 구성하는데 활용될 수 있다. 여기서 맵정보는 자동 생성된 정보로써, 각 영역은 시스템이 구분할 수 있는 Room_1, Room_2, Room_3 등의 초기 이름을 가지며, 이후 클라우드 서버(3)의 저작도구 또은 사용자단말장치(2)의 특정구역 설정 모듈(54)에 의해서 '철수방', '영희방' 등으로 이름을 설정할 수 있다. 즉, 특정구역에 대해서 사용자가 이동로봇(1) 제어 등에 활용할 수 있는 가명를 가질 수가 있다. 예를 들어, {'철수방':Room_1}, {'영희방':Room_2}, {'거실':Room_3}과 같이 맵핑될 수 있다.

도 8 은 본 발명의 일 실시 예에 따른 클라우드 서버(3)에서 2D 평면도 및 3D 모델을 생성하는 예시도이다.

도 8은 클라우드 서버(3)에서 2차원 평면도 및 3차원 모델을 생성하는 경우를 설명한다. 즉, 이동로봇(1)은 자체적으로 프로세싱 능력 등으로 인해 벽면정보 및 영역추출 모듈(14), 2D-3D 모델 변환 모듈(16) 등을 탑재 불가한 경우, 영역 내 자동탐사 모듈(12), 2D/3D 센싱 및 처리모듈(13), 디바이스 위치 인식 모듈(17) 등만을 탑재하는 경우이다. 따라서, 이동로봇(1)은 자체에서 영역 내 환경을 센싱하고 디바이스 등의 위치를 인식하여 2D/3D 센싱정보(22), 디바이스 위치정보(26)를 추출하고 이 정보들을 네트워크를 통해서 클라우드 서버(3)에 전송, DB에 저장하게 된다. 그러면, 클라우드 서버(3)에서는 수신한 2D/3D 센성정보(41) 및 디바이스 위치정보(45)를 활용하여 클라우드 서버(3)에 탑재된 벽면정보 및 영역추출 모듈(33), 2차원 영역 내 평면도 생성 모듈(34), 2D-3D 모델 변환 모듈(35) 등을 통해서 2차원 영역 내 평면도(42), 3D 모델정보(43), 특정구역정보(44) 등을 자동 생성하고 이를 다시 이동로봇(1)에 네트워크로 전송하여 이동로봇(1)이 해당 정보를 DB에 저장한다. 이동로봇(1)에 전송된 해당 정보들은 이후, 사용자 단말이 이동로봇(1)에 연결될 경우, 사용자단말장치(2)에 전송되어 활용될 수 있다. 또한, 이동로봇(1)은 영역 내 자동탐사를 위해서 클라우드 서버(3)로부터 수신한 2차원 영역 내 평면도(23) 및 특정구역정보(25)를 활용할 수 있다. 여기에서 클라우드 서버(3)에서 자동 생성된 특정구역정보(44)는 시스템에서 부여된 Room_1, Room_2와 같은 형태의 이름을 갖는다.

도 9는 본 발명의 일 실시 예에 따른 클라우드 서버(3)에서 기 생성된 2차원 평면도 및 3차원 모델이 저작도구에 의해 수정되는 예시도이다.

도 9는 클라우드 서버(3)에서 사용자가 기 생성된 2차원 영역 내 평면도(42), 3D 모델(43), 특정구역정보(44) 등을 수정/생성하는 경우를 설명한다. 사용자는 클라우드 서버(3)에 탑재된 2차원 평면도 저작도구(31) 및 3차원 모델 저작도구(32)를 활용하여 기 생성된 맵 정보를 수정할 수 있다. 예를 들어, 이동로봇(1) 혹은 클라우드 서버(3)에서 자동 생성된 정보들이 실제 영역 내 환경과 다르거나 혹은 추가할 부분이 있으면, 사용자는 저작도구를 활용하여 2차원 영역 내 평면도(42) 및 3D 모델(43)을 수정/보완할 수 있다. 또한, 특정구역정보(44)에 대해서는 사용자가 시스템에서 자동으로 부여된 Room_1, Room_2와 같은 이름을 사용자가 활용하기 편한 이름으로 가명을 부여할 수 있다. 즉, {'철수방':Room_1}, {'영희방':Room_2} 등과 같이 사용자 이름을 활용하여 맵핑할 수 있다. 또한, 사용자가 맵 상에 새로운 특정구역정보(44)를 생성할 수 있는데, 맵 상에 직선을 그어 영역을 구분하거나 다각형을 그려서 영역을 새로이 지정할 수 있다. 이때, 직선 혹은 다각형 영역은 이동로봇(1)이 영역 내를 탐사하는 동안 진입하지 못하는 진입불가영역 혹은 청소불가영역 등과 같이 설정이 가능하다. 따라서, 실제 환경에서는 존재하지 않지만, 사용자가 가상의 벽 혹은 공간을 만들 수 있다. 예를 들어, 직선인 경우 가상벽으로 인식되며, {(x1, y1), (x2, y2)}와 같이 표현될 수 있으며, 다각형인 경우 사용자 지정 공간으로 인식되며, {(x1, y1), (x2, y2), (x3, y3), ...}와 같이 정의될 수 있으며, 특정구역이름 및 진입불가지역 등 구역을 설정할 수 있다.

 클라우드 서버(3)에서 사용자에 의해 수정/생성된 정보 등은 이동로봇(1)에 전송/저장되어 사용자단말장치(2)가 이동로봇(1)에 연결되었을 때, 수정/생성된 정보를 사용자단말장치(2)에 적용하여 활용할 수가 있다. 또한, 사용자에 의해서 새로이 생성된 가상벽 및 진입불가지역 등 특정구역 정보는 이동로봇(1)이 영역 내를 자동 탐사하는 경우, 장애물 정보로 인식되어 해당 특정구역을 넘어가거나 진입하지 않도록 할 수 있다. 이는 기존 청소로봇 등에서 물리적 이동 제한 도구(바닥에 붙이는 테이프, Virtual Wall 센서 등)를 대체할 수 있다.

도 10 은 본 발명의 일 실시 예에 따른 이동로봇(1)에서 특정구역 정보가 설정되는 예시도이다.

이동로봇(1)에서 특정구역에 이름을 설정하는 경우를 설명한다. 우선, 사용자가 이동로봇(1)을 직접 조작하여 영역 내의 특정 위치로 이동시킨다. 다음, 특정위치에서 음성인터페이스를 이용하여 문답으로 해당 위치의 이름을 설정할 수 있다. 이렇게 되면, 특정 위치 (x, y) 좌표에 이름이 설정되며, 기존에 맵이 기 생성되어 있고, 특정구역으로 따로 구분된 경우에는 기존 영역 정보에도 해당 이름을 설정한다. 즉, (x, y) 좌표에 '철수방'이라는 이름을 설정하였는데, 기존에 (x, y)좌표를 포함하는 기 생성된 특정구역 정보 {(x1, y1), (x2, y2), (x3, y3), ...}가 존재하면, 해당 특정구역에도 같은 이름이 반영된다. 이러한 이동로봇(1)에서의 특정구역 정보 설정 방법은 우선, 이동로봇(1)을 특정위치로 이동시키기 위한 방법이 필요한데, 음성인식과 제스쳐 인식 등을 결합한 방식으로 이동로봇(1)이 사용자를 추종하여 특정위치로 이동하도록 할 수 있다. 예를 들어, 사용자가 '이리와~' 등의 음성명령과 손으로 손짓하는 제스쳐 등을 이용하여 사용자를 추종할 수 있도록 하고 로봇이 특정위치에 도달했을 때, 음성인터페이스를 통한 문답으로 해당 위치에 대한 이름을 설정할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 클라우드 서버(3)에서 특정구역 정보가 설정되는 예시도이다.

클라우드 서버(3)에서 특정구역정보를 설정하는 경우를 보여 준다. 클라우드 서버(3)에 이미 자동으로 생성된 맵이 3D 모델(43)로 저장되어 있고, 이 3D 모델(43)에 자동으로 구분된 특정구역정보(44)가 존재하면, 사용자는 3차원 모델 저작도구(32)를 이용하여 해당 구분된 영역에 특정구역정보(44)를 설정할 수 있다. 즉, 해당 영역을 사용자가 사용하기 쉽도록 '철수방', '영희방' 등과 같이 이름을 설정할 수 있다. 또한, 사용자는 기존에 자동 구분된 특정구역 이외에 사용자의 필요에 의해서 별도로 특정구역을 지정하고, 특정구역에 대한 설정을 할 수가 있다.  특정구역, 예를 들어 'TV 앞'을 위치 지정하고 이름을 'TV 앞'이라고 설정하여 이동로봇(1)을 제어할 수 있다. 즉, 사용자는 이동로봇(1)에게 'TV 앞으로 가'와 같은 직관적인 명령을 쓸 수 있다. 또한, 사용자는 새로운 특정구역을 지정하여 이동로봇(1)이 진입하지 못하는 가상벽을 설정하여 진입불가 혹은 청소불가영역을 지정할 수 있다.

 이러한 용도로 클라우드 서버(3)에서 사용자에 의해 수정된 특정구역정보(44)는 이동로봇(1)에 전송/저장되어 이동로봇(1) 제어 시 활용될 수 있다. 특히, 가상벽 설정은 특정구역을 진입불가 영역으로 이동로봇(1)이 인식하도록 할 수가 있다.

도 12는 본 발명의 일 실시 예에 따른 사용자단말장치(2)에서 특정구역 정보가 설정되는 예시도이다.

사용자단말장치(2)에서 특정구역 정보를 설정하는 경우를 보여 준다. 사용자단말장치(2)에서 2D/3D 실내 맵 뷰어(52)로 기 생성된 맵을 사용자에게 표시하고 사용자가 특정구역정보 설정 모듈(54)을 통해서 기존 맵에 특정구역을 새로이 설정하거나 기존 영역에 이름설정 등을 통하여 특정구역정보(65)를 설정할 수가 있다. 마찬가지로 사용자가 새로운 특정구역을 설정하여 진입불가 혹은 청소불가영역으로 설정할 수 있다. 이렇게 사용자단말장치(2)에서 생성/수정된 특정구역정보(65)는 클라우드 서버(3) 및 이동로봇(1)에 전송/저장되고, 이동로봇(1)에는 가상벽 등의 정보를 영역 내 주행 시에 활용할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 이동로봇(1)에서 영역참조정보가 입력되는 예시도이다.

사용자가 이동로봇(1)을 구입 후 영역 내에서 사용하기 위해 영역 내 구조 및 환경에 대한 사전 영역참조정보(21)를 이동로봇(1)에 직접 입력하는 경우이다. 이동로봇(1)은 음성인식인터페이스 등을 구비할 수 있다. 즉, 음성 문답을 통해서 특정구역정보(25), 디바이스 위치정보(26), 무선 네트워크 AP에 대한 정보 등을 영역참조정보(21)로 입력한다. 예를 들어, 사용자가 이동로봇(1)에 영역참조정보(21) 모드를 실행하면, 이동로봇(1)은 음성으로 '집에 방이 몇 개 있나요?', '집에 TV가 몇 개 있나요?', '집에 무선 AP가 있나요?' 등을 정보를 얻을 수 있다. 영역 내 영역참조정보는 이동로봇(1)이 영역 내를 자동 탐사할 때 활용할 수 있다. 이동로봇(1)이 영역 내를 자동 탐사할 때 정보가 없을 경우, 탐사 결과가 정확한지 알 수가 없으며, 탐사가 영역 내 전 영역에 대해서 이루어졌는지 판단하기 어렵다. 그러나, 이동로봇(1)이 영역 내 자동 탐사를 마친 후, 벽면 추출 및 영역 구분 기능을 통해서 특정구역 등이 자동 인식되면, 사용자가 미리 입력한 영역참조정보(21)와 비교하여 다음 번에 추가적으로 영역 내를 탐사해야 하는지 등을 판단할 수 있다.

 이동로봇(1)의 음성인터페이스를 통해서 직접 입력된 특정구역 내 영역참조정보(21)는 사용자단말장치(2)과 연결되었을 때, 사용자단말장치(2)에 전송/저장되어 사용자가 사용자단말장치(2)로 확인/수정할 수 있도록 할 수 있다.

도 14는 본 발명의 일 실시 예에 따른 사용자단말장치(2) 영역참조정보(21)가 입력되는 예시도이다.

영역 내 영역참조정보(61)를 사용자단말장치(2)를 통해서 입력하는 경우를 보여 준다. 사용자단말장치(2)는 음성인터페이스뿐만 아니라 GUI 기반으로 기 입력된 영역 내 영역참조정보(61)를 사용자에게 표시하고, 사용자가 정보를 수정/추가 할 수 있도록 할 수 있다. 또한, 사용자단말장치(2)에서 입력/수정된 영역 내 영역참조정보(61)는 이동로봇(1)이 영역 내 탐사 시 활용할 수 있도록 이동로봇(1)에 전송/저장될 수 있다.

도 15는 본 발명의 일 실시 예에 따른 이동로봇(1)의 특정구역 내 디바이스의 위치 인식을 위한 디바이스 메타데이터를 활용하여 위치 정보를 설정하는 것을 나타내는 예시도이다.

홈 네트워크에 연결된 특정구역 내 디바이스들이 디바이스 메타데이터로써 제품 이미지를 가지고 있어 홈 네트워크 상 타 디바이스와 공유하고, 이동로봇(1)의 경우, 디바이스 메타데이터를 이용하여 자체 2D/3D 센서를 이용하여 특정구역 내 디바이스를 인식, 디바이스의 위치를 파악하여 이동로봇(1)이 생성한 특정구역 내 실내공간 맵(M1)에 디바이스 위치정보를 설정하는 것을 보여 준다. 여기서 특정구역 내 디바이스들은 제품종류, 제품모델명 등 기본장치 메타데이터뿐만 아니라 2D/3D 센서를 이용한 물체인식을 위한 제품 고유 이미지 (다수), 인식을 위한 인식 DB, 그리고 실물 크기 대비 이미지의 스케일정보 등을 더 포함할 수 있다. 즉, 해당 디바이스를 인식하기 위한 모든 필요정보를 디바이스 메타데이터로 포함할 수 있다.

 디바이스 메타데이터의 활용 및 이동로봇(1)을 이용한 특정구역 내 디바이스 위치 인식 방법은 기존 홈 네트워크를 통한 특정구역 내 디바이스 제어 시스템에 있어서 초기 제어 시스템 설정 시, 위치 기반 제어를 위해서 설치자가 직접 디바이스의 위치를 시스템에 설정하는 과정을 자동화할 수 있다.

영역 내 실내 공간 맵(M1)에서 정의된 특정구역 정보, 디바이스의 위치 정보 및 음성인식 명령을 통한 이동로봇(1)을 포함한 디바이스의 제어에 있어서 음성인식 명령 공유에 대한 방법이 가능할 수 있다. 도 1의 시스템 구성에서 이동로봇(1) 이외에 영역 내에 홈 네트워크에 연결된 스마트 디바이스 등은 자체에 음성인식 인터페이스를 포함할 수 있으나, 모든 디바이스가 음성인식 인터페이스를 구비하지 않은 경우에는 홈 네트워크를 활용하여 특정 디바이스에서 인식된 음성인식 명령을 타 디바이스를 제어하는 데에도 활용할 수가 있다. 예를 들어, 스마트 TV의 음성인식 인터페이스를 통해서 사용자가 '탱고~, 거실 TV 앞으로 와~!' 등의 음성명령을 내리면, 음성인식 모듈에서 '탱고', '~로 와~!' 등의 단어 등을 실제 적용할 수 있는 특정구역 내 디바이스를 결정할 수 있다. 여기서는 이동로봇(1)이 영역 내에서 특정위치로 이동할 수 있는 유일한 기기이므로 이는 홈 네트워크를 통해 이동로봇(1)에 음성인식 결과가 전송되고, 이동로봇(1)은 '거실 TV' 라는 단어에 대해서 영역 내 실내 공간 맵(M1) 상의 위치를 알 수가 있어 명령 실행을 할 수 있다. 또한, 다른 예로써, 이동로봇(1)에게 사용자가 '거실 TV 켜~!'와 같은 음성명령을 하면, 이는 '거실 TV'라는 디바이스를 지칭하는 것으로 인식하여 해당 '거실 TV'에 이동로봇(1)의 음성인식 결과를 전송하여 '거실 TV'가 이를 수행하도록 할 수 있다.

도 16는 본 발명의 일 실시 예에 따른 홈 네트워크를 활용한 음성인식명령의 공유방법을 나타내는 예시도이다.

도 16은 홈 네트워크 상에 연결된 스마트 가전을 이용한 음성인식 명령 공유 방법이 도시된다. 예를 들어, TV에서 음성인식이 가능할 경우, 사용자가 TV에 '탱고, TV 앞으로 와~!'라는 명령을 하면, TV의 음성인식 모듈은 이를 텍스트로 변환하여 주요 키워드를 찾고, 그 중 디바이스와 관련된 컨텍스트를 찾는다. 여기서는 '탱고'라는 디바이스 애칭과 '~로 와~!'라는 동작정보에 의해서 해당 디바이스가 이동로봇(1)이라고 판단될 수 있다. 즉, 사용자의 음성명령을 해석하여 해당 디바이스를 결정하여야 한다. 이후, TV에서 음성인식 결과를 해당 디바이스 인 이동로봇(1)에 전달/공유한다. 그러면, 이동로봇(1)은 인식 문장 중 'TV 앞'이라는 단어를 위치 컨텍스트로 판단하고 댁내 실내공간 맵(M2) 상에 TV의 위치를 참조하여 해당 위치 'TV 앞'으로 이동하는 명령을 수행할 수가 있다.

위와 같은 방식으로 댁내 홈 네트워크 상의 음성인식이 가능한 모든 디바이스에 대해서 이러한 방식이 가능할 수 있다. 예를 들어, 이동로봇(1)의 음성인식 인터페이스를 통해서 TV, 오븐/렌지, 에어컨 등을 제어하는 명령을 할 수가 있다.

도 17은 본 발명의 일 실시 예에 따른 이동로봇(1)을 이용한 영역 내의 실내공간 맵 생성과정을 나타내는 예시도이다.

도 17은 이동로봇(1)을 이용해서 영역 내 실내 공간 맵을 생성하는 과정을 나타낸 것이다. 도 24의 설명한 과정을 실제 구현 시 아래와 같은 과정으로 설명될 수 있다. 우선 ㉮에서 이동로봇(1)이 3D 센서를 통해서 영역 내 환경을 센싱하고 3D SLAM을 수행하여 3D Point cloud data /Octree data를 획득하고, 이동로봇(1)의 영역 내 탐사 궤적 정보를 생성한다. 이동로봇(1)이 영역 내 탐사를 마치면, 획득한 3D point cloud data와 octree data 를 이용해서 ㉯와 같이 3D point cloud data를 2차원 평면 상에 투영하여 2차원 평면도를 생성할 수 있다. 이때, 3D point cloud data는 영역 내 모든 구조물에 대해서 얻은 데이터 이므로, 영역 내 구조를 파악할 수 있도록 벽면 추출을 수행한다. 이후 벽면이 추출되면, 이에 기반해서 자동으로 영역을 구분한다. 이 때, 자동 구분된 영역에는 시스템에서 {Room_1: (x1, y1), (x2, y2)} 등으로 특정구역 정보를 생성한다. 이렇게 자동으로 2차원 평면도가 생성이 되면, ㉰와 같이 2D-3D 변환 모듈을 통해서 3D 모델이 자동 생성된다. 이렇게 자동 생성된 3D 모델은 사용자가 저작도구 등을 통해서 모델을 수정하거나 혹은 댁내 구조물 (탁자, 의자 등 가구 및 기타 구조물 등)을 생성하여 추가할 수 있다. 이렇게 생성된 맵을 이용하여 ㉱와 같이 이동로봇(1)을 이용한 서비스가 가능한데, 맵 상에서 청소영역을 지정하여 해당 부분을 청소하도록 하거나 혹은 특정구역을 진입하지 못하도록 가상벽 (Virtual Wall)을 설정할 수도 있다.

도 18내지 도 19는 본 발명의 일 실시 예에 따른 영역 내 실내 공간의 맵 활용 서비스의 예시도이다.

현재의 청소로봇 등은 사용자가 리모컨을 이용하여 자동 청소 기능을 활용하거나 특정 방에 청소로봇을 넣어 두는 것으로 청소 수행 방식이 단순하며, 특정구역을 지정하여 청소하거나 하는 서비스는 수행하기 어렵다.

 본 발명에서는 영역 내 실내 공간 맵을 생성하고, 여기에 특정구역 정보를 설정하여 사용자가 좀 더 쉬운 방법으로 명령을 내릴 수 있다. 또한, 이동로봇(1)은 음성인식 모듈을 탑재하고 있어, 사용자는 이동로봇(1)에게 특정구역 정보를 활용한 음성명령을 내리는 것이 가능하다. 예를 들어, 도 18에서와 같이 '철수방 청소해', '거실로 와', '영희 깨워' 등의 음성명령을 통한 이동로봇(1)의 서비스 수행이 가능하다. 맵은 사용자에게 댁내 구조를 가시화 해주는 것과 동시에 특정구역 정보 등 컨텍스트를 부가적으로 가지고 있어, 이를 이용한 편리한 서비스를 할 수 있다.

 만약, 사용자가 원격에서 댁내의 이동로봇(1)에 접속하여 댁내 특정 위치로 이동/명령을 수행하고자 할 경우에는 도 19에서와 같이 기존에 영상기반 제어방식으로 수동조작으로 제어하는 방식보다 훨씬 간편한 방식으로 명령을 내릴 수 있다. 영역 내에서 음성으로 제어하는 방식처럼 원격에서도 음성 명령을 네트워크로 전송하여 '철수방 청소해~!'와 같이 명령을 내릴 수 있다. 그러면, 이동로봇(1)은 영역 내 실내 공간 맵 상에서 '철수방' 위치를 참조하여 해당 위치로 이동 명령을 수행할 수 있다. 또한, 사용자단말장치(2)에서 영역 내 실내공간 맵을 가시화하여 줄 수 있어 사용자는 맵 상의 '철수방' 특정구역을 선택하고 GUI에서 청소 혹은 다른 기능 (영역탐색/이동, 알람 서비스 등)을 수행하도록 제어할 수 있다.

구축된 영역 내 실내공간 맵은 사용자단말장치(2)에서 사용자에게 영역 내의 구조 및 환경을 한눈에 알아볼 수 있도록 3D 모델로 영역 내 환경을 가시화 할 수 있다. 더불어, 사용자에게 영역 내 공간에 대한 정보를 설정할 수 있도록 함으로써, 사용자는 영역 내 실내공간 맵 상에서 이동로봇(1)을 활용한 위치 기반 서비스를 수행할 수 있다.

 예를 들어, 특정구역의 특정 방으로 이동 후, Security (원격모니터링), 원격 아바타 (음성/영상 대화), 모닝콜 서비스 등과 같은 명령을 수행할 수 있다.

도 20은 본 발명의 일 실시 예에 따른 특정구역 지정을 통한 청소 및 명령을 스케줄링하는 예시도이다.

도 20은 구축된 영역 내 실내 공간 맵을 활용하여 영역 내 각 특정구역을 지정하여 청소 및 여타 명령 수행 계획을 세우는 것을 도시한다. 사용자는 도 20에서와 같이 방 청소를 위해 맵 상의 특정구역을 차례대로 선택하여 어떤 방부터 시작하여 청소를 수행할 지를 계획할 수 있다. 즉, 사용자가 도 20에서와 같이 1->2->3으로 청소 순서를 지정하면, 이동로봇(1)이 특정구역 1, 2, 3에 대한 위치 정보를 참조하여 특정구역 1의 위치로 이동 후 청소 수행, 다시 특정구역 2의 위치로 이동 후 청소 수행, 특정구역 3에 대한 청소를 순차적으로 수행할 수 있다. 이는 기존 청소로봇이 단순히 특정구역 구분 없이 자동으로 놓여진 위치에서 청소를 수행하는 것과는 달리 사용자가 청소 및 명령 수행에 대한 계획을 세울 수 있다.

 청소 이외의 다른 기능으로 사용자 영역 내 부재 시, 영역 내 순찰 목적으로 복수의 특정구역에 대한 명령을 수행할 수 있다. 즉, 사용자가 외출 시, 방을 모니터링하는 순서를 설정하고 주기적으로 영역 내를 순찰할 수 있다. 여기서, 이동로봇(1)은 사용자에 의해 기설정된 조건이 발생되면, 발생된 조건에 대응하는 특정구역으로 이동하여, 기설정된 동작을 수행할 수 있다. 이를 테면, 순찰을 하던 이동로봇(1)이 화재로 인한 불 또는 연기를 감지한다거나, 시야가 어두워지는 것과 같은 조건을 감지하는 경우, 이동로봇(1)은 사용자의 명령이 없어도 특정구역으로 이동하여 특정구역 내의 스프링쿨러를 작동한다거나, 경보장치를 작동한다거나, 사용자에게 기설정된 조건이 발생되었음을 알릴 수 있다. 이와 같은, 역할을 통하여 사용자의 재산을 보호하는 역할을 할 수 있다.

또한, 사용자에 의해 예약된 명령을 예약된 시간에 동작을 수행할 수 있으며, 동작이 완료되면 동작완료에 대한 메세지를 사용자에게 전송할 수 있다.

도 21은 본 발명의 일 실시 예에 따른 영역 내의 맵에 가상벽 및 청소영역을 설정하는 예시도이다.

도 21은 구축된 영역 내 실내 공간 맵을 이용하여 사용자가 가상벽 혹은 청소하고자 하는 특정구역을 설정하는 예시를 도시하였다.

 가상벽 기능은 사용자가 3D 모델 상에서 특정위치에 설정하여 이동로봇(1)이 주행 중에 해당 부분에 진입하지 못하도록 하는 기능이다. 벽으로 설정하거나 혹은 영역으로 설정할 수 있다.

 또한, 영역으로 설정할 경우, 사용자가 해당 영역을 청소하도록 바로 명령을 내릴 수 있다.

도 18에서 설명한 '이리와~', '거실로 와~' 등의 명령은 사용자의 호출에 따라 이동로봇(1)이 사용자의 위치로 찾아가는 기능이다. 이는 Call & Come 기능으로 Call & Come 기능을 수행하려면 이동로봇(1) 등이 사용자의 위치를 파악할 수 있어야 한다.

 사용자의 위치는 영역 내의 특정구역 및 영역 내 디바이스의 위치 등이 구축된 맵 상에서 얻을 수 있다. 따라서, '거실로 와~' 등의 명령에서 이동로봇(1)이 위치정보를 활용하여 해당위치로 이동할 수 있다. 또한, 'TV 앞으로 와~' 등의 명령은 맵 상에서 TV의 위치정보로 찾아갈 수 있다.

 또 다른 예시로는 사용자가 단순히 '이리와~'라는 명령으로도 이동로봇(1)이 사용자의 위치로 이동할 수 있다. 이는 앞서 도 16에서 설명한 '홈 네트워크를 활용한 음성인식 정보 공유' 부분에서 설명되었다. 즉, 사용자가 음성명령을 내리기 위해 사용한 영역 내의 디바이스를 파악할 수 있으므로, 이동로봇(1)이 해당 디바이스의 위치를 참조하여 사용자의 위치로 이동할 수 있다.

 이러한 Call & Come 기능을 청소로봇에 활용하면, '이리와~'라는 명령으로 청소로봇을 사용자의 위치로 이동시키고, '청소해'라는 음성과 특정구역을 손으로 가리키는 제스쳐를 통해서 특정구역의 부분청소 (Spot Cleaning)를 수행할 수도 있다.

도 22내지 도 23은 본 발명의 일 실시 예에 따른 제스처 및 음성으로 이동로봇(1)을 이동시킨 후 특정영역을 설정하는 예시도이다.

도 22는 댁내 특정구역을 이동로봇(1)에 설정하기 위해 이동시키는 방법을 도시한다.

 도 22에 도시된 바와 같이 이동로봇(1)의 2D/3D 센서를 활용한 제스쳐 인식과 음성인식을 통한 사용자 추종방법을 통해서 특정위치로 따라오도록 한 뒤, 음성명령으로 해당 영역을 특정이름으로 특정구역을 등록하도록 할 수 있다.

 특정위치로 이동로봇(1)을 이동시키기 위한 예시로 또 다른 예시는 도 23과 같이 바닥영역을 가시적으로 지정할 수 있는 포인터 등을 활용하는 예시이다. 이 예시에서는 사용자가 바닥면을 포인터로 지정하고 '이리와~' 등의 음성명령을 내리면, 이동로봇(1)이 해당 바닥면의 위치를 목적지까지 이동하는 경유점 (Via Point)으로 인식하여 특정위치로 이동할 수 있다. 이동로봇(1)을 특정위치로 이동 시킨 후에 해당 영역을 특정이름으로 특정구역을 등록하도록 할 수 있다.

도 25은 본 발명의 일 실시 예에 따른 이동로봇(1)을 이용한 영역 내 맵생성을 위한 동작흐름도이다.

사용자에 의해 구매되어 사용자의 집 즉, 영역 내에 대한 영역참조정보를 입력받아 영여을 이동하여 영역에 관한 맵구축정보를 수집한다(S10). 이동로봇(1)은 수집된 맵구축정보에 기초하여 영역에 대한 맵을 생성할 수도 있으며, 수집된 맵구축정보를 클라우드 서버(3)로 전송하여 생성된 맵정보를 수신할 수도 있다. 이동로봇(1)은 영역에 대한 맵정보를 참조하여 영역 내에 설정된 특정구역으로 이동할 수 있다(S12). 이동로봇(1)은 특정구역으로 이동 후 특정구역에서 청소와 같은 동작을 수행할 수 있다(S14).

도 26은 본 발명의 일 실시 예에 따른 사용자단말장치(2)의 제어흐름도이다.

사용자단말장치(2)는 이동로봇(1) 또는 클라우드 서버(3)에서 맵구축정보에 기초하여 생성된 맵정보를 수신하여 영역의 맵정보를 디스플레이부에 표시할 수 있다(S20). 사용자의 명령에 따라 영역 내의 특정구역을 설정할 수 있다(S22). 여기서, 특정구역은 영역에 대한 설정 및 이름을 명명하는 것을 포함할 수 있다. 설정된 특정구역이 설정된 맵정보를 이동로봇(1) 및 클라우드 서버(3)로 전송한다(S24).

상기한 이동로봇(1) 및 사용자단말장치(2)에 의해, 이동로봇(1)이 영역 내의 환경을 맵으로 생성하고 사용자는 영역 내 구조와 위치 기반 서비스에 필요한 정보를 맵 상에 설정하여 좀 더 직관적으로 지능적인 서비스를 이용할 수 있도록 할 수 있으며, 또한, 맵정보 상에 특정구역을 설정하여 이동로봇(1)을 이용하는데 편리하며 사용자의 사생활 및 영역 내에 사용자가 없을 경우에 위험한 상황이 발생하여도 이에 대한 대처를 효과적으로 할 수 있다.

지금까지 본 발명의 실시 예가 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 실시 예를 변형할 수 있을 것이다. 따라서, 발명의 범위는 지금까지 설명된 실시 예로 정해지는 것이 아니라 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

1 : 이동로봇 2 : 사용자단말장치
3 : 클라우드 서버 100 : 이동로봇의 제어부
110 : 동작수행부 111 : 구동모듈
112 : 2D/3D 처리모듈 113 : 2차원 평면도 생성모듈
114 : 2D-3D 모델 변환 모듈 120 : 감지부
121 : 자동탐사모듈 122 : 2D/3D 센싱 모듈
123 : 위치인식모듈 130 : 통신부
140 : 저장부 141 : 영역참조정보
142 : 2D/3D 센싱 정보 143 : 2차원 평면도
144 : 3D 모델 정보 145 : 특정구역정보
146 : 디바이스 위치정보 150 : 사용자입력부
160 : 음성출력부 200 : 사용자단말장치의 제어부
201 : 2D/3D 맵정보 뷰어 202 : 로봇 제어/상태 표시모듈
203 : 특정구역 설정모듈 210 : 사용자입력부
220 : 통신부 230 : 디스플레이부
240 : 저장부 241 : 영역참조정보
242 : 2D/3D 센싱 정보 243 : 2차원 평면도
244 : 3D 모델 정보 245 : 특정구역정보
246 : 디바이스 위치정보 250 : 영상처리부
260 : UI생성부 300 : 클라우드 서버의 제어부
301 : 2D 평면도 저작도구 302 : 벽면 및 영역추출모듈
303 : 2차원 평면도 생성모듈 304 : 2D-3D 모델 변환 모듈
310 : 통신부 320 : 저장부
321 : 2D/3D 센싱 정보 322 : 2차원 평면도
323 : : 3D 모델 정보 324 : 특정구역정보
325 : 디바이스 위치정보

Claims (44)

  1. 영역을 이동하여 소정 동작을 수행하는 이동로봇에 있어서,
    상기 영역의 맵구축정보를 수집할 수 있는 감지부와;
    상기 맵구축정보에 관하여 사용자에 의해 입력되는 특정구역과 상기 특정구역에 대응하는 컨텍스트에 관한 정보를 수신하고,
    상기 컨텍스트와 동작정보를 포함하는 사용자 명령이 입력되면, 상기 수신된 컨텍스트에 관한 정보와 동작 정보에 기초하여 상기 사용자 명령에 포함된 컨텍스트에 대응하는 특정구역으로 이동하여, 상기 특정구역에서 상기 동작정보에 대응하는 동작을 수행하도록 제어하는 제어부를 포함하며,
    상기 제어부는 사용자 명령에 따라 상기 동작을 설정하는 이동로봇.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 특정구역 및 컨텍스트에 관한 정보를 입력하기 위한 사용자 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나의 정보를 포함하고,
    상기 제어부는, 상기 디바이스 및 구조물 중 적어도 하나의 정보에 기초하여 상기 특정구역과 컨텍스트에 관한 정보를 설정하는 이동로봇.
  5. 제1항에 있어서,
    상기 사용자 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 포함하는 것을 특징으로 하는 이동로봇.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    영역참조정보를 포함하는 사용자 명령을 입력할 수 있는 사용자입력부를 더 포함하고,
    상기 제어부는, 상기 사용자입력부를 통해 입력되는 상기 영역참조정보를 참조하여 상기 영역의 상기 맵구축정보를 수집하는 이동로봇.
  9. 제1항에 있어서,
    음성메세지를 출력하는 음성출력부를 더 포함하고,
    상기 제어부는, 사용자 명령에 대응하는 상기 특정구역과 컨텍스트의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 출력하도록 상기 음성출력부를 제어하는 이동로봇.
  10. 제1항에 있어서,
    상기 제어부는, 복수의 특정영역에 대한 동작정보가 입력되면, 상기 복수의 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행하는 이동로봇.
  11. 제1항에 있어서,
    상기 제어부는, 기설정된 조건이 발생되면, 상기 발생된 조건에 대응하는 특정구역으로 이동하여, 기설정된 동작을 수행하는 이동로봇.
  12. 이동로봇의 제어방법에 있어서,
    영역을 이동하여 상기 영역의 맵구축정보를 수집하는 단계와;
    상기 맵구축정보에 관하여 사용자에 의해 입력되는 특정구역과 상기 특정구역에 대응하는 컨텍스트에 관한 정보를 수신하는 단계와,
    상기 컨텍스트와 동작정보를 포함하는 사용자 명령이 입력되면, 상기 수신된 컨텍스트에 관한 정보와 동작 정보에 기초하여 상기 사용자 명령에 포함된 컨텍스트에 대응하는 특정구역으로 이동하는 단계와;
    상기 특정구역에서 상기 동작정보에 대응하는 동작을 수행하는 단계를 포함하며,
    상기 동작을 수행하는 단계는 사용자 명령에 따라 상기 동작을 설정하는 단계를 포함하는 이동로봇의 제어방법.
  13. 삭제
  14. 삭제
  15. 제12항에 있어서,
    상기 특정 구역과 컨텍스트를 입력하기 위한 사용자 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나의 정보를 포함하고,
    상기 이동하는 단계는,
    상기 디바이스 및 구조물 중 적어도 하나의 정보에 기초하여 상기 특정구역과 컨텍스트에 관한 정보를 설정하는 단계를 포함하는 이동로봇의 제어방법.
  16. 제12항에 있어서,
    상기 사용자 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 포함하는 것을 특징으로 하는 이동로봇의 제어방법.
  17. 삭제
  18. 삭제
  19. 제12항에 있어서,
    상기 맵구축정보를 수집하는 단계는,
    사용자입력부를 통해 입력되는 영역참조정보를 참조하여 상기 영역의 상기 맵구축정보를 수집하는 단계를 포함하는 이동로봇의 제어방법.
  20. 제12항에 있어서,
    상기 동작을 설정하는 단계는,
    사용자 명령에 대응하는 상기 특정구역과 컨텍스트의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 출력하는 단계를 포함하는 이동로봇의 제어방법.
  21. 제12항에 있어서,
    상기 동작을 수행하는 단계는,
    복수의 상기 특정구역에 대한 동작정보가 입력되면, 복수의 상기 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행하는 단계를 포함하는 이동로봇의 제어방법.
  22. 제15항에 있어서,
    상기 이동하는 단계는,
    기설정된 조건이 발생되면, 상기 발생된 조건에 대응하는 특정구역으로 이동하는 단계를 포함하며,
    상기 동작을 수행하는 단계는,
    기설정된 동작을 수행하는 단계를 포함하는 이동로봇의 제어방법.
  23. 사용자단말장치에 있어서,
    영역을 이동하여 동작을 수행하는 이동로봇과 통신하는 통신부와;
    상기 이동로봇에 관한 영상을 표시하는 디스플레이부와;
    사용자 명령을 입력하는 사용자입력부와;
    상기 영역의 맵정보를 상기 디스플레이부에 표시하고, 상기 사용자 명령에 따라 상기 영역 내의 특정구역과 상기 특정구역에 대응하는 컨텍스트에 관한 정보를 설정하여, 상기 정보를 상기 이동로봇으로 전송하도록 제어하는 제어부를 포함하며,
    상기 제어부는 사용자 명령에 따라 상기 특정구역에서 동작정보에 대응하는 동작을 설정하는 사용자단말장치.
  24. 제23항에 있어서,
    상기 제어부는, 사용자 명령에 따라 상기 특정구역의 이름을 설정하는 사용자단말장치.
  25. 제23항에 있어서,
    상기 제어부는, 사용자 명령에 따라 상기 동작을 설정하는 사용자단말장치.
  26. 제24항에 있어서,
    상기 특정구역과 컨텍스트에 관한 정보를 설정하기 위한 상기 사용자 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나를 포함하고,
    상기 제어부는, 상기 디바이스 및 구조물 중 적어도 하나의 정보에 기초하여 상기 특정구역과 컨텍스트에 관한 정보가 설정되도록 하는 사용자단말장치.
  27. 제25항에 있어서,
    상기 제어부는, 상기 사용자 명령은 사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 이용하여 설정되도록 하는 사용자단말장치.
  28. 제24항에 있어서,
    상기 사용자 명령은 위치정보를 포함하고,
    상기 제어부는, 상기 위치정보를 상기 이동로봇으로 전송하여 상기 이동로봇을 상기 특정구역으로 이동시켜 상기 특정구역을 설정하는 사용자단말장치.
  29. 제25항에 있어서,
    상기 사용자 명령은 동작정보를 포함하고,
    상기 제어부는, 상기 동작정보를 상기 이동로봇으로 전송하여 상기 동작이 수행되도록 하는 사용자단말장치.
  30. 제23항에 있어서,
    상기 제어부는, 영역참조정보를 상기 이동로봇으로 전송하여 상기 영역에 관한 맵구축정보를 수집하도록 하는 사용자단말장치.
  31. 제24항 또는 제25항에 있어서,
    상기 제어부는, 상기 특정구역과 컨텍스트의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 수신하며, 상기 특정구역과 컨텍스트의 설정 및 상기 동작의 설정 중 적어도 하나를 설정하는 사용자단말장치.
  32. 제29항에 있어서,
    상기 제어부는, 상기 이동로봇이 복수의 상기 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행하도록 복수의 상기 특정구역에 대한 상기 동작정보를 전송하는 사용자 단말장치.
  33. 제23항에 있어서,
    상기 제어부는, 사용자의 명령에 따라 상기 영역 내에서의 소정의 조건, 소정의 동작을 설정하여 상기 이동로봇으로 전송하는 사용자단말장치.
  34. 영역 내를 이동하며 동작을 수행하는 이동로봇과 통신하는 사용자단말장치의 제어방법에 있어서,
    상기 영역의 맵정보를 표시하는 단계와;
    사용자 명령에 따라 상기 영역 내의 특정구역과 상기 특정구역에 대응하는 컨텍스트에 관한 정보를 설정하는 단계와;
    상기 설정된 특정구역의 정보를 이동로봇으로 전송하는 단계를 포함하며,
    상기 정보를 설정하는 단계는 사용자 명령에 따라 상기 특정구역에서 동작정보에 대응하는 동작을 설정하는 단계를 포함하는 사용자단말장치의 제어방법.
  35. 제34항에 있어서,
    상기 정보를 설정하는 단계는,
    사용자 명령에 따라 상기 특정구역의 이름을 설정하는 단계를 포함하는 사용자단말장치의 제어방법.
  36. 삭제
  37. 제35항에 있어서,
    상기 특정구역과 컨텍스트에 관한 정보를 설정하기 위한 상기 사용자 명령은 상기 특정구역 내의 디바이스 및 구조물 중 적어도 하나를 포함하고,
    상기 특정구역과 컨텍스트에 관한 정보를 설정하는 단계는,
    상기 디바이스 및 구조물 중 적어도 하나의 정보에 기초하여 상기 특정구역과 컨텍스트에 관한 정보를 설정하는 단계를 포함하는 사용자단말장치의 제어방법.
  38. 제34항에 있어서,
    상기 동작을 설정하는 단계는,
    사용자의 제스쳐, 음성 및 포인팅 디바이스를 이용한 명령 중 적어도 하나를 이용하여 설정하는 단계를 포함하는 사용자단말장치의 제어방법.
  39. 제35항에 있어서,
    상기 사용자 명령은 위치정보를 포함하고,
    상기 특정구역의 이름을 설정하는 단계는,
    상기 위치정보에 기초하여 상기 특정구역으로 이동하여 상기 특정구역의 이름을 설정하는 단계를 포함하는 사용자단말장치의 제어방법.
  40. 제34항에 있어서,
    상기 사용자 명령은 동작정보를 포함하고,
    상기 동작을 설정하는 단계는,
    상기 동작이 수행되도록 상기 동작정보를 상기 이동로봇으로 전송하는 단계를 포함하는 사용자단말장치의 제어방법.
  41. 제34항에 있어서,
    상기 맵정보를 표시하는 단계는,
    상기 영역에 관한 맵구축정보를 수집하도록 영역참조정보를 상기 이동로봇으로 전송하는 단계를 포함하는 사용자단말장치의 제어방법.
  42. 제35항에 있어서,
    상기 정보를 설정하는 단계는,
    상기 특정구역과 컨텍스트의 설정 및 상기 동작의 설정 중 적어도 하나의 설정을 위한 음성메세지를 수신하는 단계와;
    상기 특정구역과 컨텍스트의 설정 및 상기 동작의 설정 중 적어도 하나를 설정하는 단계를 포함하는 사용자단말장치의 제어방법.
  43. 제40항에 있어서,
    상기 이동로봇으로 전송하는 단계는,
    상기 이동로봇이 복수의 상기 특정구역의 위치에 기초하여 순차적으로 상기 동작을 수행하도록 복수의 상기 특정구역에 대한 상기 동작정보를 전송하는 단계를 포함하는 사용자 단말장치의 제어방법.
  44. 제34항에 있어서,
    상기 이동로봇으로 전송하는 단계는,
    사용자 명령에 따라 상기 영역 내에서의 소정의 조건, 소정의 동작을 설정하여 상기 이동로봇으로 전송하는 단계를 포함하는 사용자단말장치의 제어방법.
KR1020130044835A 2013-04-23 2013-04-23 이동로봇, 사용자단말장치 및 그들의 제어방법 KR102071575B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130044835A KR102071575B1 (ko) 2013-04-23 2013-04-23 이동로봇, 사용자단말장치 및 그들의 제어방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130044835A KR102071575B1 (ko) 2013-04-23 2013-04-23 이동로봇, 사용자단말장치 및 그들의 제어방법
US14/251,055 US9983592B2 (en) 2013-04-23 2014-04-11 Moving robot, user terminal apparatus and control method thereof
PCT/KR2014/003271 WO2014175592A1 (en) 2013-04-23 2014-04-15 Moving robot, user terminal apparatus and control method thereof

Publications (2)

Publication Number Publication Date
KR20140126539A KR20140126539A (ko) 2014-10-31
KR102071575B1 true KR102071575B1 (ko) 2020-01-30

Family

ID=51729636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130044835A KR102071575B1 (ko) 2013-04-23 2013-04-23 이동로봇, 사용자단말장치 및 그들의 제어방법

Country Status (3)

Country Link
US (1) US9983592B2 (ko)
KR (1) KR102071575B1 (ko)
WO (1) WO2014175592A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1776623B1 (en) 2004-06-24 2011-12-07 iRobot Corporation Remote control scheduler and method for autonomous robotic device
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
EP3158409A1 (en) * 2014-06-19 2017-04-26 Husqvarna Ab Garden visualization and mapping via robotic vehicle
DE102014110265A1 (de) * 2014-07-22 2016-01-28 Vorwerk & Co. Interholding Gmbh Verfahren zur Reinigung oder Bearbeitung eines Raumes mittels eines selbsttätig verfahrbaren Gerätes
DE102014111217A1 (de) 2014-08-06 2016-02-11 Vorwerk & Co. Interholding Gmbh Bodenreinigungsgerät zur Trocken- und Feuchtreinigung sowie Verfahren zum Betrieb eines selbstfahrenden Bodenreinigungsgerätes
KR20160021991A (ko) * 2014-08-19 2016-02-29 삼성전자주식회사 청소 로봇, 청소 로봇의 제어 장치, 제어 시스템, 및 제어 방법
JP5819498B1 (ja) * 2014-08-27 2015-11-24 シャープ株式会社 自律移動体及び自律移動体システム
US9242799B1 (en) * 2014-10-20 2016-01-26 Amazon Technologies, Inc. Dynamically reconfigurable inventory pods
WO2016103067A1 (en) * 2014-12-22 2016-06-30 Husqvarna Ab Garden mapping and planning via robotic vehicle
WO2016103164A1 (en) * 2014-12-27 2016-06-30 Husqvarna Ab Garden street view
CN105841735A (zh) * 2015-01-12 2016-08-10 芋头科技(杭州)有限公司 机器人的用空气质量检测系统及检测方法
KR20160129143A (ko) 2015-04-29 2016-11-09 (주)이산솔루션 스마트 디바이스 기반의 로봇 제어 서비스 시스템
KR101690873B1 (ko) * 2015-04-30 2016-12-28 서울시립대학교 산학협력단 클라우드 환경을 통한 로봇 제어 프로그래밍 시스템 및 방법
KR101678781B1 (ko) * 2015-04-30 2016-11-22 서울시립대학교 산학협력단 클라우드 환경을 통한 로봇 제어 시스템 및 방법
CN104965426A (zh) 2015-06-24 2015-10-07 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人控制系统、方法和装置
CN105068540B (zh) * 2015-08-25 2017-10-13 深圳市奥亚电子有限公司 一种智能家居机器人室内清扫方法和装置
US10046459B2 (en) * 2015-11-16 2018-08-14 Abb Schweiz Ag Three-dimensional visual servoing for robot positioning
CN105741533B (zh) * 2016-04-11 2019-03-05 东莞市优优照明科技有限公司 抗红外虚拟墙遥控系统及采用该系统的遥控吸顶灯
CN105928504B (zh) 2016-04-14 2018-03-20 北京小米移动软件有限公司 障碍物定位方法、装置及系统
CN106527424A (zh) * 2016-09-20 2017-03-22 深圳市银星智能科技股份有限公司 移动机器人及移动机器人的导航方法
CN106227059A (zh) * 2016-10-08 2016-12-14 三星电子(中国)研发中心 基于室内三维模型的智能家居控制方法和设备
NL2017645B1 (en) * 2016-10-20 2018-04-26 Lely Patent Nv Animal farm system and method of generating barn map information of said animal farm system
JP2020509500A (ja) * 2017-03-02 2020-03-26 ロブアート ゲーエムベーハーROBART GmbH 自律移動ロボットの制御方法
US10521960B2 (en) 2017-05-03 2019-12-31 General Electric Company System and method for generating three-dimensional robotic inspection plan
US10633093B2 (en) * 2017-05-05 2020-04-28 General Electric Company Three-dimensional robotic inspection system
KR102024092B1 (ko) * 2017-07-12 2019-09-23 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
KR102021834B1 (ko) * 2017-07-12 2019-09-17 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
DE102017213601A1 (de) * 2017-08-04 2019-02-07 Robert Bosch Gmbh Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung
US10438587B1 (en) * 2017-08-08 2019-10-08 X Development Llc Speech recognition biasing
KR20190016333A (ko) * 2017-08-08 2019-02-18 삼성전자주식회사 전자 장치 및 그 동작 방법
US20190102377A1 (en) * 2017-10-04 2019-04-04 Anki, Inc. Robot Natural Language Term Disambiguation and Entity Labeling
DE102017126930A1 (de) * 2017-11-16 2019-05-16 Miele & Cie. Kg Selbstfahrender Roboter
WO2019104732A1 (zh) * 2017-12-01 2019-06-06 深圳市沃特沃德股份有限公司 视觉扫地机器人及障碍物检测方法
WO2020022621A1 (ko) * 2018-07-23 2020-01-30 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법
CN109146976B (zh) * 2018-08-23 2020-06-02 百度在线网络技术(北京)有限公司 用于定位无人车的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791382B1 (ko) 2006-06-01 2008-01-07 삼성전자주식회사 로봇의 이동 경로에 따라 소정 영역의 특성에 관한 정보를수집하고 분류하는 방법 및 상기 영역 특성에 따라제어되는 로봇, 상기 영역 특성을 이용한 ui 구성 방법및 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7878905B2 (en) * 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
JP2005077642A (ja) * 2003-08-29 2005-03-24 Mitsubishi Electric Corp 地図情報処理装置、地図修正情報記憶媒体、地図修正情報データ構造、地図修正情報作成システム及び地図情報更新システム
KR20060078099A (ko) 2004-12-30 2006-07-05 엘지전자 주식회사 홈넷 연동 청소용 로봇 시스템
US8583282B2 (en) * 2005-09-30 2013-11-12 Irobot Corporation Companion robot for personal interaction
EP2533120B1 (en) 2005-12-02 2019-01-16 iRobot Corporation Robot system
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US8180486B2 (en) * 2006-10-02 2012-05-15 Honda Motor Co., Ltd. Mobile robot and controller for same
KR20080041891A (ko) * 2006-11-08 2008-05-14 엘지전자 주식회사 특정영역 청소를 위한 리모콘, 로봇청소기 이를 이용한청소시스템, 복수영역의 좌표설정 및 청소방법
KR100843096B1 (ko) * 2006-12-21 2008-07-02 삼성전자주식회사 이동 로봇의 주행 상태 판별 장치 및 방법
KR100919513B1 (ko) 2007-10-17 2009-09-28 한국생산기술연구원 로봇의 자율주행을 위한 의미적 지도
KR101572851B1 (ko) * 2008-12-22 2015-11-30 삼성전자 주식회사 동적 환경에서 모바일 플랫폼의 지도 작성방법
KR101581415B1 (ko) 2009-02-23 2015-12-30 삼성전자주식회사 맵 빌딩 장치 및 방법
KR101570377B1 (ko) 2009-03-31 2015-11-20 엘지전자 주식회사 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
KR20110097140A (ko) 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
US9104202B2 (en) * 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
US8918209B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US9146558B2 (en) * 2010-11-30 2015-09-29 Irobot Corporation Mobile robot and method of operating thereof
US8639644B1 (en) * 2011-05-06 2014-01-28 Google Inc. Shared robot knowledge base for use with cloud computing system
KR20120137900A (ko) 2011-06-13 2012-12-24 엘지전자 주식회사 로봇 청소기, 이의 원격 제어 시스템, 및 단말 장치
US9582000B2 (en) 2011-09-07 2017-02-28 Lg Electronics Inc. Robot cleaner, and system and method for remotely controlling the same
KR101412590B1 (ko) * 2011-09-07 2014-06-26 엘지전자 주식회사 로봇 청소기의 원격 제어 시스템 및 방법
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791382B1 (ko) 2006-06-01 2008-01-07 삼성전자주식회사 로봇의 이동 경로에 따라 소정 영역의 특성에 관한 정보를수집하고 분류하는 방법 및 상기 영역 특성에 따라제어되는 로봇, 상기 영역 특성을 이용한 ui 구성 방법및 장치

Also Published As

Publication number Publication date
WO2014175592A1 (en) 2014-10-30
KR20140126539A (ko) 2014-10-31
US20140316636A1 (en) 2014-10-23
US9983592B2 (en) 2018-05-29

Similar Documents

Publication Publication Date Title
US10521801B2 (en) Cyber life electronic networking and commerce operating exchange
US20190066839A1 (en) Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9824578B2 (en) Home automation control using context sensitive menus
EP2895911B1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9632687B2 (en) Control method for information apparatus and computer-readable recording medium that control humidifiers connected to network
JP6199903B2 (ja) 光源のリモートコントロール
US9075444B2 (en) Information input apparatus, information input method, and computer program
US20160098154A1 (en) Display apparatus and control method thereof
KR102045690B1 (ko) 지능형 주택 무선제어시스템
CN104115078B (zh) 用于控制家庭装置的装置、方法以及时间线用户界面
US20160187995A1 (en) Contextual Based Gesture Recognition And Control
CN103472796B (zh) 一种基于手势识别的智能家居系统
US9041731B2 (en) Method and a user interaction system for controlling a lighting system, a portable electronic device and a computer program product
JP5819965B2 (ja) システム及び装置
US9037296B2 (en) Robot cleaner, and system and method for remotely controlling the same
JP5723462B2 (ja) マルチモーダル及びジェスチャー制御のための方法及びシステム
CN102194306B (zh) 控制由与建筑物相联系的多个家用自动装备项目构成的设施的方法及可编程遥控器
CN106155002B (zh) 智能家居系统
RU2633367C2 (ru) Способ и устройство для оперирования и управления интеллектуальным устройством
EP2261793B1 (en) Method for transmitting content with intuitively displayed content transmission direction and device using the same
US20170228046A1 (en) Method of displaying pointing information and device for performing the method
US8839137B2 (en) Information processing device, table, display control method, program, portable terminal, and information processing system
KR101541561B1 (ko) 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
JP5649696B1 (ja) エネルギーマネジメントシステム、端末装置、端末装置の制御方法、及び、プログラム
JP4243248B2 (ja) ポインティングデバイスに基づくユーザインターフェイスシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant