KR20220014509A

KR20220014509A - 로봇 원격 제어 방법 및 시스템

Info

Publication number: KR20220014509A
Application number: KR1020200094178A
Authority: KR
Inventors: 김가현
Original assignee: 네이버랩스 주식회사
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2022-02-07
Also published as: EP3945388B1; JP2022027569A; US20220035370A1; KR20220014810A; KR102372563B1; EP3945388C0; EP3945388A1; KR102462636B1; JP7213924B2; US12001205B2

Abstract

본 발명은 로봇 제어에 관한 것으로서, 로봇의 주행을 원격으로 제어할 수 있는 로봇 원격 제어 방법 및 시스템이다. 위에서 살펴본 과제를 해결하기 위하여 본 발명에 따른 로봇 원격 제어 방법은, 상기 로봇에 구비된 카메라로부터, 상기 로봇의 주변에 대한 주변 영상을 수신하는 단계, 디스플레이 상에, 상기 주변 영상과 함께, 상기 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지를 출력하는 단계, 상기 디스플레이 상에, 상기 주변 영상 및 상기 지도 이미지가 출력되고 있는 상태에서, 상기 디스플레이에 대한 사용자 입력에 응답하여, 상기 로봇의 주행을 제어하기 위한 제어 명령을 생성하는 단계 및 상기 제어 명령에 따라 상기 로봇이 주행하도록, 상기 제어 명령을 상기 로봇으로 전송하는 단계를 포함하는 것을 특징으로 한다.

Description

로봇 원격 제어 방법 및 시스템 {REMOTE CONTROL METHOD AND SYSTEM FOR ROBOT}

본 발명은 로봇 제어에 관한 것으로서, 로봇의 주행을 원격으로 제어할 수 있는 로봇 원격 제어 방법 및 시스템이다.

기술이 발전함에 따라, 다양한 서비스 디바이스들이 나타나고 있으며, 특히 최근에는 다양한 작업 또는 서비스를 수행하는 로봇에 대한 기술 개발이 활발하게 이루어지고 있다.

나아가 최근에는, 인공 지능 기술, 클라우드 기술 등이 발전함에 따라, 로봇의 활용도가 점차적으로 높아지고 있다.

한편, 로봇으로 다양한 작업 또는 서비스를 제공하기 위해서는, 로봇을 정확하게 제어하는 것이 매우 중요하다. 로봇의 경우, 사용자가 일일이 로봇의 주변에서 로봇에 대한 제어를 수행하는 데에는 현실적인 한계가 있으므로, 원격에서 로봇을 제어하는 기술에 대한 필요성이 점차적으로 중요해지고 있다.

이에, 대한민국 등록특허 제10-1305944호(랩어라운드 영상을 이용한 로봇 원격 제어를 위한 방법 및 이를 위한 장치)에서는, 로봇의 사방에 카메라를 구비하여, 로봇 주변의 영상을 획득하고, 이를 이용하여 원격으로 로봇을 제어하는 기술에 대하여 개시하고 있다.

다만, 로봇에 구비된 카메라 만으로 로봇의 주변 환경을 파악하는 경우, 로봇이 위치한 장소 정보를 정확하게 파악하지 못하는 문제가 발생할 수 있다. 이에, 로봇의 위치 정보 및 로봇의 주변 환경 정보를 보다 직관적으로 제공할 수 있는 제어 시스템에 대한 니즈가 여전히 존재한다.

본 발명은 로봇에 대한 원격 제어 방법 및 시스템을 제공하는 것이다. 보다 구체적으로 본 발명은, 보다 직관적으로 로봇의 주행을 원격으로 제어할 수 있는 방법 및 시스템을 제공하는 것이다.

나아가, 본 발명은, 로봇의 주변 환경 및 로봇의 현재 위치를 모두 고려하여, 로봇을 원격으로 제어할 수 있는 로봇 원격 제어 방법 및 시스템을 제공하는 것이다.

또한, 본 발명은, 로봇을 제어하기 위한 인터페이스를 직관적으로 제어하기 위한 사용자 환경을 제공할 수 있는 로봇 원격 제어 방법 및 시스템을 제공하는 것이다.

위에서 살펴본 과제를 해결하기 위하여 본 발명에 따른 로봇 원격 제어 방법은, 상기 로봇에 구비된 카메라로부터, 상기 로봇의 주변에 대한 주변 영상을 수신하는 단계, 디스플레이 상에, 상기 주변 영상과 함께, 상기 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지를 출력하는 단계, 상기 디스플레이 상에, 상기 주변 영상 및 상기 지도 이미지가 출력되고 있는 상태에서, 상기 디스플레이에 대한 사용자 입력에 응답하여, 상기 로봇의 주행을 제어하기 위한 제어 명령을 생성하는 단계 및 상기 제어 명령에 따라 상기 로봇이 주행하도록, 상기 제어 명령을 상기 로봇으로 전송하는 단계를 포함하는 것을 특징으로 한다.

나아가, 본 발명에 따른 로봇 원격 제어 시스템은, 디스플레이부, 입력부, 로봇에 구비된 카메라로부터, 상기 로봇의 주변에 대한 주변 영상을 수신하는 통신부 및 상기 주변 영상과 함께, 상기 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지를 출력하도록 상기 디스플레이부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 디스플레이 상에, 상기 주변 영상 및 상기 지도 이미지가 출력되고 있는 상태에서, 상기 입력부를 통해 수신되는 사용자 입력에 응답하여, 상기 로봇의 주행을 제어하기 위한 제어 명령을 생성하고, 상기 제어 명령에 따라 상기 로봇이 주행하도록, 상기 제어 명령이 상기 로봇으로 전송되도록 상기 통신부를 제어하는 것을 특징으로 한다.

위에서 살펴본 것과 같이, 본 발명에 따른 로봇 원격 제어 방법 및 시스템은, 로봇에서 수신되는 영상과 함께 로봇이 위치한 장소 정보를 포함하는 지도를 함께 제공할 수 있다. 이를 통하여, 본 발명에 따른 로봇 원격 제어 방법 및 시스템은, 로봇을 원격 제어하는 상황에서 로봇을 둘러싼 주변 환경 정보를 종합적으로 제공할 수 있는 사용자 환경을 제공할 수 있다. 따라서, 로봇을 원격으로 제어하는 사용자는, 로봇 원격 제어시, 주변 환경을 고려하여 로봇에 대한 보다 정확한 제어를 수행할 수 있다.

나아가, 본 발명에 따른 로봇 원격 제어 방법 및 시스템은, 로봇의 원격 제어를 위한 사용자 입력에 기반하여, 로봇에 대한 제어뿐만 아니라, 디스플레이 영역에 대한 제어를 함께 수행할 수 있는 사용자 환경을 제공할 수 있다. 따라서, 로봇을 원격으로 제어하는 사용자는, 상황에 따라, 로봇의 제어 및 디스플레이 영역에 대한 제어를 하나의 제어명령으로 수행함으로써, 보다 간편하고 직관적으로 작업을 수행할 수 있다.

도 1 및 도 2는 본 발명에 따른 로봇 원격 제어 방법 및 시스템을 설명하기 위한 개념도들이다.
도 3 및 도 4는 본 발명에 따른 로봇 원격 제어 방법 및 시스템에서 로봇에서 수집되는 영상 및 로봇의 현재 위치를 추정하는 방법을 설명하기 위한 개념도들이다.
도 5는 본 발명에 따른 로봇 원격 제어 방법을 설명하기 위한 흐름도이다.
도 6, 도 7a, 도 7b, 도 7c, 도 8a, 도 8b, 도 9a, 도 9b 및 도 10은 본 발명에 따른 로봇 원격 제어 방법 및 시스템에서 로봇을 원격으로 제어하는 방법을 설명하기 위한 개념도들이다.
도 11은 본 발명에 따른 로봇 원격 제어 방법 및 시스템에서, 로봇을 원격으로 제어하기 위한 제어 명령을 설명하기 위한 개념도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 로봇에 대한 원격 제어 방법 및 시스템을 제공하는 것으로서, 보다 구체적으로, 보다 직관적으로 로봇의 주행을 원격으로 제어할 수 있는 방법 및 시스템을 제공하는 것이다. 이하에서는, 첨부된 도면과 함께, 로봇이 주행하는 공간 및 이를 둘러싼 로봇(robot) 원격 제어 시스템에 대하여 살펴보도록 한다. 도 1 및 도 2는 본 발명에 따른 로봇 원격 제어 방법 및 시스템을 설명하기 위한 개념도들이다.

도 1에 도시된 것과 같이, 기술이 발전함에 따라 로봇의 활용도는 점차적으로 높아지고 있다. 종래 로봇은 특수한 산업분야(예를 들어, 산업 자동화 관련 분야)에서 활용되었으나, 점차적으로 인간이나 설비를 위해 유용한 작업을 수행할 수 있는 서비스 로봇으로 변모하고 있다.

이와 같이 다양한 서비스를 제공할 수 있는 로봇은, 부여된 임무를 수행하기 위하여 도 1에 도시된 것과 같은 공간(10)을 주행하도록 이루어질 수 있다. 로봇이 주행하는 공간의 종류에는 제한이 없으며, 필요에 따라 실내 공간 및 실외 공간 중 적어도 하나를 주행하도록 이루어 질 수 있다. 예를 들어, 실내 공간은 백화점, 공항, 호텔, 학교, 빌딩, 지하철역, 기차역, 서점 등과 같이 다양한 공간일 수 있다. 로봇은, 이와 같이, 다양한 공간에 배치되어 인간에게 유용한 서비스를 제공하도록 이루어질 수 있다.

한편, 로봇을 이용하여 다양한 서비스를 제공하기 위해서는, 로봇을 정확하게 제어하는 것이 매우 중요한 요소이다. 이에, 본 발명은 로봇에 구비된 카메라 및 공간에 대한 지도 정보를 이용하여, 로봇을 원격으로 보다 정확하게 제어할 수 있는 방법에 대하여 제안한다. 한편, 본 발명에 따른 로봇은 다양하게 명명될 수 있으며, 예를 들어, 무인 이동 머신, 자율 이동 머신 등으로 표현될 수 있다.

도 1에 도시된 것과 같이, 로봇이 위치한 공간(10)에는 카메라(20)가 배치될 수 있다. 도시와 같이, 공간(10)에 배치된 카메라(20)의 수는 그 제한이 없다. 도시와 같이, 공간(10)에는 복수개의 카메라들(20a, 20b, 20c)이 배치될 수 있다. 공간(10)에 배치된 카메라(20)의 종류는 다양할 수 있으며, 공간(10)에 배치된 카메라(20)는 CCTV(closed circuit television)일 수 있다.

도 2에 도시된 것과 같이, 본 발명에 의하면 로봇 원격 제어 시스템(300)은 로봇(100)의 주행을 원격으로 제어할 수 있다.

도 2에 도시된 것과 같이, 본 발명에 따른 로봇 원격 제어 시스템(300)은, 통신부(310), 저장부(320), 디스플레이부(330), 입력부(340) 및 제어부(350) 중 적어도 하나를 포함할 수 있다.

통신부(310)는, 공간(10)에 배치된 다양한 디바이스와 유선 또는 무선으로 통신하도록 이루어질 수 있다. 통신부(310)는 도시와 같이 로봇(100)과 통신할 수 있다. 통신부(310)는 로봇(100)과의 통신을 통해, 로봇(100)에 구비된 카메라로부터 촬영되는 영상을 수신하도록 이루어질 수 있다.

나아가, 통신부(310)는 공간(10)에 배치된 카메라(20)와의 직접적인 통신을 수행할 수 있다. 나아가, 통신부(310)는 카메라(20)를 제어하는 영상 관제 시스템과 통신하도록 이루어질 수 있다.

나아가, 통신부(310)는 적어도 하나의 외부 서버(또는 외부 저장소, 200)와 통신하도록 이루어질 수 있다. 여기에서, 외부 서버(200)는, 도시된 것과 같이, 클라우드 서버(210) 또는 데이터베이스(220) 중 적어도 하나를 포함하도록 구성될 수 있다. 한편, 외부 서버(200)에서는, 제어부(350)의 적어도 일부의 역할을 수행하도록 구성될 수 있다. 즉, 데이터 처리 또는 데이터 연산 등의 수행은 외부 서버(200)에서 이루어지는 것이 가능하며, 본 발명에서는 이러한 방식에 대한 특별한 제한을 두지 않는다.

한편, 통신부(310)는 통신하는 디바이스의 통신 규격에 따라 다양한 통신 방식을 지원할 수 있다.

예를 들어, 통신부(310)는, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(5th　Generation　Mobile　Telecommunication　), 블루투스(Bluetooth™RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 공간(20) 내외에 위치한 디바이스(클라우드 서버 포함)와 통신하도록 이루어질 수 있다.

다음으로 저장부(320)는, 본 발명과 관련된 다양한 정보를 저장하도록 이루어질 수 있다. 본 발명에서 저장부(320)는 로봇 원격 제어 시스템(300) 자체에 구비될 수 있다. 이와 다르게, 저장부(320)의 적어도 일부는, 클라우드 서버(210) 및 데이터베이스(220) 중 적어도 하나를 의미할 수 있다. 즉, 저장부(320)는 본 발명에 따른 로봇 원격 제어를 위하여 필요한 정보가 저장되는 공간이면 충분하며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다. 이에, 이하에서는, 저장부(320), 클라우드 서버(210) 및 데이터베이스(220)를 별도로 구분하지 않고, 모두 저장부(320)라고 표현하도록 한다. 이때, 클라우드 서버(210)는 “클라우드 저장소”를 의미할 수 있다.

먼저, 저장부(320)에는, 로봇(100)에 대한 정보가 저장될 수 있다.

로봇(100)에 대한 정보는 매우 다양할 수 있으며, 로봇(100)에 대한 정보는 일 예로서, i)공간(10)에 배치된 로봇(100)을 식별하기 위한 식별 정보(예를 들어, 일련번호, TAG 정보, QR코드 정보 등), ii)로봇(100)에 부여된 임무 정보, iii)로봇(100)에 설정된 주행 경로 정보, iv)로봇(100)의 위치 정보, v)로봇(100)의 상태 정보(예를 들어, 전원 상태, 고장 유무, 배터리 상태 등), vi)로봇(100)에 구비된 카메라로부터 수신된 영상 정보 등이 존재할 수 있다.

다음으로 저장부(320)에는, 공간(10)에 대한 지도(map, 또는 지도 정보)가 저장될 수 있다. 여기에서, 지도는, 2차원 또는 3차원 지도 중 적어도 하나로 이루어 질 수 있다. 공간(10)에 대한 지도는 로봇(100)위 현재 위치를 파악하거나, 로봇의 주행 경로를 설정하는데 활용될 수 있는 지도를 의미할 수 있다.

특히, 본 발명에 따른 원격 제어 시스템(300)에서는, 로봇(100)에서 수신되는 영상을 기반으로 로봇(100)의 위치를 파악할 수 있다. 이를 위하여, 저장부(320)에 저장된 공간(10)에 대한 지도는 영상에 기반하여 위치를 추정할 수 있도록 하는 데이터로 구성될 수 있다.

이때, 공간(10)에 대한 지도는 사전에 공간(10)을 이동하는 적어도 하나의 로봇에 의해, SLAM(Simultaneous　Localization　and　Mapping)에 기반하여 작성된 지도일 수 있다. 이러한 공간(10)에 대한 지도는, 지도 이미지로서 나타내어질 수 있다.

한편, 위에서 열거한 정보의 종류 외에도 저장부(320)에는 다양한 정보가 저장될 수 있다.

다음으로 디스플레이부(330)는 로봇(100)에 구비된 카메라 및 공간(10)에 대한 지도 이미지 중 적어도 하나를 출력하도록 이루어질 수 있다. 디스플레이부(330)는 로봇(100)을 원격으로 관리하는 관리자의 디바이스에 구비된 것으로서, 도 2에 도시된 것과 같이, 원격 관제실(300a)에 구비될 수 있다. 나아가, 이와 다르게, 디스플레이부(330)는 모바일 디바이스에 구비된 디스플레이일 수 있다. 이와 같이, 본 발명에서는 디스플레이부의 종류에 대해서는 제한을 두지 않는다.

다음으로, 입력부(340)는 사용자(또는 관리자)로부터 입력되는 정보의 입력을 위한 것으로서, 입력부(340)는 사용자(또는 관리자)와 로봇 원격 제어 시스템(100) 사이의 매개체가 될 수 있다. 보다 구체적으로, 입력부(340)는 사용자로부터 로봇(100)의 주행을 원격으로 제어하기 위한 제어 명령을 수신하는 입력 수단을 의미할 수 있다.

이때, 입력부(340)의 종류에는 특별한 제한이 없으며, 입력부(340)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 마우스(mouse), 조이스틱(joy stic), 물리적인 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단 중 적어도 하나를 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다. 이때, 입력부(340)가 터치 스크린을 포함하는 경우, 디스플레이부(330)는 터치 스크린으로 이루어 질 수 있다. 이 경우, 디스플레이부(330)는 정보를 출력하는 역할과, 정보를 입력받는 역할을 모두 수행할 수 있다.

다음으로 제어부(350)는 본 발명과 관련된 로봇 원격 제어 시스템(300)의 전반적인 동작을 제어하도록 이루어질 수 있다. 제어부(350)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

특히, 제어부(350)는 로봇(100)에 구비된 카메라로부터 수신되는 영상과, 공간(10)에 대한 지도 이미지를 이용하여 로봇(100)을 원격으로 제어하도록 이루어질 수 있다. 제어부(350)는 로봇(100)에 대한 직관적인 원격 제어를 위하여, 로봇(100)에 구비된 카메라로부터 수신되는 영상으로부터 로봇(100)이 공간 상에서 위치한 위치 정보를 추출할 수 있다. 그리고, 제어부(350)는 저장부(320)로부터 상기 추출된 로봇의 위치 정보에 대응되는 지도 이미지를 추출할 수 있다. 나아가, 제어부(350)는 상기 영상과 상기 지도 이미지가 디스플레이부(330) 상에 함께 출력되도록 디스플레이부(330)를 제어할 수 있다. 그리고, 제어부(350)는 입력부(340)를 통해 상기 디스플레이부(330)에 대해 입력되는 사용자 입력에 근거하여, 로봇(100)에 대한 원격 제어를 수행할 수 있다.

이하에서는, 로봇(100)에서 수신되는 영상에 기반하여 로봇(100)의 현재 위치를 추정하는 방법 및 지도 이미지를 특정하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 3 및 도 4는 본 발명에 따른 로봇 원격 제어 방법 및 시스템에서, 로봇에서 수집되는 영상 및 로봇의 현재 위치를 추정하는 방법을 설명하기 위한 개념도들이다.

앞서 살펴본 것과 같이, 본 발명에 따른 제어부(350)는 로봇(100)에 구비된 카메라(미도시됨)를 이용하여 공간(10)에 대한 영상을 수신하고, 수신된 영상으로부터 로봇의 위치를 추정하는 Visual Localization수행하도록 이루어진다. 이때, 로봇(100)에 구비된 카메라는 공간(10)에 대한 영상, 즉, 로봇(100) 주변에 대한 영상을 촬영(또는 센싱)하도록 이루어진다. 이하에서는, 설명의 편의를 위하여, 로봇(100)에 구비된 카메라를 이용하여 획득된 영상을 “주변 영상”이라고 명명하기로 한다.

제어부(350)는 도 3의 (a)에 도시된 것과 같이, 로봇(100)에 구비된 카메라를 통하여 주변 영상(410)을 획득하도록 이루어진다. 그리고, 제어부(350)는 획득된 주변 영상(410)을 이용하여, 로봇(100)의 현재 위치를 추정할 수 있다.

제어부(350)는 주변 영상(410)과 저장부(320)에 저장된 지도 정보를 비교하여, 도 3의 (b)에 도시된 것과 같이, 로봇(100)의 현재 위치에 대응하는 위치 정보를 추출할 수 있다.

앞서 살펴본 것과 같이, 본 발명에서 공간(10)에 대한 지도는 사전에 공간(10)을 이동하는 적어도 하나의 로봇에 의해, SLAM(Simultaneous　Localization　and　Mapping)에 기반하여 작성된 지도일 수 있다. 특히, 공간(10)에 대한 지도는, 영상 정보를 기반으로 생성된 지도일 수 있다.

즉, 공간(10)에 대한 지도는 vision(또는 visual)기반의 SLAM기술에 의하여 생성된 지도일 수 있다.

따라서, 제어부(350)는 로봇(100)에서 획득된 주변 영상(410)에 대해 도 3의 (b)에 도시된 것과 같이 좌표 정보(예를 들어, (3층, B구역(3, 1,1,)), (3층, B구역(7, 1, 1))를 특정할 수 있다. 이와 같이, 특정된 좌표 정보는 곧, 로봇(100)의 현재 위치 정보가 될 수 있다.

이때, 제어부(350)는, 로봇(100)에서 획득된 주변 영상(410)과 vision(또는 visual)기반의 SLAM 기술에 의하여 생성된 지도를 비교함으로써, 로봇(100)의 현재 위치를 추정할 수 있다. 이 경우, 제어부(350)는 i)주변 영상(410)과 기 생성된 지도를 구성하는 이미지들 간의 이미지 비교를 이용하여, 주변 영상(410)과 가장 비슷한 이미지를 특정하고, ii)특정된 이미지에 매칭된 위치 정보를 획득하는 방식으로 로봇(100)의 위치 정보를 특정할 수 있다.

이와 같이, 제어부(350)는 도 4의 (a)에 도시된 것과 같이, 로봇(100)에서 주변 영상(410)이 획득되면, 획득된 주변 영상(410)을 이용하여, 로봇의 현재 위치를 특정할 수 있다. 앞서 살펴본 것과 같이, 제어부(350)는 저장부(320)에 기 저장된 지도 정보(예를 들어, “참조 맵”으로도 명명 가능)로부터, 상기 주변 영상(410)에 대응되는 위치 정보(예를 들어, 좌표 정보)를 추출할 수 있다.

그리고, 제어부(350)는 도 4의 (b)에 도시된 것과 같이, 추출된 위치 정보에 대응되는 지도 이미지(420)를 특정할 수 있다. 여기에서, 본 발명에서 지도 이미지는, 2차원 또는 3차원으로 이루어지는 이미지로서, 로봇(100)이 위치한 공간(10)을 시각화한 이미지로 이루어질 수 있다. 이때, 지도 이미지는 로봇(100)에서 획득된 주변 영상(410)에 대응되는 장소 정보를 포함하도록 이루어질 수 있다.

지도 이미지는 다양한 형식으로 이루어질 수 있는데, 실제 카메라에서 획득한 영상으로 이루어질 수 있다. 이 경우, 지도 이미지는 공간(10)에 배치된 카메라(20) 또는 로봇(100)에서 획득되는 영상 중 적어도 하나를 이용하여 구성될 수 있다.

이와 다르게 지도 이미지는, 카메라에서 획득된 영상이 아닌, 공간(10)을 일정 배율로 축소한 이미지로 구성될 수 있다. 지도 이미지는 공간(10)을 구성하는 실제 모든 사물들을 그대로 포함하는 것이 아니라, 공간(10)의 일부 정보를 포함하도록 구성되는 이미지일 수 있다. 여기에서, 공간(10)의 일부 정보는, 로봇(100)의 주행 및 경로를 결정하는데 필요한 정보로서, 기둥 정보, 천정 정보, 벽 정보, 공간 구분 정보, 공간(10)에 배치된 가구 정보 등을 포함할 수 있다.

본 발명에서 제어부(350)는, 로봇(100)의 원격 제어를 위하여, 로봇(100) 자체에서 획득되는 주변 영상(410) 뿐만 아니라, 로봇(100)이 위치한 공간에 대응되는 지도 이미지를 함께 디스플레이부(330)에 출력시킬 수 있다. 따라서, 본 발명은 로봇(100)을 원격으로 제어하는 관리자가, 로봇(100)에서 획득되는 주변 영상(410) 뿐만 아니라, 로봇(100)이 위치한 공간을 고려하여 로봇(100)에 대한 원격 제어를 수행하도록 할 수 있다.

한편, 제어부(350)는 디스플레이부(330)에 지도 이미지(420)를 출력할 때, 공간(10)에 대한 정보를 로봇(100)의 주변 영상(410)과 다른 배율로 제공하도록 지도 이미지(420)의 출력 배율을 제어할 수 있다. 즉, 제어부(350)는 주변 영상(410)보다 넓은 화각(시야)으로 공간(10)에 대한 정보를 제공하도록 지도 이미지(420)의 출력 배율을 제어할 수 있다. 이 경우, 사용자는, 로봇(100)을 원격 제어할 때에 공간(10)에 대한 정보를 보다 종합적으로 고려할 수 있다.

한편, 본 발명에서는 디스플레이부(330) 상에, 주변 영상 및 지도 이미지를 함께 출력하고, 입력부(340)를 통하여 주변 영상 및 지도 이미지 중 적어도 하나에 대해 입력되는 사용자 입력에 기반하여, 로봇(100)을 원격으로 제어하도록 이루어진다. 이때, 본 발명에서는, 로봇(100)을 원격으로 제어하기 위한 제어 명령을 로봇(100)에 대한 제어 뿐만 아니라, 디스플레이부(330)에 대한 제어 명령으로 활용함으로써, 사용자 편의성을 향상시킬 수 있다. 이하에서는, 이에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 5는 본 발명에 따른 로봇 원격 제어 방법을 설명하기 위한 흐름도이다. 그리고, 도 6, 도 7a, 도 7b, 도 7c, 도 8a, 도 8b, 도 9a, 도 9b 및 도 10은 본 발명에 따른 로봇 원격 제어 방법 및 시스템에서 로봇을 원격으로 제어하는 방법을 설명하기 위한 개념도들이다. 나아가, 도 11은 본 발명에 따른 로봇 원격 제어 방법 및 시스템에서 로봇을 원격으로 제어하기 위한 제어 명령을 설명하기 위한 개념도이다.

먼저, 본 발명에 따른 로봇 원격 제어 방법에서는 로봇에 구비된 카메라로부터 로봇의 주변에 대한 주변 영상에 대한 영상을 수신하는 과정이 진행된다(S510).

제어부(350)는 통신부(310)를 이용하여, 로봇(100)으로부터 주변 영상을 수신할 수 있다. 이때, 상기 로봇(100)은 원격 제어의 대상이 되는 로봇일 수 있다. 원격 제어의 대상이 되는 로봇(100)의 특정은, 다양하게 이루어질 수 있으며, 본 발명에서는 이에 대한 구체적인 한정을 두지 않는다. 즉, 제어부(350)는 다양한 방법으로 원격 제어 대상 로봇에 대한 특정이 이루어지면, 원격 제어의 대상이 되는 로봇(100)으로부터 주변 영상을 수신할 수 있다.

이와 같이, 로봇(100)으로부터 주변 영상이 수신되면, 제어부(350)는, 수신된 주변 영상을 이용하여, 로봇(100)의 현재 위치를 추정할 수 있다. 제어부(350)는 Visual Localization을 통하여, 로봇(100)의 현재 위치를 특정할 수 있다. 제어부(350)는 주변 영상과 저장부(320)에 저장된 지도 정보를 비교하여, 도 3의 (b)에 도시된 것과 같이, 로봇(100)의 현재 위치에 대응하는 위치 정보를 추출할 수 있다.

앞서 살펴본 것과 같이, 본 발명에서 공간(10)에 대한 지도는 사전에 공간(10)을 이동하는 적어도 하나의 로봇에 의해, SLAM(Simultaneous　Localization　and　Mapping)에 기반하여 작성된 지도일 수 있으며, 특히 영상 정보를 기반으로 생성된 지도일 수 있다. 즉, 공간(10)에 대한 지도는 vision(또는 visual)기반의 SLAM기술에 의하여 생성된 지도일 수 있다.

제어부(350)는, 로봇(100)에서 획득된 주변 영상과 vision(또는 visual)기반의 SLAM 기술에 의하여 생성된 지도를 비교함으로써, 로봇(100)의 현재 위치를 추정할 수 있다. 이 경우, 제어부(350)는 i)주변 영상(410)과 기 생성된 지도를 구성하는 이미지들 간의 이미지 비교를 이용하여, 주변 영상(410)과 가장 비슷한 이미지를 특정하고, ii)특정된 이미지에 매칭된 위치 정보를 획득하는 방식으로 로봇(100)의 위치 정보를 특정할 수 있다. 이와 같이, 제어부(350)는 앞서 살펴본, 도 4의 (a)에 도시된 것과 같이, 로봇(100)에서 주변 영상(410)이 획득되면, 획득된 주변 영상(410)을 이용하여, 로봇의 현재 위치를 특정할 수 있다. 앞서 살펴본 것과 같이, 제어부(350)는 저장부(320)에 기 저장된 지도 정보(예를 들어, “참조 맵”으로도 명명 가능)로부터, 상기 주변 영상(410)에 대응되는 위치 정보(예를 들어, 좌표 정보)를 추출할 수 있다.

그리고, 제어부(350)는 앞서 살펴본, 도 4의 (b)에 도시된 것과 같이, 주변 영상을 이용하여 추출된 위치 정보에 대응되는 지도 이미지를 특정할 수 있다. 여기에서, 본 발명에서 지도 이미지는, 2차원 또는 3차원으로 이루어지는 이미지로서, 로봇(100)이 위치한 공간(10)을 시각화한 이미지로 이루어질 수 있다. 이때, 지도 이미지는 로봇(100)에서 획득된 주변 영상(410)에 대응되는 장소 정보를 포함하도록 이루어질 수 있다.

위에서 살펴본 것과 같이, 제어부(350)는, 로봇(100)에서 획득된 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지를 특정할 수 있다. 이러한 지도 이미지는 저장부(320)에 저장되어 존재할 수 있다.

제어부(350)는, 영상 정보에 대응되는 좌표 정보에 대응되는 장소를 특정하고, 해당 장소에 대응되는 지도 이미지를 특정할 수 있다. 특정된 지도 이미지는 공간(10)에 대한 전체 지도 이미지의 적어도 일부에 해당할 수 있다. 즉, 제어부(350)는 공간(10)에 대한 전체 지도 이미지로부터, 주변 영상에 대응되는 장소를 포함하는 부분을 추출하고, 추출된 부분을 로봇(100)의 현재 위치에 대응되는 지도 이미지로서 특정할 수 있다.

이와 같이, 로봇(100)의 현재 위치가 특정되면, 본 발명에서는 로봇에서 획득된 주변 영상과 함께, 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지를 출력하는 과정이 진행될 수 있다(S520).

보다 구체적으로, 제어부(350)는, 도 6a의 (a) 및 (b)에 도시된 것과 같이, 디스플레이부(330) 상에, 주변 영상(610) 및 지도 이미지(620)가 함께 출력되도록 디스플레이부(330)를 제어할 수 있다.

도 6a의 (a) 및 (b)에 도시된 것과 같이, 상기 디스플레이부(330)는 메인 영역(A) 및 상기 메인 영역(A)의 적어도 일부에 오버랩되는 서브 영역(B)을 포함할 수 있다. 상기 디스플레이부(330)에서 시각적인 정보가 표시되는 영역은 “디스플레이 영역”이라고도 명명될 수 있다. 이 경우, 디스플레이부(330)의 디스플레이 영역은, 메인 영역(A) 및 상기 메인 영역(A)의 적어도 일부에 오버랩되는 서브 영역(B)을 포함한다고 표현할 수 있다.

한편, 서브 영역(B)이 메인 영역(A)에서 오버랩되는 위치는, 사용자 입력에 근거하여 변경될 수 있다. 나아가, 메인 영역(A) 및 서브 영역(B) 중 적어도 하나의 출력 크기 또한 사용자 입력에 근거하여 변경될 수 있음은 물론이다.

한편, 위의 예에서는, 서브 영역(B)이 메인 영역(A)상에 오버랩 되는 경우에 대하여 살펴보았으나, 본 발명은 위의 예에 한정되지 않는다. 예를 들어, 디스플레이부(330)는 복수의 디스플레이 영역으로 분할될 수 있으며, 이 중 어느 하나는 메인 영역(A)으로, 다른 하나는 서브 영역(B)이 될 수 있다. 이때, 메인 영역(A) 및 서브 영역(B)은 서로 중첩되지 않거나, 적어도 일부만 중첩될 수 있다. 본 발명에서, 메인 영역(A)의 크기는 서브 영역(B)보다 크게 이루어질 수 있다.

한편, 이하에서는 설명의 편의를 위하여, 메인 영역(A)의 적어도 일부에 대해 서브 영역(B)이 중첩되는 경우를 예를 들어 설명하도록 한다. 다만, 이하에서 설명되는 제어 및 인터랙션은 다른 화면 구성에도 동일하게 적용될 수 있음은 물론이다.

이상에서 살펴본 것과 같이, 디스플레이부(330)는 메인 영역(A) 및 서브 영역(B)을 포함하며, 본 발명에서는, 로봇(100)에서 수신된 주변 영상 및 상기 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지 중 어느 하나는 상기 메인 영역(A) 상에 출력되고, 다른 하나는 상기 서브 영역(B) 상에 출력될 수 있다.

도 6에 도시된 것과 같이, 제어부(350)는 메인 영역(A) 및 서브 영역(B) 중 어느 하나에 주변 영상(610)이 출력되고, 다른 하나에 지도 이미지(620)가 출력되도록 디스플레이부(330)를 제어할 수 있다. 예를 들어, 도 6의 (a)에 도시된 것과 같이, 메인 영역(A)에 로봇(100)에서 촬영된 주변 영상(610)이 출력되는 경우, 서브 영역(B)에는 상기 주변 영상(610)과 대응되는 장소 정보를 포함하는 지도 이미지(620)가 출력될 수 있다. 이와 반대로, 도 6의 (b)에 도시된 것과 같이, 메인 영역(A)에 주변 영상(610)과 대응되는 장소 정보를 포함하는 지도 이미지(620)가 출력되는 경우, 서브 영역(B)에는 로봇(100)에서 촬영된 주변 영상(610)이 출력될 수 있다.

나아가, 디스플레이부(330)의 메인 영역(A) 및 서브 영역(B) 중 지도 이미지(620)가 출력되는 영역에는, 로봇(100)의 현재 위치를 나타내는 그래픽 객체(601)가 더 출력될 수 있다. 즉, 제어부(350)는 사용자가 로봇(100)에 대한 직관적인 원격 제어를 수행할 수 있도록, 지도 이미지(620)에 대응되는 공간에서 로봇(100)이 어디쯤 위치하는지에 대한 정보를 그래픽 객체(601)를 이용하여 표시할 수 있다.

이와 같이, 디스플레이부(330)에 출력되는 지도 이미지(620)는, 로봇(100)을 나타내는 그래픽 객체(601)를 포함할 수 있다. 그리고, 그래픽 객체(601)는, 상기 지도 이미지(620) 중 상기 로봇의 현재 위치에 대응되는 영역에 위치할 수 있다.

한편, 상기 그래픽 객체(601)는 로봇(100)이 주행하는 경우, 로봇의 주행(100)에 연동하여 상기 지도 이미지(620) 상에서 출력 위치가 변경될 수 있다. 제어부(350)는, 로봇(100)의 현재 위치가 변경되는 경우, 로봇(100)의 변경되는 현재 위치에 따라 그래픽 객체(601)의 출력 위치가 변경되도록 디스플레이부(330)를 제어할 수 있다. 따라서, 사용자는, 그래픽 객체(601)가 지도 이미지(620)에서 어디에 위치하는지를 통하여, 공간(10) 상에서 로봇(100)의 위치를 직관적으로 파악할 수 있다. 한편, 제어부(350)는 visual localization을 이용하여, 로봇(100)이 주행하는 동안 수신하는 영상으로부터 로봇(100)의 위치를 계속하여 추적할 수 있다.

한편, 도 6과 함께 살펴본 것과 같이, 디스플레이부(330) 상에 주변 영상 및 지도 이미지가 출력되고 있는 상태에서, 상기 디스플레이부(330)에 대한 사용자 입력이 수신되면, 본 발명에서는 사용자 입력에 응답하여, 로봇의 주행을 제어하기 위한 제어 명령을 생성하는 과정이 진행될 수 있다(S530). 그리고, 본 발명에서는 상기 제어 명령을 따라 로봇(100)이 주행하도록, 상기 제어 명령을 상기 로봇으로 전송하는 과정을 진행할 수 있다(S540). 이러한 제어 명령을 수신한 로봇(100)은, 상기 제어 명령에 따라 주행이 제어될 수 있다.

보다 구체적으로, 앞서 살펴본 것과 같이, 사용자 입력은 입력부(340)를 통하여 입력될 수 있다. 입력부(340)의 종류는 다양할 수 있으며, 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 마우스(mouse), 조이스틱(joy stic), 물리적인 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단 중 적어도 하나를 포함할 수 있다.

나아가, 디스플레이부(330)에 대한 사용자 입력은, i) 터치 스크린으로 구성된 디스플레이부(330)에 대해 직접적인 터치를 통하여 입력되는 입력 및 ii) 마우스 등과 같은 별개의 입력수단을 매개체로 하여 디스플레이부(330)에 대해 가해지는 입력 중 적어도 하나를 포함할 수 있다.

예를 들어, 마우스와 같은 입력 수단으로 사용자 입력을 수신하는 경우, 디스플레이부(330)에는 도 7의 (a) 내지 (d)에 도시된 것과 같이, 사용자 입력에 대응하여 상기 디스플레이부(330) 상에서 이동하는 그래픽 객체(예를 들어, 커서(cursor) 이미지, 701)가 출력될 수 있다. 사용자는 이러한 커서 이미지(701)를 통하여, 입력부(340)를 통한 사용자 입력이 디스플레이부(330)의 어느 지점(또는 어느 영역)에 대해 가해지고 있는지를 파악할 수 있다. 한편, 터치 스크린을 통하여, 사용자 입력이 입력되는 경우라도 커서 이미지(701)등과 같은 그래픽 객체가 출력될 수 있음은 물론이다. 이하에서는, 사용자 입력을 입력받는 구체적인 입력수단을 한정하지 않고 설명하도록 한다. 즉, 이하에서는, 터치 스크린 또는 다른 입력수단을 통하여 디스플레이부(330)에 대해 가해지는 사용자 입력을, “디스플레이부에 대한 사용자 입력”이라고 표현하도록 한다.

제어부(350)는, 도 6과 함께 살펴본 것과 같이, 디스플레이부(330) 상에 주변 영상 및 지도 이미지가 출력되고 있는 상태에서, 상기 디스플레이부(330)에 대한 사용자 입력이 수신되면, 사용자 입력에 응답하여, 로봇의 주행을 제어하기 위한 제어 명령을 생성할 수 있다. 예를 들어, 제어 명령은, 로봇의 주행 방향, 주행 속도, 주행 여부, 주행 거리, 주행 경로 등과 같이, 로봇의 주행과 관련된 다양한 명령을 포함할 수 있다. 로봇(100)은 로봇 원격 제어 시스템(300)을 통해 수신되는 제어 명령에 근거하여, 주행할 수 있다.

제어부(350)는, 입력부(340)를 통하여, 디스플레이부(330)에 대해 입력되는 사용자 입력에 근거하여, 로봇(100)의 주행과 관련된 제어 명령을 생성할 수 있다. 이 경우, 제어부(350)는 입력부(340)를 통한 사용자 입력이, 디스플레이부(330)의 어느 영역에 가해졌는지에 따라, 디스플레이부(330)에 대한 제어를 함께 수행할 수 있다.

즉, 제어부(350)는 디스플레이부(330)에 대한 사용자 입력을, 로봇(100)에 대한 제어 뿐만 아니라, 디스플레이부(330)에 대한 제어 명령으로 처리할 수 있다.

이와 같이, 제어부(350)는 입력부(340)를 통한 사용자 입력이, 디스플레이부(330)의 어느 영역에 가해졌는지에 따라, 서로 다른 제어(또는 서로 다른 데이터 처리)를 수행할 수 있다.

보다 구체적으로, 제어부(350)는, 사용자 입력이 디스플레이부(330)의 메인 영역(A) 및 서브 영역(B) 중 어느 영역에 가해졌는지에 따라, 상기 로봇의 주행을 제어하기 위한 상기 제어 명령을 생성하는 것과 함께 상기 디스플레이 영역에 대한 제어를 수행할 수 있다.

앞서 살펴본 것과 같이, 메인 영역(A)의 크기는 서브 영역(B)보다 크게 형성될 수 있으며, 사용자는 서브 영역(B)에 표시된 정보를 보다 크게 보길 원하는 경우가 발생할 수 있다. 즉, 이 경우, 메인 영역(A)과 서브 영역(B)에서 각각 출력되고 있는 시각적인 정보는 상호 전환되어야 한다. 본 발명에서는, 메인 영역(A)과 서브 영역(B)에서 출력되고 있는 정보를 전환하기 위한 제어명령을 추가적으로 입력해야 하는 사용자의 불편함을 해소하기 위하여, 로봇(100)을 제어하기 위한 사용자 입력을, 디스플레이부(330)에 대한 제어에도 활용할 수 있다.

제어부(350)는, 도 7의 (b) 및 (d)에 도시된 것과 같이, 사용자 입력이 메인 영역(A) 및 서브 영역(B) 중 서브 영역(B)에 가해진 경우, 메인 영역(A) 및 서브 영역(B)에 출력된 정보를 상호 전환하는 제어 명령이 입력되었다고 판단할 수 있다. 즉, 제어부(350)는 도 7의 (b) 및 (d)에 도시된 것과 같이, 서브 영역(B)에 대해 사용자 입력이 가해진 이벤트를, “메인 영역(A) 및 서브 영역(B)에 출력된 정보를 상호 전환”하는 제어 명령으로 처리할 수 있다.

따라서, 제어부(350)는 도 7의 (b) 및 (d)에 도시된 것과 같이, 사용자 입력이 서브 영역(B)에 대해 가해진 경우, 로봇(100)의 주행을 제어하기 위한 제어 명령을 생성하는 것과 함께, 디스플레이부(330)의 디스플레이 영역(예를 들어, 메인 영역(A) 및 서브 영역(B))과 관련된 제어를 수행할 수 있다.

이와 반대로, 제어부(350)는, 도 7의 (a) 및 (c)에 도시된 것과 같이, 사용자 입력이 메인 영역(A)에 대해 가해진 경우, 디스플레이부(330)의 디스플레이 영역(예를 들어, 메인 영역(A) 및 서브 영역(B))과 관련된 제어의 수행없이, 로봇(10)의 주행을 제어하기 위한 제어 명령만을 생성할 수 있다.

구체적인 예를 들어, 살펴보면, 도 8a의 (a)에 도시된 것과 같이, 디스플레이부(330)의 메인 영역(A)에 로봇(100)에서 촬영된 주변 영상(810)이 출력되고, 디스플레이부(330)의 서브 영역(B)에 로봇(100)의 위치 정보에 대응되는 장소에 대한 지도 이미지(820)가 출력될 수 있다. 이와 같이, 메인 영역(A) 및 서브 영역(B)에서 각각 주변 영상(810) 및 지도 이미지(820)가 출력되고 있는 상태에서, 입력부(340)를 통한 사용자 입력이 메인 영역(A)에 가해진 경우, 제어부(350)는 상기 사용자 입력에 응답하여, 상기 사용자 입력에 대응되는 로봇(100)의 주행과 관련된 제어 명령을 생성할 수 있다. 예를 들어, 상기 사용자 입력이 로봇(100)이 일 방향(802a에서 802를 향하는 방향)으로 전진 주행하도록 하는 제어 명령인 경우, 로봇(100)은 상기 제어 명령에 따라 상기 일 방향을 따라 주행할 수 있다. 그 결과, 도 8a의 (b)에 도시된 것과 같이, 메인 영역(A)에 출력되는 주변 영상(810')은 로봇(100)이 상기 제어 명령에 근거하여 주행하기 전의 주변 영상(810, 도 8a의 (a) 참조)과 다를 수 있다. 즉, 제어부(350)는 로봇(100)으로부터 실시간 또는 기 설정된 시간 간격으로 영상을 수신하고, 메인 영역(A)에 가장 최신에 수신한 주변 영상을 출력할 수 있다.

한편, 상기 로봇(100)의 주행을 제어하기 위한 사용자 입력은, 입력부(340)를 통해 디스플레이부(330)에 가해지는 드래그(drag)입력일 수 있다. 제어부(350)는 도 8a의 (a)에 도시된 것과 같이, 일 방향(802a에서 802를 향하는 방향)을 따라 커서 이미지(801a, 801)를 드래그하는 사용자 입력에 근거하여, 로봇의 주행을 제어하기 위한 제어 명령을 생성할 수 있다.

나아가, 로봇이 상기 제어 명령에 따라 주행함에 따라, 로봇(100)의 현재 위치가 변경된 경우, 도 8a의 (b)에 도시된 것과 같이, 서브 영역(B)에 출력된 지도 이미지(820)에 포함되는 로봇의 현재 위치를 나타내는 그래픽 객체(803a)의 출력위치 또한 변경될 수 있다. 한편, 비록 도시되지는 않았지만, 지도 이미지에 포함되는 장소 정보는 로봇(100)이 주행함에 연동하여, 적어도 일부가 변경될 수 있다. 즉, 제어부(350)는 로봇의 현재 위치를 기준으로 기 설정된 범위 이내의 장소 정보가 지도 이미지(820)에 포함되도록 지도 이미지를 실시간 또는 기 설정된 시간 간격으로 업데이트 할 수 있다.

도 8a에 도시된 것과 같이, 제어부(350)는 사용자 입력이 메인 영역(A)에 가해진 경우, 로봇(100)의 주행만을 제어하기 위한 제어 명령을 생성할 수 있다.

다음으로, 위에서 살펴본 예와 반대인 경우에 대하여 살펴본다. 도 8b의 (a)에 도시된 것과 같이, 디스플레이부(330)의 메인 영역(A)에는 로봇(100)에서 촬영된 주변 영상(810)이 출력되고, 디스플레이부(330)의 서브 영역(B)에는 로봇(100)의 위치 정보에 대응되는 장소에 대한 지도 이미지(820)가 출력될 수 있다. 이와 같이, 메인 영역(A) 및 서브 영역(B)에서 각각 주변 영상(810) 및 지도 이미지(820)가 출력되고 있는 상태에서, 입력부(340)를 통한 사용자 입력이 서브 영역(B)에 가해진 경우, 제어부(350)는 상기 사용자 입력에 응답하여, 상기 사용자 입력에 대응되는 로봇(100)의 주행과 관련된 제어 명령을 생성할 수 있다. 예를 들어, 상기 사용자 입력이 로봇(100)이 일 방향으로 전진 주행하도록 하는 제어 명령인 경우, 로봇(100)은 상기 제어 명령에 따라 상기 일 방향을 따라 주행할 수 있다.

나아가, 제어부(350)는 도 8b의 (a)에 도시된 것과 같이, 사용자 입력이 서브 영역(B)에 가해진 것에 응답하여, i) 로봇(100)의 주행을 제어하기 위한 제어 명령을 생성하는 것과 함께, ii) 도 8b의 (a) 및 (b)에 도시된 것과 같이, 서브 영역(B)에 출력되고 있었던 지도 이미지(820)를 메인 영역(A) 상에 출력하고, iii) 메인 영역(A)에서 출력되고 있었던 주변 영상(810)이 서브 영역(B) 상에 출력되도록 디스플레이부(330)를 제어할 수 있다.

즉, 제어부(350)는, 사용자 입력이 서브 영역(B)에 대해 가해진 경우, 메인 영역(A) 및 서브 영역(B)에 출력된 시각적인 정보를 상호 전환할 수 있다.

한편, 앞서 살펴본 것과 같이, 상기 로봇(100)의 주행을 제어하기 위한 사용자 입력은, 입력부(340)를 통해 디스플레이부(330)에 가해지는 드래그(drag)입력일 수 있다. 제어부(350)는 도 8b의 (a)에 도시된 것과 같이, 일 방향(803a에서 803을 향하는 방향)을 따라 커서 이미지(801a, 801)를 드래그하는 사용자 입력에 근거하여, 로봇의 주행을 제어하기 위한 제어 명령을 생성할 수 있다.

이와 같이, 로봇이 상기 제어 명령에 따라 주행함에 따라, 로봇(100)의 현재 위치가 변경된 경우, 도 8b의 (b)에 도시된 것과 같이, 메인 영역(A)에 출력된 지도 이미지(820)에 포함되는 로봇의 현재 위치를 나타내는 그래픽 객체(803b)의 출력위치 또한 변경될 수 있다(로봇이 주행하기 전 그래픽 객체의 출력위치: 도면부호 803a 참조). 이와 같이, 제어부(350)는 사용자 입력이 서브 영역(B)에 대해 가해진 경우, 로봇(100)의 주행을 제어하기 위한 제어 명령을 생성하는 것과 함께, 디스플레이부(330)의 디스플레이 영역(예를 들어, 메인 영역(A) 및 서브 영역(B))과 관련된 제어를 수행할 수 있다. 따라서, 사용자는, 로봇의 주행을 제어하는 중에, 메인 영역(A) 및 서브 영역(B)간의 상호 화면 전환이 필요한 경우, 사용자 입력을 인가하는 영역을 선택함으로써, 간편하게 화면 전환을 수행할 수 있다.

이상에서는, 메인 영역(A)에 주변 영상이 출력된 상태에서, 메인 영역(A)과 서브 영역(B) 간에 화면 전환을 수행하는 방법에 대하여 살펴보았다. 이하에서는, 메인 영역(A)에 지도 이미지가 출력된 상태에서, 메인 영역(A)과 서브 영역(B) 간에 화면 전환을 수행하는 방법에 대하여 살펴본다.

도 9a의 (a)에 도시된 것과 같이, 디스플레이부(330)의 메인 영역(A)에는 로봇(100)의 위치 정보에 대응되는 장소에 대한 지도 이미지(920)가 출력되고, 디스플레이부(330)의 서브 영역(B)에는 로봇(100)에서 촬영된 주변 영상(910)이 출력될 수 있다. 이와 같이, 메인 영역(A) 및 서브 영역(B)에서 각각 지도 이미지(920) 및 주변 영상(910)이 출력되고 있는 상태에서, 입력부(340)를 통한 사용자 입력이 메인 영역(A)에 가해진 경우, 제어부(350)는 상기 사용자 입력에 응답하여, 상기 사용자 입력에 대응되는 로봇(100)의 주행과 관련된 제어 명령을 생성할 수 있다. 예를 들어, 상기 사용자 입력이 로봇(100)이 일 방향(902a에서 902를 향하는 방향)으로 전진 주행하도록 하는 제어 명령인 경우, 로봇(100)은 상기 제어 명령에 따라 상기 일 방향을 따라 주행할 수 있다. 로봇이 상기 제어 명령에 따라 주행함에 따라, 로봇(100)의 현재 위치가 변경된 경우, 도 9a의 (b)에 도시된 것과 같이, 메인 영역(A)에 출력된 지도 이미지(920)에 포함되는 로봇의 현재 위치를 나타내는 그래픽 객체(902, 도 9a의 (a)의 902a 참조)의 출력위치 또한 변경될 수 있다. 한편, 비록 도시되지는 않았지만, 지도 이미지에 포함되는 장소 정보는 로봇(100)이 주행함에 연동하여, 적어도 일부가 변경될 수 있다. 즉, 제어부(350)는 로봇의 현재 위치를 기준으로 기 설정된 범위 이내의 장소 정보가 지도 이미지(920)에 포함되도록 지도 이미지를 실시간 또는 기 설정된 시간 간격으로 업데이트 할 수 있다.

도 9a에 도시된 것과 같이, 제어부(350)는 사용자 입력이 메인 영역(A)에 가해진 경우, 로봇(100)의 주행만을 제어하기 위한 제어 명령을 생성할 수 있다. 즉, 이 경우, 메인 영역(A) 및 서브 영역(B)에 출력되는 정보의 종류는 변경되지 않고, 사용자 입력이 입력되기 전과 동일할 수 있다.

또한, 도 9a의 (b)에 도시된 것과 같이, 서브 영역(B)에 출력되는 주변 영상(910')은 로봇(100)이 상기 제어 명령에 근거하여 주행하기 전의 주변 영상(910, 도 9a의 (a) 참조)과 다를 수 있다. 즉, 제어부(350)는 로봇(100)으로부터 실시간 또는 기 설정된 시간 간격으로 영상을 수신하고, 서브 영역(B)에 가장 최신에 수신한 주변 영상을 출력할 수 있다. 한편, 앞서 살펴본 것과 같이, 상기 로봇(100)의 주행을 제어하기 위한 사용자 입력은, 입력부(340)를 통해 디스플레이부(330)에 가해지는 드래그(drag)입력일 수 있다.

다음으로, 위에서 살펴본 예와 반대인 경우에 대하여 살펴본다. 도 9b의 (a)에 도시된 것과 같이, 디스플레이부(330)의 메인 영역(A)에는 로봇(100)의 위치 정보에 대응되는 장소에 대한 지도 이미지(920)가 출력되고, 디스플레이부(330)의 서브 영역(B)에는 로봇(100)에서 촬영된 주변 영상(910)이 출력될 수 있다. 이와 같이, 메인 영역(A) 및 서브 영역(B)에서 각각 지도 이미지(920) 및 주변 영상(910)이 출력되고 있는 상태에서, 입력부(340)를 통한 사용자 입력이 서브 영역(B)에 가해진 경우, 제어부(350)는 상기 사용자 입력에 응답하여, 상기 사용자 입력에 대응되는 로봇(100)의 주행과 관련된 제어 명령을 생성할 수 있다. 예를 들어, 상기 사용자 입력이 로봇(100)이 일 방향으로 전진 주행하도록 하는 제어 명령인 경우, 로봇(100)은 상기 제어 명령에 따라 상기 일 방향을 따라 주행할 수 있다.

나아가, 제어부(350)는 도 9b의 (a)에 도시된 것과 같이, 사용자 입력이 서브 영역(B)에 가해진 것에 응답하여, i) 로봇(100)의 주행을 제어하기 위한 제어 명령을 생성하는 것과 함께, ii) 도 9b의 (a) 및 (b)에 도시된 것과 같이, 서브 영역(B)에 출력되고 있었던 주변 영상(910)를 메인 영역(A) 상에 출력하고, iii) 메인 영역(A)에서 출력되고 있었던 지도 이미지(920)를 서브 영역(B) 상에 출력되도록 디스플레이부(330)를 제어할 수 있다.

즉, 제어부(350)는, 사용자 입력이 서브 영역(B)에 대해 가해진 경우, 메인 영역(A) 및 서브 영역(B)에 출력된 시각적인 정보를 상호 전환할 수 있다. 한편, 앞서 살펴본 것과 같이, 상기 로봇(100)의 주행을 제어하기 위한 사용자 입력은, 입력부(340)를 통해 디스플레이부(330)에 가해지는 드래그(drag)입력일 수 있다.

제어부(350)는 도 9b의 (a)에 도시된 것과 같이, 일 방향(903a에서 903을 향하는 방향)을 따라 커서 이미지(901a, 901)를 드래그하는 사용자 입력에 근거하여, 로봇의 주행을 제어하기 위한 제어 명령을 생성할 수 있다.

이와 같이, 로봇이 상기 제어 명령에 따라 주행함에 따라, 로봇(100)의 현재 위치가 변경된 경우, 지도 이미지(820)에 포함되는 로봇의 현재 위치를 나타내는 그래픽 객체(902')의 출력위치 또한 변경될 수 있다(로봇이 주행하기 전 그래픽 객체의 출력위치: 도면부호 902a 참조). 이와 같이, 제어부(350)는 사용자 입력이 서브 영역(B)에 대해 가해진 경우, 로봇(100)의 주행을 제어하기 위한 제어 명령을 생성하는 것과 함께, 디스플레이부(330)의 디스플레이 영역(예를 들어, 메인 영역(A) 및 서브 영역(B))과 관련된 제어를 수행할 수 있다.

이와 같이, 본 발명에서는 원격 제어 시스템(300)의 디스플레이부(330)에 대한 사용자 입력에 기반하여, 로봇의 주행을 원격으로 제어함과 함께, 디스플레이부(330)에 대한 제어를 수행할 수 있다. 한편, 제어부(350)는 사용자에게 로봇(100)의 주행에 대한 정보를 제공하기 위하여, 도 10에 도시된 것과 같이, 로봇의 주행과 관련된 가이드 정보(1030)를 디스플레이부(330) 상에 출력할 수 있다. 가이드 정보(1030)는 로봇의 주행 경로 및 주행 속도 중 적어도 하나에 기반하여, 시각적인 형태가 달라질 수 있다. 가이드 정보(1030)는 도시와 같이, 로봇에서 수신된 주변 영상(1010)에 오버랩 되어 표시될 수 있다.

이와 다르게, 제어부(350)는 메인 영역(A) 상에 가이드 정보(1030)를 표시할 수 있으며, 이 경우, 메인 영역(A)에는 주변 영상 및 지도 이미지 중 어느 하나가 출력될 수 있다. 가이드 정보(1030)를 통하여, 사용자는 로봇에 대한 원격 제어를 보다 용이하게 할 수 있다.

한편, 본 발명에서 디스플레이부(330)에 가해지는 사용자 입력은, 입력부(340)를 통해 입력될 수 있다. 이때, 제어부(350)는 사용자 입력의 속성에 따라 로봇(100)의 주행과 관련된 서로 다른 제어 명령을 수행할 수 있다. 즉, 로봇(100)의 주행 속성은, 사용자 입력의 속성에 따라 달라질 수 있다. 예를 들어, 사용자 입력이 입력부(340)를 이용하여 커서 이미지(예를 들어, 도 8a의 (a)의 도면부호 801 참조)를 드래그 하는 드래그 입력인 경우, 제어부(350)는 상기 사용자 입력에 따라 이동하는 상기 커서 이미지(801)의 드래그 정도 및 드래그 방향에 근거하여 로봇의 주행 속성을 결정할 수 있다.

여기에서, 로봇(100)의 주행 속성은 로봇의 주행 방향(또는 로봇의 이동 방향), 주행 속도(또는 로봇의 이동 속도), 주행 여부, 주행 경로, 주행 거리(또는 로봇의 이동 거리) 중 적어도 하나를 포함할 수 있다.

예를 들어, 제어부(350)는, 상기 커서 이미지(801)가 상기 사용자 입력을 따라 드래그 되는 속도에 근거하여, 로봇의 주행 속도를 제어할 수 있다.

도 11에 도시된 것과 같이, 제어부(350)는 사용자 입력의 속성과 로봇의 주행 속성이 상호 매칭된 매칭 정보를 포함할 수 있다. 그리고, 사용자 입력의 방식, 입력 특징 등에 근거하여, 로봇의 주행을 제어하기 위한 다양한 제어 명령을 생성할 수 있다. 도 11에 도시된 매칭 정보는 일 예이며, 경우에 따라 다양하게 변형 가능하다. 예를 들어, 사용자는 “드래그”라는 입력방식의 다양한 입력 속성(또는 입력 특징)을 변형함에 따라, 로봇의 주행에 대한 다양한 제어 명령을 인가할 수 있다. 예를 들어, 커서 이미지(801)에 대한 드래그 길이가 길수록, 제어부(350)는 로봇(100)의 이동 거리를 더 멀리 제어할 수 있다. 이와 같이, 본 발명에서는 디스플레이부(330)에 대한 직관적인 사용자 입력에 근거하여, 로봇의 주행을 제어함과 함께, 디스플레이부(330)에 대한 화면 전환을 수행함으로써, 로봇을 원격으로 제어하기 위한 사용자 편의성을 극대화시킬 수 있다.

한편, 위의 설명에서는, 제어부(350)에서 로봇(100)의 위치를 추정하는 예에 대하여 설명하였으나, 본 발명은 이에 한정되지 않는다. 즉, 로봇(100)의 위치 추정은 로봇(100) 자체에서 이루어질 수 있다. 즉, 로봇(100)은 로봇(100) 자체에서 수신되는 영상에 근거하여, 앞서 살펴본 방식으로 현재 위치를 추정할 수 있다. 그리고, 로봇(100)은, 추정된 위치 정보를 제어부(350)에 전송할 수 있다. 이 경우, 제어부(350)는 로봇으로부터 수신되는 위치 정보에 기반하여, 위에서 살펴본 일련의 제어를 수행할 수 있다.

나아가, 본 발명에 따른 로봇 원격 제어 방법 및 시스템은, 로봇의 원격 제어를 위한 사용자 입력에 기반하여, 로봇에 대한 제어 뿐만 아니라, 디스플레이 영역에 대한 제어를 함께 수행할 수 있는 사용자 환경을 제공할 수 있다. 따라서, 로봇을 원격으로 제어하는 사용자는, 상황에 따라, 로봇의 제어 및 디스플레이 영역에 대한 제어를 하나의 제어명령으로 수행함으로써, 보다 간편하고 직관적으로 작업을 수행할 수 있다.

한편, 위에서 살펴본 본 발명은, 컴퓨터에서 하나 이상의 프로세스에 의하여 실행되며, 이러한 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서 구현될 수 있다.

나아가, 위에서 살펴본 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드 또는 명령어로서 구현하는 것이 가능하다. 즉, 본 발명은 프로그램의 형태로 제공될 수 있다.

한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.

나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.

한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

로봇의 주행을 원격으로 제어하는 방법에 있어서,
상기 로봇에 구비된 카메라로부터, 상기 로봇의 주변에 대한 주변 영상을 수신하는 단계;
디스플레이부 상에, 상기 주변 영상과 함께, 상기 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지를 출력하는 단계;
상기 디스플레이부 상에, 상기 주변 영상 및 상기 지도 이미지가 출력되고 있는 상태에서, 상기 디스플레이부에 대한 사용자 입력에 응답하여, 상기 로봇의 주행을 제어하기 위한 제어 명령을 생성하는 단계; 및
상기 제어 명령에 따라 상기 로봇이 주행하도록, 상기 제어 명령을 상기 로봇으로 전송하는 단계를 포함하는 것을 특징으로 하는 로봇 원격 제어 방법.
제1항에 있어서,
상기 디스플레이부의 디스플레이 영역은, 메인 영역 및 상기 메인 영역의 적어도 일부에 오버랩되는 서브 영역을 포함하고,
상기 주변 영상 및 상기 지도 이미지 중 어느 하나는 상기 메인 영역 상에 출력되고, 다른 하나는 상기 서브 영역 상에 출력되는 것을 특징으로 하는 로봇 원격 제어 방법.
제2항에 있어서,
상기 제어 명령을 생성하는 단계에서는,
상기 사용자 입력이 상기 메인 영역 및 상기 서브 영역 중 어느 영역에 가해졌는지에 따라, 상기 로봇의 주행을 제어하기 위한 상기 제어 명령을 생성하는 것과 함께 상기 디스플레이 영역에 대한 제어를 수행하는 것을 특징으로 하는 로봇 원격 제어 방법.
제3항에 있어서,
상기 제어 명령을 생성하는 단계에서는,
상기 사용자 입력이 상기 서브 영역에 대해 가해진 경우, 상기 로봇의 주행을 제어하기 위한 상기 제어 명령을 생성하는 것과 함께, 상기 디스플레이 영역과 관련된 제어를 수행하고,
상기 사용자 입력이 상기 메인 영역에 대해 가해진 경우, 상기 디스플레이 영역과 관련된 제어의 수행없이, 상기 로봇의 주행을 제어하기 위한 상기 제어 명령을 생성하는 것을 특징으로 하는 로봇 원격 제어 방법.
제4항에 있어서,
상기 사용자 입력이 상기 서브 영역에 가해진 경우,
상기 메인 영역 및 상기 서브 영역에 각각 출력되고 있었던 시각적인 정보가 상호 전환되는 것을 특징으로 하는 로봇 원격 제어 방법.
제5항에 있어서,
상기 메인 영역에 상기 주변 영상이 출력되고, 상기 서브 영역에 상기 지도 이미지가 출력되고 있는 상태에서, 상기 사용자 입력이 상기 서브 영역에 가해진 경우,
상기 제어 명령을 생성하는 단계에서는,
상기 사용자 입력에 응답하여, 상기 로봇의 주행을 제어하기 위한 상기 제어 명령을 생성하는 것과 함께, 상기 서브 영역에 출력되고 있었던 상기 지도 이미지를 상기 메인 영역 상에 출력하고,
상기 메인 영역에서 출력되고 있었던 상기 주변 영상을 상기 서브 영역 상에 출력하는 것을 특징으로 하는 로봇 원격 제어 방법.
제1항에 있어서,
상기 지도 이미지는, 상기 로봇을 나타내는 그래픽 객체를 포함하고,
상기 그래픽 객체는, 상기 지도 이미지 중 상기 로봇의 현재 위치에 대응되는 영역에 위치하는 것을 특징으로 하는 로봇 원격 제어 방법.
제7항에 있어서,
상기 제어 명령에 근거하여 상기 로봇이 주행하는 경우, 상기 로봇의 주행에 연동하여 상기 지도 이미지 상에서 상기 그래픽 객체의 출력 위치가 변경되는 것을 특징으로 하는 로봇 원격 제어 방법.
제1항에 있어서,
상기 디스플레이부에는 상기 사용자 입력에 대응하여 상기 디스플레이부 상에서 이동하는 커서(cursor) 이미지가 출력되고,
상기 로봇의 주행 속성은,
상기 사용자 입력에 따라 이동하는 상기 커서 이미지의 드래그 정도 및 드래그 방향에 근거하여 결정되는 것을 특징으로 하는 로봇 원격 제어 방법.
제9항에 있어서,
상기 로봇의 주행 속성은,
상기 로봇의 이동 방향, 이동 속도 및 이동 거리 중 적어도 하나를 포함하고,
상기 로봇의 이동 속도는, 상기 사용자 입력에 따라 상기 커서 이미지가 드래그 되는 속도에 근거하여 결정되는 것을 특징으로 하는 로봇 원격 제어 방법.
디스플레이부;
입력부;
로봇에 구비된 카메라로부터, 상기 로봇의 주변에 대한 주변 영상을 수신하는 통신부; 및
상기 주변 영상과 함께, 상기 주변 영상에 대응되는 장소 정보를 포함하는 지도 이미지를 출력하도록 상기 디스플레이부를 제어하는 제어부를 포함하고,
상기 제어부는,
상기 디스플레이 상에, 상기 주변 영상 및 상기 지도 이미지가 출력되고 있는 상태에서, 상기 입력부를 통해 수신되는 사용자 입력에 응답하여, 상기 로봇의 주행을 제어하기 위한 제어 명령을 생성하고,
상기 제어 명령에 따라 상기 로봇이 주행하도록, 상기 제어 명령이 상기 로봇으로 전송되도록 상기 통신부를 제어하는 것을 특징으로 하는 로봇 원격 제어 시스템.