KR101448278B1 - 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치 - Google Patents

Abstract

이동 로봇을 이용한 원격 모니터링에 있어서 원격지 사용자의 휴대 단말과 같은 제어 장치에서 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치가 개시된다. 본 발명의 일 측면에 따른, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법은, 로봇 제어를 위한 제어 명령을 입력받는 단계; 상기 제어 명령을 상기 로봇으로 전송하는 단계; 및 상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 화면에 함께 표시하는 단계;를 포함한다.

Description

이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치{METHOD FOR MATCHING CONTROL COMMAND ABOUT ROBOT AND VIDEO OF ROBOT, CONTROL APPARATUS}

본 발명은 이동 로봇의 제어에 관한 것으로, 보다 구체적으로, 이동 로봇을 원격으로 제어하는데 있어서 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치에 관한 것이다.

종래의 보안 감시 기술은 고정된 카메라를 이용한다. 따라서 종래의 보안 감시 기술은 특정 위치의 일정한 범위를 모니터링하는 수준에 머물고 있고, 가정이나 회사와 같이 구조가 복잡하거나 카메라의 가시범위를 제한하는 장애물이 있는 지역에서는 종래의 보안 감시 기술은 적절한 기능을 제공하지 못한다.

이에 따라 이동 로봇을 이용한 보안 감시 기술이 제안되고 있다. 대표적으로 국내공개특허 제2009-0012542호를 들 수 있다. 국내공개특허 제2009-0012542호는 위치 이동이 가능한 로봇을 통해 감시 위치의 영상을 촬영할 수 있도록 하고, 통신 네트워크를 통해 원격지에서 로봇으로부터 촬영된 영상을 수신받아 원격으로 감시할 수 있도록 하는 로봇을 이용한 홈 모니터링 시스템을 제공한다.

이러한 이동 로봇을 이용한 원격 모니터링에 있어서 원격지의 사용자는 휴대 단말 등을 통해 이동 로봇이 촬영한 영상을 보면서 이동 로봇을 제어한다. 즉 사용자는 휴대 단말의 화면에 표시된 이동 로봇이 송출한 영상을 보면서, 이동 로봇의 전후좌우 이동을 제어한다. 그런데 이동 로봇에서의 영상 처리에 지연이 발생하고 또한 이동 로봇과 원격지 사용자를 연결하는 통신 네트워크에서의 전송 지연에 따라 사용자의 휴대 단말에 표시되는 영상과 사용자의 원격 제어 명령 간에 불일치가 발생하는 문제점이 있다.

예를 들어, 사용자가 휴대 단말에서 이동 로봇을 전진, 후진, 우회전, 좌회전하도록 제어하는 경우, 이동 로봇은 실시간 영상을 촬영하여 사용자의 휴대 단말로 전송하게 되는데, 영상 인코딩 시간, 네트워크 전송 시간 그리고 휴대 단말에서의 버퍼링, 영상 디코딩 시간에 의해 사용자의 휴대 단말에 표시되는 영상이 전진, 후진, 우회전, 좌회전 명령 중 어느 명령에 따른 영상인지 인식하기 어렵고, 또한 복수의 명령을 순차적으로 전송하였는데 언제 어느 명령에 따른 영상이 화면에 표시되는지 알 수 없어 지루함을 느끼게 되는 문제점이 있다.

국내공개특허 제2009-0012542호 (2009.02.04 공개)

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 이동 로봇을 이용한 원격 모니터링에 있어서 원격지 사용자의 휴대 단말과 같은 제어 장치에서 이동 로봇에 대한 제어 명령과 이동 로봇이 전송한 영상 간 매칭 방법 및 이를 위한 제어 장치를 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법은, 로봇 제어를 위한 제어 명령을 입력받는 단계; 상기 제어 명령을 상기 로봇으로 전송하는 단계; 및 상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 화면에 함께 표시하는 단계;를 포함한다.

상기 표시하는 단계는, 지연 시간을 카운트다운(countdown) 하여 화면에 표시할 수 있다.

상기 입력받는 단계는, 순차적으로 복수의 제어 명령을 입력받고, 상기 표시하는 단계는, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 화면에 함께 표시할 수 있다.

상기 표시하는 단계는, 복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트할 수 있다.

상기 표시하는 단계는, 최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 지연 시간 경과 후인지 확인하는 단계; 지연 시간 경과 후인 경우, 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하는 단계; 및 지연 시간 내인 경우, 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정하는 단계;를 포함할 수 있다.

상기 표시하는 단계는, 지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하는 단계; 및 계산된 시간 차를 이용하여 디폴트 지연 시간을 보정하는 단계;를 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법은, 디폴트 지연 시간을 기억하는 단계; 로봇 제어를 위한 제 1 제어 명령을 입력받는 단계; 상기 디폴트 지연 시간을 상기 제 1 제어 명령에 대한 영상 수신의 지연 시간으로 결정하는 단계; 로봇 제어를 위한 제 2 제어 명령을 입력받는 단계; 상기 제 2 제어 명령의 입력 시점이 상기 디폴트 지연 시간 내인지 확인하는 단계; 및 지연 시간 내인 경우, 상기 제 2 제어 명령의 입력 시간과 상기 제 1 제어 명령의 입력 시간의 차를 상기 제 2 제어 명령의 지연 시간으로 결정하는 단계;를 포함한다.

상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치는, 하나 이상의 프로세서; 디스플레이 장치; 메모리; 및 상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 상기 프로그램은, 로봇 제어를 위한 제어 명령을 입력받아 상기 로봇으로 전송하는 제어 명령 전송 모듈; 및 상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 상기 디스플레이 장치에 표시하는 지연 시간 표시 모듈;을 포함한다.

상기 지연 시간 표시 모듈은, 지연 시간을 카운트다운(countdown) 하여 표시할 수 있다.

상기 제어 명령 전송 모듈은, 순차적으로 복수의 제어 명령을 입력받고, 상기 지연 시간 표시 모듈은, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 상기 디스플레이 장치에 함께 표시할 수 있다.

상기 지연 시간 표시 모듈은, 복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고, 현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트할 수 있다.

상기 지연 시간 표시 모듈은, 최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 확인하여, 지연 시간 경과 후인 경우 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하고, 지연 시간 내인 경우 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정할 수 있다.

상기 지연 시간 표시 모듈은, 지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하고, 그 계산된 시간 차를 이용하여 디폴트 지연 시간을 보정할 수 있다.

본 발명은 원격에서 이동 로봇을 제어하여 모니터링을 하는데 있어서 이동 로봇에 제어 명령을 전송한 후 얼마 후에 이동 로봇으로부터 영상이 수신되는지 직관적으로 사용자가 알 수 있도록 하여 답답함을 해소할 수 있다.

또한, 본 발명은 영상 지연 시간을 사용자가 직관적으로 알 수 있게 함으로써 사용자가 무분별하게 제어 명령을 입력하는 것을 방지하여 로봇의 오작동 및 제어 장치의 오작동을 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이동 로봇을 이용한 모니터링 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 화면이다.
도 3은 본 발명의 일 실시예에 따른 지연 시간 표시 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 제어 장치의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 로봇 제어 프로그램의 구성을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 방법을 설명하는 흐름도이다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 이동 로봇을 이용한 모니터링 시스템의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 실시예에에 따른 모니터링 시스템은 이동 로봇(110), 제어 장치(150) 그리고 이들을 연결하는 통신망(130)을 포함한다. 또한 이동 로봇이 이동하며 경계 동작 등을 수행하는 가정 또는 보안이 필요한 건물 내에는 이상 상황을 탐지하는 복수의 센서(111), 그리고 상기 센서(111)와 이동 로봇(110)을 연결하는 무선 중계기(113)를 포함할 수 있다. 여기서 통신망(130)은 WiFi 네트워크, CDMA, WCDMA, 모바일 와이맥스, LTE, 인터넷 네트워크 중 어느 하나 또는 이들의 조합일 수 있다.

센서(111)는 화재 발생 여부, 가스 누출 여부, 침입자 발생 여부 등의 비상 상황을 탐지하기 위한 열 감지 센서, 연기 감지 센서, 가스 감지 센서, 침입자 감지 센서 등을 포함한다. 침입자 감지 센서는 문이나 창문의 개폐 여부를 감지하는 등의 방법으로 침입자를 감지한다.

센서(111)는 감지된 신호를 무선 중계기(113)를 통해 이동 로봇(110)에 전송한다. 이를 위해 센서(111)는 송수신 모듈을 구비할 수 있고, 송수신 모듈은 열 감지 센서, 연기 감지 센서, 가스 감지 센서, 침입자 감지 센서 등에 의해 이상 상황이 감지되면 지그비(Zigbee), 블루투스 등의 근거리 통신을 통해 무선 중계기(113)를 경유하여 이동 로봇(110)으로 감지 신호를 전송한다. 여기서는 무선 중계기(113)를 예로 들어 설명하지만 센서(111)와 이동 로봇(110)은 직접 통신을 통해 감지 신호를 송수신할 수 있다. 본 실시예에 있어서 센서(111)들과 무선 중계기(113)는 센서 네트워크를 구성할 수 있다.

이동 로봇(110)은 상기 무선 중계기(113)를 통해 센서(111)의 신호를 수신하는 수신 모듈과, 전방 또는 후방 등의 영상을 촬영하기 위한 카메라와, 경계 모드시 순찰 경로에 따라 이동하고 또한 제어 장치(150)의 제어에 따라 이동하기 위한 바퀴 및 바퀴 구동부를 포함하며, 또한 원격지의 제어 장치(150)와 통신하기 위한 통신 모듈 그리고 이동 로봇을 전체적으로 제어하는 프로세서를 포함한다.

이동 로봇(110)은 센서(111)들 중 어느 하나로부터 이상 상황 탐지 신호를 수신하면 통신망(130)을 통해 지정된 제어 장치(150)로 이상 상황 탐지를 알리는 단문 메시지나 멀티미디어 메시지를 전송하거나 또는 푸시(PUSH) 메시지를 전송할 수 있다. 또한 이동 로봇(110)은 제어 장치(150)와 영상 통화로를 개설하여 카메라로 촬영된 영상을 제어 장치(150)로 실시간 송신하고, 또한 제어 장치(150)로부터 제어 명령을 수신하면 그 수신된 제어 명령에 따라 바퀴를 구동하여 이동할 수 있다.

이동 로봇(110)과 제어 장치(150)는 서비스 서버를 통해 상호 연결될 수 있고 또는 P2P 연결을 통해 직접 연결될 수 있다.

제어 장치(150)는 데스크탑 컴퓨터, 노트북, 또는 이동통신단말과 같이 이동 로봇(110)으로부터 이상 상황 탐지에 따른 메시지를 수신할 수 있고, 통신망(120)을 통해 이동 로봇(110)을 제어할 수 있는 프로그램을 탑재할 수 있는 장치이다. 바람직하게, 제어 장치(150)는 이동 및 휴대가 용이한 이동통신단말이다.

제어 장치(150)는 사용자의 조작에 따라 이동 로봇(110)으로부터 실시간 영상을 수신한다. 서비스 서버를 통해 이동 로봇(110)과 제어 장치(150)가 연결되는 경우, 제어 장치(150)는 서비스 서버에 접속하여 인증을 수행한 후 영상을 요청하고 서비스 서버는 이동 로봇(110)을 제어하여 이동 로봇(110)의 카메라에서 촬영된 영상을 수신하여 제어 장치(150)로 실시간 전송할 수 있다.

또는 이동 로봇(110)에는 고정 IP 주소가 할당되어 있어 제어 장치(150)는 P2P 연결 방식에 의해 이동 로봇(110)에 직접 접속하여 이동 로봇(110)으로부터 실시간 영상을 수신할 수 있다. 또는 이동 로봇(110)에 전화번호가 할당되어 제어 장치(150)와 영상 통화로를 형성하고 이동 로봇(110)에서 촬영된 영상이 제어 장치(150)로 전송되고, 그 영상 통화로를 통해 제어 장치(150)로부터 이동 로봇(110)으로 제어 명령이 전송될 수 있다.

제어 장치(150)는 이동 로봇(110)으로부터 수신되는 실시간 영상 위에 이동 로봇(110)을 제어할 수 있는 제어 인터페이스를 표시하고 그 제어 인터페이스를 통해 입력되는 사용자 입력에 따라 이동 로봇(110)으로 제어 명령을 전송한다. 여기서 제어 명령은 전후좌우 이동 명령, 카메라의 상하 이동 등을 포함한다.

제어 장치(150)는 상기 제어 인터페이스를 통한 사용자의 제어 명령이 입력되면 그 제어 명령에 대응하는 아이콘 그리고 그 제어 명령에 따른 영상이 상기 이동 로봇(110)으로부터 수신되는 시점까지의 지연 시간을 화면에 함께 표시한다. 즉, 사용자가 입력한 제어 명령에 대응하는 아이콘을 화면에 표시하고 그 아이콘 하단에 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시하고 그 지연 시간을 카운트다운(countdown) 한다.

제어 장치(150)는 사용자로부터 복수 개의 제어 명령이 순차적으로 입력되는 경우, 가장 먼저 입력된 제어 명령에 대응하는 아이콘 그리고 해당 제어 명령에 따른 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시하며, 해당 지연 시간을 카운트한 후 지연 시간이 0이 되는 시점에 다음 순서의 제어 명령의 아이콘과 지연 시간을 표시하여 다시 지연 시간의 카운트다운을 한다. 이와 같은 방식은 마지막 제어 명령까지 반복된다.

바람직하게, 제어 장치(150)는 순차적으로 복수 개의 제어 명령이 입력되는 경우 입력 순서에 따라 제어 명령에 대응하는 아이콘을 나열하면서 이미 처리 완료된 제어 명령의 아이콘에 대해서는 페이드 아웃 효과를 제공한다.

도 2는 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 화면으로, 도 2를 참조하면, 제어 장치(150)의 좌측에는 좌회전, 우회전의 제어 명령을 선택할 수 있는 인터페이스(210)가 있고 우측에는 전진, 후진의 제어 명령을 선택할 수 있는 인터페이스(230)가 있다. 사용자는 이러한 전후좌우 제어 명령을 입력하여 이동 로봇(110)을 제어하고, 도 2에 도시된 바와 같이 제어 장치(150)는 이동 로봇(110)에서 촬영된 영상을 수신하여 화면에 표시한다.

또한 도 2를 참조하면, 제어 장치(150)는 화면의 중앙 상단(250)에 사용자가 입력한 제어 명령에 대응하는 아이콘(253)을 표시하고 해당 제어 명령에 따라 영상이 수신될 때까지의 시간, 즉 지연 시간(251)을 표시하고 해당 지연 시간을 카운트다운 한다.

이때, 도 2에 도시된 바와 같이, 제어 장치(150)는 이미 처리된 제어 명령(255)과 미처리 제어 명령(257)의 아이콘을 모두 표시하되 그 아이콘들은 사용자의 입력 순서에 따라 좌측에서 우측으로 또는 우측에서 좌측으로 나열된다. 그리고 하나의 제어 명령이 처리 완료될 때마다 아이콘들은 좌측으로 또는 우측으로 시프트된다. 도 2에 있어서 하나의 제어 명령이 처리 완료되면 아이콘들은 우측으로 시프트된다. 그리고 도 2에 있어서 이미 처리 완료된 제어 명령(255)의 아이콘은 두 개까지만 표시하고 그 이전의 아이콘을 사라지게 한다. 미처리된 모든 제어 명령에 대해 지연 시간을 표시할 수 있지만, 도 2에 도시된 바와 같이, 현재 영상을 대기 중인 제어 명령의 아이콘에 대해서만 지연 시간을 표시하여 카운트할 수 있다.

도 3은 본 발명의 일 실시예에 따른 지연 시간 표시 방법을 설명하는 도면이다.

도 3을 참조하면, (c)와 (d)의 라인은 각각 제어 장치(150) 측 시간 라인과 이동 로봇(110) 측 시간 라인을 나타내고, 각 시간 라인의 눈금은 1초라 가정한다. 도 3에 도시된 바와 같이, 제어 장치(150)에서 사용자는 가장 먼저 전진 제어 명령을 입력하고 이후 2초 후에 우회전 제어 명령을 입력하며 이후 3초 후에 좌회전 제어 명령을 입력한다. 즉 전진 제어 명령을 입력한 시점을 기준으로 2 초 후에 우회전, 그리고 5 초 후에 좌회전 제어 명령을 입력한다.

도 3의 (b)는 제어 장치(150)에서 제어 명령을 이동 로봇(150)으로 전송한 후 영상이 이동 로봇(150)으로부터 수신될 때까지의 시간, 즉 지연 시간을 나타낸 것으로, 전진 제어 명령에 대한 지연 시간(dT1)은 5초이고, 우회전 제어 명령에 대한 지연 시간(dT2)은 2초이며, 좌회전 제어 명령에 대한 지연 시간(dT3)은 3초이다.

여기서 최초 제어 명령, 즉 전진 제어 명령에 대한 지연 시간(dT1)은 디폴트 지연 시간으로서, 제어 명령 전송 시간, 영상 인코딩 시간, 영상 전송 시간, 버퍼링 시간, 그리고 영상 디코딩 시간의 합으로서, 제어 장치(150)에 미리 설정될 수 있고, 사용자에 의해 설정될 수 있다.

최초 제어 명령 이후 디폴트 지연 시간(dT1) 이내에 두 번째 제어 명령이 발생하면, 해당 두 번째 제어 명령의 지연 시간은, 그 두 번째 제어 명령의 발생 시간(T2)과 최초 제어 명령의 발생 시간(T1)의 차이다. 본 실시예에서 우회전 제어 명령은 디폴트 지연 시간(dT1) 이내에 발생하였으므로, 우회전 제어 명령의 지연 시간은 T2-T1=2가 된다.

그리고 세 번째 제어 명령이 이전 제어 명령들의 지연 시간(dT1+dT2) 내에 발생하는 경우, 해당 세 번째 제어 명령의 지연 시간은, 그 세 번째 제어 명령의 발생 시간(T3)과 최초 제어 명령의 발생 시간(T2)의 차이다. 본 실시예에서 좌회전 제어 명령은 dT1+dT2 이내에 발생하였으므로, 좌회전 제어 명령의 지연 시간은 T3-T2=3이 된다.

종합하면, 특정 제어 명령에 대한 지연 시간은, 해당 특정 제어 명령이 이전 제어 명령의 지연 시간 이내에 발생할 경우, 해당 특정 제어 명령이 발생한 시간에서 이전 제어 명령의 발생 시간을 뺀 값이다. 그리고 특정 제어 명령이 이전 제어 명령의 지연 시간 이후에 발생할 경우, 해당 특정 제어 명령의 지연 시간은 디폴트 지연 시간이다.

도 3의 (a)에 도시된 바와 같이, 제어 장치(150)에서 전진 명령에 따른 영상은 첫 번째 제어 명령의 지연 시간이 0이 되는 시점에 화면에 표시되고, 우회전 명령에 따른 영상은 그 우회전 명령의 지연 시간이 0이 되는 시점에 화면에 표시되며, 좌회전 명령에 따른 영상은 그 좌회전 명령의 지연 시간이 0이 되는 시점에 화면에 표시된다.

한편, 디폴트 지연 시간은 전술한 바와 같이 제어 명령 전송 시간, 영상 인코딩 시간, 영상 전송 시간, 버퍼링 시간, 그리고 영상 디코딩 시간의 합으로서, 제어 장치(150)에 미리 설정될 수 있고 사용자에 의해 설정될 수 있다. 그리고 디폴트 지연 시간은 보정될 수 있다. 즉, 제어 장치(150)는 하나의 제어 명령을 이동 로봇(110)으로 전송한 후 이동 로봇(110)으로부터 영상이 수신되는 시간을 계산하여 디폴트 지연 시간을 보정할 수 있다. 지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하고, 그 시간 차를 이용하여 디폴트 지연 시간을 보정할 수 있다.

도 4는 본 발명의 일 실시예에 따른 제어 장치의 구성을 나타낸 도면이다.

도 4를 참조하면, 본 실시예에 따른 제어 장치(150)는 메모리(402), 메모리 제어기(404), 하나 이상의 프로세서(CPU)(406), 주변 인터페이스(408), 입출력(I/O) 서브시스템(410), 디스플레이 장치(412), 입력 장치(414), 그리고 RF 회로(416)를 포함한다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선(418)을 통하여 통신한다. 도 4에 도시한 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit)를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다.

메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 일부 실시예에서, 메모리(402)는 하나 이상의 프로세서(406)로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 RF 회로(416)와, 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(Storage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 더 포함할 수 있다. 프로세서(406) 및 주변 인터페이스(408)와 같은 제어 장치(150)의 다른 구성요소에 의한 메모리(402)로의 액세스는 메모리 제어기(404)에 의하여 제어될 수 있다.

주변 인터페이스(408)는 장치의 입출력 주변 장치를 프로세서(406) 및 메모리(402)와 연결시킨다. 하나 이상의 프로세서(406)는 다양한 소프트웨어 프로그램 및/또는 메모리(402)에 저장되어 있는 명령어 세트를 실행하여 제어 장치(150)를 위한 여러 기능을 수행하고 데이터를 처리한다.

일부 실시예에서, 주변 인터페이스(408), 프로세서(406) 및 메모리 제어기(404)는 칩(411)과 같은 단일 칩 상에서 구현될 수 있다. 일부 다른 실시예에서, 이들은 별개의 칩으로 구현될 수 있다.

I/O 서브시스템(410)은 디스플레이 장치(412)와 기타 입력 장치(414)와 같은 제어 장치(150)의 입출력 주변장치와 주변 인터페이스(408) 사이에 인터페이스를 제공한다.

디스플레이 장치(412)는 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술을 사용할 수 있고, 이러한 디스플레이 장치(412)는 용량형, 저항형, 적외선형 등의 터치 디스플레이일 수 있다.

프로세서(406)는 제어 장치(150)에 연관된 동작을 수행하고 명령어들을 수행하도록 구성된 프로세서로서, 예를 들어, 메모리(402)로부터 검색된 명령어들을 이용하여, 제어 장치(150)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다.

일부 실시예에서, 소프트웨어 구성요소는 운영 체제(432), 그래픽 모듈(명령어 세트)(434) 및 로봇 제어 프로그램(명령어 세트)(436)이 메모리(402)에 탑재(설치)된다.

운영 체제(432)는, 예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 장치를 포함하고, 다양한 하드웨어와 소프트웨어 구성요소 사이의 통신을 촉진시킨다.

그래픽 모듈(434)은 디스플레이 장치(412) 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.

RF 회로(416)는 전자파를 송수신한다. RF 회로(416)는 전기 신호를 전자파로 또는 그 반대로 변환하며 이 전자파를 통하여 통신 네트워크 및 다른 이동형 게이트웨이와 통신 장치와 통신한다. RF 회로(416)는 예를 들어 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module, SIM) 카드, 메모리 등을 포함하지만 이에 한정되지 않는, 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있다. RF 회로(416)는 월드 와이드 웹(World Wide Web, WWW)으로 불리는 인터넷, 인트라넷과 네트워크 및/또는, 셀룰러 전화 네트워크, 무선 LAN 및/또는 MAN(metropolitan area network)와 같은 무선 네트워크, 그리고 무선 통신에 의하여 다른 장치와 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), 와이 파이(Wireless Fidelity, Wi-Fi)(예를 들어, IEEE802.11a, IEEE802.11b, IEEE802.11g 및/또는 IEEE802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징(instant messaging) 및/또는 단문 문자 서비스(SMS)용 프로토콜 또는 본 출원의 출원 시점에 아직 개발되지 않은 통신 프로토콜을 포함하는 기타 다른 적절한 통신 프로토콜을 포함하지만 이에 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 어느 것을 이용할 수 있다.

로봇 제어 프로그램(436)은 RF 회로(116)를 통해 이동 로봇(110) 또는 서비스 서버와 연결되어 이동 로봇(110)으로 제어 명령을 전송하고 이에 따른 영상을 수신하여 디스플레이 장치(412)에 표시한다.

로봇 제어 프로그램(436)은 이동 로봇(110)으로부터 수신되는 실시간 영상 위에 이동 로봇(110)을 제어할 수 있는 제어 인터페이스를 표시하고 그 제어 인터페이스를 통해 입력되는 사용자 입력에 따라 이동 로봇(110)으로 제어 명령을 전송한다. 여기서 제어 명령은 전후좌우 이동 명령, 카메라의 상하 이동 등을 포함한다.

로봇 제어 프로그램(436)은 상기 제어 인터페이스를 통한 사용자의 제어 명령이 입력되면 그 제어 명령에 대응하는 아이콘 그리고 그 제어 명령에 따른 영상이 상기 이동 로봇(110)으로부터 수신되는 시점까지의 지연 시간을 디스플레이 장치(412)에 함께 표시한다. 즉, 사용자가 입력한 제어 명령에 대응하는 아이콘을 화면에 표시하고 그 아이콘 하단에 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시하고 그 지연 시간을 카운트다운(countdown) 한다.

로봇 제어 프로그램(436)은 사용자로부터 복수 개의 제어 명령이 순차적으로 입력되는 경우, 가장 먼저 입력된 제어 명령에 대응하는 아이콘 그리고 해당 제어 명령에 따른 영상이 수신될 때까지 남은 시간, 즉 지연 시간을 표시하며, 해당 지연 시간을 카운트한 후 지연 시간이 0이 되는 시점에 다음 순서의 제어 명령의 아이콘과 지연 시간을 표시하여 다시 지연 시간의 카운트다운을 한다. 이와 같은 방식은 마지막 제어 명령까지 반복된다.

바람직하게, 로봇 제어 프로그램(436)은 순차적으로 복수 개의 제어 명령이 입력되는 경우 입력 순서에 따라 제어 명령에 대응하는 아이콘을 나열하면서 이미 처리 완료된 제어 명령의 아이콘에 대해서는 페이드 아웃 효과를 제공한다.

도 5는 본 발명의 일 실시예에 따른 로봇 제어 프로그램의 구성을 나타낸 도면이다.

도 5에 도시된 바와 같이, 본 실시예에 따른 로봇 제어 프로그램(436)은 이동 로봇 연결 모듈(510), 제어 명령 전송 모듈(530), 영상 출력 모듈(550), 지연 시간 표시 모듈(570)을 포함한다.

이동 로봇 연결 모듈(510)은 이동 로봇(110)으로 회신 교환망 또는 패킷 교환망을 통해 직접 영상 통화 연결을 하거나, 또는 서비스 서버를 경유하여 이동 로봇과 연결한다.

제어 명령 전송 모듈(530)은 디스플레이 장치(412)에 제어 명령을 선택할 수 있는 인터페이스를 표시하고 그 인터페이스를 통한 사용자의 입력을 수신하여 제어 명령을 이동 로봇(110)으로 전송한다. 도 2를 참조하면, 제어 명령 전송 모듈(530)은 화면의 좌측에는 좌회전, 우회전의 제어 명령을 선택할 수 있는 인터페이스를 표시하고, 화면의 우측에는 전진, 후진의 제어 명령을 선택할 수 있는 인터페이스를 표시한다.

영상 출력 모듈(550)은 이동 로봇(110)으로부터 수신되는 영상을 디코딩한 후 렌더링하여 디스플레이 장치(412)에 출력한다. 영상 출력 모듈(550)은 영상을 디코딩하고 렌더링하기 위한 코덱을 포함한다.

지연 시간 표시 모듈(570)은 상기 제어 명령 전송 모듈(530)을 통해 이동 로봇(110)으로 전송된 제어 명령에 대한 아이콘 그리고 그 제어 명령이 전송된 후 영상이 수신될 때까지의 지연 시간을 디스플레이 장치(412)에 표시하고 해당 지연 시간을 카운트다운 한다.

지연 시간 표시 모듈(570)은 이미 처리된 제어 명령과 미처리 제어 명령의 아이콘을 모두 표시하되 그 아이콘들은 사용자의 입력 순서에 따라 좌측에서 우측으로 또는 우측에서 좌측으로 나열하고, 하나의 제어 명령이 처리 완료될 때마다 아이콘들을 좌측으로 또는 우측으로 시프트할 수 있다. 미처리 제어 명령 중 현재 현재 영상을 대기 중인 제어 명령의 아이콘에 대해서만 지연 시간을 표시하여 카운트다운 할 수 있다.

지연 시간 표시 모듈(570)은, 디폴트 지연 시간을 기억한 후, 제어 명령이 이전 제어 명령의 지연 시간 이내에 발생할 경우, 해당 제어 명령이 발생한 시간에서 이전 제어 명령의 발생 시간을 뺀 값을 지연 시간으로 표시하고, 그렇지 않은 경우, 즉 제어 명령이 이전 제어 명령의 지연 시간 이후에 발생할 경우, 해당 제어 명령의 지연 시간으로 디폴트 지연 시간을 표시한다.

지연 시간 표시 모듈(570)은 하나의 제어 명령을 이동 로봇(110)으로 전송한 후 이동 로봇(110)으로부터 영상이 수신되는 시간을 계산하여 디폴트 지연 시간을 보정할 수 있다.

도 6은 본 발명의 일 실시예에 따른 제어 장치에서 제어 명령과 지연 시간을 매핑하여 표시한 방법을 설명하는 흐름도이다.

도 6을 참조하면, 먼저 제어 장치(150)는 사용자의 입력에 따라 이동 로봇(110)과 연결한다(S601). 그리고 제어 장치(150)는 제어 명령을 입력하기 위한 인터페이스를 표시하고 그 인터페이스를 통해 이동 로봇(110)의 제어 명령을 입력받는다(S603). 제어 명령은 전진, 후진, 우회전, 좌회전 등을 포함한다.

제어 명령을 입력받은 제어 장치(150)는 그 제어 명령을 이동 로봇(110)으로 전송하고, 그리고 그 제어 명령에 대응하는 아이콘 및 디폴트 지연 시간을 화면에 표시한다(S605). 최초의 제어 명령이므로 디폴트 지연 시간을 표시한다.

이와 같이 아이콘 및 디폴트 지연 시간을 표시한 후, 제어 장치(150)는 디폴트 지연 시간을 카운트다운 하여 표시한다(S607). 그리고 제어 장치(150)는 새로운 제어 명령을 사용자로부터 입력받는다(S609).

새로운 제어 명령을 입력받은 제어 장치(150)는 그 새로운 제어 명령의 입력 시점이 상기 디폴트 지연 시간 이내인지 확인한다(S611). 즉 디폴트 지연 시간이 카운트다운되어 0이 되기 전에 새로운 제어 명령이 입력되었는지 확인한다.

만약 새로운 제어 명령의 입력 시점이 디폴트 지연 시간이 경과한 후인 경우 제어 장치(150)는 해당 새로운 제어 명령에 대응하는 아이콘을 표시하면서 지연 시간으로 디폴트 지연 시간을 표시한 후 다시 카운트다운 한다.

반면, 새로운 제어 명령의 입력 시점이 디폴트 지연 시간 이내인 경우, 제어 장치(150)는 지연 시간을 계산한다(S613). 즉 제어 장치(150)는 새로운 제어 명령의 입력 시간과 이전 제어 명령의 입력 시간의 차를 지연 시간으로 결정한다. 그리고 제어 장치(150)는 새로운 제어 명령에 대응하는 아이콘을 표시하면서 상기 계산된 지연 시간, 즉 입력 시간의 차를 표시하고(S615), 지연 시간을 카운트다운 한다(S607).

제어 장치(150)는 전술한 과정을 반복하여 제어 명령에 따른 아이콘 그리고 지연 시간을 표시하면서 지연 시간을 카운트다운 한다. 즉, 새로운 제어 명령이 입력될 때마다 해당 새로운 제어 명령이 이전 제어 명령의 지연 시간 이내에 입력된 경우, 새로운 제어 명령의 입력 시간과 이전 제어 명령의 입력 시간의 차를 지연 시간으로 표시하고, 새로운 제어 명령이 이전 제어 명령의 지연 시간 경과 후에 입력된 경우 디폴트 지연 시간을 표시한다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절한 부결합(subcombination)에서 구현될 수 있다.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 아니된다. 어떤 환경에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

110 : 이동 로봇
111 : 센서
113 : 무선 중계기
130 : 통신망
150 : 제어 장치
436 : 로봇 제어 프로그램
510 : 이동 로봇 연결 모듈
530 : 제어 명령 전송 모듈
550 : 영상 출력 모듈
570 : 지연 시간 표시 모듈

Claims (13)

1. 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법으로서,
   로봇 제어를 위한 제어 명령을 입력받는 단계;
   상기 제어 명령을 상기 로봇으로 전송하는 단계; 및
   상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 화면에 함께 표시하는 단계;를 포함하는 제어 명령과 영상 간의 매칭 방법.
2. 제 1 항에 있어서,
   상기 표시하는 단계는,
   지연 시간을 카운트다운(countdown) 하여 화면에 표시하는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
3. 제 2 항에 있어서,
   상기 입력받는 단계는, 순차적으로 복수의 제어 명령을 입력받고,
   상기 표시하는 단계는,
   현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 화면에 함께 표시하는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
4. 제 3 항에 있어서,
   상기 표시하는 단계는,
   복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고,
   현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트시키는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 표시하는 단계는,
   최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 지연 시간 경과 후인지 확인하는 단계;
   지연 시간 경과 후인 경우, 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하는 단계; 및
   지연 시간 내인 경우, 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정하는 단계;를 포함하는 제어 명령과 영상 간의 매칭 방법.
6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 표시하는 단계는,
   지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하는 단계; 및
   계산된 시간 차를 이용하여 디폴트 지연 시간을 보정하는 단계;를 포함하는 것을 특징으로 하는 제어 명령과 영상 간의 매칭 방법.
7. 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치에서의 제어 명령과 영상 간의 매칭 방법으로서,
   디폴트 지연 시간을 기억하는 단계;
   로봇 제어를 위한 제 1 제어 명령을 입력받는 단계;
   상기 디폴트 지연 시간을 상기 제 1 제어 명령에 대한 영상 수신의 지연 시간으로 결정하는 단계;
   로봇 제어를 위한 제 2 제어 명령을 입력받는 단계;
   상기 제 2 제어 명령의 입력 시점이 상기 디폴트 지연 시간 내인지 확인하는 단계; 및
   지연 시간 내인 경우, 상기 제 2 제어 명령의 입력 시간과 상기 제 1 제어 명령의 입력 시간의 차를 상기 제 2 제어 명령의 지연 시간으로 결정하는 단계;를 포함하는 제어 명령과 영상 간의 매칭 방법.
8. 하나 이상의 프로세서;
   디스플레이 장치;
   메모리; 및
   상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 로봇을 원격 제어하여 로봇으로부터 수신된 영상을 표시하는 제어 장치로서,
   상기 프로그램은,
   로봇 제어를 위한 제어 명령을 입력받아 상기 로봇으로 전송하는 제어 명령 전송 모듈; 및
   상기 제어 명령에 대응하는 아이콘과 상기 제어 명령에 따른 영상이 상기 로봇으로부터 수신될 시점까지의 지연 시간을 상기 디스플레이 장치에 표시하는 지연 시간 표시 모듈;을 포함하는 제어 장치.
9. 제 8 항에 있어서,
   상기 지연 시간 표시 모듈은,
   지연 시간을 카운트다운(countdown) 하여 표시하는 것을 특징으로 하는 제어 장치.
10. 제 9 항에 있어서,
    상기 제어 명령 전송 모듈은, 순차적으로 복수의 제어 명령을 입력받고,
    상기 지연 시간 표시 모듈은,
    현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 다음 순번 제어 명령의 아이콘과 지연 시간을 상기 디스플레이 장치에 함께 표시하는 것을 특징으로 하는 제어 장치.
11. 제 10 항에 있어서,
    상기 지연 시간 표시 모듈은,
    복수의 제어 명령을 입력 시간 순서에 따라 나열하여 표시하고,
    현재 영상을 대기 중인 제어 명령에 대한 지연 시간이 제로(0)가 되는 시점에 아이콘들의 표시 위치를 시프트시키는 것을 특징으로 하는 제어 장치.
12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 지연 시간 표시 모듈은,
    최근 제어 명령의 입력 시점이 이전 제어 명령의 지연 시간 내인지 확인하여, 지연 시간 경과 후인 경우 디폴트 지연 시간을 상기 최근 제어 명령의 지연 시간으로 결정하고, 지연 시간 내인 경우 상기 최근 제어 명령의 입력 시간과 상기 이전 제어 명령의 입력 시간의 차를 상기 최근 제어 명령의 지연 시간으로 결정하는 것을 특징으로 하는 제어 장치.
13. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 지연 시간 표시 모듈은,
    지연 시간이 제로(0)가 되는 시점과 영상 수신 시점의 시간 차를 계산하고, 그 계산된 시간 차를 이용하여 디폴트 지연 시간을 보정하는 것을 특징으로 하는 제어 장치.

Images