KR20130060952A - 서비스로봇 원격제어 시스템 - Google Patents

Abstract

본 발명은 스마트폰과 같은 클라이언트를 이용하여 언제 어디서나 서비스로봇을 제어할 수 있는 유비쿼터스 인터페이스를 통한 서비스로봇 원격제어 시스템에 관한 기술로서, 인터넷 또는 WIFI를 통해서 무선으로 정보 데이타를 수신하거나 송신할 수 있는 서비스로봇과; 상기 서비스로봇에 상기 정보 데이타를 전송하며, 상기 서비스로봇이 제공하는 정보 데이타를 수신할 수 있는 클라이언트;를 포함하는 것을 특징으로 한다.

Description

서비스로봇 원격제어 시스템{REMOTE CONTROL SYSTEM FOR SERVICE ROBOT}

본 발명은 스마트폰과 같은 클라이언트를 이용하여 언제 어디서나 서비스로봇을 제어할 수 있는 유비쿼터스 인터페이스를 통한 서비스로봇 원격제어 시스템에 관한 기술이다.

로봇 기술의 발전으로 로봇이 산업현장에서 노동자를 대체하여 사용되고 있으며, 생산성 또한 매우 높아 향후에는 더욱 빠른 속도로 로봇이 인간을 대신하여 힘들고 위험한 작업을 하게 될 것으로 예상된다.

산업용으로 보급되던 로봇들이 이제는 일반 가정용으로도 점차 그 영역이 확대되고 있는 추세이다. 대표적으로 청소용 로봇과 같은 서비스로봇이 보급되고 있으며, 그 외 교육용 로봇이나 치매 예방을 위한 의료용 로봇과 같은 것들도 활용되고 있다.

이러한 서비스로봇의 보급을 위해서는 언제 어디서나 로봇에 대한 제어가 가능해야 하고, 조작의 편리성 및 비용 부담이 적어야 한다.

현재 컴퓨터 기술을 이용하여 로봇을 무선으로 제어할 수 있는 기술이 사용되고 있다. 하지만 컴퓨터는 휴대하는 것 자체가 불편하기 때문에 실질적인 사용에는 많은 불편함이 따른다. 즉, 컴퓨터는 유비쿼터스한 인터페이스로 사용되는데 한계가 있다.

근래에는 휴대폰이 널리 보급되면서 휴대폰을 이용하여 서비스로봇을 제어할 수 있는 인터페이스로 활용하게 되었다. 하지만 일반적인 휴대폰은 제한적인 컴퓨팅 환경을 가지고 통신을 위한 사용료가 비싸 제대로 활용되지 못하였다.

그러나 스마트폰의 경우 가장 큰 걸림돌이라 할 수 있었던 비용 문제는 무료로 인터넷이 가능하도록 하는 WIFI 기술로 인해 해결이 되었기 때문에 향후 원격제어를 통한 인간의 생활을 보다 윤택하게 할 수 있는 서비스로봇의 개발과 보급은 급성장할 것으로 예상된다.

본 발명과 관련되는 종래기술로 일본특허공보 특개2002-354139호의 기술이 있으며, 종래기술에서는 사용자의 휴대전화로 청소로봇에 탑재되는 휴대전화에 전화를 걸어 착신하도록 하고, 사용자의 휴대전화에 있어 버튼을 이용하여 청소할 방을 선택하여 청소를 명령하도록 한다.

하지만 종래기술에서 사용되는 휴대전화는 버튼 수가 제한적이므로 다양한 조작이 불가능하고 사용상 불편함이 있었고, 통신에 따른 비용부담으로 실질적인 사용은 이루어지지 않았다.

1. 일본특허공보 특개2002-354139호

따라서 본 발명은 스마트폰과 같은 클라이언트를 기반으로 하여 보다 사용이 편리하며 서비스로봇을 원활하게 제어할 수 있는 유비쿼터스 인터페이스를 제공하고자 한다.

또한 본 발명은 클라이언트와 서비스로봇에 쌍방간에 각종 정보 데이타를 주고 받을 수 있도록 하여 원격지에서도 서비스로봇이 존재하는 환경의 상태를 파악할 수 있고, 위험시에는 즉각적인 조치를 취할 수 있도록 하는 서비스로봇 원격제어 시스템을 제공하고자 한다.

제시한 바와 같은 과제 달성을 위한 본 발명의 서비스로봇 원격제어 시스템은,인터넷 또는 WIFI를 통해서 무선으로 정보 데이타를 수신하거나 송신할 수 있는 서비스로봇과; 상기 서비스로봇에 상기 정보 데이타를 전송하며, 상기 서비스로봇이 제공하는 정보 데이타를 수신할 수 있는 클라이언트;를 포함하는 것을 특징으로 한다.

그리고 본 발명에서 상기 서비스로봇은, 제어부와; 상기 제어부로 상기 서비스로봇이 존재하는 주변환경정보를 제공하는 감지부와; 상기 제어부로부터 명령을 받아 특정한 행위를 하는 행위부;를 포함하여 이루어지는 것을 특징으로 한다.

그리고 본 발명에서 상기 제어부는, 상기 클라이언트와 정보 데이타를 주고 받을 수 있는 통신유닛과; 입력되는 각종 정보를 해석하는 해석유닛과; 상기 해석유닛에 의해 해석된 결과를 저장하는 메모리유닛;을 포함하는 것을 특징으로 한다.

그리고 본 발명에서 상기 감지부는, 카메라를 통해서 영상정보를 획득하는 시각유닛과; 상기 서비스로봇에 부착되는 각종 센서를 통해 센싱정보를 획득하는 센서유닛과; 상기 서비스로봇이 놓인 환경으로부터 발생되는 소리정보를 획득하는 청취유닛;을 포함하는 것을 특징으로 한다.

그리고 본 발명에서 상기 행위부는, 모터의 구동을 통해 물리적 움직임을 발생시키는 동작유닛과; 음성출력수단을 통해서 사람의 음성을 발생시키는 발화유닛;을 포함하는 것을 특징으로 한다.

그리고 본 발명에서 상기 제어부는, 상기 감지부에 의해 제공되는 정보 중 유의미한 특정한 정보일 때 스스로 판단하여 상기 행위부를 제어할 수 있도록 하는 추론유닛이 더 마련되는 것을 특징으로 한다.

그리고 본 발명에서 상기 청취유닛은, 마이크를 통해 음성이 입력되면 음성변환기에 의해 상기 음성을 문장으로 변환시켜서 상기 해석유닛으로 제공하고 상기 해석유닛은 그 의미를 해석하게 되는 것을 특징으로 한다.

그리고 본 발명에서 상기 클라이언트는, 디스플레이창을 갖는 표시부와; 제어부와; 상기 제어부와 연결되는 통신부와; 상기 제어부로 연결되는 입력부;를 포함하는 것을 특징으로 한다.

그리고 본 발명에서 상기 입력부는, 버튼입력유닛과; 음성입력유닛과; 모션입력유닛과; 영상입력유닛;을 포함하는 것을 특징으로 한다.

그리고 본 발명에서 상기 음성입력유닛은 입력되는 음성을 음성처리기를 통해서 인식가능한 데이터로 처리하여 상기 제어부로 제공하도록 하는 것을 특징으로 한다.

그리고 본 발명에서 상기 모션입력유닛은 상기 클라이언트의 움직임을 감지하는 자이로 센서 또는 가속도 센서와 이들 센서의 입력을 명령화하기 위한 모션처리기를 포함하여 이루어져 상기 제어부로 모션명령을 제공하는 것을 특징으로 한다.

그리고 본 발명에서 상기 영상입력유닛은 상기 클라이언트 자체에 내장되는 카메라와 상기 카메라에 의해 촬영되는 영상을 명령화하기 위한 영상처리기를 포함하여 이루어져 상기 제어부로 영상명령을 제공하는 것을 특징으로 한다.

그리고 본 발명에서 상기 버튼입력유닛은 상기 디스플레이창에 표시되는 버튼이거나 외부에 하드웨어적으로 형성되는 것 중 어느 하나인 것을 특징으로 한다.

그리고 본 발명의 서비스로봇 원격제어 시스템은, 상기 서비스로봇을 원격이동모드, 원격제어모드 및 자동제어모드로 구분하여 운용할 수 있는 것을 특징으로 한다.

그리고 본 발명에서 상기 원격이동모드는 상기 서비스로봇에 의해 제공되는 영상정보를 통해서 클라이언트에서 영상을 보면서 버튼 조작을 통해 상기 서비스로봇이 전진, 후진, 좌회전, 우회전, 정지될 수 있도록 하는 것을 특징으로 한다.

그리고 본 발명에서 상기 원격제어모드는 상기 서비스로봇의 팔, 손, 머리 부분을 원격으로 X,Y,Z 3축으로 조작할 수 있도록 하되, 클라이언트에는 기능 버튼과 이동 버튼이 구분되게 표시하도록 하는 것을 특징으로 한다.

그리고 본 발명에서 상기 자동제어모드는 상기 클라이언트를 통해 목표로 하는 명령을 제시하면 상기 서비스로봇이 목표지점으로 이동한 후 특정된 행위를 하게 되는 것을 특징으로 한다.

그리고 본 발명에서 상기 자동제어모드는 상기 서비스로봇의 활동영역에 대한 그리드 지도가 저장되며, 상기 서비스로봇에는 자기위치검출수단이 마련되는 것을 특징으로 한다.

그리고 본 발명에서 상기 클라이언트에 상기 그리드 지도가 영상으로 표현되고, 상기 서비스로봇의 현재 위치가 상기 그리드 지도상에 표시되며, 사용자는 상기 그리드 지도상에 목표지점을 설정할 수 있도록 하는 것을 특징으로 한다.

본 발명에 의한 서비스로봇 원격제어 시스템은 스마트폰을 기반으로 하기 때문에 보다 다양한 제어가 가능하고 제어도 편리하다는 효과가 있다.

그리고 본 발명에 의하면 언제 어디서라도 서비스로봇과 사용자가 연결되어 서비스로봇이 소정의 기능을 하게 할 수 있고, 서비스로봇이 위치하는 장소에 대한 정보를 얻을 수 있다는 효과가 있다.

도 1은 본 발명에 의한 서비스로봇 원격제어 시스템의 개념도.
도 2는 서비스로봇의 구성도.
도 3은 클라이언트의 개략적인 정면도.
도 4는 클라이언트의 구성도.
도 5는 원격이동모드에 의한 서비스로봇의 이동을 보여주는 예시도.
도 6은 원격제어모드에서 서비스로봇의 팔을 동작시키는 예시도.
도 7은 자동제어모드가 실행되는 예를 보여주는 예시도.
도 8은 자동제어모드로 서비스로봇이 특정동작을 하는 예시도.
도 9는 서비스로봇과 클라이언트간에 이루어지는 보다 구체적인 통신방법의 예를 보여주는 예시도.
도 10은 로봇서버로부터 영상을 받아 표시하기 위한 함수에 대한 예시도.
도 11은 클라이언트에서 이루어지는 버튼 이벤트 함수의 예시도.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 부여하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

첨부되는 도 1은 본 발명에 의한 서비스로봇 원격제어 시스템의 개념도로서 스마트폰과 같은 클라이언트를 이용하여 서비스로봇을 무선으로 제어할 수 있도록하되, 클라이언트를 통해서 다양한 방식으로 명령을 입력할 수 있고 서비스로봇이 제공하는 영상을 보면서 사용자가 서비스로봇을 제어할 수 있도록 한다.

서비스로봇(100)은 청소용 로봇이나 방법용 로봇 등 다양한 것이 해당될 수 있되, 기본적으로 모터를 구비하여 제어명령에 따라 스스로 이동이 가능한 것이면 된다.

서비스로봇(100)은 무선으로 정보 데이타를 수신하거나 송신할 수 있고, 클라이언트(200)는 서비스로봇(100)의 제어를 위한 정보 데이타를 전송하며 동시에 서비스로봇(100)이 제공하는 정보 데이타를 수신할 수 있는 수단을 의미한다. 본 발명을 효과적으로 구현하는데 있어서 클라이언트(200)는 스마트폰을 통해서 WIFI, 3G 또는 4G 통신서비스를 이용하는 것이 바람직하다.

그리고 본 발명의 서비스로봇 원격제어 시스템은 로봇서버를 포함하며, 로봇서버는 인터넷이나 WIFI로 연결되어 서비스로봇(100)과 클라이언트(200)간 정보 데이타를 주고 받을 수 있도록 한다. 로봇서버는 서비스로봇의 호스트 컴퓨터에 해당되며 서비스로봇 자체에 내장된다.

첨부되는 도 2는 서비스로봇의 구성도를 나타낸 것이며, 도시된 바와 같이 제어부(110), 감지부(120) 및 행위부(130)로 이루어진다. 제어부(110)는 서비스로봇의 로봇서버에 해당된다.

제어부(110)는 전반적인 서비스로봇(100)의 동작을 콘트롤하게 되며, 감지부(120)는 서비스로봇(100)이 존재하는 주변환경정보를 제공하고, 행위부(130)는 제어부(110)로부터 명령을 받아 소정의 행위를 하게 되는 부위이다.

보다 구체적으로 제어부(110)는 세분하여 통신유닛(111), 해석유닛(112), 메모리유닛(113)을 포함하며, 추가적으로 추론유닛(114)을 더 포함할 수 있다.

통신유닛(111)은 클라이언트(200)와 정보 데이타를 주고 받을 수 있는 수단을 의미한다.

해석유닛(112)은 감지부(120)를 통해 입력되는 정보나 통신유닛(111)을 통해 전송되는 제어명령을 해석하여 행위부(130)를 동작되게 하거나 감지부(120)에 입력된 정보를 클라이언트(200)로 전송될 수 있도록 제어하는 역할을 한다.

메모리유닛(113)은 해석유닛(112)에 의해 해석된 결과가 저장되는 곳이며, 그 외 서비스로봇의 제어를 위한 기본적인 데이타나 데이타베이스가 저장될 수 있다.

감지부(120)는 시각유닛(121), 센서유닛(122), 청취유닛(123)을 포함하여 이루어지며, 시각유닛(121)은 카메라를 통해서 영상정보를 획득하게 된다. 서비스로봇(100)의 머리 부위나 몸통 부위에 하나 이상 마련되는 카메라에 의해 촬영되는 영상은 시각유닛(121)으로 제공되어 소정의 변환을 거쳐서 해석유닛(112)으로 제공된다.

시각모듈은 카메라로 부터 얻어지는 칼라 영상정보나 3차원 거리영상화 센서를 이용한 3차원 정보를 이용하는 경우를 모두 포함한다.

서비스로봇(100)에는 각종 센서들이 마련되며, 거리센서, 적외선 센서, 초음파센서와 같은 것이 사용될 수 있을 것이고, 각종 센서를 통해 센싱되는 정보들은 센서유닛(122)으로 입력된 후 해석유닛(112)으로 제공된다.

센서들을 통해서 서비스로봇(100)이 위치하는 특정한 주변환경에 대한 다양한 정보를 획득할 수 있다. 예를 들어 거리센서를 통해서 서비스로봇(100)의 근접한 물체의 위치관계를 알 수 있고, 조명센서를 통해서 밝고 어두운 정도를 알 수 있으며, 연기탐지센서를 통해서 화재발생 유무를 확인할 수 있을 것이다. 각종 센서들은 서비스로봇의 사용장소에 따라 다양하게 추가 변경될 수 있다.

서비스로봇(100)의 감지부(120)에는 청취유닛(123)이 마련된다. 청취유닛(123)은 서비스로봇(100)이 놓인 주위 환경으로부터 발생되는 소리정보를 획득하여 음성을 데이타로 변환하여 해석유닛(112)으로 제공할 수 있도록 한다. 서비스로봇(100)이 일반 가정의 실내에 놓이는 경우 실내에서 발생되는 사람의 음성이나 기타 전자제품 등에서 발생되는 소리 등을 데이타화하여 해석유닛(112)에 제공하면 해석유닛(112)에서는 입력된 소리정보를 비교판단하여 클라이언트(200)에게 전송할 수 있도록 한다.

통상적으로 클라이언트(200)가 서비스로봇(100)과 접속되어 서비스로봇에게 적절한 명령을 하달하게 되지만, 서비스로봇(100)이 클라이언트(200)와 연결된 상태인 경우 서비스로봇(100)은 감지부(120)를 통해 입력되는 다양한 정보들을 클라이언트(200)에게 전송할 수도 있다.

예를 들어 서비스로봇(100)이 운용중인 가정에서 집안에 거주하는 누군가가 서비스로봇에게 말을 하게 되면 청취유닛(123)이 이를 받아들여 해석유닛(112)으로 제공한다. 음성은 문자로 변환되어 해석유닛(112)으로 제공되며 해석유닛(112)은 해석된 문자를 통신유닛(111)을 통해 클라이언트(200)에게 전송한다. 따라서 클라이언트(200)는 자신의 의사를 원격지에 있는 가족에게 전달할 수 있음은 물론이고, 가족의 일원인 누군가는 클라이언트 사용자에게 클라이언트 사용자가 전한 의사에 대한 응답을 하거나 새로운 의사를 전달할 수도 있게 된다.

서비스로봇(100)을 구성하는 행위부(130)는 동작유닛(131)과 발화유닛(132)으로 이루어지며, 동작유닛(131)은 모터의 구동으로 서비스로봇(100)이 물리적인 운동을 할 수 있도록 하며, 발화유닛(132)은 음성출력수단을 통해서 사람의 음성을 발생시키도록 하는 부위이다.

음성출력수단은 스피커와 같은 것이며, 해석유닛(112)을 통해서 전달되는 음성명령을 발생시키게 된다.

발화유닛(132)으로 제공되는 음성명령은 클라이언트(200)가 입력하는 명령으로서 클라이언트(200)가 소정의 입력방식을 통해서 음성명령을 서비스로봇(100)으로 전송하면 서비스로봇(100)의 제어부(110)가 이를 수신하고 해석유닛(112)에서 데이터화된 음성명령을 해석하여 문자로 인식하게 된다. 해석유닛(112)은 해석된 명령을 음성변환기를 통해서 사람이 발음하는 것과 같은 음성으로 스피커에서 발화되도록 한다.

예를 들어 클라이언트(200)를 통해서 사용자가 문자나 음성으로 명령을 입력하면 발화유닛(132)에 의해 사용자가 전달하고자 하는 메세지가 스피커를 통해 전달될 수 있다.

한편, 제어부(110)를 이루는 추론유닛(114)의 경우 서비스로봇(100)이 보다 능동적으로 동작될 수 있도록 하기 위한 것이다. 서비스로봇(100)의 감지부(120)를 통해서 다양한 정보들이 해석유닛(112)으로 입력되는데, 다양한 입력정보 중 특정한 정보들은 즉각적인 조치를 요하는 경우가 있다. 이러한 유의미한 특정한 정보들은 해석유닛(112)에 의해 걸러져 추론유닛(114)으로 제공되고 추론유닛(114)은 특정한 정보에 대한 대처방안을 제시하여 행위부(130)에서 적당한 조치가 이루어질 수 있도록 한다. 물론, 추론유닛(114)으로 제공되는 특정한 정보들은 동시에 클라이언트(200)에게로 전송될 수 있도록 하는 것이 바람직하다.

추론유닛(114)이 활성화되는 예에 대해 간략히 설명한다.

예를 들어 감지부(120)의 청취유닛(123)을 통해서 아기 울음소리가 입력된다고 가정하면, 아기 울음소리는 해석유닛(112)으로 전송되어 해석유닛(112)은 아기가 울고있는 상태임을 파악하게 되고, 아기 울음소리는 미리 설정된 복수의 유의미한 특정정보로 분류된다.

따라서 해석유닛(112)은 유의미한 특정정보가 입력된 것을 인식하여 추론유닛(114)으로 아기 울음소리가 입력된 것을 알려주고, 동시에 클라이언트에게도 관련정보를 전송한다.

추론유닛(114)은 아기 울음소리가 입력된 것을 확인하여 예정된 절차에 따라 아기 울음소리에 대한 대처방안을 추출하며, 추출된 대처방안에 관한 정보가 해석유닛(112)을 거쳐서 행위부(130)로 전달된다.

행위부(130)의 동작유닛(131)은 서비스로봇(100)이 아기가 울고있는 장소로 이동될 수 있도록 모터를 작동시키게 되고, 발화유닛(132)은 아기의 관심을 유도하기 위해 자장가나 흥겨운 노래를 발생시키게 된다.

이처럼 추론유닛(114)은 클라이언트(200)의 직접적인 제어명령이 없는 경우라도 스스로 판단하여 소정의 적합한 조치가 서비스로봇(100)에 의해 즉각적으로 수행될 수 있도록 한다. 물론, 추론유닛(114)이 동작되는 경우에 대한 다양한 조건들은 미리 제어부(110)에 저장되어야 한다.

그리고 감지부(120)를 이루는 청취유닛(123)은 보다 구체적으로 마이크를 통해서 음성이 입력되면 음성변환기에 의해 음성을 문장으로 변환시켜서 해석유닛(112)으로 제공하고 해석유닛은 그 의미를 해석할 수 있도록 하는 것이 바람직하다.

도 3은 클라이언트의 개략적인 정면도이고, 도 4는 클라이언트의 구성도를 보여준다.

클라이언트(200)는 표시부(210), 제어부(220), 통신부(230) 및 입력부(240)를 포함하여 이루어지며, 표시부(210)는 LCD와 같은 디스플레이창이 된다. 제어부(220)는 클라이언트(200)의 동작을 전반적으로 제어하는 기능을 한다.

통신부(230)는 서비스로봇(100)과 무선으로 정보 데이타를 주고 받을 수 있도록 하는 부위이며, 무선 통신에 대한 것은 공지의 기술인 바 상세한 설명은 생략한다.

입력부(240)는 제어부(220)와 연결되어 소정의 제어명령을 입력할 수 있는 부위이며, 구체적으로 버튼입력유닛(241), 음성입력유닛(242), 모션입력유닛(243), 영상입력유닛(244)을 포함한다.

음성입력유닛(242)은 사용자가 음성으로 소정의 명령을 입력하기 위한 것으로서 입력되는 음성은 음성처리기에 의해 문장 형식 등의 인식가능한 데이터로 처리되어 제어부(220)로 제공된다. 제어부(220)는 제공되는 음성명령을 서비스로봇(100)에게 전송하고 서비스로봇(100)의 해석유닛(112)이 이를 해석하여 동작유닛(131)이나 발화유닛(132)을 통해서 해당 명령이 수행될 수 있도록 한다.

모션입력유닛(243)은 클라이언트(200)의 움직임을 통해서 사용자의 명령이 입력되도록 하는 수단이며, 클라이언트(200)에 내장되는 자이로 센서나 가속도 센서와 같은 것들이 클라이언트의 움직임을 감지하여 모션처리기로 제공된다. 모션처리기에서는 클라이언트의 독특한 움직임을 통해서 사용자의 입력명령을 구분하고 확인된 모션명령은 제어부로(220) 제공되어 서비스로봇(100)에게로 모션명령이 전송된다.

영상입력유닛(244)은 클라이언트(200) 자체에 내장되는 카메라를 이용한 입력방식으로서 카메라에 의해 촬영되는 영상을 명령화하기 위한 영상처리기를 포함하며, 사용자의 손가락 동작과 같은 제스처 영상을 통해서 명령이 입력되며 영상처리기가 제어부(220)로 영상명령을 제공하면, 제어부(220)는 영상명령을 판단하여 특정된 제어명령을 서비스로봇(100)에게로 전송한다.

버튼입력유닛(241)은 디스플레이창에 표시된 버튼일 수 있고 클라이언트의 외면에 형성되는 하드웨어적인 버튼일 수 있다. 디스플레이창에 표시된 버튼은 사용자가 입력하고자 하는 제어명령에 따라 적합한 것으로 표시될 수 있도록 한다. 이것은 사용자가 입력하고자 하는 제어명령에 따라 적합한 것이 표시되도록 선택할 수 있도록 한다.

본 발명에 의한 서비스로봇 원격제어 시스템은 무선통신을 통해서 클라이언트(200)와 서비스로봇(100)이 서로 정보를 주고 받으면서 서비스로봇을 제어할 수 있도록 하며, 동시에 서비스로봇(100)이 제공하는 정보들도 클라이언트(200)로 표시될 수 있도록 한다.

보다 바람직하게 본 발명의 서비스로봇 원격제어 시스템은 서비스로봇을 3가지 운용모드로 구분하여 사용할 수 있다. 즉, 원격이동모드, 원격제어모드, 자동제어모드로 구분하여 사용자는 적합한 운용모드를 선택한 후 서비스로봇을 제어할 수 있도록 한다.

도 5는 원격이동모드에 의한 서비스로봇의 이동을 보여주는 예시도이다.

원격이동모드는 서비스로봇(100)의 시각유닛(121)을 통해 촬영되는 영상정보가 클라이언트(200)에게 제공되도록 하며, 클라이언트(200)에서 표시된 영상을 보면서 사용자가 버튼 조작을 통해 서비스로봇이 전진, 후진, 좌우회전 및 정지할 수 있도록 제어하는 운용모드이다.

즉, 원격이동모드는 사용자가 서비스로봇이 존재하는 현장에 있는 것과 같은 상태에서 클라이언트의 디스플레이창에 표시되는 영상을 보면서 서비스로봇을 원하는 위치로 이동시킬 수 있도록 한다.

도 5에 도시된 바와 같이 클라이언트의 버튼들을 이용하여 진행하고자 하는 방향의 버튼을 누르면 서비스로봇은 해당방향으로 이동하며, 동일버튼이 반복적으로 눌러지면 속도가 증가되고 반대방향의 버튼이 눌러지면 속도가 감소되도록 하여 서비스로봇의 이동에 대한 제어가 인간의 인지적 판단에 따르도록 한다.

원격제어모드는 서비스로봇(100)이 정밀한 동작을 할 수 있도록 제어하는 것이며, 원격이동모드를 통해서 특정 위치로 서비스로봇이 이동되었다면 원격제어모드를 통해서 보다 구체적인 동작이 이루어지도록 한다.

원격제어모드는 서비스로봇(100)의 팔, 손, 머리 등의 부분을 원격으로 X, Y, Z 3축으로 조정할 수 있도록 하는 것이고, 클라이언트(200)에서 명령을 입력하면 팔, 손, 머리가 독립적으로 원하는 동작을 하게 된다. 바람직하게 클라이언트(200)의 버튼을 이용한 입력방식이 적용될 수 있고, 기능버튼과 이동버튼을 구분되게 하여 2개의 이벤트에 의해 동작이 이루어지도록 한다.

도 6은 원격제어모드에서 서비스로봇의 팔을 동작시키는 예시도이며, 도시된 바와 같이 서비스로봇의 카메라를 이용하여 전방의 영상이 클라이언트에 표시되도록 하며, 동시에 서비스로봇의 조작과 관련되는 서비스로봇의 기구학적 외형을 평면과 측면으로 그래픽으로 표현되도록 한다.

서비스로봇의 오른팔을 X축 전방으로 이동시키고자 할 경우 먼저 'RX" 버튼을 누르고, '+' 버튼을 누르면 서비스로봇의 오른팔은 X축 전방으로 이동하게 된다.

자동제어모드는 클라이언트를 통해서 서비스로봇을 목표로 하는 지점으로 이동되게 한 후 특정한 행위를 하도록 하는 운용모드이다.

도 7은 자동제어모드가 실행되는 예를 보여주는 예시도이다.

자동제어모드에서는 서비스로봇에게 목표로 하는 동작을 제시하면 자동적으로 서비스로봇이 해당 지점으로 이동한 후 목표로 하는 동작을 수행하게 된다.

자동제어모드를 실행하는데 있어서는 로봇서버에 서비스로봇의 활동영역에 대한 그리드 지도(Grid map)가 저장되어야 하며, 서비스로봇에는 자기위치검출수단이 마련되어야 한다. 그리드 지도상에서 서비스로봇의 현재 위치가 확인되면 클라이언트로 지도상에 그래픽으로 표현되는 영상을 전달한다. 사용자는 지도상에서 현재 로봇의 위치를 확인할 수 있고 버튼을 이용하여 서비스로봇의 이동 목표 위치를 표현하고 그 정보는 로봇서버로 전달된다. 서비스로봇이 이동할 목표가 결정되면 서비스로봇은 목표지점으로 이동하기 위한 최적 경로를 추정하며 지도상에 서비스로봇의 위치를 갱신시키면서 이동한다.

도 8은 자동제어모드로 서비스로봇이 특정동작을 하는 예시도이다.

도시된 바와 같이 서비스로봇이 자신의 앞에 놓인 물건을 집도록 하는 경우에 원격제어모드와 달리 단계적으로 명령을 내리지 않고 동작 전체를 하나로 명령을 내리도록 한다.

예를 들어 앞에 놓인 컵을 집고자 할 경우 클라이언트를 통해서 "Pick up the cup" 과 같은 명령을 입력하도록 한다. 이러한 명령은 음성을 통해 이루어질 수있고 혹은 버튼을 이용한 문자입력 방식이 될 수도 있다.

클라이언트에 마련되는 마이크를 통해서 음성으로 상기와 같은 명령을 입력하면 음성처리기에서 이 명령을 문자단위로 서비스로봇에 전송하고 서비스로봇의 해석유닛이 이 명령을 받아 해석한 후 앞에 놓인 컵을 집으라는 명령으로 변환하여 동작유닛을 제어하도록 한다.

상술한 본 발명의 실시예에서 클라이언트를 통한 음성명령을 입력하게 되면 클라이언트의 마이크와 사용자의 음성이 발화되는 거리는 수십 ㎝ 이내이므로 양질의 음성데이터를 입력할 수 있어 노이즈 문제를 극복할 수 있게 되는 장점이 있다.

일반적으로 음성으로 정보를 주고 받기 위해 로봇 전방에 장착된 마이크를 이용할 경우 노이즈가 크며 발화자와 마이크 사이의 거리에 따라 인식률 크게 떨어지는 문제가 발생한다. 이것은 실용화의 근본적인 문제로서 이것이 해결되어야 인간과 로봇이 상호작용할 수 있는 기능이 가능하게 된다. 즉 가정에서 사용되고 있는 서비스로봇의 경우 음성으로 동작을 명령하거나 로봇과 대화하고자 할 경우 사용자가 로봇에 50 cm 정도 근접해서 말을 하지 않으면 노이즈로 인해 음성의 인식이 매우 어려운 문제가 발생한다. 그러나 본 발명에서 제안하는 바와 같이 스마트폰과 같은 클라이언트를 이용할 경우 사용자가 스마트폰에 근접한 상태에서 음성을 입력하기 때문에 거리에 따른 노이즈의 문제가 발생하지 않는 장점이 있다. 본 발명의 클라이언트의 음성입력 기능을 이용하고 입력된 음성신호를 로봇에게 무선통신으로 전달함으로써 근거리 음성신호의 전달에서 발생하는 노이즈 문제를 해결할 수 있는 것이다.

도 9는 서비스로봇과 클라이언트간에 이루어지는 보다 구체적인 통신방법의 예를 보여주는 예시도이며, 다양한 모바일 운영체제를 기반으로 구현할 수 있지만 본 설명은 무료의 모바일 운영체제인 안드로이드를 기준으로 설명한다.

서비스로봇 제어를 위한 인터페이스는 로봇서버에서 만들어진 영상 또는 그래픽을 보여주는 기능과 클라이언트에서 서비스로봇 제어를 위한 버튼 이벤트를 처리하는 것으로 구분할 수 있다. 영상 송신을 위해서는 로봇서버에 Socket()을 설정하고 대기하고 있으면, 클라이언트 상에서 DataOutputStream()을 이용하여 신호를 보내면 로봇서버는 준비된 영상이나 그래픽 파일을 영상포맷을 만들어 send()로 전송하며 클라이언트는 BufferedInputStream()으로 받는다. 버튼 이벤트 신호는 클라이언트에서 d.write()로 보내면 로봇서버에서 recv()로 받게 된다.

다음으로 서비스로봇 제어 인터페이스를 위한 안드로이드 상에서 프로그래밍 방법에 대하여 설명한다. 도 10은 로봇서버로부터 영상을 받아 표시하기 위한 함수에 대한 예시도이다.

먼저 영상을 로봇서버로부터 전달 받고 이를 표시하기 위해 아래 소스코드와 같이 안드로이드 상에서 onCreate() 함수에서 imageSwitcher를 생성하여 로봇서버로부터 받은 영상을 연속적으로 표시할 수 있도록 한다. 이와는 별도로 Thread()를 이용한 while 루프를 사용하며, 그 내부에 Socket()을 생성한 후, BufferedInputStream()으로 영상을 연속으로 받아들이고 Bitmap으로 처리한 후 이를 setImageDrawable()로 연속적으로 표시한다.

도 11은 클라이언트에서 이루어지는 버튼 이벤트 함수의 예시도이다.

본 발명에서는 클라이언트의 입장에서 영상 신호의 수신과 버튼을 이용한 제어 신호의 송신을 별도의 네트워크 포트를 이용하여 처리함으로써, 버튼 이벤트가 보다 고속으로 로봇서버에게 전달되도록 한다. 버튼 이벤트의 처리는 도 11의 소스코드와 같이 myClickHandler() 함수를 사용하는데 영상 송수신과는 별도의 Socket()을 생성하고 버튼에 해당하는 변수를 파라미터로 하여 d.write()함수로 전달한다. 안드로이드 상에서의 버튼의 구성은 setContentView()를 호출하여 이루어 지는데 버튼의 형태는 layout 디렉토리의 main.xml에서 설정한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것일 뿐 한정적이 아닌 것으로 이해되어야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 각종 서비스로봇을 원격제어하기 위한 용도로 사용되기에 적합하다.

100 : 서비스로봇 110 : 제어부
111 : 통신유닛 112 : 해석유닛
113 : 메모리유닛 114 : 추론유닛
120 : 감지부 121 : 시각유닛
122 : 센서유닛 123 : 청취유닛
130 : 행위부 131 : 동작유닛
132 : 발화유닛 200 : 클라이언트
210 : 표시부 220 : 제어부
230 : 통신부 240 : 입력부
241 : 버튼입력유닛 242 : 음성입력유닛
243 : 모션입력유닛 244 : 영상입력유닛

Claims (19)

1. 인터넷 또는 WIFI를 통해서 무선으로 정보 데이타를 수신하거나 송신할 수 있는 서비스로봇과;
   상기 서비스로봇에 상기 정보 데이타를 전송하며, 상기 서비스로봇이 제공하는 정보 데이타를 수신할 수 있는 클라이언트;를 포함하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
2. 제 1 항에 있어서,
   상기 서비스로봇은,
   제어부와;
   상기 제어부로 상기 서비스로봇이 존재하는 주변환경정보를 제공하는 감지부와;
   상기 제어부로부터 명령을 받아 특정한 행위를 하는 행위부;를 포함하여 이루어지는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
3. 제 2 항에 있어서,
   상기 제어부는,
   상기 클라이언트와 정보 데이타를 주고 받을 수 있는 통신유닛과;
   입력되는 각종 정보를 해석하는 해석유닛과;
   상기 해석유닛에 의해 해석된 결과를 저장하는 메모리유닛;을 포함하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
4. 제 2 항에 있어서,
   상기 감지부는,
   카메라를 통해서 영상정보를 획득하는 시각유닛과;
   상기 서비스로봇에 부착되는 각종 센서를 통해 센싱정보를 획득하는 센서유닛과;
   상기 서비스로봇이 놓인 환경으로부터 발생되는 소리정보를 획득하는 청취유닛;을 포함하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
5. 제 2 항에 있어서,
   상기 행위부는,
   모터의 구동을 통해 물리적 움직임을 발생시키는 동작유닛과;
   음성출력수단을 통해서 사람의 음성을 발생시키는 발화유닛;을 포함하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
6. 제 3 항에 있어서,
   상기 제어부는,
   상기 감지부에 의해 제공되는 정보 중 유의미한 특정한 정보일 때 스스로 판단하여 상기 행위부를 제어할 수 있도록 하는 추론유닛가 더 마련되는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
7. 제 4 항에 있어서,
   상기 청취유닛은,
   마이크를 통해 음성이 입력되면 음성변환기에 의해 상기 음성을 문장으로 변환시켜서 상기 해석유닛으로 제공하고 상기 해석유닛은 그 의미를 해석하게 되는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
8. 제 1 항에 있어서,
   상기 클라이언트는,
   디스플레이창을 갖는 표시부와;
   제어부와;
   상기 제어부와 연결되는 통신부와;
   상기 제어부로 연결되는 입력부;를 포함하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
9. 제 8 항에 있어서,
   상기 입력부는,
   버튼입력유닛과;
   음성입력유닛과;
   모션입력유닛과;
   영상입력유닛;을 포함하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
10. 제 9 항에 있어서,
    상기 음성입력유닛은 입력되는 음성을 음성처리기를 통해서 인식가능한 데이터로 처리하여 상기 제어부로 제공하도록 하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
11. 제 9 항에 있어서,
    상기 모션입력유닛은 상기 클라이언트의 움직임을 감지하는 자이로 센서 또는 가속도 센서와 이들 센서의 입력을 명령화하기 위한 모션처리기를 포함하여 이루어져 상기 제어부로 모션명령을 제공하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
12. 제 9 항에 있어서,
    상기 영상입력유닛은 상기 클라이언트 자체에 내장되는 카메라와 상기 카메라에 의해 촬영되는 영상을 명령화하기 위한 영상처리기를 포함하여 이루어져 상기 제어부로 영상명령을 제공하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
13. 제 9 항에 있어서,
    상기 버튼입력유닛은 상기 디스플레이창에 표시되는 버튼이거나 외부에 하드웨어적으로 형성되는 것 중 어느 하나인 것을 특징으로 하는 서비스로봇 원격제어 시스템.
14. 제 1 항 내지 제 13 항 중 어느 하나의 항에 있어서,
    상기 서비스로봇 원격제어 시스템은,
    상기 서비스로봇을 원격이동모드, 원격제어모드 및 자동제어모드로 구분하여 운용할 수 있는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
15. 제 14 항에 있어서,
    상기 원격이동모드는 상기 서비스로봇에 의해 제공되는 영상정보를 통해서 클라이언트에서 영상을 보면서 버튼 조작을 통해 상기 서비스로봇이 전진, 후진, 좌회전, 우회전, 정지될 수 있도록 하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
16. 제 14 항에 있어서,
    상기 원격제어모드는 상기 서비스로봇의 팔, 손, 머리 부분을 원격으로 X,Y,Z 3축으로 조작할 수 있도록 하되, 클라이언트에는 기능 버튼과 이동 버튼이 구분되게 표시하도록 하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
17. 제 14 항에 있어서,
    상기 자동제어모드는 상기 클라이언트를 통해 목표로 하는 명령을 제시하면 상기 서비스로봇이 목표지점으로 이동한 후 특정된 행위를 하게 되는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
18. 제 17 항에 있어서,
    상기 로봇서버에는 상기 서비스로봇의 활동영역에 대한 그리드 지도가 저장되며, 상기 서비스로봇에는 자기위치검출수단이 마련되는 것을 특징으로 하는 서비스로봇 원격제어 시스템.
19. 제 18 항에 있어서,
    상기 클라이언트에 상기 그리드 지도가 영상으로 표현되고, 상기 서비스로봇의 현재 위치가 상기 그리드 지도상에 표시되며, 사용자는 상기 그리드 지도상에 목표지점을 설정할 수 있도록 하는 것을 특징으로 하는 서비스로봇 원격제어 시스템.

Images