KR101942837B1 - 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법 - Google Patents

게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법 Download PDF

Info

Publication number
KR101942837B1
KR101942837B1 KR1020160064075A KR20160064075A KR101942837B1 KR 101942837 B1 KR101942837 B1 KR 101942837B1 KR 1020160064075 A KR1020160064075 A KR 1020160064075A KR 20160064075 A KR20160064075 A KR 20160064075A KR 101942837 B1 KR101942837 B1 KR 101942837B1
Authority
KR
South Korea
Prior art keywords
robot
labor
real time
real
image
Prior art date
Application number
KR1020160064075A
Other languages
English (en)
Other versions
KR20170133084A (ko
Inventor
유지환
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020160064075A priority Critical patent/KR101942837B1/ko
Publication of KR20170133084A publication Critical patent/KR20170133084A/ko
Application granted granted Critical
Publication of KR101942837B1 publication Critical patent/KR101942837B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H04M1/72533—

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법이 개시된다. 노동 로봇(work robot)으로부터 실시간 작업 영상을 수신하는 실시간 작업 영상 수신 모듈; 상기 실시간 작업 영상 수신 모듈에서 수신된 실시간 작업 영상에 대응되는 실시간 게임 영상을 생성하는 실시간 게임 영상 변환 모듈; 상기 실시간 게임 영상 생성 모듈에서 생성된 실시간 게임 영상을 사용자 단말로 송신하는 실시간 게임 영상 송신 모듈; 상기 사용자 단말로부터 상기 실시간 게임 영상에 기반한 소정의 작업 명령을 수신하고, 수신된 작업 명령에 따라 상기 노동 로봇이 구동되도록 상기 작업 명령을 상기 노동 로봇으로 실시간 송신하는 작업 명령 전달 모듈을 구성한다. 상술한 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법에 의하면, 스마트 폰을 이용하여 로봇이 자동으로 하기 어려운 작업만 사용자가 지정하여 지시하고 나머지 작업은 로봇이 자동으로 수행하도록 구성됨으로써, 상당한 시간과 노력 그리고 스킬(skill)이 요구되는 원격 조종을 보다 편리하고 효율성 있게 할 수 있는 효과가 있다. 특히, 숙련된 조종 기술이 없어도 되므로, 누구든지 쉽게 스마트 폰을 이용하여 제어함으로써, 값싼 노동력으로도 최대의 효율을 낼 수 있는 효과가 있다.

Description

게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법{CLOUD SYSTEM OF ROBOT REMOTE-ACTUATION BY WAY OF GAME INTERFACE AND METHOD THEREOF}
본 발명은 클라우드 시스템(cloud system) 및 이에 의한 로봇 원격 구동 방법에 관한 것으로서, 구체적으로는 농작물 수확이나 폐기물 처리와 같은 노동 집약적인 작업을 위한 원격지에서 제어하기 위한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법에 관한 것이며, 좀 더 구체적으로는 스마트 폰(smart phone)의 게임(game)을 하듯이 사용자가 간편하게 인터페이싱(interfacing)을 하도록 구현되는 게임 인터페이스 방식의 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법에 관한 것이다.
로봇(robot)이 사람의 노동력을 점차 많은 영역에서 대체하여 가고 있다.
특히, 농작물 재배, 농작물 수확, 폐기물 처리 등의 다양한 집단 노동에는 로봇(robot)의 중요성이 더욱 높아지고 있다.
예를 들어, 나무의 가지치기, 토마토나 사과와 같은 과일 수확 등에는 상당한 노동력과 비용이 요구되고 있어서 로봇에 의한 노동력 대체가 더욱 절실한 실정이다.
공개특허공보 10-2015-0052433은 토마토 수확을 하는 로봇 팔을 가진 장치가 개시되어 있다.
종래에는 주로 이러한 로봇을 무선 또는 유선으로 원격에서 제어하게 되는데, 주로 조이스틱(joystick)을 이용하여 하나하나 모든 작업 지시를 하는 형태가 많은 편이다. 이러한 경우에는 수많은 토마토나 사과를 일일이 수확하기 위해 필요한 조종이 매우 어렵고 힘들다.
한편, 사람 팔과 로봇 팔이 일체화되어 사람 팔의 동작에 따라 로봇 팔이 움직이도록 구성될 수 있다. 이러한 경우에는 사람의 동작이 매우 능숙하여야 하므로 숙련된 스킬(skill)이 요구된다.
위와 같은 방식들은 오히려 숙련된 조종 기술을 요구하여 오히려 비용이 적지 않게 들기도 한다. 또한, 집단 노동 방식에 있어서는 그 효율성이 떨어지며 적절하지 않은 방식이다.
이에, 원격지에서 보다 효율적으로 집단 노동을 제어할 수 있는 방식이 요구되고 있다. 또한, 숙련된 조종 기술을 요하지 않고서도 누군든지 이러한 집단 노동 로봇을 원활하게 조작하여 노동 비용을 줄일 수 있는 방안이 요구된다.
10-2015-0052433
본 발명의 목적은 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 게임 인터페이스 방식에 의한 클라우드 시스템의 로봇 원격 구동 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 게게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템은, 노동 로봇(work robot)으로부터 실시간 작업 영상을 수신하는 실시간 작업 영상 수신 모듈; 상기 실시간 작업 영상 수신 모듈에서 수신된 실시간 작업 영상에 대응되는 실시간 게임 영상을 생성하는 실시간 게임 영상 변환 모듈; 상기 실시간 게임 영상 생성 모듈에서 생성된 실시간 게임 영상을 사용자 단말로 송신하는 실시간 게임 영상 송신 모듈; 상기 사용자 단말로부터 상기 실시간 게임 영상에 기반한 소정의 작업 명령을 수신하고, 수신된 작업 명령에 따라 상기 노동 로봇이 구동되도록 상기 작업 명령을 상기 노동 로봇으로 실시간 송신하는 작업 명령 전달 모듈을 포함하도록 구성될 수 있다.
여기서, 상기 작업 명령은, 상기 노동 로봇이 미리 프로그래밍(programming)된 일련의 동작을 수행하도록 하는 명령으로 구성될 수 있다.
그리고 상기 작업 명령은, 상기 노동 로봇이 농작물 재배, 농작물 수확, 가사 작업, 쓰레기 분리 수거 및 청소 중 어느 하나의 작업을 수행하도록 구동하는 명령으로 구성될 수 있다.
그리고 상기 노동 로봇의 구동기에 구비된 햅틱 센서(haptic sensor)에 의해 감지되는 햅틱 정보를 실시간으로 수신하고, 상기 햅틱 정보에 따라 상기 사용자 단말이 진동 출력을 할 수 있도록 상기 수신된 햅틱 정보를 상기 사용자 단말로 실시간 전달하는 햅틱 정보 전달 모듈을 더 포함하도록 구성될 수 있다.
상술한 본 발명의 다른 목적에 따른 게임 인터페이스 방식에 의한 클라우드 시스템의 로봇 원격 구동 방법은, 실시간 작업 영상 수신 모듈이 노동 로봇(work robot)으로부터 실시간 작업 영상을 수신하는 단계; 실시간 게임 영상 변환 모듈이 상기 실시간 작업 영상 수신 모듈에서 수신된 실시간 작업 영상에 대응되는 실시간 게임 영상을 생성하는 단계; 실시간 게임 영상 송신 모듈이 상기 실시간 게임 영상 생성 모듈에서 생성된 실시간 게임 영상을 사용자 단말로 송신하는 단계; 작업 명령 전달 모듈이 상기 사용자 단말로부터 상기 실시간 게임 영상에 기반한 소정의 작업 명령을 수신하고, 수신된 작업 명령에 따라 상기 노동 로봇이 구동되도록 상기 작업 명령을 상기 노동 로봇으로 실시간 전달하는 단계를 포함하도록 구성될 수 있다.
여기서, 상기 작업 명령은, 상기 노동 로봇이 미리 프로그래밍(programming)된 일련의 동작을 수행하도록 하는 명령으로 구성될 수 있다.
그리고 상기 작업 명령은, 상기 노동 로봇이 농작물 재배, 농작물 수확, 가사 작업, 쓰레기 분리 수거 및 청소 중 어느 하나의 작업을 수행하도록 구동하는 명령으로 구성될 수 있다.
그리고 햅틱 정보 전달 모듈이 상기 노동 로봇의 구동기에 구비된 햅틱 센서(haptic sensor)에 의해 감지되는 햅틱 정보를 실시간으로 수신하고, 상기 햅틱 정보에 따라 상기 사용자 단말이 진동 출력을 할 수 있도록 상기 수신된 햅틱 정보를 상기 사용자 단말로 실시간 전달하는 단계를 더 포함하도록 구성될 수 있다.
상술한 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법에 의하면, 스마트 폰을 이용하여 로봇이 자동으로 하기 어려운 작업만 사용자가 지정하여 지시하고 나머지 작업은 로봇이 자동으로 수행하도록 구성됨으로써, 상당한 시간과 노력 그리고 스킬(skill)이 요구되는 원격 조종을 보다 편리하고 효율성 있게 할 수 있는 효과가 있다. 특히, 숙련된 조종 기술이 없어도 되므로, 누구든지 쉽게 스마트 폰을 이용하여 제어함으로써, 값싼 노동력으로도 최대의 효율을 낼 수 있는 효과가 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템의 블록 구성도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 사용자 단말의 게임 인터페이스 화면의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 게임 인터페이스 방식에 의한 클라우드 시스템의 로봇 원격 구동 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템의 블록 구성도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 게임 인터페이스(game interface) 방식의 로봇 원격 구동을 위한 클라우드 시스템(cloud system)(100)은 실시간 작업 영상 수신 모듈(110), 실시간 게임 영상 변환 모듈(120), 실시간 게임 영상 송신 모듈(130), 작업 명령 전달 모듈(140) 및 햅틱(haptic) 정보 전달 모듈(150)을 포함하도록 구성될 수 있다.
게임 인터페이스 방식의 로봇 원격 구동을 위한 클라우드 시스템(100)은 많은 시간과 노동력이 요구되는 단순 집단 노동을 위해 도출된 것으로서, 숙련된 조종 기술이 없어도 누구든지 사용자 단말(10) 상에서 쉽게 게임 조작을 하듯이 노동 로봇(20)을 원격 제어하도록 구성된다.
게임 인터페이스 방식의 로봇 원격 구동을 위한 클라우드 시스템(100)은 노동 로봇(20)에 프로그래밍(programming)된 정밀한 자동화 동작을 하되, 노동 로봇(20)이 제대로 판단하기 어렵거나 인지할 수 없는 부분에 대해서는 사용자가 시각적 또는 촉각적으로 판단하여 게임(game)을 하듯이 편리하게 지시하도록 구성된다.
사람과 노동 로봇(20)이 상호 간에 효율적인 인터페이싱(interfacing)에 의한 역할 분담을 하도록 구성되어 집단 노동 작업의 정확성과 효율성을 높이고 그리고 시간과 비용을 모두 절감할 수 있도록 구성된다.
이하, 세부적인 구성에 대하여 설명한다.
실시간 작업 영상 수신 모듈(110)이 노동 로봇(20)으로부터 실시간 작업 영상을 수신하도록 구성될 수 있다.
여기서, 노동 로봇(20)은 농작물 재배나 농작물 수확, 폐기물 처리, 가사 작업, 쓰레기 분리 수거 또는 청소 등과 같은 작업량이 많고 시간이 오래 소요되는 단순 집단 노동을 수행하도록 구성될 수 있다. 가지 치기, 토마토 수확, 잡초 제거 등의 다양한 노동 형태가 있을 수 있다.
한편, 노동 로봇(20)은 카메라(camera)(미도시)를 이용하여 실시간 작업 영상을 생성하여 클라우드 시스템(100)으로 실시간 송신하도록 구성될 수 있다.
예를 들어, 토마토 수확과 같은 집단 노동을 하는 경우, 노동 로봇(20)은 앞에 있는 토마토에 대한 영상을 실시간으로 클라우드 시스템(100)으로 송신하도록 구성될 수 있다.
여기서, 실시간 작업 영상은 와이파이(wifi)같은 근거리통신 네트워크는 물론 블루투스(Bluetooth)나 지그비(zigbee)와 같은 다양한 통신 방식을 통해 사용자 단말(10)로 직접 송신될 수도 있다.
실시간 게임 영상 변환 모듈(120)이 실시간 작업 영상 수신 모듈(110)에서 수신된 실시간 작업 영상에 대응되는 실시간 게임 영상을 생성하거나 실시간 게임 영상을 변환하도록 구성될 수 있다. 실시간 작업 영상이 사용자 단말(10)로 직접 송신되는 경우에는 사용자 단말(10)에서 실시간 게임 영상으로 변환하도록 구성될 수 있다.
여기서 실시간 게임 영상은 실시간 작업 영상에 대응되는 영상으로서, 사용자가 보다 편리하게 인터페이싱을 수행할 수 있도록 변환된 영상이다.
사용자는 마치 게임 화면에서 게임을 하듯이 플레이를 하면 원격지의 노동 로봇(20)이 그에 따라 동작하도록 구성된다.
실시간 게임 영상 송신 모듈(130)은 실시간 게임 영상 생성 모듈(120)에서 생성된 실시간 게임 영상을 사용자 단말(10)로 송신하도록 구성될 수 있다.
작업 명령 전달 모듈(140)은 사용자 단말(10)로부터 실시간 게임 영상에 기반한 소정의 작업 명령을 수신하도록 구성될 수 있다.
여기서, 작업 명령은 노동 로봇(20)이 미리 프로그래밍(programming)된 일련의 동작을 수행하도록 하는 명령으로 구성될 수 있다.
이러한 작업 명령은 노동 로봇(20)이 농작물 재배, 농작물 수확, 가사 작업, 쓰레기 분리 수거 및 청소 중 어느 하나의 작업을 수행하도록 구동하는 명령으로 구성될 수 있다.
작업 명령 전달 모듈(140)은 앞서 수신된 작업 명령에 따라 노동 로봇(20)이 구동되도록 작업 명령을 노동 로봇(20)으로 실시간 송신하도록 구성될 수 있다.
사용자 단말(10)은 노동 로봇(20)으로부터 노동 로봇(20)이 직접 촬영한 실시간 게임 영상을 수신하여 디스플레이하도록 구성될 수 있다. 예를 들어, 실시간 게임 영상을 통해 사용자는 원격지에서 직접 토마토를 볼 수 있다.
노동 로봇(20)은 생산 라인(line)의 로봇과 같이 미리 정해진 일련의 동작을 단순 반복 수행하는 것에는 매우 능숙하다. 그러나, 판단 알고리즘에 있어서는 다소 어려움이 있을 수 있다. 그러한 부분은 사용자가 실시간 게임 영상을 통해 단순 지시를 내림으로써 서로의 역할을 보완하면서 집단 노동의 효율성을 높일 수 있다.
사용자 단말(10)은 실시간 게임 영상에서 사용자로부터 소정의 작업 지시에 대해 터치(touch)를 통해 입력받고 입력받은 작업 지시를 실시간으로 노동 로봇(20)으로 송신하도록 구성될 수 있다.
이때, 사용자 단말(10)은 집단 노동의 대상물에 대해 사용자로부터 적어도 하나 이상의 작업 영역을 터치를 통해 입력받고 입력받은 작업 영역과 관련된 작업 지시를 노동 로봇(20)으로 실시간 송신하도록 구성될 수 있다.
예를 들어, 실시간 작업 영상에 토마토가 가지마다 여러 개가 달려 있는 경우, 노동 로봇(20)은 실시간 게임 영상에서 토마토를 정확하게 인지하지 못하는 경우가 있으며, 어디로 컷팅(cutting)하여 수확해야 할지 정확하게 판단하지 못하여 오류가 발생하기 쉽다.
사용자는 터치를 통해 수확할 토마토를 지정하여 주게 된다.
또한, 잡초를 제거해야 하는 경우, 노동 로봇(20)이 잡초만 정확하게 인지하여 판단하기 어려운 경우가 있다. 이러한 경우, 사용자가 실시간 작업 영상에서 잡초가 난 부위를 정확하게 지정해 줄 수 있다.
그리하면, 노동 로봇(20)이 작업 영역과 관련된 작업 지시를 실시간 수신하고 그 작업 영역에 대해 작업 지시에 상응하는 미리 프로그래밍된 일련의 동작을 자동으로 수행하도록 구성될 수 있다. 즉, 노동 로봇(20)은 그 지정된 지점의 토마토로 로봇 팔을 움직여 컷팅하고 수확하도록 구성될 수 있다.
사용자는 게임을 하듯이 터치만 하면 그 이후에는 노동 로봇(20)이 미리 지정된 동작을 자동 수행하므로, 판단 오류가 날 염려가 매우 적다. 사용자가 직접 로봇 팔의 움직임을 하나 하나 조이스틱(joystick)이나 동기화된 사람 팔로 조작하는 경우에는 토마토를 상하게 하거나 제대로 하지 못하는 경우가 많고 숙련된 기술을 요한다. 그러나, 본 발명에서는 그러한 역할 분담을 서로 나누어 효율성을 높일 수 있도록 구성된다.
또한, 사용자는 토마토 중에서도 잘 익은 토마토를 골라서 지정할 수 있으므로, 그 수확 대상을 선별하여 지정할 수 있는 장점이 있다. 그리고 썩었거나 상품 가치가 떨어지는 토마토에 대해서는 컷팅만하고 수확을 하지 않도록 작업 지시를 내릴 수도 있다.
햅틱 정보 전달 모듈(150)은 노동 로봇(20)의 구동기에 구비된 햅틱 센서(haptic sensor)에 의해 감지되는 햅틱 정보를 실시간으로 수신하도록 구성될 수 있다.
햅틱 정보 전달 모듈(150)은 햅틱 정보에 따라 사용자 단말(10)이 진동 출력을 할 수 있도록 앞서 수신된 햅틱 정보를 사용자 단말(10)로 실시간 전달하도록 구성될 수 있다.
한편, 노동 로봇(20)에는 집단 노동에 관련된 구동기 즉, 로봇 팔에 햅틱 센서(haptic sensor)(미도시)를 구비할 수 있다. 햅틱 센서는 로봇 팔이 토마토나 가지 등에 부딪쳤을 때 그 촉각을 감지할 수 있으며, 그 햅틱 정보를 실시간으로 사용자 단말(10)로 송신하도록 구성될 수 있다.
사용자 단말(10)에서는 실시간으로 그러한 햅틱 정보를 수신하여 감지 크기에 대응하여 스마트 폰의 진동을 출력하도록 구성됨으로써, 로봇 팔의 구동 상태를 정확하게 실시간 파악할 수 있다.
노동 로봇(20) 역시 햅틱 정보가 발생되면, 그 구동 방향이나 움직임을 수정하여 작업을 원활하게 수행하도록 자동 보정하도록 구성될 수 있다.
다른 한편, 클라우스 시스템(100)은 하나의 사용자 단말(10)을 동시에 여러 대의 노동 로봇(20)과 연결하여 작업 명령을 전달할 수 있으며, 이 경우 하나의 사용자 단말(10)이 여러 대의 노동 로봇(20)을 한꺼번에 구동 제어하도록 구성될 수 있다.
다른 한편, 노동 로봇(20)의 카메라는 적어도 두 대 이상이 구비될 수 있다. 이러한 경우, 적어도 두 대 이상의 카메라를 통해 입체 영상을 생성할 수 있으며, 노동 로봇(20)에서 이러한 입체 영상을 직접 생성하여 로봇 팔의 구동 경로를 직접 산출하고 로봇 팔을 구동할 수 있으며, 사용자 단말(10) 역시 노동 로봇(20)의 입체 영상이나 사용자 단말(10)에서 직접 합성한 입체 영상을 통해 사용자의 시인성과 작업 정확도를 높일 수 있도록 구성될 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 사용자 단말의 게임 인터페이스 화면의 예시도이다.
도 3a는 사용자 단말(10)에 디스플레이된 실시간 게임 영상을 나타낸다. 네모 표시된 작업 영역과 세모 표시된 작업 영역은 사용자의 터치에 의해 지정된 것으로서, 네모 표시는 수확할 토마토가 지정된 것이고, 세모 표시는 정확한 컷팅 지점을 사용자로부터 지정된 것이다.
사용자는 작업량, 작업 효율성 또는 작업 속도 그리고 수확하기 어려운 위치에 있는 토마토인지 여부 등을 직접 판단하여 네모 영역을 지정하든지 또는 세모 영역을 지정할 수 있다.
이러한 실시간 게임 영상은 실제와 모습과는 조금 다르게 그러나 사용자가 터치 입력하기 편하거나 게임 영상을 보는 것과 같이 호기심이나 재미를 느끼게 하도록 구성될 수 있다.
도 3b는 사용자 단말(10)에 디스플레이된 실시간 작업 영상으로서, 하나의 사용자 단말(10)에서 네 대의 노동 로봇(20)의 실시간 작업 영상을 한꺼번에 표시한 것을 나타낸다. 사용자 단말(10)은 한꺼번에 네 대의 노동 로봇(20)을 모두 원격 제어하여 작업 속도와 효율성을 높일 수 있다.
클라우드 시스템(100)은 원격지의 수많은 사용자들이 사용자 단말(10) 즉, PC, 스마트 폰 등을 이용하여 원격의 노동 로봇(20)을 구동 제어하도록 하고, 이에 대한 비용을 지급하도록 구성될 수 있다. 숙련된 기술이 필요하지 않은 익명의 사용자들을 활용하여 노동 로봇(20)들을 구동할 수 있도록 하는 점에서 사업적으로도 매우 활용도나 가치가 높다고 볼 수 있다.
도 4는 본 발명의 일 실시예에 따른 게임 인터페이스 방식에 의한 클라우드 시스템의 로봇 원격 구동 방법의 흐름도이다.
도 4를 참조하면, 먼저 실시간 작업 영상 수신 모듈(110)이 노동 로봇(work robot)(20)으로부터 실시간 작업 영상을 수신한다(S101).
여기서, 노동 로봇(20)에는 카메라(camera)가 부착되어 전방의 작업 대상을 실시간 촬영하여 실시간 작업 영상을 생성하고 송신하도록 구성될 수 있다.
다음으로, 실시간 게임 영상 변환 모듈(120)이 실시간 작업 영상 수신 모듈(110)에서 수신된 실시간 작업 영상에 대응되는 실시간 게임 영상을 생성한다(S102).
다음으로, 실시간 게임 영상 송신 모듈(130)이 실시간 게임 영상 생성 모듈(120)에서 생성된 실시간 게임 영상을 사용자 단말(10)로 송신한다(S103).
다음으로, 작업 명령 전달 모듈(140)이 사용자 단말(10)로부터 실시간 게임 영상에 기반한 소정의 작업 명령을 수신하고, 수신된 작업 명령에 따라 노동 로봇(20)이 구동되도록 작업 명령을 노동 로봇으로 실시간 전달한다(S104).
여기서, 작업 명령은 노동 로봇(20)이 미리 프로그래밍(programming)된 일련의 동작을 수행하도록 하는 명령으로 구성될 수 있다.
그리고 작업 명령은 노동 로봇(20)이 농작물 재배, 농작물 수확, 가사 작업, 쓰레기 분리 수거 및 청소 중 어느 하나의 작업을 수행하도록 구동하는 명령으로 구성될 수 있다.
한편, 사용자 단말(10)이 집단 노동의 대상물에 대해 사용자로부터 적어도 하나 이상의 작업 영역을 터치를 통해 입력받도록 구성될 수 있다.
작업 명령은 예를 들어, 농작물의 수확 내지는 과일 수확, 농작물 재배 등이 될 수 있는데, 이는 실시간 작업 영상에서 작업 영역을 터치하여 로봇 팔이 그 영역에 대해 동작을 취할 수 있도록 하기 위함이다. 예를 들어, 토마토의 수확인 경우 실시간 작업 영상에서 토마토를 지정하거나 컷팅(cutting) 부위를 더 세밀하게 지정하도록 구성될 수 있다.
다른 한편, 하나의 사용자 단말(10)이 적어도 하나 이상의 노동 로봇(20)을 원격 구동하기 위한 작업 명령을 실시간 송신하도록 구성될 수 있다. 즉, 여러 대의 노동 로봇(20)으로부터 실시간 작업 영상을 수신하여 여러 대의 노동 로봇(20의 한꺼번에 원격 제어하도록 구성될 수 있다.
다음으로, 햅틱 정보 전달 모듈(150)이 노동 로봇(20)의 구동기에 구비된 햅틱 센서(haptic sensor)에 의해 감지되는 햅틱 정보를 실시간으로 수신하고, 햅틱 정보에 따라 사용자 단말(10)이 진동 출력을 할 수 있도록 수신된 햅틱 정보를 사용자 단말(10)로 실시간 전달한다(S105).
구체적으로는 노동 로봇(20)의 노동에 관련된 구동기에 구비된 햅틱 센서(haptic sensor)에 의해 햅틱 정보를 감지하고 감지된 햅틱 정보를 실시간으로 추가 송신하도록 구성될 수 있다. 구동기는 예를 들어 로봇 팔이 될 수 있으며, 로봇 팔이 작업 대상에 대한 작업을 하면서 느껴지는 햅틱 정보 내지는 촉각 정보를 해당 실시간 작업 영상과 함께 사용자 단말(10)로 송신하도록 구성될 수 있다.
이때, 사용자 단말(10)은 노동 로봇(20)으로부터 햅틱 정보를 실시간 추가 수신하고 실시간으로 추가 수신된 햅틱 정보에 따라 진동 출력을 하도록 구성될 수 있다. 사용자 단말(10)은 스마트 폰(smart phone)으로 구성될 수 있으며, 로봇 팔의 햅틱 정보를 그대로 스마트 폰의 진동을 통해 사용자도 함께 느낄 수 있도록 구성될 수 있다.
한편, 노동 로봇(20)은 농작물 재배 또는 농작물 수확과 관련된 소정의 동작을 수행하도록 구성될 수 있다. 구체적으로는 적어도 하나 이상의 작업 영역에 대해 작업 지시에 따른 미리 프로그래밍된 일련의 동작을 자동으로 수행하도록 구성될 수 있다.
즉, 토마토 수확의 경우 그 토마토의 위치만 지정하면 그 이후의 컷팅과 담기 등의 일련의 동작을 노동 로봇(20)이 알아서 자동으로 수행하도록 구성될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 실시간 작업 영상 수신 모듈
120: 실시간 게임 영상 변환 모듈
130: 실시간 게임 영상 송신 모듈
140: 작업 명령 전달 모듈
150: 햅틱 정보 전달 모듈

Claims (8)

  1. 노동 로봇(work robot)으로부터 실시간 작업 영상을 수신하는 실시간 작업 영상 수신 모듈;
    상기 실시간 작업 영상 수신 모듈에서 수신된 실시간 작업 영상에 대응되는 실시간 게임 영상을 생성하는 실시간 게임 영상 변환 모듈;
    상기 실시간 게임 영상 생성 모듈에서 생성된 실시간 게임 영상을 사용자 단말로 송신하는 실시간 게임 영상 송신 모듈;
    상기 사용자 단말로부터 상기 실시간 게임 영상에 기반한 소정의 작업 명령을 수신하고, 수신된 작업 명령에 따라 상기 노동 로봇이 구동되도록 상기 작업 명령을 상기 노동 로봇으로 실시간 송신하는 작업 명령 전달 모듈을 포함하되,
    상기 작업 명령은,
    상기 노동 로봇이 미리 프로그래밍(programming)된 일련의 동작을 수행하여 단순 집단 노동 작업을 수행하도록 구동하는 명령으로 구성되고,
    상기 작업 명령 전달 모듈은
    판단 알고리즘에 따라 상기 사용자의 작업 지시를 통해 지정 대상을 상기 노동 로봇으로 송신하되,
    상기 노동 로봇은 상기 작업 지시에 따른 상기 지정 대상에 대하여 상기 단순 집단 노동 작업을 수행하는 것을 특징으로 하며,
    상기 사용자 단말은 하나의 실시간 영상에 서로 다른 영역의 작업 영역을 지정하고, 상기 서로 다른 영역의 작업 영역에 서로 다른 작업 동작을 지정하여 상기 작업 명령 전달 모듈을 통해 상기 노동 로봇으로 송신하는 것을 특징으로 하는
    노동 로봇을 포함하는 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 노동 로봇의 구동기에 구비된 햅틱 센서(haptic sensor)에 의해 감지되는 햅틱 정보를 실시간으로 수신하고, 상기 햅틱 정보에 따라 상기 사용자 단말이 진동 출력을 할 수 있도록 상기 수신된 햅틱 정보를 상기 사용자 단말로 실시간 전달하는 햅틱 정보 전달 모듈을 더 포함하도록 구성되며,
    상기 노동 로봇은 상기 햅틱 정보에 응답하여 구동 방향이나 움직임을 수정하는 것을 특징으로 하는
    노동 로봇을 포함하는 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템.

  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020160064075A 2016-05-25 2016-05-25 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법 KR101942837B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064075A KR101942837B1 (ko) 2016-05-25 2016-05-25 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064075A KR101942837B1 (ko) 2016-05-25 2016-05-25 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법

Publications (2)

Publication Number Publication Date
KR20170133084A KR20170133084A (ko) 2017-12-05
KR101942837B1 true KR101942837B1 (ko) 2019-01-28

Family

ID=60921068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064075A KR101942837B1 (ko) 2016-05-25 2016-05-25 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법

Country Status (1)

Country Link
KR (1) KR101942837B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102639276B1 (ko) * 2021-12-09 2024-02-22 한국전자기술연구원 가상 공간의 다양한 작업 콘텐츠를 이용하여 원격에서 로봇을 제어하는 원격제어장치 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101497320B1 (ko) * 2013-12-20 2015-03-02 삼성중공업 주식회사 로봇팔 분할 조종장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101497320B1 (ko) * 2013-12-20 2015-03-02 삼성중공업 주식회사 로봇팔 분할 조종장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-Time Photorealistic Virtualized Reality Interface for Remote Mobile Robot Control. Proceedings of International Symposium of Robotics Research(ISSR) 2009. 2009.*

Also Published As

Publication number Publication date
KR20170133084A (ko) 2017-12-05

Similar Documents

Publication Publication Date Title
US10406686B2 (en) Bare hand robot path teaching
US10959795B2 (en) Remote-control manipulator system and method of operating the same
Kohlbrecher et al. Human‐robot teaming for rescue missions: Team ViGIR's approach to the 2013 DARPA Robotics Challenge Trials
Fallon et al. An architecture for online affordance‐based perception and whole‐body planning
Fang et al. A novel augmented reality-based interface for robot path planning
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
JP7052652B2 (ja) 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム
CN109571513B (zh) 一种沉浸式移动抓取服务机器人系统
JP2004243516A (ja) コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
CN103631221A (zh) 一种遥操作服务机器人系统
CN110682291B (zh) 一种基于vr的机器人遥操作系统及其遥操作方法
JP2016521214A (ja) 動力工具
CN107122045A (zh) 一种基于混合现实技术的虚拟人机示教系统及方法
WO2019046559A1 (en) UTILIZING INCREASED REALITY TO CONTROL INTELLIGENT DEVICES
CN106272409A (zh) 基于手势识别的机械臂控制方法及系统
Lotsaris et al. AR based robot programming using teaching by demonstration techniques
KR20170024769A (ko) 로봇 제어 장치
Martín-Barrio et al. Application of immersive technologies and natural language to hyper-redundant robot teleoperation
KR101942837B1 (ko) 게임 인터페이스 방식에 의한 로봇 원격 구동을 위한 클라우드 시스템 및 그 로봇 원격 구동 방법
CN111113414B (zh) 一种基于屏幕标识的机器人三维空间尺度提示方法及系统
KR101760881B1 (ko) 원격 단말기 및 이를 이용한 로봇 교시방법
KR102518766B1 (ko) 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템
Tikanmäki et al. The remote operation and environment reconstruction of outdoor mobile robots using virtual reality
CN104203503A (zh) 机器人系统及作业设备
Allspaw et al. Implementing Virtual Reality for Teleoperation of a Humanoid Robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant