KR101937855B1 - 증강현실 기반 로봇 제어 평가 시스템 - Google Patents

증강현실 기반 로봇 제어 평가 시스템 Download PDF

Info

Publication number
KR101937855B1
KR101937855B1 KR1020170125534A KR20170125534A KR101937855B1 KR 101937855 B1 KR101937855 B1 KR 101937855B1 KR 1020170125534 A KR1020170125534 A KR 1020170125534A KR 20170125534 A KR20170125534 A KR 20170125534A KR 101937855 B1 KR101937855 B1 KR 101937855B1
Authority
KR
South Korea
Prior art keywords
robot
augmented reality
evaluation system
virtual objects
robot control
Prior art date
Application number
KR1020170125534A
Other languages
English (en)
Inventor
박영숙
이태석
Original Assignee
주식회사 마이크로컴퓨팅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마이크로컴퓨팅 filed Critical 주식회사 마이크로컴퓨팅
Priority to KR1020170125534A priority Critical patent/KR101937855B1/ko
Application granted granted Critical
Publication of KR101937855B1 publication Critical patent/KR101937855B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095—Means or methods for testing manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 증강현실 기반 로봇 제어 평가 시스템에 관한 것으로, 증강현실(AR : Augmented Reality)과 로봇 제어(Robot Control) 기술을 융합하고, 사용자간 비교 경쟁을 도모할 수 있는 게임 요소를 가미하여 쉬우면서도 흥미를 유발할 수 있는 프로그래밍 언어(Programing Language) 교육 환경 조성이 가능하도록 한 것이다.

Description

증강현실 기반 로봇 제어 평가 시스템{Robot control evaluation system based on Augmented Reality}
본 발명은 로봇 제어를 위한 프로그램 기술에 관련한 것으로, 특히 증강현실(AR : Augmented Reality)과 로봇 제어(Robot Control) 기술이 융합된 증강현실 기반 로봇 제어 평가 시스템에 관한 것이다.
대한민국 공개특허 제10-2008-0040499호(2008.05.08)에 기 설정된 다수의 로봇 부분 동작을 위한 지령 정보들을 바코드 카드 형태로 각각 제작하고, 이 제작된 바코드 카드의 스캐닝을 이용하여 로봇의 동작을 프로그래밍할 수 있도록 한 로봇 동작 프로그래밍 장치 및 그 방법이 개시되어 있다.
최근, 스템 교육(STEM education)이 이슈화되고 있다. 스템(STEM)은 과학(S : Science), 기술(T : Technology), 공학(E : Engineering), 수학(M : Mathematics)의 줄임말이다.
이러한 스템 교육의 일환으로, 유아 또는 초등학생 또는 중고등 학생들에게 프로그래밍 언어(Programing Language)에 대한 교육을 실시하고 있다. 그러나, 전문성이 요구되는 C 언어나 자바(Java) 등의 고급 프로그래밍 언어를 이용해 유아 또는 초등학생 또는 중고등 학생들에게 소프트웨어 개발 교육을 실시할 경우, 이해하기가 쉽지 않고, 이에 따라 흥미를 쉽게 잃어버릴 우려가 있다.
유아 또는 초등학생 또는 중고등 학생들에게 프로그래밍 언어(Programing Language)에 대한 교육을 실시하는 것은 전문적인 소프트웨어 개발 목적 보다는 유아 또는 초등학생 또는 중고등 학생들의 논리적 사고 및 창의력 향상을 위한 목적이 더 크므로, 쉬우면서도 흥미를 유발할 수 있는 요소가 있어야 한다.
따라서, 본 발명자는 유아 또는 초등학생 또는 중고등 학생들이 이해하기 쉬우면서도 흥미를 유발할 수 있는 프로그래밍 언어(Programing Language) 교육 환경에 대한 연구를 하였다.
대한민국 공개특허 제10-2008-0040499호(2008.05.08)
본 발명은 상기한 취지하에 발명된 것으로, 증강현실(AR : Augmented Reality)과 로봇 제어(Robot Control) 기술을 융합하고, 사용자간 비교 경쟁을 도모할 수 있는 게임 요소를 가미하여 쉬우면서도 흥미를 유발할 수 있는 프로그래밍 언어(Programing Language) 교육 환경 조성이 가능한 증강현실 기반 로봇 제어 평가 시스템을 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 증강현실 기반 로봇 제어 평가 시스템이 로봇(Robot)과, 로봇이 이동하는 보드(Board)와, 보드 위에 가상 객체들을 포함하는 증강현실 이미지를 투사하는 프로젝터(Projector)와, 보드 위를 이동하는 로봇과 보드 위에 투사되는 증강현실 이미지를 포함하는 영상을 실시간 촬영하는 카메라와, 카메라에 의해 실시간 촬영되는 영상으로부터 로봇 객체 및 가상 객체들을 추출하고 추출된 로봇과 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행하는 관리 서버를 포함한다.
본 발명의 부가적인 양상에 따르면, 관리 서버가 프로젝터로 가상 객체들을 포함하는 증강현실 이미지를 송신하는 증강현실 이미지 송신부와, 카메라에 의해 실시간 촬영되는 영상을 실시간 수신하는 영상 수신부와, 영상 수신부에 의해 실시간 수신되는 영상으로부터 로봇 객체 및 가상 객체들을 추출하는 객체 추출부와, 객체 추출부에 의해 추출된 로봇 객체와 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행하는 로봇 제어 평가부를 포함한다.
본 발명의 부가적인 양상에 따르면, 로봇 제어 평가부가 로봇 객체 위치와 가상 객체들간의 위치를 실시간 비교하여 보드 위를 이동하는 로봇 객체가 가상 객체들을 회피했는지 판단하고, 로봇 객체가 가상 객체들을 회피한 빈도수에 따라 평가 점수를 부여하여 로봇 제어 평가를 수행한다.
본 발명의 부가적인 양상에 따르면, 로봇 제어 평가부가 로봇 객체가 보드 위의 시작 위치로부터 종료 위치까지 도달한 시간에 따라 평가 점수에 가중치를 부여한다.
본 발명의 부가적인 양상에 따르면, 증강현실 기반 로봇 제어 평가 시스템이 로봇의 이동을 제어하기 위한 일련의 제어 코드를 작성하는 제어 코드 작성기를 더 포함한다.
본 발명의 부가적인 양상에 따르면, 제어 코드 작성기가 서버 기반 프로그래밍 언어 툴(Server side programing language tool)일 수 있다.
본 발명의 부가적인 양상에 따르면, 제어 코드 작성기가 클라이언트 기반 프로그래밍 언어 툴(Client side programing language tool)일 수 있다.
본 발명의 부가적인 양상에 따르면, 제어 코드 작성기가 블록형 프로그래밍 언어 툴(Block type programing language tool)일 수 있다.
본 발명의 부가적인 양상에 따르면, 관리 서버가 제어 코드 작성기에 의해 작성된 로봇의 이동을 제어하기 위한 일련의 제어 코드를 전송하는 제어 코드 처리부를 포함한다.
본 발명의 부가적인 양상에 따르면, 증강현실 기반 로봇 제어 평가 시스템이 관리 서버로부터 로봇의 이동을 제어하기 위한 일련의 제어 코드를 수신하여 로봇의 이동을 제어하는 로봇 제어기를 더 포함한다.
본 발명은 증강현실(AR : Augmented Reality)과 로봇 제어(Robot Control) 기술을 융합하고, 사용자간 비교 경쟁을 도모할 수 있는 게임 요소를 가미하여 쉬우면서도 흥미를 유발할 수 있는 프로그래밍 언어(Programing Language) 교육 환경 조성이 가능한 효과가 있다.
도 1 은 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 일 실시예의 구성을 도시한 시스템도이다.
도 2 는 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 관리서버의 일 실시예의 구성을 도시한 블럭도이다.
도 3 은 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 보드 위에 투사되는 증강현실 이미지에 포함되는 가상 객체들의 일 예를 도시한 도면이다.
도 4 는 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 로봇 제어 평가 동작의 일 예를 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시예들을 특정한 형태로 한정하려는 것은 아니다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
도 1 은 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 일 실시예의 구성을 도시한 시스템도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 증강현실 기반 로봇 제어 평가 시스템은 로봇(Robot)(100)과, 보드(Board)(200)와, 프로젝터(Projector)(300)와, 카메라(Camera)(400)와, 관리 서버(Management Server)(500)를 포함한다.
로봇(100)은 로봇의 이동을 제어하기 위한 일련의 제어 코드에 의해 구동되어 보드(200) 위에서 이동한다. 이 때, 로봇의 이동을 제어하기 위한 일련의 제어 코드는 프로그래밍 언어 툴(Programing Language Tool)을 통해 사용자로부터 프로그래밍 될 수 있다. 로봇은 모터 등의 구동에 의해 이동 가능한 이동 로봇일 수 있고, 다수의 개별 부품들을 조립하여 완성하는 조립 로봇일 수 있다.
보드(200)는 로봇(100)이 이동하는 평평한 판으로, 프로젝터(300)에 의해 투사되는 가상 객체들을 포함하는 증강현실 이미지가 선명하게 잘 표시되도록 흰색 또는 검정색과 같은 단색 계열의 바탕인 것이 바람직하다. 이 때, 다수의 작은 보드 조각들이 조립되어 커다란 하나의 보드를 이루는 형태로 구현될 수도 있다.
프로젝터(300)는 보드(200) 위에 가상 객체들을 포함하는 증강현실 이미지를 투사한다. 이 때, 프로젝터(300)에 의해 투사되는 가상 객체들을 포함하는 증강현실 이미지는 관리 서버(500)에 의해 제공될 수 있으며, 이를 위해 프로젝터(300)와 관리 서버(500)간은 유선 또는 무선 IP 네트워크를 통해 통신 연결될 수 있다.
카메라(400)는 보드(200) 위를 이동하는 로봇(100)과, 보드 위에 투사되는 증강현실 이미지를 포함하는 영상을 실시간 촬영한다. 예컨대, 카메라(400)가 3D 객체를 인식할 수 있는 깊이 카메라일 수 있다. 카메라(400)에 의해 실시간 촬영되는 영상은 실시간으로 관리 서버(500)로 전송될 수 있으며, 이를 위해 카메라(400)와 관리 서버(500)간은 유선 또는 무선 IP 네트워크를 통해 통신 연결될 수 있다.
관리 서버(500)는 카메라(400)에 의해 실시간 촬영되는 영상으로부터 로봇 객체 및 가상 객체들을 추출하고, 추출된 로봇과 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행한다. 예컨대, 로봇과 가상 객체들간의 인터랙션(Interaction)이 로봇과 가상 객체들의 논리적인 충돌일 수 있다. 이 때, 로봇과 가상 객체들의 논리적인 충돌이 로봇 객체의 위치 좌표 영역과 가상 객체들의 위치 좌표 영역 일부 또는 전부 겹침일 수 있다.
프로젝터(300)에 의해 투사되는 가상 객체들을 포함하는 증강현실 이미지가 보드(200) 위에 표시되면, 사용자는 증강현실 이미지에 포함되는 가상 객체들과의 인터랙션을 고려하여 보드(200) 위를 이동하는 로봇의 이동을 제어하기 위한 일련의 제어 코드를 프로그래밍 언어 툴(Programing Language Tool)을 통해 프로그래밍 한다.
로봇의 이동을 제어하기 위한 일련의 제어 코드에 따라 로봇(100)은 보드(200) 위에서 이동한다. 카메라(400)는 보드(200) 위를 이동하는 로봇(100)과, 보드 위에 투사되는 증강현실 이미지를 포함하는 영상을 실시간 촬영하여 관리 서버(500)로 전송한다.
그러면, 관리 서버(500)는 카메라(400)에 의해 실시간 촬영되어 전송되는 영상으로부터 로봇 객체 및 가상 객체들을 추출하고, 추출된 로봇과 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행한다.
만약, 관리 서버(500)를 통해 다수의 사용자들에 대해 로봇 제어 평가를 수행하여 평가 결과에 따라 사용자들에게 평가 점수를 부여했다면, 평가 점수를 높게 받은 사용자는 평가 점수를 낮게 받은 사용자에 비해 로봇의 이동을 제어하기 위한 일련의 제어 코드를 효율적으로 잘 프로그래밍한 것으로 볼 수 있다.
이와 같이 구현함에 의해, 본 발명은 증강현실(AR : Augmented Reality)과 로봇 제어(Robot Control) 기술을 융합하고, 사용자간 비교 경쟁을 도모할 수 있는 게임 요소를 가미하여 쉬우면서도 흥미를 유발할 수 있는 프로그래밍 언어(Programing Language) 교육 환경 조성이 가능해 진다.
도 2 는 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 관리서버의 일 실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 이 실시예에 따른 관리 서버(500)는 증강현실 이미지 송신부(510)와, 영상 수신부(520)와, 객체 추출부(530)와, 로봇 제어 평가부(540)를 포함한다.
증강현실 이미지 송신부(510)는 프로젝터(300)로 가상 객체들을 포함하는 증강현실 이미지를 송신한다. 이 때, 증강현실 이미지는 DB에 미리 저장될 수 있다. 관리 서버(500)의 증강현실 이미지 송신부(510)에 의해 전송되는 가상 객체들을 포함하는 증강현실 이미지를 수신한 프로젝터(300)는 이를 보드(200) 위로 투사한다.
영상 수신부(520)는 카메라(400)에 의해 실시간 촬영되는 영상을 실시간 수신한다. 카메라(400)는 로봇의 이동을 제어하기 위한 일련의 제어 코드에 따라 보드(200) 위를 이동하는 로봇(100)과, 프로젝터(300)에 의해 보드(200) 위에 투사되는 증강현실 이미지를 포함하는 영상을 실시간 촬영하여 관리 서버(500)로 전송하고, 관리 서버(500)의 영상 수신부(520)가 이를 수신한다.
객체 추출부(530)는 영상 수신부(520)에 의해 실시간 수신되는 영상으로부터 로봇 객체 및 가상 객체들을 추출한다. 예컨대, 객체 추출부(530)가 윤곽선 추출 기법을 이용해 영상으로부터 로봇 객체 및 가상 객체들을 추출하도록 구현될 수 있다.
한편, 로봇은 3D이고, 증강현실 이미지에 포함되는 가상 객체들은 2D이므로, 카메라(400)로 깊이 카메라를 사용하면, 실물인 로봇은 3D 객체 형태로 추출되고, 실물이 아닌 가상 객체들은 2D 객체 형태로 추출되므로, 로봇 객체와 가상 객체들의 구분이 가능하다.
로봇 제어 평가부(540)는 객체 추출부(530)에 의해 추출된 로봇 객체와 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행한다. 이 때, 로봇과 가상 객체들간의 인터랙션(Interaction)이 로봇과 가상 객체들의 논리적인 충돌일 수 있다. 한편, 로봇과 가상 객체들의 논리적인 충돌이 로봇 객체의 위치 좌표 영역과 가상 객체들의 위치 좌표 영역 일부 또는 전부 겹침일 수 있다.
예컨대, 로봇 제어 평가부(540)가 로봇 객체 위치와 가상 객체들간의 위치를 실시간 비교하여 보드 위를 이동하는 로봇 객체가 가상 객체들을 회피했는지 판단하고, 로봇 객체가 가상 객체들을 회피한 빈도수에 따라 평가 점수를 부여하여 로봇 제어 평가를 수행하도록 구현될 수 있다. 이 때, 로봇 객체가 가상 객체를 충돌하지 않고 회피했는지 여부는 로봇 객체의 위치 좌표 영역과 가상 객체의 위치 좌표 영역이 하나도 겹치지 않았는지 판단함에 의해 가능하다.
한편, 로봇 제어 평가부(540)가 로봇 객체가 보드 위의 시작 위치로부터 종료 위치까지 도달한 시간에 따라 평가 점수에 가중치를 부여하도록 구현될 수도 있다. 평가 점수에 가중치를 부여할 경우, 사용자들간에 누가 로봇의 이동을 제어하기 위한 일련의 제어 코드를 더 효율적으로 프로그래밍했는지에 대한 더욱 정확한 비교 평가가 가능하다. 이 때, 평가 점수 및 가중치 부여를 위한 펴가 기준은 DB에 미리 저장되어 로봇 제어 평가부(540)가 이를 참조할 수 있다.
예를 들면, 프로젝터(300)에 의해 보드(200) 위로 투사되는 증강현실 이미지에 장애물로 설정된 10개의 가상 객체가 포함되고, 가상 객체 회피당 기본 점수가 +1점 부여되고, 보드 위의 시작 위치로부터 종료 위치까지 도달 한계 시간 1분 보다 빠르게 도달할 경우 10초당 +1점의 가산 점수를 부여하여 가중치를 주고, 로봇의 이동을 제어하기 위한 일련의 제어 코드를 사용자 A, B, C가 각각 프로그래밍했다 가정하자.
사용자 A에 의해 프로그래밍 된 로봇의 이동을 제어하기 위한 일련의 제어 코드에 의해 이동 제어되어 보드 위를 이동하는 로봇(100)이 관리 서버(500)에 의해 7개의 가상 객체를 회피했고, 보드 위의 시작 위치로부터 종료 위치까지 도달한 시간이 37초라면, 사용자 A에 대한 로봇 제어 평가 점수는 기본 점수 7과 가산 점수 2를 합산한 총 9점이 된다.
한편, 사용자 B에 의해 프로그래밍 된 로봇의 이동을 제어하기 위한 일련의 제어 코에 의해 이동 제어되어 보드 위를 이동하는 로봇(100)이 관리 서버(500)에 의해 7개의 가상 객체를 회피했고, 보드 위의 시작 위치로부터 종료 위치까지 도달한 시간이 45초라면, 사용자 B에 대한 로봇 제어 평가 점수는 기본 점수 7과 가산 점수 1을 합산한 총 8점이 된다.
한편, 사용자 C에 의해 프로그래밍 된 로봇의 이동을 제어하기 위한 일련의 제어 코드에 의해 이동 제어되어 보드 위를 이동하는 로봇(100)이 관리 서버(500)에 의해 5개의 가상 객체를 회피했고, 보드 위의 시작 위치로부터 종료 위치까지 도달한 시간이 1분 7초라면, 사용자 C에 대한 로봇 제어 평가 점수는 기본 점수 5와 가산 점수 0을 합산한 총 5점이 된다.
이러한 사용자 A, B, C에 대한 로봇 제어 평가 점수 비교 결과, 사용자 A의 평가 점수가 가장 높으므로, 사용자 A가 프로그래밍한 로봇의 이동을 제어하기 위한 일련의 제어 코드가 가장 효율적으로 프로그래밍되었다고 판단할 수 있다.
이와 같이 구현함에 의해, 본 발명은 증강현실(AR : Augmented Reality)과 로봇 제어(Robot Control) 기술을 융합하고, 사용자간 비교 경쟁을 도모할 수 있는 게임 요소를 가미하여 쉬우면서도 흥미를 유발할 수 있는 프로그래밍 언어(Programing Language) 교육 환경 조성이 가능해 진다.
한편, 발명의 부가적인 양상에 따르면, 증강현실 기반 로봇 제어 평가 시스템이 제어 코드 작성기(600)를 더 포함할 수 있다. 제어 코드 작성기(600)는 로봇의 이동을 제어하기 위한 일련의 제어 코드를 작성한다.
이 때, 제어 코드 작성기(600)가 서버 기반 프로그래밍 언어 툴(Server side programing language tool) 형태로 구현되어 관리 서버에 탑재되도록 구현될 수도 있고, 클라이언트 기반 프로그래밍 언어 툴(Client side programing language tool) 형태로 구현되어 사용자 단말(도면 도시 생략)에 탑재되도록 구현될 수도 있다.
예컨대, 제어 코드 작성기(600)가 블록형 프로그래밍 언어 툴(Block type programing language tool)일 수 있다. 스크래치(Scratch) 등과 같은 블록형 프로그래밍 언어 툴은 복잡한 코딩없이 사용자가 마치 블록들을 이동시켜 탑을 쌓는 것과 같이 제어 명령 단위인 코드 블록(Code Block)들을 이동시켜 그룹화한 일련의 제어 코드를 생성할 수 있다. 이 때, 제어 명령 단위인 코드 블록(Code Block)이 전진 명령, 후진 명령, 좌회전 명령, 우회전 명령, 정지 명령을 수행하는 코드 블록일 수 있다.
이와 같이 구현함에 의해 본 발명은 유아 또는 초등학생 또는 중고등 학생들에게 그래픽 환경을 통해 컴퓨터 프로그래밍에 관한 경험을 쌓게 할 수 있어, 유아 또는 초등학생 또는 중고등 학생들의 논리적 사고 및 창의력 향상에 도움을 줄 수 있다.
한편, 발명의 부가적인 양상에 따르면, 관리 서버(500)가 제어 코드 처리부(550)를 더 포함할 수 있다. 제어 코드 처리부(550)는 제어 코드 작성기(600)에 의해 작성된 로봇의 이동을 제어하기 위한 일련의 제어 코드를 전송한다.
이 때, 제어 코드 처리부(550)가 LTE 등과 같은 이동통신 방식, 블루투스(BLE) 등의 근거리 무선통신 방식으로 로봇의 이동을 제어하기 위한 일련의 제어 코드를 로봇(100)으로 직접 전송하여 로봇의 이동을 직접 제어하도록 구현될 수도 있고, 로봇 제어기(700)로 전송하여 로봇 제어기(700)를 통해 로봇의 이동을 간접 제어하도록 구현될 수도 있다.
한편, 발명의 부가적인 양상에 따르면, 증강현실 기반 로봇 제어 평가 시스템이 로봇 제어기(700)를 더 포함할 수 있다. 로봇 제어기(700)는 관리 서버(500)로부터 로봇의 이동을 제어하기 위한 일련의 제어 코드를 수신하여 로봇의 이동을 제어한다.
이 때, 로봇 제어기(700)가 LTE 등과 같은 제1무선 통신 방식으로 관리 서버(500)와 통신 연결되어 관리 서버(500)로부터 로봇의 이동을 제어하기 위한 일련의 제어 코드를 수신하도록 구현될 수 있다.
한편, 로봇 제어기(700)가 블루투스(BLE) 등과 같은 제2무선 통신 방식으로 로봇(100)과 통신 연결되어 로봇(100)으로 로봇의 이동을 제어하기 위한 일련의 제어 코드를 전송하도록 구현될 수 있다.
관리 서버(500) 또는 로봇 제어기(700)로부터 로봇의 이동을 제어하기 위한 일련의 제어 코드를 수신한 로봇(100)은 로봇의 이동을 제어하기 위한 일련의 제어 코드에 따라 구동되어 보드(200) 위에서 이동된다.
도 3 은 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 보드 위에 투사되는 증강현실 이미지에 포함되는 가상 객체들의 일 예를 도시한 도면이다. 도 3 을 참조해 보면, 프로젝터(300)에 의해 보드(200) 위로 투사되는 증강현실 이미지가 원형의 5개의 가상 객체를 포함하고 있음을 볼 수 있다. 도 3 에서 사각형 객체는 로봇 객체이다.
이상에서 설명한 바와 같은 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 로봇 제어 평가 동작을 도 4 를 통해 알아본다. 도 4 는 본 발명에 따른 증강현실 기반 로봇 제어 평가 시스템의 로봇 제어 평가 동작의 일 예를 도시한 흐름도이다.
먼저, 단계 810에서 관리 서버가 프로젝터로 가상 객체들을 포함하는 증강현실 이미지를 전송한다.
그러면, 단계 820에서 프로젝터가 가상 객체들을 포함하는 증강현실 이미지를 보드 위로 투사한다.
그 다음, 단계 830에서 사용자가 제어 코드 작성기를 통해 로봇의 이동을 제어하기 위한 일련의 제어 코드를 작성한다.
그러면, 단계 840에서 관리 서버가 제어 코드 작성기를 통해 작성된 로봇의 이동을 제어하기 위한 일련의 제어 코드를 로봇 제어기로 전송한다.
그러면, 단계 850에서 로봇 제어기가 로봇으로 로봇의 이동을 제어하기 위한 일련의 제어 코드를 전송한다.
그러면, 단계 860에서 로봇이 로봇의 이동을 제어하기 위한 일련의 제어 코드에 따라 보드 위에서 이동된다.
그러면, 단계 870에서 카메라가 보드 위를 이동하는 로봇과, 보드 위에 투사되는 증강현실 이미지를 포함하는 영상을 실시간 촬영하여 관리 서버로 전송한다.
그러면, 단계 880에서 관리 서버가 카메라에 의해 실시간 촬영되어 전송되는 영상으로부터 로봇 객체 및 가상 객체들을 추출하고, 추출된 로봇과 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행한다.
이와 같이 구현함에 의해, 본 발명은 증강현실(AR : Augmented Reality)과 로봇 제어(Robot Control) 기술을 융합하고, 사용자간 비교 경쟁을 도모할 수 있는 게임 요소를 가미하여 쉬우면서도 흥미를 유발할 수 있는 프로그래밍 언어(Programing Language) 교육 환경 조성이 가능해 진다.
본 명세서 및 도면에 개시된 다양한 실시예들은 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 다양한 실시예들의 범위를 한정하고자 하는 것은 아니다.
따라서, 본 발명의 다양한 실시예들의 범위는 여기에서 설명된 실시예들 이외에도 본 발명의 다양한 실시예들의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실예들의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 로봇 제어를 위한 프로그램 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.
100 : 로봇
200 : 보드
300 : 프로젝터
400 : 카메라
500 : 관리 서버
510 : 증강현실 이미지 송신부
520 : 영상 수신부
530 : 객체 추출부
540 : 로봇 제어 평가부
550 : 제어 코드 처리부
600 : 제어 코드 작성기
700 : 로봇 제어기

Claims (10)

  1. 로봇(Robot)과;
    로봇이 이동하는 보드(Board)와;
    보드 위에 가상 객체들을 포함하는 증강현실 이미지를 투사하는 프로젝터(Projector)와;
    보드 위를 이동하는 로봇과, 보드 위에 투사되는 증강현실 이미지를 포함하는 영상을 실시간 촬영하는 카메라(Camera)와;
    카메라에 의해 실시간 촬영되는 영상으로부터 로봇 객체 및 가상 객체들을 추출하고, 추출된 로봇과 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행하는 관리 서버(Management Server)를;
    포함하는 증강현실 기반 로봇 제어 평가 시스템.
  2. 제 1 항에 있어서,
    관리 서버가:
    프로젝터로 가상 객체들을 포함하는 증강현실 이미지를 송신하는 증강현실 이미지 송신부와;
    카메라에 의해 실시간 촬영되는 영상을 실시간 수신하는 영상 수신부와;
    영상 수신부에 의해 실시간 수신되는 영상으로부터 로봇 객체 및 가상 객체들을 추출하는 객체 추출부와;
    객체 추출부에 의해 추출된 로봇 객체와 가상 객체들간의 인터랙션(Interaction)에 따라 로봇 제어 평가를 수행하는 로봇 제어 평가부를;
    포함하는 증강현실 기반 로봇 제어 평가 시스템.
  3. 제 2 항에 있어서,
    로봇 제어 평가부가:
    로봇 객체 위치와 가상 객체들간의 위치를 실시간 비교하여 보드 위를 이동하는 로봇 객체가 가상 객체들을 회피했는지 판단하고, 로봇 객체가 가상 객체들을 회피한 빈도수에 따라 평가 점수를 부여하여 로봇 제어 평가를 수행하는 증강현실 기반 로봇 제어 평가 시스템.
  4. 제 3 항에 있어서,
    로봇 제어 평가부가:
    로봇 객체가 보드 위의 시작 위치로부터 종료 위치까지 도달한 시간에 따라 평가 점수에 가중치를 부여하는 증강현실 기반 로봇 제어 평가 시스템.
  5. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
    증강현실 기반 로봇 제어 평가 시스템이:
    로봇의 이동을 제어하기 위한 일련의 제어 코드를 작성하는 제어 코드 작성기를;
    더 포함하는 증강현실 기반 로봇 제어 평가 시스템.
  6. 제 5 항에 있어서,
    제어 코드 작성기가:
    서버 기반 프로그래밍 언어 툴(Server side programing language tool)인 증강현실 기반 로봇 제어 평가 시스템.
  7. 제 5 항에 있어서,
    제어 코드 작성기가:
    클라이언트 기반 프로그래밍 언어 툴(Client side programing language tool)인 증강현실 기반 로봇 제어 평가 시스템.
  8. 제 5 항에 있어서,
    제어 코드 작성기가:
    블록형 프로그래밍 언어 툴(Block type programing language tool)인 증강현실 기반 로봇 제어 평가 시스템.
  9. 제 5 항에 있어서,
    관리 서버가:
    제어 코드 작성기에 의해 작성된 로봇의 이동을 제어하기 위한 일련의 제어 코드를 전송하는 제어 코드 처리부를;
    포함하는 증강현실 기반 로봇 제어 평가 시스템.
  10. 제 9 항에 있어서,
    증강현실 기반 로봇 제어 평가 시스템이:
    관리 서버로부터 로봇의 이동을 제어하기 위한 일련의 제어 코드를 수신하여 로봇의 이동을 제어하는 로봇 제어기를;
    더 포함하는 증강현실 기반 로봇 제어 평가 시스템.
KR1020170125534A 2017-09-27 2017-09-27 증강현실 기반 로봇 제어 평가 시스템 KR101937855B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170125534A KR101937855B1 (ko) 2017-09-27 2017-09-27 증강현실 기반 로봇 제어 평가 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170125534A KR101937855B1 (ko) 2017-09-27 2017-09-27 증강현실 기반 로봇 제어 평가 시스템

Publications (1)

Publication Number Publication Date
KR101937855B1 true KR101937855B1 (ko) 2019-01-14

Family

ID=65027779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170125534A KR101937855B1 (ko) 2017-09-27 2017-09-27 증강현실 기반 로봇 제어 평가 시스템

Country Status (1)

Country Link
KR (1) KR101937855B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102315361B1 (ko) * 2020-08-21 2021-10-19 네이버랩스 주식회사 실내 공간을 주행하는 로봇의 동작을 평가하는 건물

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017147596A1 (en) 2016-02-26 2017-08-31 Think Surgical, Inc. Method and system for guiding user positioning of a robot

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017147596A1 (en) 2016-02-26 2017-08-31 Think Surgical, Inc. Method and system for guiding user positioning of a robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102315361B1 (ko) * 2020-08-21 2021-10-19 네이버랩스 주식회사 실내 공간을 주행하는 로봇의 동작을 평가하는 건물
KR102315362B1 (ko) * 2020-08-21 2021-10-20 네이버랩스 주식회사 로봇 평가 방법 및 시스템

Similar Documents

Publication Publication Date Title
US20150245010A1 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
US20170053550A1 (en) Education System using Connected Toys
KR20200092247A (ko) 텐저블 블록 기반 증강현실 코딩 학습 시스템
KR101734520B1 (ko) 자이로센서의 움직임 패턴 인식 기반의 유저 인터페이싱 시스템
US20120251995A1 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
KR101937855B1 (ko) 증강현실 기반 로봇 제어 평가 시스템
CN112847336A (zh) 动作学习方法、装置、存储介质及电子设备
Vozar A Framework for Improving the Speed and Performance of Teleoperated Mobile Manipulators.
KR20190059068A (ko) 증강현실을 이용한 격자 맵의 미션 기반 퍼즐 조립 시스템 및 방법
CN111047925A (zh) 基于房间式互动投影的动作学习系统及方法
CN109983424A (zh) 虚拟现实场景中的对象选中方法和装置以及虚拟现实设备
JP6933849B1 (ja) 体感型インターフェースシステム、及び、動作体感システム
Ma et al. Enhancement of a VEX robot with an onboard vision system
KR102290951B1 (ko) 원격 로봇 코딩 교육 시스템
Su et al. Development of a 3D AR-based interface for industrial robot manipulators
KR101505598B1 (ko) 로봇 교육 장치
KR102166667B1 (ko) 로봇들에서 코딩데이터의 실행을 동기화 하기 위한 코딩교육제공시스템 및 방법
CN104933278A (zh) 一种用于言语障碍康复训练的多通道交互方法和系统
KR20200074340A (ko) 다중 코딩 소스를 제어할 수 있는 코딩 교육용 스마트 토이 시스템
Yuen et al. Mobile app controlled modular combat robot for STEM education
KR102042666B1 (ko) 미로 코딩을 이용한 프로그래밍 학습 장치
KR102251867B1 (ko) 사물인터넷의 스타네트워크를 이용하여 코딩 교육을 제공하는 시스템 및 방법
KR102541482B1 (ko) 증강 현실을 이용한 학령기 아동의 천식 교육 시스템 및 방법
KR101960903B1 (ko) 코딩 학습 시스템
CN110757448A (zh) 面向于机器人编程的交互实现方法和系统

Legal Events

Date Code Title Description
GRNT Written decision to grant