KR101324327B1 - 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법 - Google Patents

가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법 Download PDF

Info

Publication number
KR101324327B1
KR101324327B1 KR1020110134725A KR20110134725A KR101324327B1 KR 101324327 B1 KR101324327 B1 KR 101324327B1 KR 1020110134725 A KR1020110134725 A KR 1020110134725A KR 20110134725 A KR20110134725 A KR 20110134725A KR 101324327 B1 KR101324327 B1 KR 101324327B1
Authority
KR
South Korea
Prior art keywords
virtual world
virtual
user
viewpoint
world
Prior art date
Application number
KR1020110134725A
Other languages
English (en)
Other versions
KR20130067796A (ko
Inventor
김두현
윤경로
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020110134725A priority Critical patent/KR101324327B1/ko
Publication of KR20130067796A publication Critical patent/KR20130067796A/ko
Application granted granted Critical
Publication of KR101324327B1 publication Critical patent/KR101324327B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator

Abstract

본 발명은 가상 세계를 사용한 무인 이동체 원격 제어하는 장치 및 방법이 개시된다.
무인 이동체 원격 제어 장치는 현실 세계의 지형을 기초로 생성된 가상 세계에 무인 이동체에 대응하는 가상 객체를 생성하는 가상 객체 생성부; 사용자로부터 수신한 제어 명령에 따라 가상 객체의 동작을 제어하는 가상 객체 제어부; 및 가상 세계와 가상 객체의 동작에 따라 원격으로 무인 이동체를 제어하는 무인 이동체 원격 제어부를 포함할 수 있다.

Description

가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법{UNMANNED VEHICLE REMOTE CONTROL APPARATUS AND METHOD USING VIRTUAL WORLD}
본 발명은 무인 이동체 원격 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 현실 세계의 지형을 사용한 가상 세계에 무인 이동체에 대응하는 가상 객체를 표시하고, 가상 객체에 따라 무인 이동체를 제어함으로써, 사용자가 무인 이동체의 주변 지형이나 건물에 따라 무인 이동체를 원격 제어할 수 있는 무인 이동체 원격 제어 장치 및 방법에 관한 것이다.
멀티미디어 산업에서 가상환경(VE: Virtual Environment)의 중요성이 인식되고 있다. 단순한 게임과 같은 엔터테인먼트를 위한 용도뿐만 아니라, 방재환경, 운동, 운전연습등과 같은 현실세계의 위험성을 해소할 수 있는 용도로도 많은 주목을 받고 있다.
예를 들어, 사용자가 무인 비행체를 제어하고자 하는 경우, 무인 비행체의 위치를 확인하고, 제어 명령을 전송해야 한다. 이때, 무인 비행체가 있는 현장의 실제 이미지 상에 무인 비행체를 표시하는 것은 무인 비행체의 제어나 위치 확인에 필요하지 않은 이미지까지 표시하게 되므로 화면이 복잡해 지는 경향이 발생한다.
한국공개특허 제10-2011-0115271호(공개일 2011년 10월 21일)에는 현실 세계 장치가 있는 장소의 영상을 전송하고, 영상을 확인한 사용자가 제어 명령을 전송하여 현실 세계 장치를 제어하는 기술이 개시되어 있다. 그러나, 종래의 기술은 현실 세계 장치가 전송하는 실시간 영상을 사용하여 사용자가 현실 세계 장치가 있는 장소의 상태를 확인하고 있으므로, 실시간 영상을 전송하기 위한 네트워크 자원이 많이 필요한 실정이다.
또한, 다양한 상황에 의하여 네트워크의 전송 속도가 낮아져서, 실시간 영상의 수신이 지연되거나 수신을 못하는 경우, 현실 세계 장치가 있는 장소의 지형이나 상태를 확인할 수 없으므로 현실 세계 장치를 정밀 제어하기 어렵다는 한계가 있었다.
따라서, 네트워크의 자원을 적게 소모하고, 네트워크의 전송 상태에 영향을 적게 받으면서도, 원격 제어 장치가 있는 장소의 지형에 따라 원격 제어 장치를 제어할 수 있는 방법이 요청되고 있다.
본 발명은 가상 세계에 무인 이동체에 대응하는 가상 객체를 표시하고, 가상 객체에 따라 무인 이동체를 제어함으로써, 사용자가 무인 이동체의 주변 지형이나 건물에 따라 무인 이동체를 원격 제어하는 장치 및 방법을 제공한다.
또한, 본 발명은 사용자의 동작에 따라 가상 세계의 시점을 전환함으로써, 사용자가 가상 객체를 제어 중에도 간단한 동작으로 가상 세계의 시점을 원하는 시점으로 변환하는 장치 및 방법을 제공한다.
그리고, 본 발명은 가상 세계의 오브젝트에 충돌 방지 영역을 생성하고, 무인 이동체에 대응하는 가상 객체가 충돌 방지 영역에 진입하는지 여부를 판단함으로써, 무인 이동체가 지형이나 장애물 간의 거리를 식별할 수 있는 센서를 구비하지 않은 경우에도 무인 이동체가 지형이나 장애물과 충돌 가능한 거리보다 근접하는 것을 감지하여 충돌을 방지하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치는 현실 세계를 기초로 생성된 가상 세계에 무인 이동체에 대응하는 가상 객체를 생성하는 가상 객체 생성부; 사용자로부터 수신한 제어 명령에 따라 가상 객체의 동작을 제어하는 가상 객체 제어부; 및 가상 세계와 가상 객체의 동작에 따라 원격으로 무인 이동체를 제어하는 무인 이동체 원격 제어부를 포함할 수 있다.
본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치는 현실 세계를 기초로 생성된 가상 세계를 생성하고, 가상 세계에 포함된 오브젝트 중 적어도 하나에 충돌 방지 영역을 생성하는 가상 세계 생성부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치의 가상 객체 제어부는 가상 객체가 충돌 방지 영역에 진입하는 경우, 사용자에게 충돌 경고 메시지를 제공할 수 있다.
본 발명의 일실시예에 따른 무인 이동체 원격 제어 방법은 현실 세계를 기초로 생성된 가상 세계에 무인 이동체에 대응하는 가상 객체를 생성하는 단계; 사용자로부터 수신한 제어 명령에 따라 가상 객체의 동작을 제어하는 단계; 및 가상 세계와 가상 객체의 동작에 따라 원격으로 무인 이동체를 제어하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 가상 세계에 무인 이동체에 대응하는 가상 객체를 표시하고, 가상 객체에 따라 무인 이동체를 제어함으로써, 사용자가 무인 이동체의 주변 지형이나 건물에 따라 무인 이동체를 원격 제어하도록 할 수 있다.
또한, 본 발명의 일실시예에 의하면, 사용자의 동작에 따라 가상 세계의 시점을 전환함으로써, 사용자가 가상 객체를 제어 중에도 간단한 동작으로 가상 세계의 시점을 원하는 시점으로 변환할 수 있다.
그리고, 본 발명의 일실시예에 의하면, 가상 세계의 오브젝트에 충돌 방지 영역을 생성하고, 무인 이동체에 대응하는 가상 객체가 충돌 방지 영역에 진입하는지 여부를 판단함으로써, 무인 이동체가 지형이나 장애물 간의 거리를 식별할 수 있는 센서를 구비하지 않은 경우에도 무인 이동체가 지형이나 장애물과 충돌 가능한 거리보다 근접하는 것을 감지하여 충돌을 방지할 수 있다.
도 1은 본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치와 다른 장치 간의 관계를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치를 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 가상 세계 생성부가 충돌 방지 영역을 생성한 일례이다.
도 4는 본 발명의 일실시예에 따른 시점 변환부가 사용자의 손 동작에 따라 시점을 전환하는 과정의 일례이다.
도 5는 본 발명의 일실시예에 따른 시점 변환부가 단말기의 방향에 따라 시점을 전환하는 과정의 일례이다.
도 6은 본 발명의 일실시예에 따른 무인 이동체 원격 제어 방법을 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따른 가상 세계 시점 전환 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 무인 이동체 원격 제어 방법은 무인 이동체 원격 제어 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 무인 이동체 원격 제어 시스템을 나타내는 도면이다.
본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치(100)는 도 1에 도시된 바와 같이 무인 이동체(111)가 위치한 현실 세계의 지형(110)을 기초로 가상 세계(121)를 생성하고 가상 세계(121)에 무인 이동체(111)에 대응하는 가상 객체(122)를 표시할 수 있다.
이때, 무인 이동체 원격 제어 장치(100)는 사용자의 단말기(120)에 설치되고, 단말기(120)의 화면을 통하여 가상 세계(121)와 가상 객체(122)를 사용자에게 표시할 수 있다.
또한, 무인 이동체 원격 제어 장치(100)는 단말기(120)를 통하여 사용자의 제어 명령을 수신하고, 수신한 제어 명령에 따라 가상 객체(122)의 동작을 제어할 수 있으며, 가상 객체(122)의 동작에 따라 무인 이동체(111)를 원격 제어할 수 있다.
본 발명에 따른 무인 이동 원격 제어 장치(100)는 단순하게 무인 이동체(111)의 위치를 식별하여 원격 제어하지 않고, 무인 이동체(111)가 위치한 지형(110)에 대응하는 가상 세계(121)를 생성함으로써, 무인 이동체(111)를 정교하게 제어할 수 있다.
예를 들어, 레이더를 사용하여 무인 이동체(111)를 원격 제어하는 경우, 사용자는 무인 이동체(111)가 위치한 지면의 상태를 파악할 수 없으므로, 저공 비행을 할 수 없다.
반면, 본 발명에 따른 무인 이동체 원격 제어 장치(100)는 건물이나 산과 같은 지형 지물이 포함된 가상 세계(121)를 생성하고, 무인 이동체(111)에 대응하는 가상 객체(122)를 표시하므로, 사용자가 가상 세계(121)에서 가상 객체(122)가 다른 오브젝트에 충돌하지 않도록 제어하면, 무인 이동체(111)도 현실 세계(110)에서 다른 물체에 충돌하지 않고 이동할 수 있다.
즉, 본 발명에 따른 무인 이동체 원격 제어 장치(100)는 원격으로 저공 비행과 같은 무인 비행체(111)의 정밀 제어가 가능할 수 있다.
또한, 본 발명에 따른 무인 이동체 원격 제어 장치(100)는 사용자의 동작에 따라 가상 세계의 시점을 전환함으로써, 지형에 따라 제어를 쉽게 할 수 있다.
구체적으로, 무인 이동체(111)를 원격 조작할 경우, 지형에 따라 제어에 신경 쓰는 부분이 다를 수 있다. 예를 들어 도시와 같이 상하로는 일정 크기의 영역이 확보되어 상하로는 정밀 제어가 필요 없으나 전후 좌우와 같은 이동 방향이 중요한 지형이 있을 수 있고, 동굴과 같이 천장의 높이가 변화하여 고도 변화가 중요한 지형이 있을 수 있으며, 양쪽이 모두 중요한 지형이 있을 수도 있다.
따라서, 본 발명에 따른 무인 이동체 원격 제어 장치(100)는 사용자의 손 동작이나 터치, 또는 단말기(120)의 방향에 따라 가상 세계의 시점을 버드뷰(bird view), 탑뷰(top view), 프런트뷰(front view)로 변경함으로써, 지형에 따른 제어를 쉽게 할 수 있다.
예를 들어, 본 발명에 따른 무인 이동체 원격 제어 장치(100)는 무인 이동체(111)가 도시를 이동할 때는 탑뷰나 버드뷰를 사용하여 진행 방향의 지형을 표시함으로써 사용자가 무인 이동체(111)의 방향을 바꾸어야 할 장소를 인식하기 쉽도록 하고, 무인 이동체(111)가 터널에 진입하는 경우, 프런트뷰를 사용하여 터널의 정면도를 표시함으로써, 사용자가 무인 이동체(111)의 고도를 터널의 높이에 따라 변경하도록 할 수 있다.
도 2는 본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치(100)를 도시한 블록 다이어그램이다.
도 2을 참고하면, 본 발명의 일실시예에 따른 무인 이동체 원격 제어 장치(100)는 가상 세계 생성부(210)와 가상 객체 생성부(220), 가상 객체 제어부(230), 시점 전환부(240) 및 무인 이동체 원격 제어부(250)를 포함할 수 있다.
가상 세계 생성부(210)는 현실 세계의 지형(110)을 기초로 가상 세계(121)를 생성하여 단말기(120)의 화면에 표시할 수 있다.
이때, 가상 세계 생성부(210)는 가상 세계(121)에 포함된 오브젝트 중 적어도 하나에 충돌 방지 영역을 생성할 수 있다. 구체적으로, 가상 세계 생성부(210)는 가상 세계(121)에 포함된 오브젝트 중 건물이나 산과 같이 무인 이동체(111)와 충돌 가능성이 있는 오브젝트에 충돌 방지 영역을 생성할 수 있다. 이때, 가상 세계 생성부(210)는 무인 이동체(111)의 이동 가능 영역에 따라 충돌 가능성이 있는 오브젝트를 선택할 수 있다. 예를 들어, 무인 이동체(111)가 차량인 경우, 차량의 지붕 보다 낮은 장소에 있는 오브젝트에 충돌 방지 영역을 생성할 수 있다. 또한, 무인 이동체(111)가 비행체인 경우는 비행 가능한 최저 고도보다 높은 장소에 있는 오브젝트에 충돌 방지 영역을 생성할 수 있다.
가상 객체 생성부(220)는 가상 세계(121)에 무인 이동체(111)에 대응하는 가상 객체(122)를 생성할 수 있다. 이때, 가상 객체 생성부(220)는 무인 이동체(111)로부터 위치 신호를 수신하고, 가상 세계(121)에서 위치 신호에 대응하는 장소에 무인 이동체(111)를 생성할 수 있다.
가상 객체 제어부(230)는 사용자로부터 수신한 제어 명령에 따라 가상 객체의 동작을 제어할 수 있다. 이때, 가상 객체 제어부(230)는 가상 객체(122)가 충돌 방지 영역에 진입하는 경우, 사용자에게 충돌 경고 메시지를 제공할 수 있다.
시점 전환부(240)는 사용자의 동작에 따라 사용자에게 표시되는 가상 세계의 시점을 전환할 수 있다.
이때, 시점 전환부(240)는 사용자의 손 동작을 측정하고, 사용자의 손 동작에 따라 가상 세계의 시점을 전환할 수 있다.
이때, 시점 전환부(240)는 단말기(120)의 카메라로 사용자의 손 동작을 촬영하고, 촬영한 손 동작의 의미를 식별할 수 있다. 예를 들어 사용자가 단말기(120)의 카메라 앞에서 손가락을 아래 방향으로 이동한 경우, 시점 전환부(240)는 이동한 횟수에 따라 사용자에게 표시되는 가상 세계의 시점을 탑뷰, 버드뷰, 프런트뷰의 순서로 전환할 수 있다.
구체적으로, 시점 전환부(240)는 각 시점에 대응하는 손의 형상을 저장하고, 카메라에 촬영된 손 동작과 저장된 손의 형상을 비교하여 촬영한 손 동작의 의미를 식별할 수 있다. 예를 들어 집게 손가락을 세운 손을 탑뷰와 연관하여 저장하고, 카메라에 촬영된 손에 집게 손가락이 세워져 있으면 가상 세계의 시점을 탑뷰로 전환할 수 있다.
또한, 시점 전환부(240)는 영상에 색상 모형을 사용하여 피부색을 가진 사용자의 신체를 식별하고, 시간의 경과에 따른 사용자의 신체 변화에 따라 촬영한 손 동작의 의미를 식별할 수도 있다. 예를 들어, 영상 중 1프레임에서 사용자의 신체 중 일부가 위쪽을 향하고 있고, 2프레임에서 사용자의 신체 중 위쪽을 향하던 부위가 식별되지 않은 경우, 시점 전환부(240)는 사용자가 해당 부위를 아래로 내려서 사용자의 몸체나 손바닥에 겹쳐진 것으로 판단할 수 있다.
또한, 시점 전환부(240)는 단말기(120)의 터치 스크린을 통하여 사용자의 손 동작을 입력 받을 수 있다. 예를 들어, 사용자가 손가락으로, 단말기(120)의 터치 스크린의 위 쪽을 터치한 상태에서 아래쪽으로 이동한 경우, 시점 전환부(240)는 이동한 횟수에 따라 사용자에게 표시되는 가상 세계의 시점을 탑뷰, 버드뷰, 프런트뷰의 순서로 전환할 수 있다.
그리고, 시점 전환부(240)는 사용자에 의하여 가상 세계를 표시하는 단말기(120)의 방향이 변경되는 경우, 단말기(120)의 방향에 따라 가상 세계의 시점을 전환할 수 있다. 구체적으로, 시점 전환부(240)는 단말기(120)의 방향, 또는 각도 감지 센서를 사용하여 단말기(120)의 방향이나 각도를 감지하고, 사용자에 의하여 단말기(120)의 방향이나 각도가 변경되는 경우, 변경된 방향이나 각도에 따라 가상 세계의 시점을 전환할 수 있다. 예를 들어, 시점 전환부(240)는 단말기(120)의 방향이 하늘을 향하는 경우, 가상 세계(121)를 탑뷰로 표시하고, 단말기(120)의 방향이 지면에 수직인 경우, 가상 세계(121)를 프런트뷰로 표시하며, 그 외의 각도는 가상 세계(121)를 버드뷰로 표시할 수 있다. 이때, 사용자가 가상 세계(121)가 탑뷰로 표시되고 있는 단말기(120)의 방향을 지면에 수직이 되도록 변경하는 경우, 시점 전환부(240)는 가상 세계(121)의 시점을 프런트뷰로 전환할 수 있다.
무인 이동체 원격 제어부(250)는 가상 세계(121)와 가상 객체(122)의 동작에 따라 원격으로 무인 이동체를 제어할 수 있다. 구체적으로, 무인 이동체 원격 제어부(250)는 가상 객체(122)가 가상 세계(121)의 특정 장소로 이동한 경우, 무인 이동체(111)를 가상 세계(121)의 특정 장소에 대응하는 현실 세계의 장소로 이동시킬 수 있다.
이때, 무인 이동체 원격 제어부(250)는 충돌 방지 영역에 진입한 가상 객체(122)가 충돌 방지 영역이 생성된 지형의 방향으로 이동하는 경우, 무인 이동체(111)의 제어를 중단함으로써, 무인 이동체(111)가 해당 지형에 충돌하는 것을 방지할 수 있다.
구체적으로, 가상 객체(122)가 건물의 충돌 방지 영역에 진입한 상태에서 사용자가 가상 객체 제어부(230)를 사용하여 건물 방향으로 가상 객체(122)를 이동한 경우, 무인 이동체 원격 제어부(250)는 가상 객체(122)의 이동에 따라 무인 이동체(111)를 제어하지 않음으로써, 무인 이동체(111)가 건물 방향으로 이동하지 않도록 하여 충돌을 방지할 수 있다.
이 경우, 무인 이동체(111)의 위치가 가상 객체(122)의 위치가 다르게 되므로, 가상 객체 제어부(230)는 자동으로 무인 이동체(111)의 위치에 따라 가상 객체(122)를 이동시키고, 사용자에게 해당 방향으로 이동시 충돌이 일어나므로 해당 방향으로 이동할 수 없다는 메시지를 전송할 수 있다.
본 발명에 따른 무인 이동 원격 제어 장치(100)는 가상 세계의 오브젝트에 충돌 방지 영역을 생성하고, 무인 이동체에 대응하는 가상 객체가 충돌 방지 영역에 진입하는지 여부를 판단함으로써, 무인 이동체(111)가 지형이나 장애물 간의 거리를 식별할 수 있는 센서를 구비하지 않은 경우에도 무인 이동체(111)가 지형이나 장애물과 충돌 가능한 거리보다 근접하는 것을 감지할 수 있다.
따라서, 본 발명에 따른 무인 이동 원격 제어 장치(100)는 무인 이동체(111)가 지형이나 장애물 간의 거리를 식별할 수 있는 센서를 구비하지 않은 경우에도 무인 이동체(111)가 지형이나 장애물과 충돌하는 것을 방지할 수 있다.
도 3은 본 발명의 일실시예에 따른 가상 세계 생성부가 충돌 방지 영역을 생성한 일례이다.
가상 세계 생성부(210)는 도 3에 도시된 바와 같이 가상 세계(121)에 포함된 오브젝트(310)에 충돌 방지 영역(320)을 생성할 수 있다. 이때, 가상 세계 생성부(210)는 충돌 방지 영역(320)를 사용자에게 표시할 수도 있고, 사용자에게 표시하지 않고, 충돌 방지 판단용으로만 사용할 수도 있다.
이때, 가상 객체 제어부(230)는 가상 객체(122)가 충돌 방지 영역(320)에 진입하는 경우, 사용자에게 충돌 경고 메시지를 제공할 수 있다.
또한, 무인 이동체 원격 제어부(250)는 충돌 방지 영역(320)에 진입한 가상 객체(122)가 오브젝트(310) 쪽으로 이동하는 경우, 무인 이동체(111)의 제어를 중단함으로써, 무인 이동체(111)가 해당 지형에 충돌하는 것을 방지할 수 있다.
구체적으로, 가상 객체(122)가 건물(310)의 충돌 방지 영역(320)에 진입한 상태에서 사용자가 가상 객체 제어부(230)를 사용하여 건물(310) 방향으로 가상 객체(122)를 이동한 경우, 무인 이동체 원격 제어부(250)는 가상 객체(122)의 이동에 따라 무인 이동체(111)를 제어하지 않음으로써, 무인 이동체(111)가 건물 방향으로 이동하지 않도록 하여 충돌을 방지할 수 있다.
도 4는 본 발명의 일실시예에 따른 시점 변환부가 사용자의 손 동작에 따라 시점을 전환하는 과정의 일례이다.
시점 전환부(240)는 도 4에 도시된 바와 같이 사용자가 단말기(120) 앞에서 손가락(410)을 아래 방향으로 이동한 경우, 프런트뷰로 표시하던 가상 세계(121)를 탑뷰(420)로 전환할 수 있다.
이때, 시점 전환부(240)는 단말기(120)의 카메라로 사용자의 손을 촬영하여, 사용자가 단말기(120) 앞에서 손가락(410)을 아래 방향으로 이동하였는지 여부를 판단할 수 있다. 또한, 시점 전환부(240)는 사용자가 단말기(120)의 터치 스크린 상에서 도 4에 도시된 바와 같이 손가락(410)을 아래로 이동한 경우, 터치 스크린의 입력의 변화에 따라 사용자가 단말기(120) 앞에서 손가락(410)을 아래 방향으로 이동하였는지 여부를 판단할 수도 있다.
즉, 사용자는 간단한 손 동작으로 단말기(120)가 표시하는 가상 세계의 시점을 용이하게 전환할 수 있다.
도 5는 본 발명의 일실시예에 따른 시점 변환부가 단말기의 방향에 따라 시점을 전환하는 과정의 일례이다.
시점 전환부(240)는 도 5에 도시된 바와 같이 단말기(120)의 방향에 따라 가상 세계의 시점을 전환할 수 있다.
구체적으로, 시점 전환부(240)는 도 5에 도시된 바와 같이 단말기(120)의 방향이 지면에 수직인 경우(510), 가상 세계(121)를 프런트뷰로 표시하고, 단말기(120)의 방향이 변경되면(520) 가상 세계(121)를 탑뷰로 표시할 수 있다.
즉, 사용자는 단말기(120)의 방향을 변경하는 것만으로 단말기(120)가 표시하는 가상 세계의 시점을 용이하게 전환할 수 있다.
도 6은 본 발명의 일실시예에 따른 무인 이동체 원격 제어 방법을 도시한 플로우차트이다.
단계(S610)에서 가상 세계 생성부(210)는 현실 세계의 지형(110)을 기초로 가상 세계를 생성할 수 있다. 이때, 가상 세계 생성부(210)는 가상 세계에 포함된 오브젝트에 충돌 방지 영역을 생성할 수 있다.
단계(S620)에서 가상 객체 생성부(220)는 단계(S610)에서 생성한 가상 세계에 무인 이동체에 대응하는 가상 객체를 생성할 수 있다. 이때, 가상 객체 생성부(220)는 무인 이동체로부터 위치 신호를 수신하고, 가상 세계에서 위치 신호에 대응하는 장소에 무인 이동체를 생성할 수 있다.
단계(S630)에서 가상 세계 생성부(210)는 단계(S610)에서 생성한 가상 세계를 표시할 수 있다. 이때, 가상 세계 생성부(210)가 표시하는 가상 세계에는 단계(S620)에서 생성한 가상 객체(122)가 포함될 수 있다.
단계(S640)에서 가상 객체 제어부(230)는 사용자로부터 수신한 제어 명령에 따라 단계(S630)에서 표시한 가상 객체의 동작을 제어할 수 있다.
단계(S650)에서 가상 객체 제어부(230)는 가상 객체가 단계(S640)의 제어에 따라 단계(S610)에서 생성한 충돌 방지 영역에 진입하였는지 여부를 판단할 수 있다.
단계(S660)에서 가상 객체 제어부(230)는 단계(S650)에서 가상 객체가 충돌 방지 영역에 진입한 것으로 판단한 경우, 사용자에게 충돌 경고 메시지를 제공할 수 있다.
단계(S670)에서 무인 이동체 원격 제어부(250)는 단계(S650)에서 가상 객체가 충돌 방지 영역에 진입하지 않은 것으로 판단한 경우, 무인 이동체가 단계(S640)에서 가상 객체가 이동한 장소에 대응하는 현실 세계의 장소로 이동하도록 무인 이동체를 원격 제어할 수 있다.
이때, 무인 이동체 원격 제어부(250)는 단계(S660)에서 충돌 경고 메시지를 수신한 사용자가 가상 객체를 충돌 방지 영역이 생성된 지형의 방향으로 이동한 경우, 무인 이동체의 제어를 중단함으로써, 무인 이동체가 해당 지형에 충돌하는 것을 방지할 수도 있다.
도 7은 본 발명의 일실시예에 따른 가상 세계 시점 전환 방법을 도시한 플로우차트이다.
단계(S710)에서 가상 세계 생성부(210)는 단계(S610)에서 생성한 가상 세계를 표시할 수 있다. 이때, 가상 세계 생성부(210)가 표시하는 가상 세계에는 단계(S620)에서 생성한 가상 객체(122)가 포함될 수 있다.
단계(S720)에서 시점 전환부(240)는 사용자의 동작을 측정할 수 있다. 이때, 시점 전환부(240)는 단말기(120)의 카메라로 사용자의 손을 촬영하여 사용자의 손 동작을 측정하거나, 단말기(120)의 터치 스크린을 통하여 사용자의 손 동작을 입력 받을 수 있다. 또한, 시점 전환부(240)는 단말기(120)의 방향을 측정하여 단말기(120)가 사용자에 의하여 방향이 변경되었는지 여부를 측정할 수 있다.
단계(S730)에서 시점 전환부(240)는 단계(S720)에서 측정한 사용자의 동작에 따른 시점을 결정할 수 있다. 예를 들어 사용자가 특정 손 동작을 탑뷰로 설정하고, 단계(S720)에서 측정한 사용자의 동작이 특정 손 동작인 경우, 시점 전환부(240)는 가상 세계의 시점을 탑뷰로 결정할 수 있다.
또한, 시점 전환부(240)는 단말기(120)의 방향이 하늘이면 탑뷰로 설정하고 단말기(120)의 방향이 지면에 수직이면 프런트뷰로 설정하며, 그 외의 각도는 버드뷰로 설정한 경우, 단계(S720)에서 측정한 단말기(120)의 방향에 따라 가상 세계의 시점을 결정할 수 있다.
단계(S740)에서 시점 전환부(240)는 단계(S710)에서 표시하는 가상 세계의 시점을 단계(S730)에서 결정한 가상 세계의 시점으로 전환할 수 있다.
본 발명은 가상 세계에 무인 이동체에 대응하는 가상 객체를 표시하고, 가상 객체에 따라 무인 이동체를 제어함으로써, 사용자가 무인 이동체의 주변 지형이나 건물에 따라 무인 이동체를 원격 제어하도록 할 수 있다.
또한, 본 발명은 사용자의 동작에 따라 가상 세계의 시점을 전환함으로써, 사용자가 가상 객체를 제어 중에도 간단한 동작으로 가상 세계의 시점을 원하는 시점으로 변환할 수 있다.
그리고, 가상 세계의 오브젝트에 충돌 방지 영역을 생성하고, 무인 이동체에 대응하는 가상 객체가 충돌 방지 영역에 진입하는지 여부를 판단함으로써, 무인 이동체가 지형이나 장애물 간의 거리를 식별할 수 있는 센서를 구비하지 않은 경우에도 무인 이동체가 지형이나 장애물과 충돌 가능한 거리보다 근접하는 것을 감지하여 충돌을 방지할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 무인 이동체 원격 제어 장치
111: 무인 이동체
121: 가상 세계
122: 가상 객체

Claims (22)

  1. 현실 세계를 기초로 생성된 가상 세계에 무인 이동체에 대응하는 가상 객체를 생성하는 가상 객체 생성부;
    사용자의 동작에 따라 사용자에게 표시되는 가상 세계의 시점을 전환하는 시점 전환부;
    사용자로부터 수신한 제어 명령에 따라 가상 객체의 동작을 제어하는 가상 객체 제어부; 및
    가상 세계와 가상 객체의 동작에 따라 원격으로 무인 이동체를 제어하는 무인 이동체 원격 제어부
    를 포함하고,
    상기 시점 전환부는,
    가상 세계의 시점별 손의 형상을 저장하고, 카메라에 촬영된 손 동작과 저장된 손의 형상을 비교한 결과에 따라 가상 세계의 시점을 전환하는 무인 이동체 원격 제어 장치.
  2. 제1항에 있어서,
    현실 세계를 기초로 생성된 가상 세계를 생성하고, 가상 세계에 포함된 오브젝트 중 적어도 하나에 충돌 방지 영역을 생성하는 가상 세계 생성부
    를 더 포함하는 무인 이동체 원격 제어 장치.
  3. 제2항에 있어서,
    상기 가상 객체 제어부는,
    가상 객체가 충돌 방지 영역에 진입하는 경우, 사용자에게 충돌 경고 메시지를 제공하는 것을 특징으로 하는 무인 이동체 원격 제어 장치.
  4. 제3항에 있어서,
    상기 무인 이동체 원격 제어부는,
    충돌 방지 영역에 진입한 가상 객체가 충돌 방지 영역이 생성된 지형의 방향으로 이동하는 경우, 무인 이동체의 제어를 중단하는 것을 특징으로 하는 무인 이동체 원격 제어 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 현실 세계를 기초로 생성된 가상 세계에 무인 이동체에 대응하는 가상 객체를 생성하는 가상 객체 생성부;
    사용자의 동작에 따라 사용자에게 표시되는 가상 세계의 시점을 전환하는 시점 전환부;
    사용자로부터 수신한 제어 명령에 따라 가상 객체의 동작을 제어하는 가상 객체 제어부; 및
    가상 세계와 가상 객체의 동작에 따라 원격으로 무인 이동체를 제어하는 무인 이동체 원격 제어부
    를 포함하고,
    상기 시점 전환부는,
    영상에 색상 모형을 사용하여 피부색을 가진 사용자의 신체를 식별하고, 시간의 경과에 따른 사용자의 신체 변화에 따라 가상 세계의 시점을 전환하는 것을 특징으로 하는 무인 이동체 원격 제어 장치.
  9. 제1항에 있어서,
    상기 시점 전환부는,
    사용자에 의하여 가상 세계를 표시하는 단말기의 방향이 변경되는 경우, 단말기의 방향에 따라 가상 세계의 시점을 전환하는 것을 특징으로 하는 무인 이동체 원격 제어 장치.
  10. 현실 세계의 지형을 기초로 가상 세계를 생성하는 가상 세계 생성부; 및
    사용자의 동작에 따라 사용자에게 표시되는 가상 세계의 시점을 전환하는 시점 전환부
    를 포함하고,
    상기 시점 전환부는,
    가상 세계의 시점별 손의 형상을 저장하고, 카메라에 촬영된 손 동작과 저장된 손의 형상을 비교한 결과에 따라 가상 세계의 시점을 전환하는 가상 세계의 시점 전환 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 시점 전환부는,
    사용자에 의하여 가상 세계를 표시하는 단말기의 방향이 변경되는 경우, 단말기의 방향에 따라 가상 세계의 시점을 전환하는 것을 특징으로 하는 무인 이동체 원격 제어 장치.
  13. 현실 세계를 기초로 생성된 가상 세계에 무인 이동체에 대응하는 가상 객체를 생성하는 단계;
    사용자의 동작에 따라 사용자에게 표시되는 가상 세계의 시점을 전환하는 단계;
    사용자로부터 수신한 제어 명령에 따라 가상 객체의 동작을 제어하는 단계; 및
    가상 세계와 가상 객체의 동작에 따라 원격으로 무인 이동체를 제어하는 단계
    를 포함하고,
    상기 가상 세계의 시점을 전환하는 단계는,
    가상 세계의 시점별 손의 형상을 저장하고, 카메라에 촬영된 손 동작과 저장된 손의 형상을 비교한 결과에 따라 가상 세계의 시점을 전환하는 무인 이동체 원격 제어 방법.
  14. 제13항에 있어서,
    현실 세계를 기초로 생성된 가상 세계를 생성하고, 가상 세계에 포함된 오브젝트 중 적어도 하나에 충돌 방지 영역을 생성하는 단계
    를 더 포함하는 무인 이동체 원격 제어 방법.
  15. 제14항에 있어서,
    가상 객체가 충돌 방지 영역에 진입하는 경우, 사용자에게 충돌 경고 메시지를 제공하는 단계
    를 더 포함하는 무인 이동체 원격 제어 방법.
  16. 제15항에 있어서,
    상기 무인 이동체를 제어하는 단계는,
    충돌 방지 영역에 진입한 가상 객체가 충돌 방지 영역이 생성된 지형의 방향으로 이동하는 경우, 무인 이동체의 제어를 중단하는 것을 특징으로 하는 무인 이동체 원격 제어 방법.
  17. 삭제
  18. 삭제
  19. 제13항에 있어서,
    상기 시점을 전환하는 단계는,
    사용자에 의하여 가상 세계를 표시하는 단말기의 방향이 변경되는 경우, 단말기의 방향에 따라 가상 세계의 시점을 전환하는 것을 특징으로 하는 무인 이동체 원격 제어 방법.
  20. 현실 세계의 지형을 기초로 가상 세계를 생성하는 단계; 및
    사용자의 동작에 따라 사용자에게 표시되는 가상 세계의 시점을 전환하는 단계
    를 포함하고,
    상기 가상 세계의 시점을 전환하는 단계는
    가상 세계의 시점별 손의 형상을 저장하고, 카메라에 촬영된 손 동작과 저장된 손의 형상을 비교한 결과에 따라 가상 세계의 시점을 전환하는 가상 세계의 시점 전환 방법.
  21. 삭제
  22. 제20항에 있어서,
    상기 시점을 전환하는 단계는,
    사용자에 의하여 가상 세계를 표시하는 단말기의 방향이 변경되는 경우, 단말기의 방향에 따라 가상 세계의 시점을 전환하는 것을 특징으로 하는 무인 이동체 원격 제어 방법.
KR1020110134725A 2011-12-14 2011-12-14 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법 KR101324327B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110134725A KR101324327B1 (ko) 2011-12-14 2011-12-14 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110134725A KR101324327B1 (ko) 2011-12-14 2011-12-14 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130067796A KR20130067796A (ko) 2013-06-25
KR101324327B1 true KR101324327B1 (ko) 2013-10-31

Family

ID=48863555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110134725A KR101324327B1 (ko) 2011-12-14 2011-12-14 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101324327B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107219855A (zh) * 2017-08-02 2017-09-29 郑州轻工业学院 基于ipv6与虚拟视线导引的碟形飞行器高度遥控方法
KR102319649B1 (ko) 2021-03-10 2021-10-29 세종대학교산학협력단 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017078220A1 (ko) * 2015-11-05 2017-05-11 경일대학교산학협력단 드론의 움직임을 제어하기 위한 드론 제어 시스템
KR102030085B1 (ko) * 2017-11-29 2019-10-08 김자유 무인 비행체 제어 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031515A (ja) * 2004-07-20 2006-02-02 Vodafone Kk 移動体通信端末、アプリケーションプログラム、画像表示制御装置及び画像表示制御方法
US20070116326A1 (en) * 2005-11-18 2007-05-24 Nintendo Co., Ltd., Image processing program and image processing device
KR20070115244A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031515A (ja) * 2004-07-20 2006-02-02 Vodafone Kk 移動体通信端末、アプリケーションプログラム、画像表示制御装置及び画像表示制御方法
US20070116326A1 (en) * 2005-11-18 2007-05-24 Nintendo Co., Ltd., Image processing program and image processing device
KR20070115244A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K.Yoon et al., "Control of Unmanned Flying Vehicle Based on MPEG-V International Standard," In the Proc. of the 8th URAI, pp. 64-67, 2011.11.26. *
K.Yoon et al., "Control of Unmanned Flying Vehicle Based on MPEG-V International Standard," In the Proc. of the 8th URAI, pp. 64-67, 2011.11.26.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107219855A (zh) * 2017-08-02 2017-09-29 郑州轻工业学院 基于ipv6与虚拟视线导引的碟形飞行器高度遥控方法
KR102319649B1 (ko) 2021-03-10 2021-10-29 세종대학교산학협력단 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치

Also Published As

Publication number Publication date
KR20130067796A (ko) 2013-06-25

Similar Documents

Publication Publication Date Title
EP3787257A1 (en) Patrol robot and patrol robot management system
US8854463B2 (en) Method and apparatus for generating a bird's-eye view image
RU2735340C1 (ru) Способ управления парковкой и устройство управления парковкой
JP5747191B2 (ja) 移動体遠隔操縦システムおよびそのための制御プログラム
KR102240575B1 (ko) 주차 제어 방법 및 주차 제어 장치
CN108749813B (zh) 一种自动泊车系统及泊车方法
KR102215428B1 (ko) 주차 제어 방법 및 주차 제어 장치
KR101324327B1 (ko) 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법
JP6586109B2 (ja) 操縦装置、情報処理方法、プログラム、及び飛行システム
CN104932524A (zh) 一种无人飞行器及全向蔽障的方法
KR20210115026A (ko) 차량 인텔리전트 운전 제어 방법 및 장치, 전자 기기 및 기억 매체
US10854084B2 (en) Parking control method and parking control device
KR101615687B1 (ko) 충돌 예측 로봇 원격 제어 시스템 및 그 방법
CN110723079A (zh) 车载传感器的位姿调整方法、装置、设备和介质
CN111216127A (zh) 一种机器人控制方法、装置、服务器及介质
US11613354B2 (en) Method and device for controlling flight, control terminal, flight system and processor
JP6609588B2 (ja) 自律型モビリティシステムおよび自律型モビリティの制御方法
CN113391639A (zh) 一种户外空间观光方法及系统
WO2021217334A1 (zh) 可移动平台及其避障方法和装置
CN111565898B (zh) 操作引导系统
CN113557713A (zh) 情景感知监测
US11586225B2 (en) Mobile device, mobile body control system, mobile body control method, and program
US20160379416A1 (en) Apparatus and method for controlling object movement
JP7361486B2 (ja) 情報提示装置、情報提示方法、及びプログラム
US20230130815A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171024

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181015

Year of fee payment: 6