KR20180064744A - 무인 비행체를 이용한 비행 체험 방법 및 장치 - Google Patents

무인 비행체를 이용한 비행 체험 방법 및 장치 Download PDF

Info

Publication number
KR20180064744A
KR20180064744A KR1020160164978A KR20160164978A KR20180064744A KR 20180064744 A KR20180064744 A KR 20180064744A KR 1020160164978 A KR1020160164978 A KR 1020160164978A KR 20160164978 A KR20160164978 A KR 20160164978A KR 20180064744 A KR20180064744 A KR 20180064744A
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
user
flight
motion platform
Prior art date
Application number
KR1020160164978A
Other languages
English (en)
Other versions
KR101881227B1 (ko
Inventor
이대현
Original Assignee
한국산업기술대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020160164978A priority Critical patent/KR101881227B1/ko
Publication of KR20180064744A publication Critical patent/KR20180064744A/ko
Application granted granted Critical
Publication of KR101881227B1 publication Critical patent/KR101881227B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/12—Motion systems for aircraft simulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/20—Simulation or indication of aircraft attitude
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

무인 비행체를 이용한 비행 체험 방법 및 장치가 개시된다. 무인 비행체를 이용한 비행 체험 방법은 무인 비행체가 비행 중에 촬영한 비행 주행 영상을 수신하는 단계; 상기 비행 주행 영상에 마커가 존재하는 경우, 상기 마커의 위치에 가상의 오브젝트를 결합하여 증강 현실 영상을 생성하는 단계; 사용자가 착용한 웨어러블 장치 또는 프로젝터를 이용하여 상기 증강 현실 영상을 상기 사용자에게 제공하는 단계; 및 상기 무인 비행체의 움직임 정보에 기초하여 상기 사용자가 위치한 모션 플랫폼의 동작을 제어하는 단계를 포함할 수 있다.

Description

무인 비행체를 이용한 비행 체험 방법 및 장치{FLIGHT EXPERIENCE METHOD USING UNMANNED AERIAL VEHICLE}
아래의 설명은 무인 비행체를 이용한 비행 체험 방법 및 장치에 관한 것이다.
드론과 같은 무인 비행체는 초기에는 전장 탐색이나 비행 시뮬레이션을 위한 군용으로 활용되었으나, 최근에는 대중 보급을 위한 무인 비행체의 개발이 활발히 진행되고 있다.
무인 비행체에 카메라를 탑재하여 영상 제작을 위한 용도로 활용하거나 상품 배송을 위한 용도로까지 그 활용 범위를 넓혀가도록 연구되고 있다.
또한, 최근 가상 현실(VR) 기술의 발전에 따라 비행 체험을 할 수 있는 콘텐츠들이 나오고 있으나, 단순히 가상으로 비행 체험을 하는 수준에 그칠 뿐이다.
일 실시예에 따른 무인 비행체를 이용한 비행 체험 방법은, 무인 비행체가 비행 중에 촬영한 비행 주행 영상을 수신하는 단계; 상기 비행 주행 영상에 마커가 존재하는 경우, 상기 마커의 위치에 가상의 오브젝트를 결합하여 증강 현실 영상을 생성하는 단계; 사용자가 착용한 웨어러블 장치 또는 프로젝터를 이용하여 상기 증강 현실 영상을 상기 사용자에게 제공하는 단계; 및 상기 무인 비행체의 움직임 정보에 기초하여 상기 사용자가 위치한 모션 플랫폼의 동작을 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 모션 플랫폼의 동작을 제어하는 단계는, 상기 무인 비행체의 기울기에 기초하여 상기 모션 플랫폼의 기울기를 결정할 수 있다.
일 실시예에 따른 상기 모션 플랫폼의 동작을 제어하는 단계는, 상기 사용자의 제어에 따라 상기 무인 비행체의 움직임을 변경하는 단계; 및 상기 변경된 무인 비행체의 움직임 정보에 기초하여 상기 사용자가 위치한 모션 플랫폼의 동작을 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 증강 현실 영상을 생성하는 단계는, 상기 모션 플랫폼의 형태를 기초로 증강 현실 영상을 생성할 수 있다.
일 실시예에 따른 상기 증강 현실 영상을 생성하는 단계는, 상기 사용자 또는 상기 모션 플랫폼의 위치를 기초로 증강 현실 영상을 생성할 수 있다.
일 실시예에 따른 무인 비행체를 이용한 비행 체험 장치는, 무인 비행체가 비행 중에 촬영한 비행 주행 영상을 수신하는 비행 주행 영상 수신부; 상기 비행 주행 영상에 마커가 존재하는 경우, 상기 마커의 위치에 가상의 오브젝트를 결합하여 증강 현실 영상을 생성하는 증강 현실 영상 생성부; 사용자가 착용한 웨어러블 장치 또는 프로젝터를 이용하여 상기 증강 현실 영상을 상기 사용자에게 제공하는 증강 현실 영상 제공부; 및 상기 무인 비행체의 움직임 정보에 기초하여 상기 사용자가 위치한 모션 플랫폼의 동작을 제어하는 모션 플랫폼 제어부를 포함할 수 있다.
일 실시예에 따른 상기 모션 플랫폼 제어부는, 상기 무인 비행체의 기울기에 기초하여 상기 모션 플랫폼의 기울기를 결정할 수 있다.
일 실시예에 따른 상기 모션 플랫폼 제어부는, 상기 사용자의 제어에 따라 상기 무인 비행체의 움직임을 변경하고, 상기 변경된 무인 비행체의 움직임 정보에 기초하여 상기 사용자가 위치한 모션 플랫폼의 동작을 제어할 수 있다.
일 실시예에 따른 상기 증강 현실 영상 생성부는, 상기 모션 플랫폼의 형태를 기초로 증강 현실 영상을 생성할 수 있다.
일 실시예에 따른 상기 증강 현실 영상 생성부는, 상기 사용자 또는 상기 모션 플랫폼의 위치를 기초로 증강 현실 영상을 생성할 수 있다.
도 1은 일 실시예에 따른 무인 비행체를 이용한 비행 체험 방법의 개념도이다.
도 2는 일 실시예에 따른 무인 비행체를 이용한 비행 체험 방법의 흐름도이다.
도 3은 일 실시예에 따른 무인 비행체를 이용한 비행 체험 방법의 증강 현실 영상을 사용자에게 제공하는 일례를 도시한 도면이다.
도 4는 일 실시예에 따른 복수의 사용자에게 적용된 무인 비행체를 이용한 비행 체험 방법을 도시한 도면이다.
도 5는 무인 비행체를 이용한 비행 체험 장치의 블록도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 무인 비행체를 이용한 비행 체험 방법의 개념도이다.
먼저, 도 1을 참조하면, 전체 시스템은 비행 체험 장치(110), 무인 비행체(120), 영상 출력 장치(130), 모션 플랫폼(140)을 포함할 수 있다. 비행 체험 장치(110)는 무인 비행체(120), 영상 출력 장치(130), 모션 플랫폼(140) 등과 유선 또는 무선 통신을 통해 네트워크 등으로 연결될 수도 있다.
비행 체험 장치(110)가 무인 비행체(120)를 이용하여 생성한 증강 현실 영상을 영상 출력 장치(130)가 출력하고, 비행 체험 장치(110)가 무인 비행체(120)로부터 수신한 정보를 이용하여 사용자(150)가 위치하거나 탑승한 모션 플랫폼(140)의 동작을 제어함으로써, 사용자(150)는 실제로 비행하는 것 같은 비행 체험을 할 수 있다. 비행 체험 장치(110)는 메모리, 프로세서, 데이터 송수신기 등을 포함한 서버일 수 있으며, 무인 비행체(120)는 촬영 장치를 포함하는 드론일 수도 있다.
영상 출력 장치(130)는 프로젝터일 수 있으나, 경우에 따라서, 사용자가 착용한 웨어러블 장치 및 웨어러블 디스플레이일 수도 있다. 경우에 따라서, 영상 출력 장치(130)는 멀티 디스플레이일 수도 있다. 또한, 경우에 따라서, 영상 출력 장치(130)는 스마트 폰과 같은 모바일 스마트 기기일 수도 있다.
모션 플랫폼(140)은 다양한 각도와 방향으로 모션을 줄 수 있는 장치일 수 있다. 모션 플랫폼(140)은 X축, Y축, Z축으로 각 축마다 움직이거나 회전 또는 기울도록 움직이는 장치 또는 부품을 포함할 수 있다.
경우에 따라서, 무인 비행체(120)는 바람, 습도, 향기 중 적어도 하나의 물리적인 요소를 센싱하는 센서를 포함할 수도 있다.
비행 체험 장치(110)는 바람, 습도, 향기 중 적어도 하나의 물리적인 요소를 센싱하는 센서를 포함하는 무인 비행체(120)로부터 센싱된 바람, 습도, 향기 중 적어도 하나의 물리적인 요소에 관한 정보를 기초로 바람, 수증기, 향기 중 적어도 하나의 물리적인 요소의 효과를 발생하는 주변 환경 제어 장치와 통신 및 제어할 수도 있다. 사용자는 선택에 따라서, 주변 환경 제어 장치에서 출력된 효과를 추가로 체험할 수도 있다.
도 2는 일 실시예에 따른 무인 비행체를 이용한 비행 체험 방법의 흐름도이다.
도 2를 참조하면, 비행 체험 장치가 수행하는, 무인 비행체를 이용한 비행 체험 방법은 하기와 같은 단계를 포함할 수 있다. 비행 체험 장치는 무인 비행체, 프로젝터, 웨어러블 장치, 모션 플랫폼 중 적어도 하나와 연결된 서버와 같은 컴퓨팅 디바이스일 수 있다.
단계(210)에서, 비행 체험 장치는 무인 비행체가 비행 중에 촬영한 비행 주행 영상을 수신할 수 있다. 무인 비행체는 드론과 같은 소형 비행체일 수도 있다. 무인 비행체는 촬영을 위한 카메라와 같은 촬영 장치를 포함할 수 있다. 무인 비행체는 비행 중에 촬영한 비행 주행 영상을 실시간으로 전송할 수 있다. 또한, 비행 체험 장치는 무인 비행체가 비행 중에 전송한 촬영된 비행 주행 영상을 실시간으로 수신할 수도 있다.
단계(220)에서, 비행 체험 장치는 비행 주행 영상에 마커가 존재하는 경우, 마커의 위치에 가상의 오브젝트를 결합하여 증강 현실 영상을 생성할 수 있다. 가상의 오브젝트는 다른 사용자와 관련된 무인 비행체를 나타내는 3D 객체일 수도 있다. 비행 체험 장치는 모션 플랫폼의 형태를 기초로 증강 현실 영상을 생성할 수 있다. 비행 체험 장치는 모션 플랫폼의 형태에 따라 다른 증강 현실 영상을 생성할 수도 있다. 또한, 비행 체험 장치는 사용자 또는 모션 플랫폼의 위치를 기초로 증강 현실 영상을 생성할 수 있다. 비행 체험 장치는 사용자 또는 모션 플랫폼의 위치 또는 기울기의 변화에 따라 다른 증강 현실 영상을 생성할 수도 있다. 비행 체험 장치는 사용자 또는 모션 플랫폼이 복수일 경우 각각의 위치에 따라 다른 증강 현실 영상을 생성할 수도 있다. 사용자들은 개인별로 웨어러블 장치와 같은 디스플레이를 착용하고 있을 수도 있다.
단계(230)에서, 비행 체험 장치는 사용자가 착용한 웨어러블 장치 또는 프로젝터를 이용하여 증강 현실 영상을 사용자에게 제공할 수 있다. 사용자가 착용한 웨어러블 장치는 HMD(head mounted display)와 같은 웨어러블 디스플레이일 수도 있다.
단계(240)에서, 비행 체험 장치는 무인 비행체의 움직임 정보에 기초하여 사용자가 위치한 모션 플랫폼의 동작을 제어할 수 있다. 무인 비행체의 움직임 정보는 무인 비행체의 기울기에 관한 정보일 수 있다. 비행 체험 장치는 무인 비행체의 기울기에 기초하여 모션 플랫폼의 적어도 일부의 기울기를 결정할 수 있다.
또한, 경우에 따라서, 무인 비행체의 움직임 정보는 무인 비행체의 위치에 관한 정보일 수 있다. 무인 비행 체험 장치는 무인 비행체의 위치에 기초하여 모션 플랫폼의 적어도 일부의 기울기 또는 모션 플랫폼의 적어도 일부의 위치를 결정할 수도 있다.
또한, 비행 체험 장치는 사용자의 제어에 따라 무인 비행체의 움직임을 변경할 수도 있다. 비행 체험 장치는 변경된 무인 비행체의 움직임 정보에 기초하여 사용자가 위치한 모션 플랫폼의 동작을 제어할 수 있다. 무인 비행 체험 장치는 무인 비행체의 기울기 또는 위치에 기초하여 모션 플랫폼의 적어도 일부의 기울기 또는 모션 플랫폼의 적어도 일부의 위치가 변경되도록 모션 플랫폼에 제어 명령을 전달하거나 전송할 수도 있다.
도 3은 일 실시예에 따른 무인 비행체를 이용한 비행 체험 방법의 증강 현실 영상을 사용자에게 제공하는 일례를 도시한 도면이다.
도 3을 참조하면, 사용자(350)는 비행 체험 장치가 생성하고 프로젝터 등이 출력한 증강 현실 영상(331)을 응시할 수 있다. 프로젝터 등이 출력한 증강 현실 영상(331)은 사용자가 위치한 바닥 또는 벽면 등을 고려하여 출력될 수도 있다. 사용자(350)는 양탄자를 타고 실제로 하늘을 나는 듯한 실감 체험을 할 수도 있다. 사용자가 실제로 타는 것 같이 출력되는 가상의 객체인 3D 객체는 모션 플랫폼의 형태에 따라 다르게 출력될 수도 있다. 또한, 사용자가 실제로 타는 것 같이 출력되는 가상의 객체인 양탄자는 모션 플랫폼의 모양, 크기 또는 위치 중 적어도 하나에 따라 출력될 수도 있다.
경우에 따라서, 사용자가 실제로 타는 것 같이 출력되는 가상의 객체인 3D 객체는 모션 플랫폼의 모양에 따라, 구름 또는 양탄자 같은 다양한 모양으로 변경될 수도 있다. 또한, 경우에 따라서, 사용자의 선택에 따라서, 모션 플랫폼 상에 가상의 객체로 출력되는 3D 객체는 선택될 수도 있다.
사용자(350)는 사용자(350)에 부착된 웨어러블 센서 또는 사용자(350)의 신체 중 적어도 일부를 센싱하는 센서 등을 이용하여 비행 체험 장치를 통하여 무인 비행체를 제어할 수도 있다. 가령, 사용자(350)는 카메라, 적외선센서, 마이크, 웨어러블 디바이스 등과 같은 센서를 통하여, 동작인식, 뇌파인식, 눈동자인식, 음성인식 등을 이용하여, 무인 비행체의 동작을 제어할 수 있다.
비행 체험 장치는 사용자(350)의 신체 중 적어도 일부를 센싱하는 센서로부터 센싱된 정보를 수신 및 획득하고, 수신 및 획득된 정보를 이용하여, 설정된 조건에 따라, 무인 비행체로 동작을 제어하는 명령에 관한 제어 정보를 전송할 수 있다. 센서는, 관성 측정장치(Inertial Measurement Unit, IMU)일 수도 있다. 모션 플랫폼에 관성 측정장치가 포함되거나 부착되어 있을 수도 있으며, 관성 측정장치는 모션 플랫폼에 탑승하거나 위치한 사용자(350)의 움직임을 감지할 수 있다. 경우에 따라서, 관성 측정장치는 사용자(350)가 착용한 웨어러블 디바이스에 포함될 수도 있다.
센싱된 정보는 사용자(350)의 신체 동작에 관한 정보로서, NUI(natural user interface)에 적용될 수 있다. 사용자(350)의 손이 앞으로 움직일 경우, 센서는 사용자(350)의 손이 앞으로 움직인 것을 감지하고, 감지된 정보를 비행 체험 장치에 전송하거나 전달할 수 있다. 비행 체험 장치에 전송하거나 전달된 정보를 기초로 손이 앞으로 움직임에 따라 무인 비행체도 앞으로 움직이도록 명령을 나타내는 제어 정보를 무인 비행체로 네트워크 등을 통하여 전송할 수 있다.
경우에 따라, 센싱된 정보는 사용자(350)의 신체 동작의 의도에 관한 정보로서, 뇌파인식, 눈동자인식, 음성인식 등을 이용하여, 비행 체험 장치는 사용자가 움직이고자 하는 의도를 분석함으로써, 사용자(350)의 신체 동작의 의도에 따라 무인 비행체의 동작을 제어하는 명령을 무인 비행체로 전송할 수도 있다. 비행 체험 장치에 전송하거나 전달된 정보를 기초로 사용자가 앞으로 움직이고자 하는 의도를 가졌다고 판단될 경우, 무인 비행체도 앞으로 움직이도록 명령을 나타내는 제어 정보를 무인 비행체로 네트워크 등을 통하여 전송할 수도 있다.
도 4는 일 실시예에 따른 복수의 사용자에게 적용된 무인 비행체를 이용한 비행 체험 방법을 도시한 도면이다.
도 4를 참조하면, 복수의 무인 비행체(421, 422, 423)에 따른 사용자(451, 452, 453)들의 비행 체험을 알 수 있다. 무인 비행체(421, 422, 423)들과 모션 플랫폼(441, 442, 443)들은 비행 체험 장치(410)를 통하여 각각 실시간으로 모션이 동기화될 수도 있다.
비행 체험 장치(410)는 웨어러블 장치 또는 프로젝터(430)로 무인 비행체가 촬영한 실사 영상을 렌더링할 수 있다. 또한, 경우에 따라서, 복수의 무인 비행체(421, 422, 423)는 웨어러블 장치 또는 프로젝터(430)로 무인 비행체가 촬영한 영상을 비행 체험 장치(410)를 통하여 실시간으로 각각 전송할 수도 있다.
실제 위치인 지상에 마커(marker)가 존재할 경우, 영상 처리를 통해 마커의 위치에 가상의 오브젝트를 삽입하여, 증강 현실 영상이 생성될 수도 있다.
경우에 따라서, 무인 비행체에 마커가 부착되어 있을 경우, 무인 비행체가 가상의 오브젝트로 변형되어 표시될 수도 있다.
프로젝터(430) 대신 스마트 폰 등의 모바일 기기 상에 증강 현실 영상이 출력될 경우, 사용자(451)는 게임 인터페이스를 통하여 사용자(452, 453)들에 각각 매칭되는 드론들 등의 무인 비행체의 변형된 가상의 오브젝트들을 공격하는 등의 다른 게임 체험 또한 할 수도 있다.
비행 체험 장치(410)는 사용자(451, 452, 453)들의 플레이 상황을 모니터하고, 상황별로 콘텐츠의 실행 흐름을 관제할 수 있으며, 사용자(451, 452, 453)들의 개별 정보를 관리하는 DB 시스템이 구축되어 있을 수도 있다. 비행 체험 장치(410)는 사용자(451, 452, 453)들의 플레이의 로깅 및 재현을 실시간으로 수행할 수도 있다.
도 5는 무인 비행체를 이용한 비행 체험 장치의 블록도이다.
도 5를 참조하면, 비행 체험 장치(500)는 비행 주행 영상 수신부(510), 증강 현실 영상 생성부(520), 증강 현실 영상 제공부(530), 모션 플랫폼 제어부(540)를 포함할 수 있다. 비행 체험 장치(500)는 무인 비행체, 프로젝터, 웨어러블 장치, 모션 플랫폼 중 적어도 하나와 연결된 서버와 같은 컴퓨팅 디바이스일 수 있다.
비행 주행 영상 수신부(510)는 무인 비행체가 비행 중에 촬영한 비행 주행 영상을 수신할 수 있다. 무인 비행체는 드론과 같은 소형 비행체일 수도 있다. 무인 비행체는 촬영을 위한 카메라와 같은 촬영 장치를 포함할 수 있다. 무인 비행체는 비행 중에 촬영한 비행 주행 영상을 비행 주행 영상 수신부(510)로 실시간으로 전송할 수 있다. 또한, 비행 주행 영상 수신부(510)는 무인 비행체가 비행 중에 전송한 촬영된 비행 주행 영상을 실시간으로 수신할 수도 있다.
증강 현실 영상 생성부(520)는 비행 주행 영상에 마커가 존재하는 경우, 마커의 위치에 가상의 오브젝트를 결합하여 증강 현실 영상을 생성할 수 있다. 가상의 오브젝트는 다른 사용자와 관련된 무인 비행체를 나타내는 3D 객체일 수도 있다.
경우에 따라서, 증강 현실 영상 생성부(520)는 모션 플랫폼의 형태를 기초로 증강 현실 영상을 생성할 수 있다. 증강 현실 영상 생성부(520)는 모션 플랫폼의 형태에 따라 다른 증강 현실 영상을 생성할 수도 있다.
또한, 증강 현실 영상 생성부(520)는 사용자 또는 모션 플랫폼의 위치를 기초로 증강 현실 영상을 생성할 수 있다. 증강 현실 영상 생성부(520)는 사용자 또는 모션 플랫폼의 위치 또는 기울기의 변화에 따라 다른 증강 현실 영상을 생성할 수도 있다.
경우에 따라서, 증강 현실 영상 생성부(520)는 사용자 또는 모션 플랫폼이 복수일 경우 각각의 위치에 따라 다른 증강 현실 영상을 생성할 수도 있다. 사용자들은 개인별로 웨어러블 장치와 같은 디스플레이를 착용하고 있을 수도 있다.
증강 현실 영상 제공부(530)는 사용자가 착용한 웨어러블 장치 또는 프로젝터를 이용하여 증강 현실 영상을 사용자에게 제공할 수 있다. 증강 현실 영상 제공부(530)는 사용자가 착용한 웨어러블 장치 또는 프로젝터로 증강 현실 영상을 전달하거나 전송할 수 있다. 사용자가 착용한 웨어러블 장치는 웨어러블 디스플레이일 수도 있다. 사용자가 착용한 웨어러블 장치 또는 프로젝터는 증강 현실 영상을 수신 또는 전달 받고, 수신 또는 전달 받은 증강 현실 영상을 출력할 수 있다.
모션 플랫폼 제어부(540)는 무인 비행체의 움직임 정보에 기초하여 사용자가 위치한 모션 플랫폼의 동작을 제어할 수 있다. 무인 비행체의 움직임 정보는 무인 비행체의 기울기에 관한 정보일 수 있다. 모션 플랫폼 제어부(540)는 무인 비행체의 기울기에 기초하여 모션 플랫폼의 적어도 일부의 기울기를 결정할 수도 있다.
경우에 따라서, 무인 비행체의 움직임 정보는 무인 비행체의 위치에 관한 정보일 수 있다. 무인 모션 플랫폼 제어부(540)는 무인 비행체의 위치에 기초하여 모션 플랫폼의 적어도 일부의 기울기 또는 모션 플랫폼의 적어도 일부의 위치를 결정할 수도 있다.
또한, 모션 플랫폼 제어부(540)는 사용자의 제어에 따라 무인 비행체의 움직임을 변경할 수도 있다. 모션 플랫폼 제어부(540)는 변경된 무인 비행체의 움직임 정보에 기초하여 사용자가 위치한 모션 플랫폼의 동작을 제어할 수 있다. 무인 모션 플랫폼 제어부(540)는 무인 비행체의 기울기 또는 위치에 기초하여 모션 플랫폼의 적어도 일부의 기울기 또는 모션 플랫폼의 적어도 일부의 위치가 변경되도록 모션 플랫폼에 제어 명령을 전달하거나 전송할 수도 있다.
무인 비행체를 이용한 비행 체험 방법 및 장치는 실시간으로 드론과 같은 무인 비행체와 연동되어, 실사의 비행 주행 영상을 HMD 또는 프로젝터를 이용하여 디스플레이할 수 있다. 또한, 무인 비행체를 이용한 비행 체험 방법 및 장치는 모션 플랫폼과 무인 비행체의 모션이 실시간으로 동기화되도록 함으로써, 사용자에게 비행 중의 움직임을 실감나게 전달하는 극사실적 비행 체험을 제공할 수 있는 장점이 있다.
이상에서 설명된 실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (5)

  1. 무인 비행체가 비행 중에 촬영한 비행 주행 영상을 수신하는 단계;
    상기 비행 주행 영상에 마커가 존재하는 경우, 상기 마커의 위치에 가상의 오브젝트를 결합하여 증강 현실 영상을 생성하는 단계;
    사용자가 착용한 웨어러블 장치 또는 프로젝터를 이용하여 상기 증강 현실 영상을 상기 사용자에게 제공하는 단계; 및
    상기 무인 비행체의 움직임 정보에 기초하여 상기 사용자가 위치한 모션 플랫폼의 동작을 제어하는 단계
    를 포함하는 무인 비행체를 이용한 비행 체험 방법.
  2. 제1항에 있어서,
    상기 모션 플랫폼의 동작을 제어하는 단계는,
    상기 무인 비행체의 기울기에 기초하여 상기 모션 플랫폼의 기울기를 결정하는, 무인 비행체를 이용한 비행 체험 방법.
  3. 제1항에 있어서,
    상기 모션 플랫폼의 동작을 제어하는 단계는,
    상기 사용자의 제어에 따라 상기 무인 비행체의 움직임을 변경하는 단계; 및
    상기 변경된 무인 비행체의 움직임 정보에 기초하여 상기 사용자가 위치한 모션 플랫폼의 동작을 제어하는 단계
    를 포함하는 무인 비행체를 이용한 비행 체험 방법.
  4. 제1항에 있어서,
    상기 증강 현실 영상을 생성하는 단계는,
    상기 모션 플랫폼의 형태를 기초로 증강 현실 영상을 생성하는, 무인 비행체를 이용한 비행 체험 방법.
  5. 제1항에 있어서,
    상기 증강 현실 영상을 생성하는 단계는,
    상기 사용자 또는 상기 모션 플랫폼의 위치를 기초로 증강 현실 영상을 생성하는, 무인 비행체를 이용한 비행 체험 방법.
KR1020160164978A 2016-12-06 2016-12-06 무인 비행체를 이용한 비행 체험 방법 및 장치 KR101881227B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160164978A KR101881227B1 (ko) 2016-12-06 2016-12-06 무인 비행체를 이용한 비행 체험 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160164978A KR101881227B1 (ko) 2016-12-06 2016-12-06 무인 비행체를 이용한 비행 체험 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180064744A true KR20180064744A (ko) 2018-06-15
KR101881227B1 KR101881227B1 (ko) 2018-07-23

Family

ID=62628792

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160164978A KR101881227B1 (ko) 2016-12-06 2016-12-06 무인 비행체를 이용한 비행 체험 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101881227B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523888A (zh) * 2018-11-19 2019-03-26 苏静雯 一种用于ar穿戴设备真实体验的ai机器人

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102509068B1 (ko) * 2021-08-26 2023-03-09 경희대학교 산학협력단 무인 비행체를 이용한 햅틱 장치, 햅틱 시스템 및 햅틱 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101333147B1 (ko) * 2012-06-19 2013-11-26 에이알비전 (주) 융합 현실을 이용한 실내 집단훈련 지원시스템
KR101569454B1 (ko) * 2015-05-26 2015-11-17 제주한라대학교산학협력단 무인 비행체를 이용한 비행 체험 시스템 및 방법
KR20160113491A (ko) * 2015-03-20 2016-09-29 한국전자통신연구원 모션 플랫폼 시스템
KR101790592B1 (ko) * 2016-04-29 2017-11-20 용비에이티(주) 관광드론을 이용한 증강현실 관광 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101333147B1 (ko) * 2012-06-19 2013-11-26 에이알비전 (주) 융합 현실을 이용한 실내 집단훈련 지원시스템
KR20160113491A (ko) * 2015-03-20 2016-09-29 한국전자통신연구원 모션 플랫폼 시스템
KR101569454B1 (ko) * 2015-05-26 2015-11-17 제주한라대학교산학협력단 무인 비행체를 이용한 비행 체험 시스템 및 방법
KR101790592B1 (ko) * 2016-04-29 2017-11-20 용비에이티(주) 관광드론을 이용한 증강현실 관광 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523888A (zh) * 2018-11-19 2019-03-26 苏静雯 一种用于ar穿戴设备真实体验的ai机器人

Also Published As

Publication number Publication date
KR101881227B1 (ko) 2018-07-23

Similar Documents

Publication Publication Date Title
US10639557B2 (en) Synchronized motion simulation for virtual reality
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US11669152B2 (en) Massive simultaneous remote digital presence world
EP3592443B1 (en) Augmented ride system and method
US10496158B2 (en) Image generation device, image generation method and non-transitory recording medium storing image generation program
JP5934368B2 (ja) 可搬装置、仮想現実システムおよび方法
US20150235423A1 (en) Augmented reality system
US10313481B2 (en) Information processing method and system for executing the information method
US10252162B2 (en) Method of providing a virtual space, medium for causing a computer to execute the method, and system for providing a virtual space
US9159152B1 (en) Mapping between a capture volume and a virtual world in a motion capture simulation environment
KR101790592B1 (ko) 관광드론을 이용한 증강현실 관광 시스템 및 방법
US10777008B2 (en) Drones generating various air flow effects around a virtual reality or augmented reality user
KR101881227B1 (ko) 무인 비행체를 이용한 비행 체험 방법 및 장치
JP6126273B1 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
CN113711162A (zh) 用于混合现实应用中机器人交互的系统和方法
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11726562B2 (en) Method and device for performance-based progression of virtual content
JP2021511257A (ja) フライトシミュレーション
US11107364B2 (en) Method to enhance first-person-view experience
JP6934383B2 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
JP6220473B1 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、当該プログラムを記録した記録媒体、および仮想空間を提供するためのシステム
KR102131614B1 (ko) 대체현실 제공 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration