KR101955368B1 - 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법 - Google Patents

증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR101955368B1
KR101955368B1 KR1020160070954A KR20160070954A KR101955368B1 KR 101955368 B1 KR101955368 B1 KR 101955368B1 KR 1020160070954 A KR1020160070954 A KR 1020160070954A KR 20160070954 A KR20160070954 A KR 20160070954A KR 101955368 B1 KR101955368 B1 KR 101955368B1
Authority
KR
South Korea
Prior art keywords
drones
arena
virtual
augmented reality
user
Prior art date
Application number
KR1020160070954A
Other languages
English (en)
Other versions
KR20170138752A (ko
Inventor
김도현
Original Assignee
(주)코아텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코아텍 filed Critical (주)코아텍
Priority to KR1020160070954A priority Critical patent/KR101955368B1/ko
Publication of KR20170138752A publication Critical patent/KR20170138752A/ko
Application granted granted Critical
Publication of KR101955368B1 publication Critical patent/KR101955368B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • B64C2201/127—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법에 관한 것이다. 가상 드론 경기장 제공 시스템을 이용한 가상 드론 경기장 제공 방법에 있어서, 드론에 설치된 카메라 모듈을 이용하여 주변 영상을 촬영하는 단계, 사용자로부터 가상 드론 경기장의 트랙 및 장애물의 종류를 선택받는 단계, 상기 선택된 트랙을 상기 주변 영상에 합성하여 가상 드론 경기장을 생성하는 단계, 상기 선택된 장애물의 종류 및 절대 좌표를 이용하여 상기 선택된 장애물을 상기 가상 드론 경기장에 합성하는 단계, 그리고 상기 드론이 상기 가상 드론 경기장의 트랙을 따라 비행하면, 상기 드론에 설치된 카메라 모듈을 통해 촬영된 증강 현실 영상을 사용자가 착용한 헤드마운트로 출력하는 단계를 포함한다.
본 발명에 따르면, 사용자가 직접 트랙과 장애물의 위치, 형태, 종류를 설정하여 드론 경기장을 설계할 수 있으므로 사용자는 다양한 형태의 드론 주행 게임을 즐길 수 있으며, 그에 따라 드론 조종 능력을 향상시킬 수 있다.
또한, 가상의 트랙 및 가상의 장애물을 제공함으로써 드론이 가상 드론 경기장을 주행하면서 장애물과의 충돌할 경우 발생하는 경제적 손실을 방지할 수 있다.

Description

증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법{SYSTEM FOR PROVIDING VIRTUAL DRONE STADIUM USING AUGMENTED REALITY AND METHOD THEREOF}
본 발명은 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 가상 드론 경기장을 통해 다양한 트랙과 장애물을 제공하는 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법에 관한 것이다.
드론(Drone)은 벌이 윙윙거리는 소리 또는 낮게 윙윙거리는 소리라는 사전적인 의미를 가진 단어로 기체에 사람이 타지 않고 지상에서 원격 조종을 한다는 점에서 무인항공기(UAV: Unmanned Aerial Vehicle)이라고 표현하기도 한다. 즉, 드론은 항공기에 조종사가 탑승하지 않고 자동 또는 원격으로 비행이 가능하며, 1회용 또는 회수할 수 있는 무인 항공기이다.
무선 전파로 조정할 수 있는 드론은 초기 군사적 목적으로 정찰에 활용되다가 최근 그 용도가 다양해지며, 고공촬영, 공기질 측정, 농약 살포, 배달 등 다양한 분야에서 활용되고 있다.
특히 최근에는 드론의 보급이 증가하여 개인이 드론을 제어하며 즐기는 여가 활동이 늘어나고 있다. 그와 더불어 드론을 이용한 레이싱 경기가 신종 스포츠로 인기를 얻고 있다. 드론 레이싱 경기는 드론이 사용자의 제어를 통해 설치된 장애물을 통과하며 가장 빠르게 설정된 트랙을 완주하는 경기를 나타내며, 주로 헤드마운트와 드론 조종기를 통해 사용자가 드론을 제어한다.
하지만, 드론 레이싱 경기 또는 연습에 필요한 드론 레이싱 경기장은 설립하는 데 장소의 제약이 있으며, 경제적 비용이 크게 소요되어 제한적으로 제공되고 있다. 또한, 드론 레이싱 경기장에 설치된 트랙이나 장애물은 한정적으로 제공되며, 설치된 장애물과 드론 간의 충돌로 인한 드론의 경제적인 손실이 발생하는 경우가 있다.
그러므로 드론 레이싱 경기장을 장소의 제약을 최소화하고 다양한 트랙과 장애물을 제공하여 사용자가 언제든지 원하는 드론 레이싱 연습 및 스포츠를 즐길 수 있도록 가상 드론 레이싱 경기장을 제공하는 기술이 요구된다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1494654호(2015.02.24 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 가상 드론 경기장을 통해 다양한 트랙과 장애물을 제공하는 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 가상 드론 경기장 제공 시스템을 이용한 가상 드론 경기장 제공 방법에 있어서, 드론에 설치된 카메라 모듈을 이용하여 주변 영상을 촬영하는 단계, 사용자로부터 가상 드론 경기장의 트랙 및 장애물의 종류를 선택받는 단계, 상기 선택된 트랙을 상기 주변 영상에 합성하여 가상 드론 경기장을 생성하는 단계, 상기 선택된 장애물의 종류 및 절대 좌표를 이용하여 상기 선택된 장애물을 상기 가상 드론 경기장에 합성하는 단계, 그리고 상기 드론이 상기 가상 드론 경기장의 트랙을 따라 비행하면, 상기 드론에 설치된 카메라 모듈을 통해 촬영된 증강 현실 영상을 사용자가 착용한 헤드마운트로 출력하는 단계를 포함한다.
상기 드론이 통과한 상기 장애물의 개수 또는 트랙을 완주하는데 걸리는 시간을 측정하는 단계를 더 포함할 수 있다.
상기 드론이 상기 장애물을 통과하면 포인트 점수를 가산하며, 상기 장애물의 구조 또는 형태에 따라서 가산되는 포인트 점수가 달리 책정될 수 있다.
상기 가상 드론 경기장을 생성하는 단계는, 사용자로부터 상기 주변 영상으로부터 기준점 및 배치 각도를 선택받는 단계, 사용자로부터 선택된 가상 드론 경기장의 트랙을 상기 기준점을 기준으로 해당 배치 각도에 대응하여 배치하는 단계를 포함할 수 있다.
상기 장애물을 상기 가상 드론 경기장에 합성하는 단계는, 사용자로부터 상기 가상 드론 경기장의 트랙 상에서 직접 장애물의 3차원 위치 정보 및 방향 정보를 선택받을 수 있다.
본 발명의 다른 실시예에 따르면 설치된 카메라 모듈을 이용하여 주변 영상을 촬영하는 드론, 사용자부터 가상 드론 경기장의 트랙 및 장애물의 종류를 선택받는 사용자 단말, 그리고 상기 선택된 트랙을 상기 드론으로부터 촬영된 주변 영상에 합성하여 가상 드론 경기장을 생성하고, 상기 선택된 장애물의 종류 및 절대 좌표를 이용하여 상기 선택된 장애물을 상기 가상 드론 경기장에 합성하여, 상기 드론이 상기 가상 드론 경기장의 트랙을 따라 비행하면, 상기 드론에 설치된 카메라 모듈을 통해 촬영된 증강 현실 영상을 사용자가 착용한 헤드마운트로 출력시키는 증강현실 제공 서버를 포함한다.
본 발명에 따르면, 사용자가 직접 트랙과 장애물의 위치, 형태, 종류를 설정하여 드론 경기장을 설계할 수 있으므로 사용자는 다양한 형태의 드론 주행 게임을 즐길 수 있으며, 그에 따라 드론 조종 능력을 향상시킬 수 있다.
또한, 가상의 트랙 및 가상의 장애물을 제공함으로써 드론이 가상 드론 경기장을 주행하면서 장애물과의 충돌할 경우 발생하는 경제적 손실을 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 가상 드론 경기장 제공 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 가상 드론 경기장 제공 시스템의 가상 드론 경기장 제공 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 가상 드론 경기장을 나타낸 예시도이다.
도 4는 본 발명의 실시예에 따른 촬영 영상과 가상 드론 경기장을 합성한 증강현실을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 가상 드론 경기장 제공 시스템을 나타낸 도면이다.
본 발멸의 실시예에 따른 가상 드론 경기장 제공 시스템은 드론(100), 증강현실 제공 서버(200), 사용자 단말(300), 헤드마운트(400)를 포함하며, 각각 무선 또는 유선 통신망으로 연결되어 있다.
드론(100)은 조종사가 탑승하지 않고 사용자 단말(300)로부터 수신되는 무선 전파 유도에 의해 비행 및 조종이 가능한 무인 비행기를 나타내며, 카메라 모듈, GPS, 통신 시스템, 센서 등을 장착할 수 있다.
그리고 드론(100)은 카메라 모듈로 촬영된 주변 영상, 실시간 GPS 정보, 그리고 장착된 센서를 통해 측정된 정보들을 장착된 통신 시스템을 통해 증강현실 제공 서버(200), 사용자 단말(300), 헤드마운트(400)에 전달할 수 있다.
증강현실 제공 서버(200)는 드론(100)으로부터 촬영된 주변 영상에 가상 드론 경기장을 합성하고 사용자 단말(300) 또는 헤드마운트(400)로 해당 합성된 영상인 증강 현실 영상을 출력한다. 증강현실 제공 서버(200)는 드론(100)에 부착된 카메라 모듈의 위치 및 자세 변화량을 측정 장치를 통해 획득한 후 이를 기반으로 공간 좌표 정합을 실시하게 함으로써 증강 현실 영상을 생성하는데, 정보 정합성을 높이고 관리 효율성을 높일 수 있다.
증강현실 제공 서버(200)는 가상 드론 경기장에 설정되는 트랙 및 장애물의 위치, 형태, 종류, 개수를 입력받아 가상 드론 경기장을 생성한다.
그리고 증강현실 제공 서버(200)는 드론(100)이 가상 드론 경기장의 트랙을 따라 비행하면, 트랙을 완주하는 데 걸리는 시간을 측정한다. 또한, 증강현실 제공 서버(200)는 가상 드론 경기장내의 좌표와 주행 하는 드론(100)의 실시간 좌표를 비교하여 드론(100)이 가상 드론 경기장 내의 트랙을 따라 주행하는지, 해당 장애물을 통과하는지를 판단할 수 있다.
사용자 단말(300)은 사용자에 의하여 드론(100)의 주행 방향, 속도 및 움직임을 조종할 수 있는 단말로서, 증강현실 제공 서버(200)와 통신이 가능한 단말이다. 사용자 단말(300)은 스마트폰, 조이스틱, 스마트 패드, 각종 모바일 기기, 노트북 등이 해당될 수 있다.
헤드마운트(400)는 사용자 머리에 장착되어 드론(100)으로부터 주변 영상 또는 증강현실 제공 서버(200)로부터 수신한 증강 현실 영상을 입체화면으로 사용자에게 제공하기 위한 HMD(Head Mounted Display)를 나타낸다.
헤드마운트(400)의 오른쪽과 왼쪽에 각각 부착된 렌즈는 오목하게 굽어진 파노라마 디스플레이 영상을 넓은 시각으로 제공하여 사용자에게 1인칭 시점의 화면을 제공할 수 있다.
이하에서는 도 2 내지 도 4를 이용하여 가상 드론 경기장을 제공하는 방법에 대해서 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 가상 드론 경기장 제공 시스템의 가상 드론 경기장 제공 방법을 나타낸 순서도이고 도 3는 본 발명의 실시예에 따른 가상 드론 경기장을 나타낸 예시도이며 도 4는 본 발명의 실시예에 따른 촬영 영상과 가상 드론 경기장을 합성한 증강현실을 설명하기 위한 예시도이다.
먼저, 드론(100)은 주행하면서 주변 영상을 촬영하여 증강현실 제공 서버(200) 및 헤드 마운트(400)로 전송한다(S210).
드론(100)은 사용자 단말(300)를 통해 조종 신호를 수신하여 주행하며, 촬영한 주변 영상을 실시간으로 증강현실 제공 서버(200) 및 헤드 마운트(400)에 전송하며 위치 정보 와 방향 정보를 함께 전송할 수 있다. 이때, 사용자 단말(200)이 디스플레이 장치를 포함하는 경우, 드론(100)은 사용자 단말(200)로 촬영한 주변 영상을 전송할 수 있다.
이때, 위치 정보는 위치 기반 방식과 Geospot 방식을 선택적으로 이용하여 측정할 수 있다. 위치 기반(Geolocation-based)방식은 GPS, 자이로 센서, 나침반을 이용하여 현재의 위치와 화면에 어떤 실사 정보가 나타나고 있는 지 파악하는 방식이다. 즉, GPS로 어느 위치에 있는지, 나침반으로 어느 방향을 향하는 지, 자이로스코프 센서를 이용하여 어느 각도로 이동하는 지, 카메라 렌즈의 초점 거리 기반 화각을 계산하여 어느 영역을 촬영하는 지 확인할 수 있다. 이때, GPS를 이용한 위치 계산 결과는 번화가 또는 고층 빌딩 때문에 위성과의 LOS(Line Of Sight)확보가 어려워 수십 미터 정도의 오차가 발생할 수 있다.
이런 경우 Geospot을 사용하여 위치 기반 방식의 단점을 극복할 수 있다. Geospot은 매우 정밀한 방법으로 측정한 지표상의위치, Geospot을 이용하여 사용자의 모바일 디바이스에서 측정한 위/경도 좌표를 보정하는 방법이다.
즉, 드론(100)은 가상 드론 경기장으로 사용할 공간 주변을 미리 촬영하여 증강현실 제공 서버(200)에 전송한다. 이와 같이 증강현실 제공 서버(200)는 수신한 드론(100)의 주변 영상, 위치 정보 및 방향 정보를 실시간으로 저장한다.
다음으로 사용자는 사용자 단말(300)을 통하여 해당 주변 영상에서 가상 드론 경기장의 크기를 설정할 수 있도록 기준점과 배치 각도를 선택한다(S220).
사용자 단말(300)로부터 촬영 영상에서 적어도 하나의 기준점 및 배치 각도가 선택되면 증강현실 제공 서버(200)는 기준점으로 선택된 해당 지점의 좌표를 수신하고, 선택된 배치 각도를 이용하여 가상 드론 경기장의 크기를 설정할 수 있다. 즉, 증강현실 제공 서버(200)는 드론(100)이 실제 주행할 수 있는 공간의 크기만큼의 가상 드론 경기장의 크기를 설정한다. 이때, 사용자 단말(300)로부터 촬영 영상에서 네 지점을 선택받아 가상 드론 경기장의 크기를 직접 선정받을 수도 있다.
다음으로 사용자는 사용자 단말(300)을 통하여 드론(100)의 주행로를 나타내는 다양한 형태의 트랙 중에서 하나의 트랙을 선택한다(S230).
이때, 증강현실 제공 서버(200)는 3차원 또는 2차원의 가상의 공간의 이미지를 헤드 마운트(400)에 제공하고 사용자는 헤드 마운트(400)을 통해 이미지를 확인하며 사용자 단말(300)로 해당 공간에 직접 트랙을 선택할 수 있다.
사용자는 사용자 단말(300)을 통하여 가상 드론 경기장의 바닥에 원형 또는 화살표 모양등 특정 도형을 선택하여 경주로를 표시할 수 있고 깃발을 통해 드론(100)의 주행 방향이 변화되는 지점을 선택하여 설정할 수 있다.
예를 들어 도 3에서와 같이, 사용자는 사용자 단말(300)을 통하여 시작 지점(Start/Finish Gate)를 선택하고 바닥에 표시된 원형의 점을 이용하여 트랙의 형태 및 코스를 선택할 수 있다. 또한, 사용자는 깃발 표시(P1, P2, P3, P4, P5, P6, P7)를 이용하여 드론(100)이 주행할 때 방향 전환이 이뤄지는 지점을 선택할 수 있다. 이때, 화살표를 이용하여 드론(100)의 주행 방향을 보다 정확하게 표시할 수 있다.
증강현실 제공 서버(200)는 선택된 트랙을 주변 영상의 기준점을 기준으로 설정된 배치 각도에 대응하여 배치하여 드론(100)으로부터 촬영된 주변 영상에 합성하여 가상 드론 경기장을 생성한다(S235).
즉, 증강현실 제공 서버(200)는 카메라의 스펙(CCD크기, 초점거리)을 이용하여 촬영 화각(영역)을 계산하고 위치정보, 방향정보, 화각를 이용하여 촬영 화면에 대한 증강현실 공간을 구축할 수 있다.
이때, 사용자 단말(300)은 증강현실 제공 서버(200)에 기 저장되어 있는 가상 드론 경기장 중에서 주변 영상을 통해 선택된 복수의 기준점을 연결한 크기에 대응되는 가상 드론 경기장을 검색할 수 있다. 사용자 단말(300)이 일정한 크기의 가상 드론 경기장을 검색하면 증강현실 제공 서버(200)는 그에 따라 기 저장되어 있는 가상 드론 경기장 중에서 해당 크기의 가상 드론 경기장의 리스트를 제공할 수 있다. 그리고 사용자가 사용자 단말(300)을 통해 리스트 중에서 하나의 가상 드론 경기장을 선택하면 증강현실 제공 서버(200)는 선택된 가상 드론 경기장과 주변 영상을 합성하여 가상 드론 경기장을 생성할 수 있다.
다음으로 사용자는 사용자 단말(300)을 통하여 가상 드론 경기장에 위치할 장애물의 종류, 개수, 크기, 위치를 선택한다(S240).
예를 들어 도 3에서와 같이, 사용자는 사용자 단말(300)을 통하여 장애물(G0, G1, G2, G3, G4, G5, G6)을 선택할 수 있다. 사용자는 사용자 단말(300)을 통하여 장애물 G0와 같이 공중에 떠 있는 형태 또는 장애물 G1과 같이 바닥에 닿아 있는 반 원형의 형태와 같이 각 장애물은 3차원의 화면에서 위치를 설정할 수 있다. 또한, 사용자는 사용자 단말기(300)를 통하여 도 3과 같이 전체적인 가상 드론 경기장을 살펴 볼 수 있도록 제공되는 평면도에 장애물을 설정할 수 있다. 이때, 사용자는 장애물을 선택하면서 각 장애물의 난이도 또는 포인트 점수를 별도로 선택할 수 있다.
즉, 장애물 G0의 크기가 일정 크기 이하로 작으면 포인트 점수를 높게 설정하거나 드론(100)이 장애물 G0의 가운데 지점으로 통과할수록 포인트 점수를 높게 설정할 수 있다.
다음으로 증강현실 제공 서버(200)는 선택된 장애물을 가상 드론 경기장에 합성한다(S245).
증강현실 제공 서버(200)는 선택된 장애물의 종류 및 절대 좌표를 이용하여 선택된 장애물을 가상 드론 경기장에 합성한다. 여기서, 절대 좌표란 주행하는 드론으로부터 측정된 주변 영상의 실제 좌표를 나타내며, 절대 좌표는 GPS, 자이로 센서, 나침반을 이용하는 위치 기반 방식과 정밀 측정 방식을 사용하여 위치를 계산한 지점을 이용하여 위/경도를 보정하는 Geospot 방식을 통해 측정된다.
증강현실 제공 서버(200)는 사용자로부터 선택된 장애물의 위치 및 방향 정보를 나타내는 상대 좌표를 주변 영상의 절대 좌표에 맵핑하여 가상 드론 경기장에 합성한다.
예를 들어 도 4와 같이, 증강현실 제공 서버(200)는 증강 현실 영상을 생성할 수 있다. 도 4에서 보면, 증강현실 제공 서버(200)는 드론(100)이 촬영한 주변 영상(a)과 트랙을 배치한 가상 드론 경기장(b)을 합성하여 증강 현실 영상(c)를 생성한다. 여기서 도 4의 (b)에 도시한 가상 드론 경기장은 도 3에서 사용자가 직접 설계한 가상 드론 경기장을 나타낸다.
도 4에서는 증강현실 제공 서버(200)가 주변 영상(a)과 트랙과 장애물이 모두 선택된 가상 드론 경기장(b)을 합성하여 증강 현실 영상(c)를 생성한 것으로 예시하였지만, 주변 영상(a)과 트랙 또는 장애물이 선택된 가상 드론 경기장을 합성한 후 별도로 트랙 또는 장애물을 선택하여 합성할 수 있다.
이와 같이 합성된 증강 현실 영상을 사용자가 착용한 헤드 마운트(400)로 제공한 상태에서 사용자가 사용자 단말(300)을 통하여 가상 드론 경기장의 트랙에 따라 드론(100)을 조종하면(S250), 드론(100)은 사용자 단말(300)의 조종 신호에 대응하여 주행하면서 촬영된 영상, 위치 정보 및 방향 정보를 증강현실 제공 서버(200)에 전송한다(S260).
그리고 증강현실 제공 서버(200)는 수신된 드론의 촬영 영상에 대한 증강 현실 영상을 헤드 마운트(400)에 제공한다(S270).
즉, 증강현실 제공 서버(200)는 실시간으로 수신되는 드론의 촬영 영상에 기 선택된 가상 드론 경기장의 모습을 합성하여 헤드 마운트(400)에 제공한다.
이때, 사용자 단말(300)에 디스플레이 장치가 내장되어 있는 경우에는 증강현실 제공 서버(200)는 실시간으로 수신되는 드론의 촬영 영상에 기 선택된 가상 드론 경기장의 모습을 합성한 증강 현실 영상을 사용자 단말(200)로 전달할 수 있다.
증강현실 제공 서버(200)는 가상 드론 경기장이 3D 화면일 경우, 드론(100)의 카메라 화각을 이용하여 촬영된 영상에 대응되는 증강 현실 영상을 원근투영 변환 알고리즘을 적용하고 나온 데이터를 통하여 3D 좌표를 2D 화면으로 변환한다. 그리고 증강현실 제공 서버(200)는 헤드 마운트(400)의 화면의 크기에 대응하여 화면 좌표 변환 행렬을 통하여 2D 화면으로 가져온 데이터 정보를 상대 좌표로 바꾸어 헤드 마운트(400)에 제공한다.
이와 같이 2D 화면과 3D화면간의 변환하는 기술을 기 공지된 기술로써 상세한 설명은 생략한다.
그리고 증강현실 제공 서버(200)는 드론(100)이 통과하는 장애물의 개수 및 그에 따른 포인트 점수를 측정하고 트랙을 완주하는데 소요되는 시간을 측정한다(S380).
증강현실 제공 서버(200)는 드론(100)의 실시간 위치 정보 및 방향 정보와 가상 드론 경기장의 좌표 정보를 비교하여 해당 드론(100)의 주행 경로를 추정할 수 있으며, 드론이 트랙을 주행하는 과정에 실시간으로 카운트 되는 시간을 헤드 마운트(400)에 표시하거나 해당 트랙을 완주하는데 소요되는 시간에 따라 점수 또는 기록 리스트를 생성할 수 있다.
또한, 증강현실 제공 서버(200)는 드론(100)이 장애물을 정상적으로 통과할 때마다 포인트 점수를 가산하고 장애물을 통과하지 못하거나 충돌하는 경우 포인트 점수를 감산할 수 있다.
한편, 증강현실 제공 서버(200)는 트랙과 장애물이 기 설정된 다양한 크기의 가상 드론 경기장을 저장하고 있으며, 사용자 단말(300)로부터 촬영된 주변 영상으로부터 기준점과 배치 각도를 선택하여 가상 드론 경기장의 크기를 입력받으면 해당 크기에 대응되는 가상 드론 경기장을 사용자 단말(300)로 제공할 수 있다.
또한 증강현실 제공 서버(200)는 사용자 단말(300)로부터 지역 또는 특정 경기장 명을 입력받으면, 해당 지역 또는 특정 경기장의 크기에 대응하여 저장된 가상 드론 경기장을 사용자 단말(300)에 제공할 수 있다. 그리고 증강현실 제공 서버(300)는 사용자로부터 사용자 단말(300)을 통해 하나의 가상 드론 경기장을 선택받으면, 선택된 가상 드론 경기장과 드론으로부터 촬영된 영상을 합성하여 증강현실을 생성하고 이를 사용자 단말(300) 또는 헤드 마운트(400)에 제공한다.
물론 사용자는 사용자 단말(300)를 통해 기 저장된 가상 드론 경기장의 트랙 및 장애물에 대해서 일부 제거하거나 새롭게 생성하도록 설정할 수 있다.
이와 같이 증강현실 제공 서버(300)는 기 저장된 가상 드론 경기장의 구성이 일부 수정되거나 앞서 설명한 도 2의 순서에 따라 사용자로부터 입력받은 가상 드론 경기장을 새롭게 생성한 경우 증강현실 제공 서버(300) 또는 별도의 데이터베이스(미도시함)에 해당 가상 드론 경기장을 저장할 수 있다. 그리고 증강현실 제공 서버(300)는 사용자의 드론(100)이 가상 드론 경기장을 완주한 시간, 포인트 점수, 가상 드론 경기장을 주행한 기록, 영상, 패턴 등 드론 주행 기록을 별도로 저장하고 사용자에게 제공할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 사용자가 직접 트랙과 장애물의 위치, 형태, 종류를 설정하여 드론 경기장을 설계할 수 있으므로 사용자는 다양한 형태의 드론 주행 게임을 즐길 수 있으며, 그에 따라 드론 조종 능력을 향상시킬 수 있다.
또한, 가상의 트랙 및 가상의 장애물을 제공함으로써 드론이 가상 드론 경기장을 주행하면서 장애물과의 충돌할 경우 발생하는 경제적 손실을 방지할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 드론 200: 증강현실제공 서버
300: 사용자 단말 400: 헤드마운트

Claims (10)

  1. 가상 드론 경기장 제공 시스템을 이용한 가상 드론 경기장 제공 방법에 있어서,
    드론에 설치된 카메라 모듈을 이용하여 주변 영상을 촬영하는 단계,
    사용자로부터 가상 드론 경기장의 트랙 및 장애물의 종류를 선택받는 단계,
    상기 선택된 트랙을 주변 영상의 기준점을 기준으로 설정된 배치 각도에 대응하여 배치하여 드론으로부터 촬영된 주변 영상에 합성하여 가상 드론 경기장을 생성하는 단계,
    상기 선택된 장애물의 종류 및 절대 좌표를 이용하여 상기 선택된 장애물을 상기 가상 드론 경기장에 합성하는 단계,
    상기 드론이 상기 가상 드론 경기장의 트랙을 따라 비행하면, 상기 드론에 설치된 카메라 모듈을 통해 촬영된 증강 현실 영상을 사용자가 착용한 헤드마운트로 출력하는 단계, 그리고
    상기 드론이 통과한 상기 장애물의 개수 또는 트랙을 완주하는데 걸리는 시간을 측정하는 단계를 포함하며,
    상기 헤드마운트로 출력하는 단계는,
    상기 증강현실 제공 서버에서 제공하는 화면이 3D일 경우에는 원근투영 변환 알고리즘을 적용하여 2D 화면으로 변환하고, 2D일 경우에는 헤드 마운트의 화면 크기에 대응하여 좌표변환이 이루어지며,
    상기 가상 드론 경기장을 생성하는 단계는,
    사용자로부터 상기 주변 영상으로부터 기준점 및 배치 각도를 선택받는 단계, 그리고 사용자로부터 선택된 가상 드론 경기장의 트랙을 상기 기준점을 기준으로 해당 배치 각도에 대응하여 배치하는 단계를 더 포함하고,
    상기 장애물을 상기 가상 드론 경기장에 합성하는 단계는,
    사용자로부터 상기 가상 드론 경기장의 트랙 상에서 직접 장애물의 3차원 위치 정보 및 방향 정보를 선택받으며,
    상기 드론이 상기 장애물을 통과하면 포인트 점수를 가산하며, 상기 장애물의 구조 또는 형태에 따라서 가산되는 포인트 점수가 달리 책정되는 가상 드론 경기장 제공 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 설치된 카메라 모듈을 이용하여 주변 영상을 촬영하는 드론,
    사용자부터 가상 드론 경기장의 트랙 및 장애물의 종류를 선택받는 사용자 단말, 그리고
    상기 선택된 트랙을 주변 영상의 기준점을 기준으로 설정된 배치 각도에 대응하여 배치하여 드론으로부터 촬영된 주변 영상에 합성하여 가상 드론 경기장을 생성하고, 상기 선택된 장애물의 종류 및 절대 좌표를 이용하여 상기 선택된 장애물을 상기 가상 드론 경기장에 합성하여, 상기 드론이 상기 가상 드론 경기장의 트랙을 따라 비행하면, 상기 드론에 설치된 카메라 모듈을 통해 촬영된 증강 현실 영상을 사용자가 착용한 헤드마운트로 출력시키는 증강현실 제공 서버를 포함하며,
    상기 증강현실 제공 서버는,
    상기 드론이 통과한 상기 장애물의 개수 또는 트랙을 완주하는데 걸리는 시간을 측정하고, 상기 드론이 상기 장애물을 통과하면 포인트 점수를 가산하며, 상기 장애물의 구조 또는 형태에 따라서 가산되는 포인트 점수를 달리 책정하며
    사용자로부터 상기 주변 영상으로부터 기준점 및 배치 각도를 선택받으면 사용자로부터 선택된 가상 드론 경기장의 트랙을 상기 기준점을 기준으로 해당 배치 각도에 대응하여 배치하고, 상기 사용자로부터 상기 가상 드론 경기장의 트랙 상에서 직접 장애물의 3차원 위치 정보 및 방향 정보를 선택받으며,
    상기 헤드마운트는,
    상기 증강현실 제공 서버에서 제공하는 화면이 3D일 경우에는 원근투영 변환 알고리즘을 적용하여 2D 화면으로 변환하고, 2D일 경우에는 헤드 마운트의 화면 크기에 대응하여 좌표변환이 이루어지는 증강현실을 이용한 가상 드론 경기장 제공 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020160070954A 2016-06-08 2016-06-08 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법 KR101955368B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160070954A KR101955368B1 (ko) 2016-06-08 2016-06-08 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160070954A KR101955368B1 (ko) 2016-06-08 2016-06-08 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170138752A KR20170138752A (ko) 2017-12-18
KR101955368B1 true KR101955368B1 (ko) 2019-03-08

Family

ID=60922845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070954A KR101955368B1 (ko) 2016-06-08 2016-06-08 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101955368B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101886404B1 (ko) * 2018-01-11 2018-08-09 박민경 무인 비행체의 레이스 시스템 및 방법
KR102130973B1 (ko) * 2018-04-30 2020-07-08 (주)테슬라시스템 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조
KR102082131B1 (ko) * 2018-04-30 2020-02-27 (주)테슬라시스템 드론 동영상에 증강현실 정보를 삽입하는 방법
KR102237874B1 (ko) * 2018-07-06 2021-04-09 고려대학교 산학협력단 드론 조종연습시스템
KR102083856B1 (ko) 2018-11-19 2020-03-03 배경환 무인비행체 운영시스템
KR102129593B1 (ko) 2018-12-04 2020-07-02 (주)퓨스포 온라인 드론충돌게임 운영 시스템
KR102204435B1 (ko) * 2019-01-22 2021-01-18 주식회사 하이쓰리디 무인항공기를 이용한 증강현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 기록매체
KR102288956B1 (ko) * 2019-07-22 2021-08-11 (주)케이시크 자율주행장치 레이싱게임 제공방법과 레이싱장치 및 시스템
KR102259401B1 (ko) * 2019-11-28 2021-06-01 (주)테슬라시스템 드론 동영상에 증강현실 부가정보를 합성하는 방법
KR102425372B1 (ko) * 2020-06-18 2022-07-25 금오공과대학교 산학협력단 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법
KR102502021B1 (ko) * 2020-12-07 2023-02-21 주식회사 더블베어스 가상 현실 드론 시뮬레이터
KR102502022B1 (ko) * 2020-12-07 2023-02-21 주식회사 더블베어스 가상 현실 드론 시뮬레이터
KR102319649B1 (ko) * 2021-03-10 2021-10-29 세종대학교산학협력단 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치
TWI779850B (zh) 2021-06-24 2022-10-01 仁寶電腦工業股份有限公司 無人機遊戲之渲染方法
KR20240002531A (ko) * 2022-06-29 2024-01-05 주식회사 씨너렉스 Rtk gps를 활용한 vr 기반의 드론 실기시험 평가 방법 및 시스템
KR102655965B1 (ko) * 2023-07-11 2024-04-19 대한민국(방위사업청장) 드론의 영상에 기반한 vr인터랙션 실시간 합성 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150397A (ja) * 2013-01-31 2014-08-21 Nippon Hoso Kyokai <Nhk> 受信装置、映像装置、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2245560A4 (en) * 2007-12-19 2015-03-04 Ivo Res Ltd SYSTEM FOR IMPLEMENTING COMPETITION OF VEHICLES

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150397A (ja) * 2013-01-31 2014-08-21 Nippon Hoso Kyokai <Nhk> 受信装置、映像装置、及びプログラム

Also Published As

Publication number Publication date
KR20170138752A (ko) 2017-12-18

Similar Documents

Publication Publication Date Title
KR101955368B1 (ko) 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US20200254353A1 (en) Synchronized motion simulation for virtual reality
US20160292924A1 (en) System and method for augmented reality and virtual reality applications
JP5718197B2 (ja) プログラム及びゲーム装置
KR101748401B1 (ko) 가상현실 어트랙션 제어 방법 및 시스템
US20150097719A1 (en) System and method for active reference positioning in an augmented reality environment
JP5819686B2 (ja) プログラム及び電子機器
US20200045239A1 (en) Control device of movable type imaging device, control method of movable type imaging device, and program
US11132005B2 (en) Unmanned aerial vehicle escape system, unmanned aerial vehicle escape method, and program
CN110681156B (zh) 虚拟世界中的虚拟角色控制方法、装置、设备及存储介质
CN107436608A (zh) 用于无人机的控制装置及用于导游的系统
WO2015048890A1 (en) System and method for augmented reality and virtual reality applications
US20220368958A1 (en) Live video distribution method using unmanned moving device, video distribution device used in live video distribution method, and video archive device for storing video data file generated by video distribution device
KR20200060361A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP5474899B2 (ja) プログラム、情報記憶媒体及びゲーム装置
JP2019152899A (ja) シミュレーションシステム及びプログラム
CN110180167B (zh) 增强现实中智能玩具追踪移动终端的方法
KR102108170B1 (ko) 골프 드론
TWI436270B (zh) 虛擬望遠方法及其裝置
JP5931154B2 (ja) ゲームプログラム、及びゲームシステム
JP5931153B2 (ja) ゲームプログラム、及びゲームシステム
WO2021220866A1 (ja) サーバ装置、端末装置、情報処理システム及び情報処理方法
KR102578814B1 (ko) 위치기반 게임을 이용한 ar 좌표 수집 방법 및 장치
KR102433085B1 (ko) 가상 현실 게임용 중계 화면 생성 방법 및 이를 수행하는 가상 현실 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right