KR102319649B1 - 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치 - Google Patents

혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치 Download PDF

Info

Publication number
KR102319649B1
KR102319649B1 KR1020210031318A KR20210031318A KR102319649B1 KR 102319649 B1 KR102319649 B1 KR 102319649B1 KR 1020210031318 A KR1020210031318 A KR 1020210031318A KR 20210031318 A KR20210031318 A KR 20210031318A KR 102319649 B1 KR102319649 B1 KR 102319649B1
Authority
KR
South Korea
Prior art keywords
flight
drone
virtual
remote
computer
Prior art date
Application number
KR1020210031318A
Other languages
English (en)
Inventor
최수미
고용국
강호산
이종원
유문수
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020210031318A priority Critical patent/KR102319649B1/ko
Priority to US17/218,935 priority patent/US20220293001A1/en
Application granted granted Critical
Publication of KR102319649B1 publication Critical patent/KR102319649B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/085—Special purpose teaching, e.g. alighting on water, aerial photography
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/48—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer a model being viewed and manoeuvred from a remote point
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

본 발명은 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서를 포함하는 메모리를 포함하되, 상기 메모리는, 상기 드론의 비행을 위한 물리 공간에 배치되는 하나 이상의 앵커 및 태그의 배치 정보를 이용하여 가상 비행 공간을 생성하고, 드론 조종자 그룹에 속하는 제1 컴퓨터와 원격으로 통신하는 원격 전문가 그룹에 속하는 제2 컴퓨터로부터 상기 가상 비행 공간에서 생성한 비행 훈련 시나리오를 수신하여 등록하고, 상기 비행 훈련 시나리오는 하나 이상의 가상 장애물, 하나 이상의 비행 지시 커맨드를 포함하고, 상기 비행 지시 커맨드 중 적어도 일부는 상기 하나 이상의 가상 장애물과 상호 매핑되며, 상기 원격 전문가가 생성한 하나 이상의 어노테이션을 상기 제2 컴퓨터로부터 수신하여 상기 제1 컴퓨터로 전달하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 드론 비행 원격 훈련 장치가 제공된다.

Description

혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치{Remote training method and apparatus for drone flight in mixed reality}
본 발명은 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치에 관한 것이다.
무인비행장치 산업의 발전으로 드론을 이용한 서비스와 애플리케이션에 관한 연구 및 개발은 증가 추세에 있으며, 엔터테인먼트를 비롯한 여러 산업에서 기존의 방법으로는 수행하기 어려웠던 작업들을 드론을 활용하여 해결하고자 하는 시도가 늘고 있다. 또한, 비교적 저렴한 소형 드론의 보급으로 드론 조종 자격증이 없는 일반인이 드론을 조종하는 경우도 많아졌다. 이러한 변화로 인하여 이전보다 더 많은 사람들이 드론을 접하고, 이를 조종할 수 있게 되었다.
일반적인 드론 비행과는 달리 1인칭 시점(First-Person View; FPV) 드론 비행은 기체에 장착된 카메라로부터 전송되는 영상을 보면서 조종하는 방식이다.
조종자는 비행 중인 드론을 직접 확인할 수 없고 드론에 장착된 카메라의 시야에 의존하기 때문에 조종의 난이도가 비교적 높아 많은 비행 조종 경험이 요구된다.
FPV 드론 비행 조종이 미숙한 초보자는 잘못된 상황 판단에 의한 조작으로 인하여 기체를 파손시키거나 타인에게 상해를 입히는 등의 여러 가지 피해를 야기할 가능성이 높으므로, 안전하게 비행 조종을 연습할 수 있는 환경과 비행 지도를 담당하는 전문가가 동시에 필요하다.
KR 등록특허 10-1324327
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 안전하면서도 실감있게 드론 비행 지도를 할 수 있는 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 혼합현실에서의 드론 비행 원격 훈련 장치로서, 프로세서; 및 상기 프로세서를 포함하는 메모리를 포함하되, 상기 메모리는, 상기 드론의 비행을 위한 물리 공간에 배치되는 하나 이상의 앵커 및 태그의 배치 정보를 이용하여 가상 비행 공간을 생성하고, 드론 조종자 그룹에 속하는 제1 컴퓨터와 원격으로 통신하는 원격 전문가 그룹에 속하는 제2 컴퓨터로부터 상기 가상 비행 공간에서 생성한 비행 훈련 시나리오를 수신하여 등록하고, 상기 비행 훈련 시나리오는 하나 이상의 가상 장애물, 하나 이상의 비행 지시 커맨드를 포함하고, 상기 비행 지시 커맨드 중 적어도 일부는 상기 하나 이상의 가상 장애물과 상호 매핑되며, 상기 원격 전문가가 생성한 하나 이상의 어노테이션을 상기 제2 컴퓨터로부터 수신하여 상기 제1 컴퓨터로 전달하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 드론 비행 원격 훈련 장치가 제공된다.
상기 하나 이상의 앵커는 상기 가상 비행 공간의 경계를 설정하며, 상기 하나 이상의 태그는 상기 하나 이상의 가상 장애물에 대응될 수 있다.
상기 제1 컴퓨터는 스테레오 카메라가 장착된 1인칭 시점(First-Person View: FPV) 드론 및 상기 드론 조종자에게 드론 시점의 혼합현실 환경을 제공을 위한 헤드마운트 디스플레이와 통신할 수 있다.
상기 제2 컴퓨터는 상기 원격 전문가에게 드론 시점의 혼합현실 환경을 제공을 위한 헤드마운트 디스플레이 및 상기 비행 훈련 시나리오 생성과 상기 어노테이션 생성을 위한 컨트롤러와 통신하며, 상기 비행 훈련 시나리오 생성과 상기 어노테이션 생성을 위한 사용자 인터페이스를 제공할 수 있다.
상기 사용자 인터페이스는, 상기 하나 이상의 가상 장애물에 상응하는 하나 이상의 아이콘, 비행 지시 선택 영역 및 상기 원격 전문가에 의해 선택된 가상 장애물 및 비행 지시 커맨드를 포함하는 시나리오 리스트 영역을 포함할 수 있다.
상기 하나 이상의 앵커 및 태그는 초광대역 센서이며, 상기 프로그램 명령어들은, 미리 설정된 시간 주기로 상기 가상 비행 공간에서 상기 태그의 위치벡터를 추정하고, 가변 길이 슬라이딩 윈도우 및 변형된 가중 이동평균을 이용하여 상기 위치벡터를 보정할 수 있다.
상기 프로그램 명령어들은, 서로 인접한 주기에서의 위치벡터의 크기 차이가 미리 설정된 임계값보다 작으면 윈도우의 크기를 이전과 동일하게 유지하면서 하나 이상의 이전 위치벡터만으로 가중 이동평균하여 상기 위치벡터를 보정할 수 있다.
상기 프로그램 명령어들은, 상기 위치벡터의 크기 차이가 미리 설정된 임계값보다 크면 윈도우의 크기를 순차적으로 증가시키고, 현재 위치벡터 및 하나 이상의 이전 위치벡터를 가중 이동평균하여 상기 위치벡터를 보정할 수 있다.
상기 프로그램 명령어들은, 상기 현재 위치벡터의 가중치를 직전 위치벡터의 가중치와 같거가 작게 결정할 수 있다.
상기 프로그램 명령어들은, 서로 인접한 주기에서의 위치벡터의 크기 차이가 미리 설정된 임계값보다 작은 경우가 미리 설정된 주기 이상 발생하는 경우, 증가한 윈도우의 크기를 순차적으로 감소시킬 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 혼합현실에서의 드론 비행 원격 훈련을 제공하는 방법으로서, 상기 드론의 비행을 위한 물리 공간에 배치되는 하나 이상의 앵커 및 태그의 배치 정보를 이용하여 가상 비행 공간을 생성하는 단계; 드론 조종자 그룹에 속하는 제1 컴퓨터와 원격으로 통신하는 원격 전문가 그룹에 속하는 제2 컴퓨터로부터 상기 가상 비행 공간에서 생성한 비행 훈련 시나리오를 수신하여 등록하는 단계; 및 상기 원격 전문가가 생성한 하나 이상의 어노테이션을 상기 제2 컴퓨터로부터 수신하여 상기 제1 컴퓨터로 전달하는 단계를 포함하되, 상기 비행 훈련 시나리오는 하나 이상의 가상 장애물, 하나 이상의 비행 지시 커맨드를 포함하고, 상기 비행 지시 커맨드 중 적어도 일부는 상기 하나 이상의 가상 장애물과 상호 매핑되는 드론 비행 원격 훈련 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 원격 전문가가 생성한 비행 훈련 시나리오 및 어노테이션에 따라 드론 비행 훈련을 효율적으로 수행할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 혼합현실에서의 드론 비행을 위한 원격 훈련 시스템을 도시한 도면이다.
도 2는 본 실시예에 따른 드론 조종자 그룹의 구성을 도시한 도면이다.
도 3은 본 실시예에 따른 원격 전문가 그룹의 구성을 나타낸 도면이다.
도 4는 본 실시예에 따른 프로젝터 사용자 그룹의 구성을 도시한 도면이다.
도 5는 본 실시예에 따른 시점 전환의 예를 도시한 도면이다.
도 6은 본 실시예에 따른 비행 훈련 시나리오를 구성하는 과정을 나타낸 도면이다.
도 7은 본 실시예에 따른 비행 훈련 시나리오 삭제 및 초기화 과정을 나타낸 도면이다.
도 8은 본 실시예에 따른 VR 컨트롤러를 이용한 비행 지시 시나리오 생성 과정을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 비행 훈련 시나리오 생성 및 객체 추가 과정을 나타낸 의사코드이다.
도 10은 드론 조종자의 HMD에 보이는 시야 프러스텀(View Frustum)을 고려하여 가상 스크린 상의 평면 좌표가 적절한 3차원 공간 좌표로 변환되는 것을 나타낸 도면이다.
도 11은 본 실시예에 따른 초광대역 센서들을 물리 공간에 배치한 상태를 도시한 도면이다.
도 12는 본 실시예에 따른 초광대역 센서들을 물리 공간에 배치하여 가상 비행 공간을 구성하는 전체적인 파이프라인을 나타낸 도면이다.
도 13 내지 도 14는 본 실시예에 따른 태그의 위치벡터 보정을 위한 슬라이딩 윈도우 동작 과정을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
도 1은 본 발명의 바람직한 일 실시예에 따른 혼합현실에서의 드론 비행을 위한 원격 훈련 시스템을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 원격 훈련 시스템은 드론 조종자 그룹(100), 원격 전문가 그룹(102) 및 프로젝터 사용자 그룹(104)을 포함하는 클라이언트와 사용자 요청 처리 및 서비스 제어를 담당하는 서버(110)를 포함할 수 있다.
각 클라이언트(100 내지 104)와 서버(110)는 네트워크로 연결되어 유선 또는 무선으로 실시간으로 데이터를 송수신한다.
여기서, 네트워크는 유무선 인터넷, 이동 통신망 및 위성망 등을 포함할 수 있다.
도 2는 본 실시예에 따른 드론 조종자 그룹의 구성을 도시한 도면이다.
도 2에 도시된 바와 같이, 드론 조종자 그룹(100)은 스테레오 카메라가 장착된 1인칭 시점(First-Person View: FPV) 드론(200), 드론 컨트롤러(202), 혼합현실 렌더링과 원격 의사소통 등의 기능을 위한 컴퓨터(204) 및 드론 시점의 혼합현실 환경을 경험하도록 하는 HMD(Head Mounted Display, 206)를 포함할 수 있다.
드론 조종자 그룹(100)에는 하나 이상의 드론 조종자가 있을 수 있으며, 이들은 드론 비행을 위한 기초적인 컨트롤러 조작 방법을 알고 있다.
드론 조종자는 Oculus Quest HMD와 HP Omen VR Backpack 컴퓨터를 착용한 상태에서 드론 컨트롤러(202)를 들고 비행 조종을 수행한다.
여러 명의 조종자로 구성된 그룹의 경우에는 모든 사용자가 해당 장비들을 보유하고 장착해야 한다.
드론(200)에는 근거리 무선 통신을 위한 모듈에 제공되어 스테레오 카메라에서 촬영되는 정보를 컴퓨터(204)로 제공할 수 있다.
드론 조종자 그룹(100)에 속하는 컴퓨터(204)는 원격 전문가가 생성한 비행 훈련 시나리오 및 비행 훈련을 위한 어노테이션을 수신하여 드론 조종자에게 제공할 수 있다.
도 3은 본 실시예에 따른 원격 전문가 그룹의 구성을 나타낸 도면이다.
원격 전문가 그룹(102)은 VR(Virtual Reality) HMD(300) 및 컨트롤러(302) 및 컴퓨터(304)를 포함할 수 있다.
원격 전문가는 드론 비행 조작 및 수행 작업에 대한 선행 지식을 충분히 가지고 있으며, 드론 조종자와 물리적으로 다른 공간에서 가상 비행 공간을 구성하고 다양한 원격 의사소통 도구들을 활용하여 드론 조종자에게 비행 상황에 맞는 적절한 지침을 전달하는 역할을 수행한다.
원격 전문가는 HTC Vive Pro HMD를 착용한 상태에서 시스템을 이용하여 드론 비행을 위한 가상 비행 공간과 비행 훈련 시나리오를 구성할 수 있다.
도 4는 본 실시예에 따른 프로젝터 사용자 그룹의 구성을 도시한 도면이다.
프로젝터 사용자 그룹(104)는 VR 테이블(400), 3D 프로젝터(402), 액티브 셔터 글라스(Active Shutter Glasses, 404) 및 컴퓨터(406)를 포함할 수 있다.
프로젝터 사용자 그룹(104)에서, 하나 이상의 사용자는 3D 프로젝터에서 투사되는 영상을 이용하여 액티브 셔터 글라스 방식의 3D 안경을 착용한 상태로 드론의 가상 비행 공간과 비행 상황을 볼 수 있다.
여러 명의 사용자가 안경을 착용한 상태에서 테이블에 투사되는 영상을 보는 간단한 방법으로 입체적인 가상 비행 공간과 드론의 비행 상황을 확인하고, 마이크와 스피커를 이용하여 드론 조종자 혹은 원격 전문가와 음성 기반의 의사소통을 할 수 있다.
서버(110)는 프로세서 및 메모리를 포함하며, 드론 조종자 그룹(100), 원격 전문가 그룹(102) 및 프로젝터 사용자 그룹(104) 사이의 데이터 스트림을 전달한다.
프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 발명의 일 실시예에 따르면, 메모리에는 혼합현실에서의 드론 비행 원격 훈련을 위한 프로그램 명령어들이 저장된다.
보다 상세하게, 본 실시예에 따른 프로그램 명령어들은, 드론의 비행을 위한 물리 공간에 배치되는 하나 이상의 앵커 및 태그의 배치 정보를 이용하여 가상 비행 공간을 생성하고, 드론 조종자 그룹(100)에 속하는 제1 컴퓨터(204)와 원격으로 통신하는 원격 전문가 그룹(102)에 속하는 제2 컴퓨터(304)로부터 가상 비행 공간에서 생성한 비행 훈련 시나리오를 수신하여 등록한다.
본 발명의 일 실시예에 따르면, 초광대역 센서로 구성되는 하나 이상의 앵커 및 태그를 드론의 비행을 위한 물리 공간에 배치한다.
서버(110)는 상기한 바와 같이 배치된 앵커 및 태그의 배치 정보를 이용하여 가상 비행 공간을 생성한다.
본 실시예에 따른 비행 훈련 시나리오는 하나 이상의 가상 장애물, 하나 이상의 비행 지시 커맨드를 포함하고, 상기 비행 지시 커맨드 중 적어도 일부는 상기 하나 이상의 가상 장애물과 상호 매핑될 수 있다.
또한, 서버(110)는 원격 전문가가 생성한 하나 이상의 어노테이션을 상기 제2 컴퓨터로부터 수신하여 상기 제1 컴퓨터로 전달한다.
이하에서는, 본 실시예에 따른 가상 비행 공간 생성, 비행 훈련 시나리오 생성 과정에 대해 상세하게 설명한다.
원격 전문가 그룹(102)은 가상 장애물을 포함하는 비행 훈련 시나리오를 생성한다. 여기서 비행 훈련 시나리오는 가상 장애물을 포함하는 비행 환경, 소정 순서를 갖는 비행 지시를 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따르면, 원격 전문가 그룹(102)은 사용자 인터페이스를 이용하여 시점을 전환할 수 있다.
도 5는 본 실시예에 따른 시점 전환의 예를 도시한 도면이다.
도 5에 도시된 바와 같이, 시점은 전지적 3인칭 시점(TPV), 1인칭 시점(FPV) 및 드론 조종자 근접 3인칭 시점(Drone)을 포함할 수 있다.
또한, 1인칭 시점은 근거리 시점(FPV-Near) 및 원거리 시점(FPV-Far)를 포함할 수 있다.
본 실시예에 따르면, 시점 전환 시 다음의 수학식 1을 이용할 수 있다.
Figure 112021028177204-pat00001
여기서, a는 시점 전환 빠르기, p는 소요 시간,
Figure 112021028177204-pat00002
는 출발 시점 위치벡터,
Figure 112021028177204-pat00003
이다.
상기한 매개변수가 주어졌을 때, 시간
Figure 112021028177204-pat00004
에서의 위치벡터를 반환하므로 매 프레임마다 시점에 대한 3차원 위치 좌표를 결정할 수 있다.
특히, 매개변수의 값을 a=3.6, p=1로 설정하면 사용자의 시점을 점차 자연스럽게 전환할 수 있으며, 수학식 1의 모든 벡터는 3차원 위치벡터이다.
원격 전문가 그룹(102)의 사용자 인터페이스는 Scenario Timeline and Attention Dock(STnAd)를 확장한 ex-STnAD일 수 있다.
원격 전문가는 사용자 인터페이스 및 컨트롤러를 이용하여 시간 순서대로의 비행 지시를 포함하는 비행 훈련 시나리오를 설계할 수 있다.
도 6은 본 실시예에 따른 비행 훈련 시나리오를 구성하는 과정을 나타낸 도면이다.
도 6은 원격 전문가 그룹(102)에 속하는 컴퓨터(304)에서 수행되는 과정일 수 있다.
도 6을 참조하면, 시나리오 리스트를 초기화하고(단계 600), 원격 전문가에 의한 새 시나리오 추가 요청이 있는지 판단한다(단계 602).
새 시나리오 추가 요청이 있는 경우, 추가할 시나리오를 시나리오 리스트의 마지막 위치에 삽입한다(단계 604).
다음으로 장애물 추가 시나리오 생성 요청이 있는지 판단하고(단계 606), 가상 장애물 추가 요청이 있는 경우, 가상 비행 공간에 가상 장애물을 생성한다(단계 608).
이후, 시나리오와 단계 608에서 생성한 가상 장애물을 상호 매핑한다(단계 610).
다음으로 장애물 관련 정보를 서버(110)로 전송하여 등록한다(단계 612).
단계 606에서 장애물 추가 요청이 아닌 경우, 시나리오 리스트의 길이가 1인지 판단하고(단계 614), 시나리오 리스트의 길이가 1인 경우 원격 전문가의 어노테이션 데이터를 서버(110)로 전송한다(단계 616).
어노테이션에 대해서는 이하에서 다시 상술될 것이다.
도 7은 본 실시예에 따른 비행 훈련 시나리오 삭제 및 초기화 과정을 나타낸 도면이다.
도 7을 참조하면, 단계 602에서 원격 전문가의 요청이 새 시나리오 추가 요청이 아닌 경우 시나리오 삭제 요청인지를 판단한다(단계 700).
시나리오 삭제 요청이 있는 경우, 장애물 매핑 시나리오의 삭제인지 여부를 판단한다(단계 702).
원격 전문가의 장애물 매핑 시나리오 삭제 요청이 있는 경우, 시나리오 매핑 장애물을 제거하고, 장애물 제거 정보를 서버(110)로 전송한다(단계 704).
이후, 시나리오 리스트에서 요청된 시나리오를 삭제한다(단계 706).
시나리오 삭제 후, 리스트의 길이가 0보다 큰지 여부를 판단한다(단계 708).
시나리오 리스트의 길이가 0보다 큰 경우, 시나리오 리스트 첫 번째 요소가 장애물 매핑 시나리오인지를 판단한다(단계 710).
시나리오 리스트 첫 번째 요소가 장애물 매핑 시나리오인 경우, 시나리오를 초기화하고(단계 712). 그렇지 않은 경우, 원격 전문가의 어노테이션 데이터를 서버(110)로 전송한다(단계 714).
도 8은 본 실시예에 따른 VR 컨트롤러를 이용한 비행 지시 시나리오 생성 과정을 나타낸 도면이다.
도 8을 참조하면, 비행 지시 시나리오 생성을 위한 인터페이스에는 가상 장애물에 상응하는 하나 이상의 아이콘(800) 및 비행 지시 선택 영역(802)이 제공된다.
가상 장애물은 원형, 타원형, 깃발과 같이 다양한 형상을 가질 수 있다.
원격 전문가는 VR 컨트롤러를 이용하여 가상 장애물 중 하나를 선택할 수 있다.
또한, 원격 전문가는 비행 지시 선택 영역(802)을 통해 이착륙, 전후진 및 좌우회전 등을 드래그 앤 드랍(Drag-and-drop) 방식으로 선택할 수 있다.
선택된 아이콘 또는 비행 지시는 하단의 시나리오 리스트 영역에 추가되며, 원격 전문가의 선택 또는 비행 지시 완료에 따라 삭제될 수 있다.
가상 장애물을 추가한 경우에는 가상 장애물이 가상 비행 공간에 배치되면서 아이콘(800)과 쌍으로 연결되어 내부적으로 관리되므로 사용자 인터페이스 상에서 아이콘(800)을 제거하면 가상 장애물도 함께 소멸된다.
도 9는 본 발명의 일 실시예에 따른 비행 훈련 시나리오 생성 및 객체 추가 과정을 나타낸 의사코드이다.
가상 비행 공간에 배치된 가상 장애물은 원격 전문가가 컨트롤러(302)를 이용하여 드래그 앤드 드롭을 수행함으로써 위치가 조정될 수 있다. 특정 가상 장애물을 컨트롤러(302)로 가리킨 상태에서 물리 버튼을 누르면서 드래그하여 공중으로 들어 올리면 현재 지면의 어느 지점 위에 있는지 알려주는 보조선이 나타난다.
이 보조선은 3차원 공간에 대한 사용자 인식의 한계를 개선하기 위하여 도입되며, 가상 장애물의 지면에 대한 수선(Perpendicular)을 이용하여 선분으로 렌더링되도록 구현된다. 이 상태에서 컨트롤러(302)의 물리 버튼을 놓는 드롭을 수행하면 수선의 발(Foot of Perpendicular)에 해당하는 위치에 놓여진다. 변경된 가상 장애물의 위치 좌표 데이터는 서버(110)를 통해 다른 모든 사용자에게 실시간으로 전달되어 동기화된다.
본 실시예에 따른 구성 요소 사이의 의사소통은 텍스터 어노테이션(Text Annotation), 아이콘 어노테이션(Icon Annotation), 점 어노테이션(Dot Annotation), 비행 경로 가이드라인 및 음성 등을 포함할 수 있다.
음성을 제외한 나머지 방식들을 원격 전문가의 인터랙션에 의해서만 드론 조종자에게 전달된다.
텍스트 어노테이션은 원격 전문가의 비행 지시를 문자 형식으로 전달하기 위한 의사소통 방식이다.
아이콘 어노테이션도 이와 같은 방식으로 동작하지만 주의 집중을 요구하는 경우처럼 그림 형태의 시각적인 전달이 효과적일 때 활용된다.
점 어노테이션은 조종자가 비행 시야의 특정 위치를 주목하도록 요청할 수 있는 의사소통 방식이다.
원격 전문가는 가상 비행 공간의 원경에 배치된 스크린을 컨트롤러(302)로 선택하여 점 어노테이션을 수행할 수 있다.
원격 전문가 그룹(102)에 속하는 스크린에는 드론(200)에 장착된 스테레오 카메라의 실시간 영상이 스트리밍되어 디스플레이되고, 원격 전문가는 이를 통해 비행 환경을 확인하고 적절한 지시를 내릴 수 있다.
확대된 가상 스크린의 특정 위치를 컨트롤러(302)의 레이저 포인트로 가리키면 드론 조종자의 HMD(206)에서도 같은 위치에 점 모양의 포인터가 동기화되어 나타난다.
이때, 원격 전문가 그룹(102)에 속하는 가상 스크린은 2차원 평면을 변형한 곡면 형태이지만 드론 조종자의 시야는 3차원 공간이므로 포인터의 위치 좌표를 적절하게 변환하는 것이 필요하다.
도 10은 드론 조종자의 HMD에 보이는 시야 프러스텀(View Frustum)을 고려하여 가상 스크린 상의 평면 좌표가 적절한 3차원 공간 좌표로 변환되는 것을 나타낸 도면이다.
원격 전문가가 확대된 가상 스크린을 다시 한번 컨트롤러(302)로 선택하면 이전 상태로 되돌아가며 점 어노테이션이 중지된다.
비행 경로 가이드라인은 드론 조종자에게 권장하는 드론의 비행 경로를 가상 공간에 부드러운 3차원 곡선으로 나타냄으로써 전문가의 의도를 시각적으로 전달할 수 있도록 하는 의사소통 방식이다.
원격 전문가는 1인칭 시점의 ex-STnAD 인터페이스에서 제공하는 비행 경로 기록 기능을 활성화하고 컨트롤러(302)를 이용하여 가상 드론을 움직임으로써 공간에 3차원 곡선을 그릴 수 있다. 이 곡선은 짧은 시간 간격마다 가상 드론의 위치 좌표를 기록하고 인접한 점과 점 사이를 선분으로 연결하여 구성되며, 이는 비행 경로 기록을 일시중지할 때까지 반복적으로 수행된다.
음성은 가장 보편적이면서도 효과적인 의사소통 방식으로, 앞서 제시한 방식들과는 다르게 시각이 아닌 청각에 의존하는 특징을 가진다.
본 실시예에 따른 드론 훈련을 위한 가상 비행 공간은 복수의 초광대역(Ultra-Wideband: UWB) 센서를 이용하여 구성될 수 있다.
도 11은 본 실시예에 따른 초광대역 센서들을 물리 공간에 배치한 상태를 도시한 도면이고, 도 12는 본 실시예에 따른 초광대역 센서들을 물리 공간에 배치하여 가상 비행 공간을 구성하는 전체적인 파이프라인을 나타낸 도면이다.
도 11 내지 도 12를 참조하면, 복수의 센서는 역할에 따라 하나 이상의 앵커(Anchor) 및 태그(Tag)로 구분된다.
하나 이상의 앵커는 상기 가상 비행 공간의 경계를 설정하며, 하나 이상의 태그는 상기 하나 이상의 가상 장애물에 대응된다.
센서들은 태그로 지정된 센서까지의 거리를 4-Way Handshake 방법으로 데이터를 주고받는 왕복 시간(Round-Trip Time; RTT)을 계산함으로써 추정하고, 거리 데이터를 센서가 연결된 Raspberry Pi 보드에서 처리하여 서버(110)로 전달한다.
서버(110)에서는 가상 비행 공간의 적절한 위치에 매핑된 앵커들의 좌표 데이터와 각 앵커에서 추정한 태그까지의 거리 데이터를 다변측량법과 Nelder-Mead 최적화 방법을 이용하여 태그의 공간 좌표(위치벡터)를 추정한다.
초광대역 센서를 이용하여 태그의 공간 좌표를 추정하는 과정은 시간의 흐름에 따라 반복적으로 진행되므로 산출된 데이터는 시계열의 특징을 가지며, 시간 간격과 물체의 물리적인 운동 특성상 매우 큰 폭의 거리로는 움직일 수 없다. 즉, 센서의 공간 좌표에 대한 시계열 데이터는 이전 시각의 위치에서 움직이므로 일정 값 이상의 움직임은 공간 좌표 추정 오차 발생으로 귀결된다.
이러한 오차는 가상 현실 및 혼합 현실을 경험하는 사용자의 몰입감을 떨어뜨리는 문제를 야기할 수 있다. 이를 최소화하기 위하여 다음과 같이 가변 길이 슬라이딩 윈도우와 변형된 가중 이동평균을 이용하여 추정한 공간 좌표를 보정하는 작업을 수행한다.
도 13은 본 실시예에 따른 태그의 위치벡터 보정을 위한 슬라이딩 윈도우 동작 과정을 나타낸 도면이다.
도 13은 시각
Figure 112021028177204-pat00005
에서 초광대역 센서의 데이터를 이용하여 추정한 Unity 가상 공간 상의 태그의 위치벡터
Figure 112021028177204-pat00006
에 대하여 가변 길이 슬라이딩 윈도우 방법을 이용하여 보정된 위치벡터
Figure 112021028177204-pat00007
를 구하는 과정을 나타낸 것이다.
이때,
Figure 112021028177204-pat00008
의 스칼라량인
Figure 112021028177204-pat00009
의 크기가 미리 설정된 임계값
Figure 112021028177204-pat00010
보다 작으면 도 12의 경우(1)에서와 같이, 윈도우 크기를 이전 단계와 같게 그대로 유지하면서 슬라이딩 하여 아래의 수학식 2의 가중 이동평균 연산을 수행한다.
Figure 112021028177204-pat00011
여기서,
Figure 112021028177204-pat00012
는 윈도우 크기를 나타낸다.
이와 같은 위치벡터의 보정은 서버(110)에서 수행되며, 서버(110)는 서로 인접한 주기에서의 태그의 위치벡터의 크기 차이가 미리 설정된 임계값보다 작으면 윈도우의 크기를 이전과 동일하게 유지하면서 하나 이상의 이전 위치벡터만으로 가중 이동평균하여 태그의 위치벡터를 보정한다.
반대로
Figure 112021028177204-pat00013
크기가 미리 설정된 임계값
Figure 112021028177204-pat00014
보다 크면 도 13의 경우 (2)에서와 같이 윈도우 크기를 1만큼 증가시키고,
Figure 112021028177204-pat00015
를 윈도우에 포함시킨 후에 수학식 3과 같이 변형된 가중 이동평균을 적용하여
Figure 112021028177204-pat00016
를 유도한다.
Figure 112021028177204-pat00017
시간이 경과하여 경우 (2)의 과정을 반복적으로 수행하게 되면 윈도우 크기가 계속해서 증가하게 되며, 이로 인하여 센서의 공간 좌표 위치 추정이 안정화되더라도 컴퓨팅 장치가 많은 양의 연산을 처리해야할 가능성이 있다.
따라서 도 14에서 보이는 것과 같이 시간이 경과함에 따라 센서의 위치 추정이 일정 시간동안 안정화되면 윈도우 크기를 1만큼씩 줄이도록 하며, 다만, 윈도우 크기는 3보다 작을 수는 없다.
본 실시예에 따르면, 서버(110)는 태그의 위치벡터의 크기 차이가 미리 설정된 임계값보다 크면 윈도우의 크기를 순차적으로 증가시키고, 현재 위치벡터 및 하나 이상의 이전 위치벡터를 가중 이동평균하여 상기 위치벡터를 보정한다.
태그의 위치벡터의 크기 차이가 미리 설정된 임계값보다 크다는 것은 현재 위치벡터의 오차가 크다는 것을 의미할 수 있으므로, 서버(110)는 다음 주기에서 현재 위치벡터의 가중치를 직전 위치벡터의 가중치와 같거가 작게 결정한다.
이러한 과정을 거쳐 공간 좌표의 추정 및 보정이 이루어진 태그의 가상 공간에서의 위치벡터
Figure 112021028177204-pat00018
(단,
Figure 112021028177204-pat00019
) 시계열 데이터는 원격 훈련 시스템의 모든 사용자에게 실시간으로 전달된다.
미리 지정된 태그의 용도에 따라 변경 사항이 가상 공간 상에 즉시 반영되기 때문에 모든 사용자는 동일한 비행 환경을 경험할 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (12)

  1. 혼합현실에서의 드론 비행 원격 훈련 장치로서,
    프로세서; 및
    상기 프로세서를 포함하는 메모리를 포함하되,
    상기 메모리는,
    상기 드론의 비행을 위한 물리 공간에 배치되는 하나 이상의 앵커 및 태그의 배치 정보를 이용하여 가상 비행 공간을 생성하고,
    드론 조종자 그룹에 속하는 제1 컴퓨터와 원격으로 통신하는 원격 전문가 그룹에 속하는 제2 컴퓨터로부터 상기 가상 비행 공간에서 생성한 비행 훈련 시나리오를 수신하여 등록하고,
    상기 비행 훈련 시나리오는 하나 이상의 가상 장애물, 하나 이상의 비행 지시 커맨드를 포함하고, 상기 비행 지시 커맨드 중 적어도 일부는 상기 하나 이상의 가상 장애물과 상호 매핑되며,
    상기 원격 전문가가 생성한 하나 이상의 어노테이션을 상기 제2 컴퓨터로부터 수신하여 상기 제1 컴퓨터로 전달하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    상기 하나 이상의 앵커 및 태그는 초광대역 센서이며,
    상기 프로그램 명령어들은,
    미리 설정된 시간 주기로 상기 가상 비행 공간에서 상기 태그의 위치벡터를 추정하고,
    가변 길이 슬라이딩 윈도우 및 변형된 가중 이동평균을 이용하여 상기 위치벡터를 보정하는 드론 비행 원격 훈련 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 앵커는 상기 가상 비행 공간의 경계를 설정하며,
    상기 하나 이상의 태그는 상기 하나 이상의 가상 장애물에 대응되는 드론 비행 원격 훈련 장치.
  3. 제1항에 있어서,
    상기 제1 컴퓨터는 스테레오 카메라가 장착된 1인칭 시점(First-Person View: FPV) 드론 및 상기 드론 조종자에게 드론 시점의 혼합현실 환경을 제공을 위한 헤드마운트 디스플레이와 통신하는 드론 비행 원격 훈련 장치.
  4. 제1항에 있어서,
    상기 제2 컴퓨터는 상기 원격 전문가에게 드론 시점의 혼합현실 환경을 제공을 위한 헤드마운트 디스플레이 및 상기 비행 훈련 시나리오 생성과 상기 어노테이션 생성을 위한 컨트롤러와 통신하며, 상기 비행 훈련 시나리오 생성과 상기 어노테이션 생성을 위한 사용자 인터페이스를 제공하는 드론 비행 원격 훈련 장치.
  5. 제4항에 있어서,
    상기 사용자 인터페이스는, 상기 하나 이상의 가상 장애물에 상응하는 하나 이상의 아이콘, 비행 지시 선택 영역 및 상기 원격 전문가에 의해 선택된 가상 장애물 및 비행 지시 커맨드를 포함하는 시나리오 리스트 영역을 포함하는 드론 비행 원격 훈련 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 프로그램 명령어들은,
    서로 인접한 주기에서의 위치벡터의 크기 차이가 미리 설정된 임계값보다 작으면 윈도우의 크기를 이전과 동일하게 유지하면서 하나 이상의 이전 위치벡터만으로 가중 이동평균하여 상기 위치벡터를 보정하는 드론 비행 원격 훈련 장치.
  8. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 위치벡터의 크기 차이가 미리 설정된 임계값보다 크면 윈도우의 크기를 순차적으로 증가시키고, 현재 위치벡터 및 하나 이상의 이전 위치벡터를 가중 이동평균하여 상기 위치벡터를 보정하는 드론 비행 원격 훈련 장치.
  9. 제8항에 있어서,
    상기 프로그램 명령어들은,
    상기 현재 위치벡터의 가중치를 직전 위치벡터의 가중치와 같거가 작게 결정하는 드론 비행 원격 훈련 장치.
  10. 제9항에 있어서,
    상기 프로그램 명령어들은,
    서로 인접한 주기에서의 위치벡터의 크기 차이가 미리 설정된 임계값보다 작은 경우가 미리 설정된 주기 이상 발생하는 경우, 증가한 윈도우의 크기를 순차적으로 감소시키는 드론 비행 원격 훈련 장치.
  11. 프로세서 및 메모리를 포함하는 장치에서 혼합현실에서의 드론 비행 원격 훈련을 제공하는 방법으로서,
    상기 드론의 비행을 위한 물리 공간에 배치되는 하나 이상의 앵커 및 태그의 배치 정보를 이용하여 가상 비행 공간을 생성하는 단계;
    드론 조종자 그룹에 속하는 제1 컴퓨터와 원격으로 통신하는 원격 전문가 그룹에 속하는 제2 컴퓨터로부터 상기 가상 비행 공간에서 생성한 비행 훈련 시나리오를 수신하여 등록하는 단계; 및
    상기 원격 전문가가 생성한 하나 이상의 어노테이션을 상기 제2 컴퓨터로부터 수신하여 상기 제1 컴퓨터로 전달하는 단계를 포함하되,
    상기 비행 훈련 시나리오는 하나 이상의 가상 장애물, 하나 이상의 비행 지시 커맨드를 포함하고, 상기 비행 지시 커맨드 중 적어도 일부는 상기 하나 이상의 가상 장애물과 상호 매핑되며,
    상기 하나 이상의 앵커 및 태그는 초광대역 센서이며,
    상기 가상 비행 공간을 생성하는 단계는, 미리 설정된 시간 주기로 상기 가상 비행 공간에서 상기 태그의 위치벡터를 추정하고, 가변 길이 슬라이딩 윈도우 및 변형된 가중 이동평균을 이용하여 상기 위치벡터를 보정하는 드론 비행 원격 훈련 방법.
  12. 제11항에 따른 드론 비행 원격 훈련 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
KR1020210031318A 2021-03-10 2021-03-10 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치 KR102319649B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210031318A KR102319649B1 (ko) 2021-03-10 2021-03-10 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치
US17/218,935 US20220293001A1 (en) 2021-03-10 2021-03-31 Remote training method and apparatus for drone flight in mixed reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031318A KR102319649B1 (ko) 2021-03-10 2021-03-10 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102319649B1 true KR102319649B1 (ko) 2021-10-29

Family

ID=78231216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031318A KR102319649B1 (ko) 2021-03-10 2021-03-10 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치

Country Status (2)

Country Link
US (1) US20220293001A1 (ko)
KR (1) KR102319649B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419101B1 (ko) * 2022-01-05 2022-07-11 국방과학연구소 비행체의 자율 비행을 위한 학습 데이터 생성 방법 및 그 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880466B (zh) * 2023-02-14 2023-06-06 山东省地质测绘院 基于无人机遥感的城市工程测绘方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324327B1 (ko) 2011-12-14 2013-10-31 건국대학교 산학협력단 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법
KR20170138752A (ko) * 2016-06-08 2017-12-18 (주)코아텍 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법
KR102148103B1 (ko) * 2019-11-06 2020-08-25 세종대학교산학협력단 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
JP2021018080A (ja) * 2019-07-17 2021-02-15 株式会社ゼンリン 飛行体制御システム及び地図データのデータ構造
KR102216312B1 (ko) * 2019-11-14 2021-02-17 빠 왼 아웅 빠 Vr을 이용한 가상 시나리오 제공 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324327B1 (ko) 2011-12-14 2013-10-31 건국대학교 산학협력단 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법
KR20170138752A (ko) * 2016-06-08 2017-12-18 (주)코아텍 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법
JP2021018080A (ja) * 2019-07-17 2021-02-15 株式会社ゼンリン 飛行体制御システム及び地図データのデータ構造
KR102148103B1 (ko) * 2019-11-06 2020-08-25 세종대학교산학협력단 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
KR102216312B1 (ko) * 2019-11-14 2021-02-17 빠 왼 아웅 빠 Vr을 이용한 가상 시나리오 제공 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419101B1 (ko) * 2022-01-05 2022-07-11 국방과학연구소 비행체의 자율 비행을 위한 학습 데이터 생성 방법 및 그 장치

Also Published As

Publication number Publication date
US20220293001A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US20200346750A1 (en) Method for generating flight path, control device, and unmanned aerial vehicle
CN113811920A (zh) 分布式姿势估计
WO2017186137A1 (zh) 无人飞行器控制方法及装置
KR102319649B1 (ko) 혼합현실에서의 드론 비행을 위한 원격 훈련 방법 및 장치
TW202004421A (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染
US10802579B2 (en) Artificial reality system having multiple modes of engagement
US11094107B2 (en) Information processing device and image generation method
JP6920057B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Higuchi et al. Flying head: A head-synchronization mechanism for flying telepresence
US10691290B2 (en) Virtual-reality based control method and apparatus
US20220172447A1 (en) Image processing device, image processing method, and program
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
KR102142876B1 (ko) 클라우드 기반의 가상현실 서비스를 위한 버퍼 관리 방법 및 장치
US20160320833A1 (en) Location-based system for sharing augmented reality content
CN106980378B (zh) 虚拟显示方法和系统
KR102148103B1 (ko) 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
JP2017033294A (ja) ３次元描画システム及び３次元描画プログラム
CN112204958B (zh) 用于无线电模拟的增强现实的方法、设备
JP6726016B2 (ja) 情報処理装置、情報処理方法
EP3702008A1 (en) Displaying a viewport of a virtual space
CN107957781B (zh) 信息显示方法及装置
CN113677412A (zh) 信息处理装置、信息处理方法和程序
US20200098178A1 (en) Reconstructing three-dimensional (3d) human body model based on depth points-to-3d human body model surface distance
US11755117B2 (en) Information processing device, information processing method, and server device
WO2022224964A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant