KR102449439B1 - Hmd를 이용한 무인기 조종 장치 - Google Patents

Hmd를 이용한 무인기 조종 장치 Download PDF

Info

Publication number
KR102449439B1
KR102449439B1 KR1020160011833A KR20160011833A KR102449439B1 KR 102449439 B1 KR102449439 B1 KR 102449439B1 KR 1020160011833 A KR1020160011833 A KR 1020160011833A KR 20160011833 A KR20160011833 A KR 20160011833A KR 102449439 B1 KR102449439 B1 KR 102449439B1
Authority
KR
South Korea
Prior art keywords
user
unmanned aerial
aerial vehicle
gaze
head
Prior art date
Application number
KR1020160011833A
Other languages
English (en)
Other versions
KR20170090888A (ko
Inventor
이인재
김현철
서정일
이희경
황인욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160011833A priority Critical patent/KR102449439B1/ko
Publication of KR20170090888A publication Critical patent/KR20170090888A/ko
Application granted granted Critical
Publication of KR102449439B1 publication Critical patent/KR102449439B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B64C2201/127—
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Instrument Panels (AREA)

Abstract

본 발명에 따른 HMD를 이용한 무인기 조종 장치는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기를 조종할 수 있다. 사용자는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기에 대한 제어를 세분화할 수 있다. 또한, 사용자의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기에 다양한 제어 명령을 전달할 수 있다.

Description

HMD를 이용한 무인기 조종 장치{APPARATUS FOR UNMANNED AERIAL VEHICLE CONTROLLING USING HEAD MOUNTED DISPLAY}
본 발명은 무인기 조종에 관한 기술로서, 보다 상세하게는 시선추적 기능을 이용한 무인기 조종 기술에 관한 것이다.
무인기(Unmanned Aerial Vehicle, UAV) 관련 기술이 빠르게 발전하면서, 종래에는 정찰용 또는 전투용과 같은 특수한 환경에서 및 특수한 용도로만 사용되던 무인기가 다양한 용도로 활용되고 있다. 특히, 드론으로 대변되는 무인항공기는 현재 누구나 손쉽게 즐길 수 있는 레저용으로 탈바꿈하여 돌풍을 일으키고 있다. 이와 같은 추세에 발맞추어 소형의 제품부터 고가의 장비를 장착할 수 있는 전문가용까지 다양한 무인기(드론) 제품이 출시되는 등 관련시장이 급성장 하고 있다. 이와 같은 무인기는 일반적으로 널리 사용되는 RC 조종기를 통해 조종되거나, 기타 스마트 디바이스를 통해 조종되는 등 다양한 조종방법이 활용되고 있다.
하지만, 저가형 무인기 조종기의 경우 콘트롤 레버를 이용한 미세한 조종이 필요해 무인기 조종이 쉽지 않다는 문제가 있다. 또한, 스마트폰과 같은 스마트 디바이스 기반 조종앱을 사용하는 경우 조종하기 상대적으로 용이하나 여전히 방향 전환 등에 있어, 좌/우 패드를 적절히 활용할 수 있도록 훈련이 되어 있지 않으면 조종하기 어려운 단점이 있다.
대한민국 공개특허 제10-2006-0026273호
본 발명이 해결하고자 하는 과제는 시선추적 기능 및 무인기 조종 기능이 탑재된 헤드마운트 디스플레이(Head Mounted Display, 이하 HMD)를 사용하여 직관적으로 무인기를 제어할 수 있는 무인기 조종 장치를 제공하는 것이다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기를 조종할 수 있다. 사용자는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기에 대한 제어를 세분화할 수 있다. 또한, 사용자의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기에 다양한 제어 명령을 전달할 수 있다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 무인기로부터 수신된 영상 정보 및 항법 정보를 헤드 마운트 디스플레이(HMD)를 통해 표시하는 영상 처리 모듈, 사용자의 머리 움직임을 검출하는 머리 회전 산출 모듈, 사용자의 눈의 움직임을 검출하는 시선추적 인터페이스 모듈 및 사용자의 머리 회전 및 눈의 움직임에 따른 시선 이벤트를 확인하고, 확인된 시선 이벤트와 대응하는 제어 명령을 무인기로 전달하는 동작 기능 모듈을 포함한다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 시선추적 기반의 무인기 조종을 통해 보다 직관적이고 편리하게 무인기를 조종할 수 있도록 지원한다. 이와 같이, 무인기 조종을 위한 인터페이스를 보다 사용하기 용이하게 함으로써 무인기 보급의 확산 속도를 가속화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)를 이용한 조종 환경을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 화면을 나타내는 도면이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)를 이용한 조종 환경을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)는 별도의 조종 장치 없이 HMD를 이용하여 직관적으로 무인기를 조종한다. 종래의 무인기 조종은 화면에 표시된 무인기의 운행 화면을 통해 무인기의 움직임을 확인하며 조종기를 통해 무인기를 조종해야 한다. 이 경우, 별도의 조종기를 필요로 하며 콘트롤 레버를 이용한 미세 조종이 어려워 무인기 조종이 쉽지 않다. 스마트 디바이스를 통해 운행 화면과 터치스크린 인터페이스를 제공받는 경우, 하나의 장치로 조종이 가능하지만, 터치스크린을 이용한 조작은 조각 난이도가 높으며 세세한 조작이 쉽지 않다.
반면에, 본 발명의 일 실시에에 따른 HMD를 이용한 무인기 조종 장치(100)는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기(10)를 조종할 수 있다. 사용자(20)는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기(10)를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기(10)에 대한 제어를 세분화할 수 있다. 또한, 사용자(20)의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기(10)에 다양한 제어 명령을 전달할 수 있다.
이를 통해, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 사용자에게 무인기(10) 조종을 위한 직관적인 인터페이스를 제공할 수 있으며, 별도의 조종기를 구비해야 하는 불편함을 해소할 수 있다.
도 2는 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 구성도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기 통신 모듈(110), 영상 처리 모듈(120), 머리 회전 산출 모듈(130), 무인기 모션 산출 모듈(140), 시선추적 인터페이스 모듈(150), 관심 지점 검출 모듈(160) 및 동작 기능 모듈(170)을 포함한다. 그리고 시선추적 인터페이스 모듈(150)은 사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152), 사용자 시선정보 산출 모듈(153) 및 시선 이벤트 검출 모듈(154)을 포함한다.
무인기 통신 모듈(110)은 무선 통신 인터페이스를 구비하며, 무인기(10)로부터 항법 정보 및 영상 정보를 수신한다. 항법 정보는 비행중인 무인기(10)의 항법과 관련된 정보이다. 항법 정보는 자이로 스코프를 통해 측정된 무인기(10)의 자세 정보 및 GPS를 통해 측정된 무인기(10)의 위치 정보를 포함하며, 기타 항법 관련 정보를 포함한다. 그리고 영상 정보는 HMD에 디스플레이 하기 위한 영상으로, 무인기(10)에 탑재된 영상 촬영 장치를 통해 촬영된 영상 정보이다. 본 발명에서 영상 정보는 HMD에 디스플레이되어 무인기(10)를 조종하는데 사용되기 때문에, 수신되는 영상 정보는 무인기 전방을 촬영한 영상일 수 있다.
영상 처리 모듈(120)은 수신된 영상 정보를 디코딩하고, 디코딩된 영상을 HMD에 디스플레이 한다. 사용자는 HMD에 디스플레이된 영상을 통해 무인기(10)의 운행을 파악하여, 이를 기반으로 무인기(10)를 제어한다. 그리고 영상 처리 모듈(120)은 수신된 항법 정보를 영상과 함께 HMD에 디스플레이하여 사용자에게 무인기(10)의 항법 상태에 대한 정보를 제공한다. 사용자는 이를 통해 현재 비행중인 무인기(10)의 속도, 위치 좌표 및 자세를 확인할 수 있다.
머리 회전 산출 모듈(130)은 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)를 착용한 사용자(20)의 머리 움직임(머리 회전, 상하 움직임, 머리 회전 각도, 머리 회전 속도 및 머리 회전 가속도)를 산출한다. 즉, 머리 회전 산출 모듈(130)은 가속도 센서 및 자이로 센서를 장착하여 사용자 머리의 회전 각도 및 속도를 실시간으로 감지한다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 사용자(20)의 머리 움직임을 산출하여, 이를 무인기(10)를 조종하는 제어 신호를 사용한다. 사용자는 디스플레이된 영상 및 항법 정보에 기초하여, 머리를 움직여 무인기(10)를 제어한다. 사용자가 영상을 보면서 원하는 방향으로 머리를 움직이면, 사용자의 머리 움직임에 따라 무인기(10)의 회전 방향, 회전각, 속도를 계산해 동작 기능 모듈(170) 및 무인기 통신 모듈(110)을 통해 무인기에 전달하고, 무인기는 수신된 제어 신호를 기반으로 사용자가 원하는 방향으로 회전 비행을 수행할 수 있다.
따라서, 좌/우로 사용자(20)가 원하는 각도만큼 머리를 회전시킴으로써 무인기를 회전 비행시키는 것이 가능하다. 또한, 사용자의 머리를 일정 시간 이상 위로 들거나 아래로 내리면 무인기(10)가 위로 혹은 아래로 비행하도록 직관적으로 조종이 가능하다. 이를 통해, 본 발명에 따른 HMD를 이용한 무인기 조종 장치는 별도의 조종 장치를 사용자가 파지하고 손을 사용하여 조종 장치를 움직이는 것인 아니라, 사용자(20)의 직관적인 움직임을 통해 무인기(10)를 제어할 수 있다.
사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152), 사용자 시선정보 산출 모듈(153) 및 시선 이벤트 검출 모듈(154)을 통해 사용자(20)는 눈 움직임에 기초하여 무인기(10)를 조종할 수 있다. 산출된 시선정보를 이용하여 비행을 위한 목적지 혹은 경유지를 설정할 수 있다.
사용자 눈 촬영 모듈(151) 및 시선정보 산출 조명 모듈(152)의 지원 하에 사용자 시선정보 산출 모듈(153)은 사용자의 시선추적을 수행한다. 그리고 시선 이벤트 검출 모듈(154)은 시선추적 결과에 따라 시선 이벤트를 검출한다. 예를 들어, 비행을 하다가 사용자(20)가 윙크를 2번 수행하면, 사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152) 및 사용자 시선정보 산출 모듈(153)은 사용자(20)가 수행한 윙크 2번을 인식하고, 시선 이벤트 검출 모듈(154)은 윙크 2번을 시선 이벤트로 판단하여, 해당 시선 이벤트에 대응하는 제어 신호를 동작 기능 모듈(170)로 전달한다.
또한, 사용자 시선정보 산출 모듈(153)은 사용자 눈 촬영 모듈(151) 및 시선정보 산출 조명 모듈(152)을 지원 하에, HMD로 재생되는 영상 화면에서 사용자의 시선이 향하는 지점의 위치를 산출하여 이를 시선 이벤트 검출 모듈(154)로 전달한다. 시선 이벤트 검출 모듈(154)은 사용자의 시선이 향하는 위치 좌표를 시선 이벤트로 판단하여 대응하는 제어 신호를 전달할 수 있다.
예를 들어, 사용자(20)가 윙크를 2번 수행(시선이벤트)하고, 관심 있는 지점을 응시하면, 동작 기능 모듈(170)은 이에 대응하는 제어 신호를 무인기(10)로 전달하고, 무인기(10)는 해당 지점으로 접근 비행을 수행한다. 그리고 다시 윙크를 2번 수행하면 접근 비행을 해지시킨다. 또한, 관심 영역응 응시하고 윙크를 1번 수행하면(시선이벤트), 해당 영역이 사진 촬영되면서 확대하여 보여주고 다시 윙크를 1번 수행하면 축소되면서 원래 상태로 돌아올 수 있다. 또한, 비행시 특정 시간 이상 응시한 영역들에 대해 관심 지점 검출 모듈(160)은 이를 관심 영역으로 따로 수집하여 비주얼 로그 파일로 정리하여 저장할 수 있다. 사용자(20)의 눈의 모션 및 시선에 기초한 시선 이벤트를 이용하여 무인기(10)를 제어하는 방법에서, 시선이벤트에 대응하는 제어 신호는 사용자의 편의에 따라 자유롭게 설정이 가능하다. 또한, 시선이벤트에 대응하는 제어 신호는 무인기(10)의 목적과 사용 장소에 따라 제조사에서 최적의 값으로 설정하여 사용자(20)에게 제공될 수 있다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기(10)의 비행 상황을 HMD를 통해 사용자(20)에게 제공하고, 사용자의 머리 움직임에 따라 직관적으로 무인기(10)를 제어할 수 있다. 또한, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 사용자(20)의 시선추적을 통해 눈의 움직임을 인식하여 시선 이벤트를 검출하고 이를 무인기(10) 제어에 활용할 수 있다.
추가적으로 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 조작 버튼(101)을 추가적으로 포함할 수 있다. 조작 버튼(101)은 HMD를 이용한 무인기 조종 장치(100)의 외부에 위치하며, HMD를 이용한 무인기 조종 장치(100)를 착용한 사용자(20)가 손을 이용하여 조작할 수 있다. 장치(100)의 양 옆으로 임의의 버튼을 조작 버튼(101)으로 두어, 촬영 중인 영상을 보면서 별도의 조종기를 추가로 사용하지 않고도 무인기(10) 조종이 가능하도록 지원할 수 있다.
일례로서, 사용자의 편의성을 위해 엄지손가락을 제외한 나머지 손가락으로 버튼을 누를 수 있도록 장치(100) 양옆으로 각각 3-4개의 버튼을 배치시킨다. 이 경우, 조작 버튼(101)에 가동(on)/정지(off), 비행/정지비행, 이륙/착률, 360도 옆으로 회전, 360도 상하로 회전, 추가 선택 등의 기능을 할당하여 무인기(10)를 제어할 수 있다. 일례로서, 사용자(20)가 조작 버튼(101) 중 착륙 기능이 할당된 버튼을 누르고, 영상 화면에서 착륙 목표 지점을 응시하면, 자동으로 무인기(10)가 해당 착륙 목표 지점에 착륙하도록 지원해 줄 수 있다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 상술한 기능을 통해 무인기(10) 조종 기능을 제공하여, 재난 지역을 무인기(10)로 정찰하는 경우 사용자의 시선에 따라 사용자가 화재가 난 발화점 혹은 구조해야 할 인명을 발견한 위치로 보다 빠르고 직관적으로 무인기(10)를 접근시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 화면을 나타내는 도면이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기(10)로부터 수신된 영상 정보에 기초하여 화면에 운행 화면(300)을 디스플레이 하여 사용자(20)에게 제공한다. 사용자(20)는 운행 화면(300)을 통해 비행중인 무인기(10)의 비행 화면을 파악하여 무인기(10)를 제어할 수 있다. 또한, 비행 화면(300)에 비행 화면뿐만 아니라, 항법 정보를 함께 표시하여 사용자(20)가 무인기(10)를 조종하는 과정에서 활용할 수 있다. 예를 들어, 운행 화면(300)에 무인기(10)의 위치, 고도 및 속도에 대한 정보를 표시할 수 있으며, 무인기(10)의 자세 및 상태에 대한 정보뿐만 아니라. 잔여 에너지량이나 비행 가능 시간 등을 표시할 수 있다.
상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
100: HMD를 이용한 무인기 조종 장치
110: 무인기 통신 모듈 120: 영상 처리 모듈
130: 머리 회전 산출 모듈 140: 무인기 모션 산출 모듈
150: 시선추적 인터페이스 모듈 151: 사용자 눈 촬영 모듈
152: 시선정보 산출 조명 모듈 153: 사용자 시선정보 산출 모듈
154: 시선 이벤트 검출 모듈
160: 관심 지점 검출 모듈 170: 동작 기능 모듈

Claims (10)

  1. 무인기로부터 수신된 영상 정보 및 항법 정보를 헤드 마운트 디스플레이(HMD)를 통해 표시하는 영상 처리 모듈;
    사용자의 머리 움직임을 검출하는 머리 회전 산출 모듈;
    사용자의 눈의 움직임을 검출하는 시선추적 인터페이스 모듈; 및
    사용자의 머리 회전 및 눈의 움직임에 따른 시선 이벤트를 확인하고, 확인된 시선 이벤트와 대응하는 제어 신호를 무인기로 전달하는 동작 기능 모듈;
    을 포함하고,
    사용자에 의해 특정 시간 이상 응시한 영역을 관심 영역으로 수집하는 관심 지점 검출 모듈
    을 더 포함하며,
    상기 시선추적 인터페이스 모듈은,
    상기 사용자의 윙크 동작을 검출하여 상기 사용자의 윙크 동작에 대응되는 제1 시선 이벤트를 검출하고, 상기 헤드 마운트 디스플레이로 재생되는 영상 화면에서 상기 사용자의 시선이 향하는 지점의 위치를 산출하여 상기 사용자의 시선이 향하는 위치 좌표를 제2 시선 이벤트로 검출하여, 두 시선 이벤트의 검출이 순차적으로 이루어지는 경우, 순차적으로 이루어진 상기 두 시선 이벤트에 대응하는 제어 신호를 상기 동작 기능 모듈로 전달하는 HMD를 이용한 무인기 조종 장치.
  2. 제1항에 있어서,
    상기 머리 회전 산출 모듈은,
    가속도 센서 및 자이로 센서 중 적어도 하나를 구비하며, 상기 가속도 센서 및 자이로 센서 중 적어도 하나를 통해 검출되는 정보를 사용하여 상기 사용자 머리의 회전 각도 및 속도를 산출하는 HMD를 이용한 무인기 조종 장치.
  3. 제2항에 있어서,
    상기 동작 기능 모듈은,
    상기 머리 회전 산출 모듈에 의해 산출되는 상기 사용자 머리의 회전 각도 및 속도를 기반으로 상기 무인기의 회전 방향, 회전각, 및 속도 중 적어도 하나를 제어하는 상기 제어 신호를 무인기로 전달하는 HMD를 이용한 무인기 조종 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 시선추적 인터페이스 모듈은,
    상기 사용자의 시선이 향하는 지점의 위치를 사용하여 상기 무인기의 비행을 위한 목적지 혹은 경유지를 설정하는 HMD를 이용한 무인기 조종 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 사용자의 손에 의해 제어되는 외부 입력 장치를 더 포함하며,
    상기 동작 기능 모듈은,
    상기 외부 입력 장치에 의해 입력되는 입력 신호와, 상기 시선추적 인터페이스 모듈에 의해 생성되는 상기 제어 신호를 기반으로, 상기 무인기로 전달하는 상기 제어 신호를 생성하는 HMD를 이용한 무인기 조종 장치.
  9. 제8항에 있어서,
    상기 입력 신호는,
    가동(on), 정지(off), 비행, 정지비행, 이륙, 착륙, 수평 방향 회전, 및 수직 방향 회전 중 적어도 하나를 지시하는 정보를 포함하는 HMD를 이용한 무인기 조종 장치.
  10. 적어도 하나의 프로세서, 및 저장매체를 포함하는 전자장치에 의해 무인기 조종 장치를 제어하는 방법에 있어서,
    무인기로부터 수신된 영상 정보 및 항법 정보를 헤드 마운트 디스플레이(HMD)를 통해 표시하는 과정과;
    사용자의 머리 움직임을 검출하는 과정과,
    상기 사용자의 눈의 움직임을 검출하는 과정과,
    상기 사용자의 머리 회전 및 눈의 움직임에 따른 시선 이벤트를 확인하고, 확인된 시선 이벤트와 대응하는 제어 신호를 무인기로 전달하는 과정을 포함하고,
    사용자에 의해 특정 시간 이상 응시한 영역을 관심 영역으로 수집하는 과정을 더 포함하며,
    상기 사용자의 눈의 움직임을 검출하는 과정은,
    상기 사용자의 윙크 동작을 검출하여 상기 사용자의 윙크 동작에 대응되는 제1 시선 이벤트를 검출하고, 상기 헤드 마운트 디스플레이로 재생되는 영상 화면에서 상기 사용자의 시선이 향하는 지점의 위치를 산출하여 상기 사용자의 시선이 향하는 위치 좌표를 제2 시선 이벤트로 검출하며,
    상기 제어 신호를 무인기로 전달하는 과정은,
    두 시선 이벤트의 검출이 순차적으로 이루어지는 경우, 순차적으로 이루어진 상기 두 시선 이벤트에 대응하는 제어 신호를 상기 무인기로 전달하는 무인기 조종 방법.
KR1020160011833A 2016-01-29 2016-01-29 Hmd를 이용한 무인기 조종 장치 KR102449439B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160011833A KR102449439B1 (ko) 2016-01-29 2016-01-29 Hmd를 이용한 무인기 조종 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160011833A KR102449439B1 (ko) 2016-01-29 2016-01-29 Hmd를 이용한 무인기 조종 장치

Publications (2)

Publication Number Publication Date
KR20170090888A KR20170090888A (ko) 2017-08-08
KR102449439B1 true KR102449439B1 (ko) 2022-09-30

Family

ID=59652955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160011833A KR102449439B1 (ko) 2016-01-29 2016-01-29 Hmd를 이용한 무인기 조종 장치

Country Status (1)

Country Link
KR (1) KR102449439B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092981B2 (ja) * 2017-10-20 2022-06-29 富士通株式会社 移動体制御プログラム、移動体制御方法および情報処理装置
KR102078160B1 (ko) * 2018-05-10 2020-02-17 한국해양과학기술원 수중 원격 무인시스템
CN108681403A (zh) * 2018-05-18 2018-10-19 吉林大学 一种采用视线跟踪的小车控制方法
JP7128409B2 (ja) * 2018-06-27 2022-08-31 学校法人東海大学 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
DE102018210824B4 (de) 2018-07-02 2023-02-09 Audi Ag Verfahren und System zur Ausleuchtung eines Bereichs in einer Umgebung eines Fahrzeugs
KR102132945B1 (ko) * 2018-07-23 2020-07-10 주식회사 아르고스다인 무인기 착륙 유도 방법
KR102063520B1 (ko) * 2019-02-01 2020-02-11 김민성 시뮬레이션 장치
EP3865984B1 (en) * 2020-02-13 2023-09-27 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
US11625037B2 (en) 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696275B1 (ko) * 2001-08-24 2007-03-20 뉴로스카이 인코포레이션 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법
US20140217242A1 (en) * 2011-03-28 2014-08-07 Prox Dynamics As Uav kit

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696275B1 (ko) * 2001-08-24 2007-03-20 뉴로스카이 인코포레이션 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법
US20140217242A1 (en) * 2011-03-28 2014-08-07 Prox Dynamics As Uav kit

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
John P. E. 외 4, The Dawn of Personal Drones, CHI'13, April 27-May 2, 2013, Paris, France.*
김재승 외 5명, HMD를 이용한 사용자 자세 기반 항공 촬영용 쿼드로터 시스템 제어 인터페이스 개발, 전기학회논문지 64(7), 2015.7, 1056-1063(8 pages).*

Also Published As

Publication number Publication date
KR20170090888A (ko) 2017-08-08

Similar Documents

Publication Publication Date Title
KR102449439B1 (ko) Hmd를 이용한 무인기 조종 장치
US10222792B2 (en) Drone piloting device adapted to hold piloting commands and associated control method
US11886638B2 (en) External user interface for head worn computing
US10331232B2 (en) Controller with situational awareness display
US11209939B2 (en) External user interface for head worn computing
JP6037600B2 (ja) 無人機、特に回転翼無人機を遠隔制御するための方法および機器
US10620699B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US9738382B2 (en) Drone immersion-piloting system
US20200387238A1 (en) Controller with situational awareness display
US20170017323A1 (en) External user interface for head worn computing
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
KR102670994B1 (ko) 무인 비행체 및 그 제어 방법
US10025375B2 (en) Augmented reality controls for user interactions with a virtual world
JP2003267295A (ja) 遠隔操縦システム
US20220317462A1 (en) Information processing apparatus, information processing method, and program
US10191487B2 (en) Control device and control method for flying bot
JP2018072992A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US20220351442A1 (en) Animation production system
CN113448343B (zh) 用于设定飞行器的目标飞行路径的方法、系统和可读介质
US20200327860A1 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
WO2018214029A1 (zh) 用于操纵可移动装置的方法和设备
CN109144378B (zh) 数据交互方法、装置、头戴设备和控制设备
JP7482923B2 (ja) 無人航空機の制御装置およびその制御方法
US20220351446A1 (en) Animation production method
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant