KR20170090888A - Apparatus for unmanned aerial vehicle controlling using head mounted display - Google Patents

Apparatus for unmanned aerial vehicle controlling using head mounted display Download PDF

Info

Publication number
KR20170090888A
KR20170090888A KR1020160011833A KR20160011833A KR20170090888A KR 20170090888 A KR20170090888 A KR 20170090888A KR 1020160011833 A KR1020160011833 A KR 1020160011833A KR 20160011833 A KR20160011833 A KR 20160011833A KR 20170090888 A KR20170090888 A KR 20170090888A
Authority
KR
South Korea
Prior art keywords
uav
user
head
module
hmd
Prior art date
Application number
KR1020160011833A
Other languages
Korean (ko)
Other versions
KR102449439B1 (en
Inventor
이인재
김현철
서정일
이희경
황인욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160011833A priority Critical patent/KR102449439B1/en
Publication of KR20170090888A publication Critical patent/KR20170090888A/en
Application granted granted Critical
Publication of KR102449439B1 publication Critical patent/KR102449439B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B64C2201/127—
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An unmanned operation apparatus using a head-mounted display (HMD) according to the present invention can check an operation screen through an HMD and can intuitively operate an unmanned vehicle through head movement and eye tracking. A user controls the unmanned vehicle by moving the head of the user up, down, left, and right in accordance with the operation screen checked through a screen. Control of the unmanned vehicle can be subdivided by a rotation angle, rotation speed, and acceleration of the head. Also, various control commands can be transmitted to the unmanned vehicle by generating various eye movement events through the eye tracking based on eye movement of the user.

Description

HMD를 이용한 무인기 조종 장치{APPARATUS FOR UNMANNED AERIAL VEHICLE CONTROLLING USING HEAD MOUNTED DISPLAY}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an HMD-

본 발명은 무인기 조종에 관한 기술로서, 보다 상세하게는 시선추적 기능을 이용한 무인기 조종 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a manned maneuvering technique, and more particularly, to a manned maneuvering technique using a gaze tracking function.

무인기(Unmanned Aerial Vehicle, UAV) 관련 기술이 빠르게 발전하면서, 종래에는 정찰용 또는 전투용과 같은 특수한 환경에서 및 특수한 용도로만 사용되던 무인기가 다양한 용도로 활용되고 있다. 특히, 드론으로 대변되는 무인항공기는 현재 누구나 손쉽게 즐길 수 있는 레저용으로 탈바꿈하여 돌풍을 일으키고 있다. 이와 같은 추세에 발맞추어 소형의 제품부터 고가의 장비를 장착할 수 있는 전문가용까지 다양한 무인기(드론) 제품이 출시되는 등 관련시장이 급성장 하고 있다. 이와 같은 무인기는 일반적으로 널리 사용되는 RC 조종기를 통해 조종되거나, 기타 스마트 디바이스를 통해 조종되는 등 다양한 조종방법이 활용되고 있다. Unmanned Aerial Vehicle (UAV) technology has developed rapidly, and UAV technology has been used for a variety of purposes in conventional environments such as reconnaissance or combat, and for special purposes. Especially, the drone, which is represented by a drones, is transformed into a leisure-type that can be easily enjoyed by anybody, and causes a gust of wind. In line with these trends, related markets have been growing rapidly, with a variety of UAVs (drones) ranging from compact products to professional equipment that can be equipped with expensive equipment. Such unmanned aerial vehicles are generally operated through a widely used RC manipulator, or manipulated through other smart devices.

하지만, 저가형 무인기 조종기의 경우 콘트롤 레버를 이용한 미세한 조종이 필요해 무인기 조종이 쉽지 않다는 문제가 있다. 또한, 스마트폰과 같은 스마트 디바이스 기반 조종앱을 사용하는 경우 조종하기 상대적으로 용이하나 여전히 방향 전환 등에 있어, 좌/우 패드를 적절히 활용할 수 있도록 훈련이 되어 있지 않으면 조종하기 어려운 단점이 있다.However, in the case of a low-priced UAV, it is difficult to control the UAV because it requires fine control using a control lever. In addition, when using a smart device based control application such as a smart phone, it is relatively easy to control, but it still has a disadvantage that it is difficult to control it if it is not trained to utilize the left / right pad properly.

대한민국 공개특허 제10-2006-0026273호Korean Patent Publication No. 10-2006-0026273

본 발명이 해결하고자 하는 과제는 시선추적 기능 및 무인기 조종 기능이 탑재된 헤드마운트 디스플레이(Head Mounted Display, 이하 HMD)를 사용하여 직관적으로 무인기를 제어할 수 있는 무인기 조종 장치를 제공하는 것이다.An object of the present invention is to provide an unmanned aerial vehicle control device capable of intuitively controlling a UAV by using a head mounted display (hereinafter, referred to as an HMD) equipped with a line-of-sight tracking function and a UAV control function.

본 발명에 따른 HMD를 이용한 무인기 조종 장치는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기를 조종할 수 있다. 사용자는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기에 대한 제어를 세분화할 수 있다. 또한, 사용자의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기에 다양한 제어 명령을 전달할 수 있다.The UAV system using the HMD according to the present invention can operate the UAV through the head-mounted display (HMD), and intuitively control the UAV through head movement and eye tracking. The user controls the UAV by moving the head vertically and horizontally according to the operation screen identified through the screen. At this time, the control over the UAV can be subdivided according to the rotation angle, the rotation speed and the acceleration of the head. In addition, it is possible to transmit various control commands to the UAV by generating various sight events through eye tracking based on the eye movement of the user.

본 발명에 따른 HMD를 이용한 무인기 조종 장치는 무인기로부터 수신된 영상 정보 및 항법 정보를 헤드 마운트 디스플레이(HMD)를 통해 표시하는 영상 처리 모듈, 사용자의 머리 움직임을 검출하는 머리 회전 산출 모듈, 사용자의 눈의 움직임을 검출하는 시선추적 인터페이스 모듈 및 사용자의 머리 회전 및 눈의 움직임에 따른 시선 이벤트를 확인하고, 확인된 시선 이벤트와 대응하는 제어 명령을 무인기로 전달하는 동작 기능 모듈을 포함한다.The navigation system includes an image processing module for displaying image information and navigation information received from a UAV through a head mount display (HMD), a head rotation calculation module for detecting a head movement of a user, And an action function module for confirming a gaze event according to the user's head rotation and eye movement and transmitting a control command corresponding to the confirmed gaze event to the UAV.

본 발명에 따른 HMD를 이용한 무인기 조종 장치는 시선추적 기반의 무인기 조종을 통해 보다 직관적이고 편리하게 무인기를 조종할 수 있도록 지원한다. 이와 같이, 무인기 조종을 위한 인터페이스를 보다 사용하기 용이하게 함으로써 무인기 보급의 확산 속도를 가속화할 수 있다.The UAV control device using the HMD according to the present invention can more easily and intuitively control the UAV through eye tracking based UAV control. In this manner, the diffusion speed of the UAV can be accelerated by making the interface for controlling the UAV more convenient to use.

도 1은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)를 이용한 조종 환경을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 화면을 나타내는 도면이다.FIG. 1 is a view illustrating a steering environment using an unmanned aerial vehicle control apparatus 100 using an HMD according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of the UAV 100 using the HMD according to an embodiment of the present invention.
3 is a view showing a screen of the UAV 100 using the HMD according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The terms and words used in the present specification are selected in consideration of the functions in the embodiments, and the meaning of the terms may vary depending on the intention or custom of the invention. Therefore, the terms used in the following embodiments are defined according to their definitions when they are specifically defined in this specification, and unless otherwise specified, they should be construed in a sense generally recognized by those skilled in the art.

도 1은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)를 이용한 조종 환경을 나타내는 도면이다.FIG. 1 is a view illustrating a steering environment using an unmanned aerial vehicle control apparatus 100 using an HMD according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)는 별도의 조종 장치 없이 HMD를 이용하여 직관적으로 무인기를 조종한다. 종래의 무인기 조종은 화면에 표시된 무인기의 운행 화면을 통해 무인기의 움직임을 확인하며 조종기를 통해 무인기를 조종해야 한다. 이 경우, 별도의 조종기를 필요로 하며 콘트롤 레버를 이용한 미세 조종이 어려워 무인기 조종이 쉽지 않다. 스마트 디바이스를 통해 운행 화면과 터치스크린 인터페이스를 제공받는 경우, 하나의 장치로 조종이 가능하지만, 터치스크린을 이용한 조작은 조각 난이도가 높으며 세세한 조작이 쉽지 않다. Referring to FIG. 1, the UAV 100 using an HMD according to an embodiment of the present invention intuitively manages the UAV by using an HMD without a separate control device. Conventional UAV control requires UAVs to be controlled through a manipulator by checking the movement of the UAV through the operation screen of the UAV displayed on the screen. In this case, a separate manipulator is required, and it is difficult to manipulate the UAV due to difficulty in fine manipulation using the control lever. When a smart device is used to provide a running screen and a touch screen interface, it is possible to control the device with a single device. However, operations using the touch screen are difficult to handle and difficult to handle.

반면에, 본 발명의 일 실시에에 따른 HMD를 이용한 무인기 조종 장치(100)는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기(10)를 조종할 수 있다. 사용자(20)는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기(10)를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기(10)에 대한 제어를 세분화할 수 있다. 또한, 사용자(20)의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기(10)에 다양한 제어 명령을 전달할 수 있다.On the other hand, the UAV 100 using the HMD according to one embodiment of the present invention confirms the operation screen through the head mount display (HMD), intuitively transmits the UAV 10 through the head movement and eye tracking You can steer. The user 20 controls the UAV 10 by moving the head vertically and horizontally according to the operation screen confirmed through the screen. At this time, the control over the UAV 10 can be subdivided according to the rotation angle, the rotation speed, and the acceleration of the head. In addition, it is possible to transmit various control commands to the UAV 10 by generating various line-of-sight events through line-of-sight tracking based on the eye movement of the user 20.

이를 통해, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 사용자에게 무인기(10) 조종을 위한 직관적인 인터페이스를 제공할 수 있으며, 별도의 조종기를 구비해야 하는 불편함을 해소할 수 있다.Accordingly, the UAV 100 using the HMD according to the present invention can provide the user with an intuitive interface for controlling the UAV 10, and can solve the inconvenience of having a separate controller.

도 2는 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 구성도이다.FIG. 2 is a configuration diagram of the UAV 100 using the HMD according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기 통신 모듈(110), 영상 처리 모듈(120), 머리 회전 산출 모듈(130), 무인기 모션 산출 모듈(140), 시선추적 인터페이스 모듈(150), 관심 지점 검출 모듈(160) 및 동작 기능 모듈(170)을 포함한다. 그리고 시선추적 인터페이스 모듈(150)은 사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152), 사용자 시선정보 산출 모듈(153) 및 시선 이벤트 검출 모듈(154)을 포함한다.Referring to FIGS. 1 and 2, an unmanned aerial vehicle control apparatus 100 using an HMD according to the present invention includes a UAV communication module 110, an image processing module 120, a head rotation calculation module 130, 140, a gaze tracking interface module 150, a point of interest detection module 160, and an action function module 170. The gaze tracking interface module 150 includes a user's eye photographing module 151, a gaze information calculating lighting module 152, a user's gaze information calculating module 153 and a gaze event detecting module 154.

무인기 통신 모듈(110)은 무선 통신 인터페이스를 구비하며, 무인기(10)로부터 항법 정보 및 영상 정보를 수신한다. 항법 정보는 비행중인 무인기(10)의 항법과 관련된 정보이다. 항법 정보는 자이로 스코프를 통해 측정된 무인기(10)의 자세 정보 및 GPS를 통해 측정된 무인기(10)의 위치 정보를 포함하며, 기타 항법 관련 정보를 포함한다. 그리고 영상 정보는 HMD에 디스플레이 하기 위한 영상으로, 무인기(10)에 탑재된 영상 촬영 장치를 통해 촬영된 영상 정보이다. 본 발명에서 영상 정보는 HMD에 디스플레이되어 무인기(10)를 조종하는데 사용되기 때문에, 수신되는 영상 정보는 무인기 전방을 촬영한 영상일 수 있다. The UAV communication module 110 has a wireless communication interface and receives navigation information and image information from the UAV. The navigation information is information related to the navigation of the unmanned aerial vehicle (10) in flight. The navigation information includes attitude information of the UAV 10 measured by the gyroscope and position information of the UAV 10 measured by GPS, and includes other navigation related information. The image information is an image for displaying on the HMD, and is image information photographed through the image capturing device mounted on the UAV. In the present invention, since the image information is displayed on the HMD and used to control the UAV 10, the received image information may be an image captured before the UAV.

영상 처리 모듈(120)은 수신된 영상 정보를 디코딩하고, 디코딩된 영상을 HMD에 디스플레이 한다. 사용자는 HMD에 디스플레이된 영상을 통해 무인기(10)의 운행을 파악하여, 이를 기반으로 무인기(10)를 제어한다. 그리고 영상 처리 모듈(120)은 수신된 항법 정보를 영상과 함께 HMD에 디스플레이하여 사용자에게 무인기(10)의 항법 상태에 대한 정보를 제공한다. 사용자는 이를 통해 현재 비행중인 무인기(10)의 속도, 위치 좌표 및 자세를 확인할 수 있다.The image processing module 120 decodes the received image information and displays the decoded image on the HMD. The user grasps the operation of the UAV 10 through the image displayed on the HMD, and controls the UAV 10 based on the operation. Then, the image processing module 120 displays the received navigation information together with the image on the HMD, and provides the user with information on the navigation state of the UAV 10. The user can confirm the speed, position coordinates and attitude of the UAV 10 in flight.

머리 회전 산출 모듈(130)은 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)를 착용한 사용자(20)의 머리 움직임(머리 회전, 상하 움직임, 머리 회전 각도, 머리 회전 속도 및 머리 회전 가속도)를 산출한다. 즉, 머리 회전 산출 모듈(130)은 가속도 센서 및 자이로 센서를 장착하여 사용자 머리의 회전 각도 및 속도를 실시간으로 감지한다. The head rotation calculating module 130 calculates head rotation based on the head movement (head rotation, vertical movement, head rotation angle, head rotation speed, and head rotation acceleration) of the user 20 wearing the UAV 100 using the HMD according to the present invention, . That is, the head rotation calculation module 130 is equipped with an acceleration sensor and a gyro sensor to detect the rotation angle and speed of the user's head in real time.

본 발명에 따른 HMD를 이용한 무인기 조종 장치는 사용자(20)의 머리 움직임을 산출하여, 이를 무인기(10)를 조종하는 제어 신호를 사용한다. 사용자는 디스플레이된 영상 및 항법 정보에 기초하여, 머리를 움직여 무인기(10)를 제어한다. 사용자가 영상을 보면서 원하는 방향으로 머리를 움직이면, 사용자의 머리 움직임에 따라 무인기(10)의 회전 방향, 회전각, 속도를 계산해 동작 기능 모듈(170) 및 무인기 통신 모듈(110)을 통해 무인기에 전달하고, 무인기는 수신된 제어 신호를 기반으로 사용자가 원하는 방향으로 회전 비행을 수행할 수 있다. The navigation apparatus using the HMD according to the present invention calculates a head movement of the user 20 and uses the control signal to control the UAV 10. The user controls the UAV 10 by moving his / her head based on the displayed image and navigation information. When the user moves the head in a desired direction while viewing the image, the rotation direction, rotation angle, and speed of the UAV 10 are calculated according to the movement of the user's head and transmitted to the UAV through the operation function module 170 and the UAV communication module 110 And the UAV can perform the rotation flight in a desired direction based on the received control signal.

따라서, 좌/우로 사용자(20)가 원하는 각도만큼 머리를 회전시킴으로써 무인기를 회전 비행시키는 것이 가능하다. 또한, 사용자의 머리를 일정 시간 이상 위로 들거나 아래로 내리면 무인기(10)가 위로 혹은 아래로 비행하도록 직관적으로 조종이 가능하다. 이를 통해, 본 발명에 따른 HMD를 이용한 무인기 조종 장치는 별도의 조종 장치를 사용자가 파지하고 손을 사용하여 조종 장치를 움직이는 것인 아니라, 사용자(20)의 직관적인 움직임을 통해 무인기(10)를 제어할 수 있다. Therefore, it is possible to rotate the UAV by rotating the head by an angle desired by the user 20 in the left / right direction. In addition, if the user's head is lifted or lowered for a predetermined time or more, the UAV 10 can be intuitively controlled to fly up or down. Thus, the UAV system using the HMD according to the present invention not only controls the UAV 10 through an intuitive movement of the user 20, Can be controlled.

사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152), 사용자 시선정보 산출 모듈(153) 및 시선 이벤트 검출 모듈(154)을 통해 사용자(20)는 눈 움직임에 기초하여 무인기(10)를 조종할 수 있다. 산출된 시선정보를 이용하여 비행을 위한 목적지 혹은 경유지를 설정할 수 있다. The user 20 can view the UAV 10 on the basis of the eye movement through the user's eye photographing module 151, the visual-information calculating illumination module 152, the user's visual-information calculating module 153 and the visual- You can steer. A destination or a waypoint for flight can be set using the calculated sight line information.

사용자 눈 촬영 모듈(151) 및 시선정보 산출 조명 모듈(152)의 지원 하에 사용자 시선정보 산출 모듈(153)은 사용자의 시선추적을 수행한다. 그리고 시선 이벤트 검출 모듈(154)은 시선추적 결과에 따라 시선 이벤트를 검출한다. 예를 들어, 비행을 하다가 사용자(20)가 윙크를 2번 수행하면, 사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152) 및 사용자 시선정보 산출 모듈(153)은 사용자(20)가 수행한 윙크 2번을 인식하고, 시선 이벤트 검출 모듈(154)은 윙크 2번을 시선 이벤트로 판단하여, 해당 시선 이벤트에 대응하는 제어 신호를 동작 기능 모듈(170)로 전달한다. Under the support of the user's eye photographing module 151 and the line of sight information calculation lighting module 152, the user's line of sight information calculation module 153 performs line-of-sight tracking of the user. The line-of-sight event detection module 154 detects the line-of-sight event according to the line-of-sight tracking result. For example, if the user 20 winks twice while flying, the user eye photographing module 151, the gaze information calculating lighting module 152 and the user's gaze information calculating module 153 determine whether the user 20 The visual line event detection module 154 recognizes the wink 2 as the visual line event and transmits the control signal corresponding to the visual line event to the operation function module 170. [

또한, 사용자 시선정보 산출 모듈(153)은 사용자 눈 촬영 모듈(151) 및 시선정보 산출 조명 모듈(152)을 지원 하에, HMD로 재생되는 영상 화면에서 사용자의 시선이 향하는 지점의 위치를 산출하여 이를 시선 이벤트 검출 모듈(154)로 전달한다. 시선 이벤트 검출 모듈(154)은 사용자의 시선이 향하는 위치 좌표를 시선 이벤트로 판단하여 대응하는 제어 신호를 전달할 수 있다.The user's visual attention information calculation module 153 calculates the position of the point of the user's eyes on the image screen reproduced by the HMD under the support of the user's eye photographing module 151 and the visual information calculation lighting module 152, And transfers it to the line-of-sight event detection module 154. The visual-line-event detecting module 154 may determine the position coordinates of the user's line of sight as a line-of-sight event and transmit the corresponding control signal.

예를 들어, 사용자(20)가 윙크를 2번 수행(시선이벤트)하고, 관심 있는 지점을 응시하면, 동작 기능 모듈(170)은 이에 대응하는 제어 신호를 무인기(10)로 전달하고, 무인기(10)는 해당 지점으로 접근 비행을 수행한다. 그리고 다시 윙크를 2번 수행하면 접근 비행을 해지시킨다. 또한, 관심 영역응 응시하고 윙크를 1번 수행하면(시선이벤트), 해당 영역이 사진 촬영되면서 확대하여 보여주고 다시 윙크를 1번 수행하면 축소되면서 원래 상태로 돌아올 수 있다. 또한, 비행시 특정 시간 이상 응시한 영역들에 대해 관심 지점 검출 모듈(160)은 이를 관심 영역으로 따로 수집하여 비주얼 로그 파일로 정리하여 저장할 수 있다. 사용자(20)의 눈의 모션 및 시선에 기초한 시선 이벤트를 이용하여 무인기(10)를 제어하는 방법에서, 시선이벤트에 대응하는 제어 신호는 사용자의 편의에 따라 자유롭게 설정이 가능하다. 또한, 시선이벤트에 대응하는 제어 신호는 무인기(10)의 목적과 사용 장소에 따라 제조사에서 최적의 값으로 설정하여 사용자(20)에게 제공될 수 있다.For example, when the user 20 performs a wink twice (gaze event) and strikes a point of interest, the operation function module 170 transfers the corresponding control signal to the UAV 10, 10) performs an approach flight to the point. If you do two winks again, you cancel the approach flight. In addition, if you perform a wink once and perform a wink once (view event), the area is photographed and enlarged, and if you perform the wink once again, it can be reduced and returned to its original state. In addition, the points of interest detection module 160 collects the regions of interest, which have been taken for a specific time or longer, in a region of interest, and stores them in a visual log file. In the method of controlling the UAV 10 using a line-of-sight event based on the eye motion and eye line of the user 20, the control signal corresponding to the line-of-sight event can be freely set according to the convenience of the user. In addition, the control signal corresponding to the sight line event can be provided to the user 20 by setting the optimal value in the manufacturer according to the purpose and the use place of the UAV.

본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기(10)의 비행 상황을 HMD를 통해 사용자(20)에게 제공하고, 사용자의 머리 움직임에 따라 직관적으로 무인기(10)를 제어할 수 있다. 또한, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 사용자(20)의 시선추적을 통해 눈의 움직임을 인식하여 시선 이벤트를 검출하고 이를 무인기(10) 제어에 활용할 수 있다.The UAV 100 using the HMD according to the present invention can provide the user 20 with the flight status of the UAV 10 through the HMD and intuitively control the UAV 10 according to the head movement of the user . In addition, the UAV control apparatus 100 using the HMD according to the present invention can detect a gaze event by recognizing the eye movement through eye tracking of the user 20, and utilize it to control the UAV 10.

추가적으로 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 조작 버튼(101)을 추가적으로 포함할 수 있다. 조작 버튼(101)은 HMD를 이용한 무인기 조종 장치(100)의 외부에 위치하며, HMD를 이용한 무인기 조종 장치(100)를 착용한 사용자(20)가 손을 이용하여 조작할 수 있다. 장치(100)의 양 옆으로 임의의 버튼을 조작 버튼(101)으로 두어, 촬영 중인 영상을 보면서 별도의 조종기를 추가로 사용하지 않고도 무인기(10) 조종이 가능하도록 지원할 수 있다. In addition, the UAV 100 using the HMD according to the present invention may further include an operation button 101. The operation button 101 is located outside the UAV 100 and can be operated by the user 20 wearing the UAV 100 using the HMD. An arbitrary button can be provided on both sides of the apparatus 100 as the operation button 101 so that the user can steer the UAV 10 without further using a separate controller while viewing the image being shot.

일례로서, 사용자의 편의성을 위해 엄지손가락을 제외한 나머지 손가락으로 버튼을 누를 수 있도록 장치(100) 양옆으로 각각 3-4개의 버튼을 배치시킨다. 이 경우, 조작 버튼(101)에 가동(on)/정지(off), 비행/정지비행, 이륙/착률, 360도 옆으로 회전, 360도 상하로 회전, 추가 선택 등의 기능을 할당하여 무인기(10)를 제어할 수 있다. 일례로서, 사용자(20)가 조작 버튼(101) 중 착륙 기능이 할당된 버튼을 누르고, 영상 화면에서 착륙 목표 지점을 응시하면, 자동으로 무인기(10)가 해당 착륙 목표 지점에 착륙하도록 지원해 줄 수 있다.As an example, three or four buttons are disposed on each side of the apparatus 100 so that the user can press the button with the rest of his or her fingers for convenience. In this case, the operation buttons 101 are assigned functions such as on / off, flight / stop flight, take-off / landing, rotation 360 degrees, rotation 360 degrees up and down, 10). As an example, when the user 20 depresses a button assigned the landing function among the operation buttons 101 and looks at the landing target point on the image screen, the user 20 can automatically support the UAV 10 to land at the landing target point have.

본 발명에 따른 HMD를 이용한 무인기 조종 장치는 상술한 기능을 통해 무인기(10) 조종 기능을 제공하여, 재난 지역을 무인기(10)로 정찰하는 경우 사용자의 시선에 따라 사용자가 화재가 난 발화점 혹은 구조해야 할 인명을 발견한 위치로 보다 빠르고 직관적으로 무인기(10)를 접근시킬 수 있다.The navigation apparatus for an unmanned aerial vehicle using the HMD according to the present invention provides a navigation function of the UAV 10 through the above function and when the user scoutes the disaster area with the UAV 10, It is possible to access the UAV 10 more quickly and intuitively to the position where the person to be found is found.

도 3은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 화면을 나타내는 도면이다.3 is a view showing a screen of the UAV 100 using the HMD according to an embodiment of the present invention.

도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기(10)로부터 수신된 영상 정보에 기초하여 화면에 운행 화면(300)을 디스플레이 하여 사용자(20)에게 제공한다. 사용자(20)는 운행 화면(300)을 통해 비행중인 무인기(10)의 비행 화면을 파악하여 무인기(10)를 제어할 수 있다. 또한, 비행 화면(300)에 비행 화면뿐만 아니라, 항법 정보를 함께 표시하여 사용자(20)가 무인기(10)를 조종하는 과정에서 활용할 수 있다. 예를 들어, 운행 화면(300)에 무인기(10)의 위치, 고도 및 속도에 대한 정보를 표시할 수 있으며, 무인기(10)의 자세 및 상태에 대한 정보뿐만 아니라. 잔여 에너지량이나 비행 가능 시간 등을 표시할 수 있다.Referring to FIGS. 2 and 3, the UAV 100 using an HMD according to an embodiment of the present invention displays a driving screen 300 on the screen based on image information received from the UAV 10, (20). The user 20 can control the UAV 10 by grasping the flight screen of the UAV 10 in flight through the operation screen 300. [ In addition, not only the flight screen but also the navigation information are displayed on the flight screen 300, so that the user 20 can utilize it in the process of controlling the UAV. For example, information on the position, altitude, and speed of the UAV 10 can be displayed on the driving screen 300, and information on the attitude and condition of the UAV 10 can be displayed. The amount of remaining energy or flightable time can be displayed.

상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.The present invention including the above-described contents can be written in a computer program. And the code and code segment constituting the program can be easily deduced by a computer programmer of the field. In addition, the created program can be stored in a computer-readable recording medium or an information storage medium, and can be read and executed by a computer to implement the method of the present invention. And the recording medium includes all types of recording media readable by a computer.

이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It is possible.

100: HMD를 이용한 무인기 조종 장치
110: 무인기 통신 모듈 120: 영상 처리 모듈
130: 머리 회전 산출 모듈 140: 무인기 모션 산출 모듈
150: 시선추적 인터페이스 모듈 151: 사용자 눈 촬영 모듈
152: 시선정보 산출 조명 모듈 153: 사용자 시선정보 산출 모듈
154: 시선 이벤트 검출 모듈
160: 관심 지점 검출 모듈 170: 동작 기능 모듈100: UAV control system using HMD
110: UAV communication module 120: Image processing module
130: Head rotation calculation module 140: Unmanned motion calculation module
150: eye tracking interface module 151: user eye photographing module
152: line of sight information calculation lighting module 153: user's line of sight information calculation module
154: Eye line event detection module
160: Interest point detection module 170: Operation function module

Claims (1)

무인기로부터 수신된 영상 정보 및 항법 정보를 헤드 마운트 디스플레이(HMD)를 통해 표시하는 영상 처리 모듈;
사용자의 머리 움직임을 검출하는 머리 회전 산출 모듈;
사용자의 눈의 움직임을 검출하는 시선추적 인터페이스 모듈; 및
사용자의 머리 회전 및 눈의 움직임에 따른 시선 이벤트를 확인하고, 확인된 시선 이벤트와 대응하는 제어 명령을 무인기로 전달하는 동작 기능 모듈;
을 포함하는 HMD를 이용한 무인기 조종 장치.An image processing module for displaying image information and navigation information received from the UAV through a head mount display (HMD);
A head rotation calculation module for detecting a head movement of a user;
A gaze tracking interface module for detecting a movement of a user's eye; And
An operation function module for confirming a line-of-sight event according to a user's head rotation and eye movement, and transmitting a control command corresponding to the confirmed line-of-sight event to a UAV;
And a control unit for controlling the operation of the UAV.
KR1020160011833A 2016-01-29 2016-01-29 Apparatus for unmanned aerial vehicle controlling using head mounted display KR102449439B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160011833A KR102449439B1 (en) 2016-01-29 2016-01-29 Apparatus for unmanned aerial vehicle controlling using head mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160011833A KR102449439B1 (en) 2016-01-29 2016-01-29 Apparatus for unmanned aerial vehicle controlling using head mounted display

Publications (2)

Publication Number Publication Date
KR20170090888A true KR20170090888A (en) 2017-08-08
KR102449439B1 KR102449439B1 (en) 2022-09-30

Family

ID=59652955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160011833A KR102449439B1 (en) 2016-01-29 2016-01-29 Apparatus for unmanned aerial vehicle controlling using head mounted display

Country Status (1)

Country Link
KR (1) KR102449439B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681403A (en) * 2018-05-18 2018-10-19 吉林大学 A kind of trolley control method using eye tracking
JP2019079091A (en) * 2017-10-20 2019-05-23 株式会社富士通ビー・エス・シー Moving body control program, moving body control method and information processing apparatus
KR20190129379A (en) * 2018-05-10 2019-11-20 한국해양과학기술원 Underwater Remote Unmanned System
DE102018210824A1 (en) 2018-07-02 2020-01-02 Audi Ag Method and system for illuminating an area in the surroundings of a vehicle
JP2020005114A (en) * 2018-06-27 2020-01-09 学校法人東海大学 Remote control device, remote control system, remote control method, and remote control program
KR20200010895A (en) * 2018-07-23 2020-01-31 주식회사 아르고스다인 UAV landing induction method
KR102063520B1 (en) * 2019-02-01 2020-02-11 김민성 The simulating apparatus
EP3865984A1 (en) * 2020-02-13 2021-08-18 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
US11625037B2 (en) 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060026273A (en) 2004-09-20 2006-03-23 삼성전자주식회사 Apparatus and method for inputting key of hmd information terminal
KR100696275B1 (en) * 2001-08-24 2007-03-20 뉴로스카이 인코포레이션 Radio telemetric system and method using brain potentials for remote control of toy
US20140217242A1 (en) * 2011-03-28 2014-08-07 Prox Dynamics As Uav kit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696275B1 (en) * 2001-08-24 2007-03-20 뉴로스카이 인코포레이션 Radio telemetric system and method using brain potentials for remote control of toy
KR20060026273A (en) 2004-09-20 2006-03-23 삼성전자주식회사 Apparatus and method for inputting key of hmd information terminal
US20140217242A1 (en) * 2011-03-28 2014-08-07 Prox Dynamics As Uav kit

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jaeseung Kim et al, Development of a quadrotor system control interface for aerial photography based on user posture using HMD, Journal of Electrical Engineers 64(7), 2015.7, 1056-1063(8 pages) *
John P. E. et al, The Dawn of Personal Drones, CHI'13, April 27-May 2, 2013, Paris, France.* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079091A (en) * 2017-10-20 2019-05-23 株式会社富士通ビー・エス・シー Moving body control program, moving body control method and information processing apparatus
KR20190129379A (en) * 2018-05-10 2019-11-20 한국해양과학기술원 Underwater Remote Unmanned System
CN108681403A (en) * 2018-05-18 2018-10-19 吉林大学 A kind of trolley control method using eye tracking
JP2020005114A (en) * 2018-06-27 2020-01-09 学校法人東海大学 Remote control device, remote control system, remote control method, and remote control program
DE102018210824A1 (en) 2018-07-02 2020-01-02 Audi Ag Method and system for illuminating an area in the surroundings of a vehicle
KR20200010895A (en) * 2018-07-23 2020-01-31 주식회사 아르고스다인 UAV landing induction method
KR102063520B1 (en) * 2019-02-01 2020-02-11 김민성 The simulating apparatus
EP3865984A1 (en) * 2020-02-13 2021-08-18 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
US11625037B2 (en) 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles

Also Published As

Publication number Publication date
KR102449439B1 (en) 2022-09-30

Similar Documents

Publication Publication Date Title
KR20170090888A (en) Apparatus for unmanned aerial vehicle controlling using head mounted display
US11733692B2 (en) Systems and methods for controlling an unmanned aerial vehicle
US10897567B2 (en) Systems and methods for controlling an image captured by an imaging device
US8958928B2 (en) Method and an appliance for remotely controlling a drone, in particular a rotary wing drone
US10222792B2 (en) Drone piloting device adapted to hold piloting commands and associated control method
US20190042003A1 (en) Controller with Situational Awareness Display
US20200387238A1 (en) Controller with situational awareness display
WO2016138690A1 (en) Motion sensing flight control system based on smart terminal and terminal equipment
JP4012749B2 (en) Remote control system
Higuchi et al. Flying head: A head-synchronization mechanism for flying telepresence
US11804052B2 (en) Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
KR101408077B1 (en) An apparatus and method for controlling unmanned aerial vehicle using virtual image
JP2018165066A (en) Head mounted display and method for controlling the same
US20230097676A1 (en) Tactical advanced robotic engagement system
JP2015006875A (en) System and method for fine positioning of vtol stare point
WO2018184232A1 (en) Body sensing remote control method, control apparatus, gimbal and unmanned aerial vehicle
US20230341875A1 (en) Unmanned aerial vehicle, control method and control system thereof, handheld control device, and head-mounted device
Watson et al. Simulation-based environment for the eye-tracking control of tele-operated mobile robots
KR20180025416A (en) Drone flying control system and method using motion recognition and virtual reality
JP7482923B2 (en) Unmanned aerial vehicle control device and control method thereof
JP6699944B2 (en) Display system
KR20180060403A (en) Control apparatus for drone based on image
O'Keeffe et al. Oculus rift application for training drone pilots
KR101973174B1 (en) Apparatus for controlling drone based on gesture-recognition and method for using the same
KR102263227B1 (en) Method and apparatus for control unmanned vehicle using artificial reality with relative navigation information

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant