KR102509068B1 - Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle - Google Patents

Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle Download PDF

Info

Publication number
KR102509068B1
KR102509068B1 KR1020210113196A KR20210113196A KR102509068B1 KR 102509068 B1 KR102509068 B1 KR 102509068B1 KR 1020210113196 A KR1020210113196 A KR 1020210113196A KR 20210113196 A KR20210113196 A KR 20210113196A KR 102509068 B1 KR102509068 B1 KR 102509068B1
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
haptic
user
point
Prior art date
Application number
KR1020210113196A
Other languages
Korean (ko)
Other versions
KR20230030933A (en
Inventor
전석희
오가이 타티아나
압둘랄리 알센
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020210113196A priority Critical patent/KR102509068B1/en
Publication of KR20230030933A publication Critical patent/KR20230030933A/en
Application granted granted Critical
Publication of KR102509068B1 publication Critical patent/KR102509068B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

무인 비행체를 이용한 햅틱 장치, 햅틱 시스템 및 햅틱 제어방법이 개시된다. 본 발명의 일 실시예에 따른 햅틱 시스템은 기 설정된 무게를 가지는 하중(load)의 일단과 줄(string)을 통해 연결되어, 햅틱 장치의 제어에 따라 주행하는 무인 비행체; 하중과 무인 비행체 사이의 줄에 접촉되게 형성되어, 사용자 손의 접촉이 발생함에 따라 무인 비행체의 주행 위치에 대응되는 피드팩 힘을 발생시키기 위한 햅틱 포인트; 및 사용자 손의 변위를 기반으로 무인 비행체의 주행 위치를 결정하되, 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용하며, 결정된 무인 비행체의 주행 위치를 기초로 무인 비행체의 주행을 제어하기 위한 햅틱 장치를 포함한다.A haptic device, a haptic system, and a haptic control method using an unmanned aerial vehicle are disclosed. A haptic system according to an embodiment of the present invention includes an unmanned aerial vehicle that is connected to one end of a load having a predetermined weight through a string and travels under the control of a haptic device; A haptic point formed to be in contact with the string between the load and the unmanned aerial vehicle to generate a feed pack force corresponding to the driving position of the unmanned aerial vehicle when a user's hand touches it; and determining the driving position of the unmanned aerial vehicle based on the displacement of the user's hand, using a rendering algorithm for estimating input parameters of the unmanned aerial vehicle by calculating an unmanned aerial vehicle control vector for generating a feedback force, and driving the determined unmanned aerial vehicle A haptic device for controlling the driving of an unmanned aerial vehicle based on a location is included.

Description

무인 비행체를 이용한 햅틱 장치, 햅틱 시스템 및 햅틱 제어방법{Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle}Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle {Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle}

본 발명의 실시예들은 무인 비행체를 이용한 햅틱 장치, 햅틱 시스템 및 햅틱 제어방법과 관련된다.Embodiments of the present invention relate to a haptic device, a haptic system, and a haptic control method using an unmanned aerial vehicle.

가상현실(virtual reality)은 컴퓨터 등을 사용한 인공적인 기술로 생성한 가상의 공간 상에서 구현되는 실제와 유사한 가상 환경, 가상 상황 또는 해당 기술 자체를 의미할 수 있다. 이때 가상 환경 또는 가상 상황은 사용자의 오감을 자극하여 실제와 유사한 공간적, 시간적 체험을 통해 현실과 가상의 경계를 자유롭게 체험할 수 있도록 할 수 있다.Virtual reality may refer to a virtual environment, a virtual situation, or the corresponding technology itself implemented in a virtual space created by artificial technology using a computer or the like. At this time, the virtual environment or virtual situation can stimulate the user's five senses so that he can freely experience the boundary between reality and virtuality through a spatial and temporal experience similar to real life.

한편, 상술한 가상현실 기술이 다양한 방식으로 보다 실감나게 사용자에게 제공될 수 있도록 드론과 같은 장치를 적용하는 기술도 제안되고 있는 실정이다.On the other hand, a technology of applying a device such as a drone is also being proposed so that the above-described virtual reality technology can be provided to users more realistically in various ways.

대한민국 공개특허공보 제10-2016-0138806호 (2016. 12. 06.)Republic of Korea Patent Publication No. 10-2016-0138806 (2016. 12. 06.)

본 발명의 실시예들은 작업 공간이 상대적으로 넓은 가상 환경에서 햅틱 상호 작용을 렌더링하는데 사용할 수 있는 비접지 방식의 무인 비행체를 이용한 햅틱 장치, 햅틱 시스템 및 햅틱 제어방법을 제공하는 것이다.Embodiments of the present invention provide a haptic device, a haptic system, and a haptic control method using an ungrounded unmanned aerial vehicle that can be used to render haptic interactions in a virtual environment with a relatively wide working space.

본 발명의 예시적인 실시예에 따르면, 햅틱 시스템은 기 설정된 무게를 가지는 하중(load)의 일단과 줄(string)을 통해 연결되어, 햅틱 장치의 제어에 따라 주행하는 무인 비행체; 상기 하중과 상기 무인 비행체 사이의 상기 줄에 접촉되게 형성되어, 사용자 손의 접촉이 발생함에 따라 상기 무인 비행체의 주행 위치에 대응되는 피드팩 힘을 발생시키기 위한 햅틱 포인트; 및 상기 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하되, 상기 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용하며, 결정된 상기 무인 비행체의 주행 위치를 기초로 상기 무인 비행체의 주행을 제어하기 위한 햅틱 장치를 포함한다.According to an exemplary embodiment of the present invention, the haptic system includes: an unmanned aerial vehicle that is connected to one end of a load having a predetermined weight through a string and travels under the control of a haptic device; a haptic point formed to be in contact with the string between the load and the unmanned aerial vehicle to generate a feed pack force corresponding to a driving position of the unmanned aerial vehicle when a user's hand touches; and determining a driving position of the unmanned aerial vehicle based on the displacement of the user's hand, using a rendering algorithm for estimating an input parameter of the unmanned aerial vehicle by calculating an unmanned aerial vehicle control vector for generating the feedback force. A haptic device for controlling the driving of the unmanned aerial vehicle based on the driving position of the unmanned aerial vehicle is included.

또한, 상기 햅틱 시스템은 상기 햅틱 포인트에 인접하게 형성되어, 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함하는 무인 비행체의 입력 파라미터에 기초한 상기 무인 비행체의 주행으로 발생되는 무인 비행체 제어 벡터를 측정하기 위한 힘 센서를 더 포함할 수 있다.In addition, the haptic system is formed adjacent to the haptic point to drive the unmanned aerial vehicle based on input parameters of the unmanned aerial vehicle including throttle, yaw, roll, and pitch. A force sensor for measuring the generated unmanned aerial vehicle control vector may be further included.

상기 햅틱 장치는, 상기 무인 비행체에 적용된 상기 무인 비행체의 입력 파라미터 및 이와 관련된 상기 무인 비행체 제어 벡터를 수집 및 학습하여 상기 무인 비행체 제어 벡터에 대응되는 상기 무인 비행체의 입력 파라미터를 추정하기 위한 상기 렌더링 알고리즘을 획득할 수 있다.The haptic device collects and learns an input parameter of the unmanned aerial vehicle applied to the unmanned aerial vehicle and the unmanned aerial vehicle control vector related thereto, and the rendering algorithm for estimating the input parameter of the unmanned aerial vehicle corresponding to the unmanned aerial vehicle control vector can be obtained.

상기 햅틱 장치는, 상기 햅틱 포인트의 위치를 기준점이라고 할 때, 상기 기준점에서 상기 하중으로 인해 발생하는 중력 벡터, 상기 무인 비행체 제어 벡터 및 상기 햅틱 포인트로부터 발생되는 피드백 힘 벡터의 합을 0으로 설정할 수 있다.When the location of the haptic point is referred to as a reference point, the haptic device may set a sum of a gravity vector generated by the load at the reference point, the unmanned aerial vehicle control vector, and a feedback force vector generated from the haptic point to 0. there is.

상기 햅틱 장치는, 상기 중력 벡터(

Figure 112021098851132-pat00001
)는
Figure 112021098851132-pat00002
이고, 상기 피드백 힘 벡터(
Figure 112021098851132-pat00003
)는
Figure 112021098851132-pat00004
인 경우, 상기 무인 비행체 제어 벡터(
Figure 112021098851132-pat00005
)를
Figure 112021098851132-pat00006
기준으로 산출할 수 있다.The haptic device, the gravity vector (
Figure 112021098851132-pat00001
)Is
Figure 112021098851132-pat00002
And the feedback force vector (
Figure 112021098851132-pat00003
)Is
Figure 112021098851132-pat00004
In the case of , the unmanned aerial vehicle control vector (
Figure 112021098851132-pat00005
)cast
Figure 112021098851132-pat00006
can be calculated based on

상기 무인 비행체가 한 개인 경우, 상기 햅틱 장치는, 수학식 1을 기초로 상기 햅틱 포인트에서 발생하는 피드백 힘을 파악하고, 상기 수학식 1은

Figure 112021098851132-pat00007
이고, 상기 F는 상기 피드백 힘, 상기
Figure 112021098851132-pat00008
는 상기 하중의 중력, 상기
Figure 112021098851132-pat00009
는 상기 무인 비행체의 제어 추력(thrust force) 및 상기
Figure 112021098851132-pat00010
는 상기 무인 비행체의 주행 위치로 인해 지면을 기준으로 발생하는 피치(pitch)일 수 있다.When there is one unmanned aerial vehicle, the haptic device determines the feedback force generated at the haptic point based on Equation 1, and Equation 1 is
Figure 112021098851132-pat00007
, wherein F is the feedback force, the
Figure 112021098851132-pat00008
is the gravity of the load,
Figure 112021098851132-pat00009
Is the control thrust of the unmanned aerial vehicle and the
Figure 112021098851132-pat00010
may be a pitch generated relative to the ground due to the driving position of the unmanned aerial vehicle.

상기 무인 비행체가 복수 대인 경우, 상기 햅틱 장치는, 수학식 2를 기초로 상기 햅틱 포인트에서 발생하는 피드백 힘을 파악하고, 상기 수학식 2는

Figure 112021098851132-pat00011
이고, 상기 F는 상기 피드백 힘, 상기
Figure 112021098851132-pat00012
는 상기 하중의 중력, 상기
Figure 112021098851132-pat00013
,
Figure 112021098851132-pat00014
,
Figure 112021098851132-pat00015
는 상기 복수 대의 무인 비행체 각각의 제어 추력(thrust force) 및 상기
Figure 112021098851132-pat00016
,
Figure 112021098851132-pat00017
,
Figure 112021098851132-pat00018
는 상기 복수 대의 무인 비행체 각각의 주행 위치로 인해 지면을 기준으로 발생하는 피치(pitch)일 수 있다.When there are a plurality of unmanned aerial vehicles, the haptic device determines the feedback force generated at the haptic point based on Equation 2, and Equation 2 is
Figure 112021098851132-pat00011
, wherein F is the feedback force, the
Figure 112021098851132-pat00012
is the gravity of the load,
Figure 112021098851132-pat00013
,
Figure 112021098851132-pat00014
,
Figure 112021098851132-pat00015
Is the control thrust of each of the plurality of unmanned aerial vehicles and the
Figure 112021098851132-pat00016
,
Figure 112021098851132-pat00017
,
Figure 112021098851132-pat00018
may be a pitch generated relative to the ground due to the driving position of each of the plurality of unmanned aerial vehicles.

또한, 햅틱 시스템은 상기 사용자 손에 부착된 제1 마커(marker); 상기 줄에 부착된 제2 마커; 및 상기 사용자와 대향되게 위치하여, 상기 제1 및 제2 마커를 촬영하여 상기 제1 및 제2 마커의 영상을 획득하기 위한 영상 촬영기를 더 포함할 수 있다.In addition, the haptic system includes a first marker attached to the user's hand; a second marker attached to the string; and an imaging device positioned to face the user and capturing images of the first and second markers by capturing the first and second markers.

상기 햅틱 장치는, 상기 영상 촬영기를 통해 획득된 상기 제1 마커 영상을 통해 상기 사용자의 손을 검출 및 추적하고 상기 제2 마커 영상을 통해 상기 무인 비행체의 위치를 검출 및 추적할 수 있다.The haptic device may detect and track the user's hand through the first marker image obtained through the image camera and detect and track the position of the unmanned aerial vehicle through the second marker image.

상기 햅틱 장치는, 상기 햅틱 포인트가 상기 사용자의 손에 기 설정된 거리 이내로 인접하게 위치하도록 상기 무인 비행체의 주행 위치를 결정할 수 있다.The haptic device may determine the driving position of the unmanned aerial vehicle so that the haptic point is located adjacent to the user's hand within a preset distance.

본 발명의 다른 예시적인 실시예에 따르면, 햅틱 제어 방법은 기 설정된 무게를 가지는 하중(load)과 무인 비행체 사이에 줄(string)을 통해 연결되어 있는 햅틱 포인트가 사용자 손의 접촉을 인지하는 단계; 상기 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하는 단계; 및 상기 햅틱 포인트에서 상기 무인 비행체의 주행 위치에 대응되는 피드백 힘을 발생시키는 단계를 포함한다.According to another exemplary embodiment of the present invention, a haptic control method includes recognizing a contact of a user's hand with a haptic point connected between a load having a predetermined weight and an unmanned aerial vehicle through a string; determining a driving position of the unmanned aerial vehicle based on the displacement of the user's hand; and generating a feedback force corresponding to the driving position of the unmanned aerial vehicle at the haptic point.

또한, 햅틱 제어 방법은 상기 사용자의 손의 접촉을 인지하는 단계 이전에, 상기 햅틱 포인트가 사용자 손의 초기 접촉을 인지하는 단계를 더 포함할 수 있다.Also, the haptic control method may further include recognizing an initial contact of the user's hand by the haptic point before recognizing the contact of the user's hand.

또한, 햅틱 제어 방법은 상기 무인 비행체의 주행 위치를 결정하는 단계에서, 상기 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하되, 상기 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용할 수 있다.In addition, in the step of determining the driving position of the unmanned aerial vehicle, the haptic control method determines the driving position of the unmanned aerial vehicle based on the displacement of the user's hand, and calculates an unmanned aerial vehicle control vector for generating the feedback force. A rendering algorithm for estimating the input parameters of the unmanned aerial vehicle may be used.

또한, 햅틱 제어 방법은 상기 초기 접촉을 인지하는 단계 이전에, 상기 무인 비행체에 적용된 무인 비행체의 입력 파라미터 및 이와 관련된 무인 비행체 제어 벡터를 수집하는 단계; 및 수집된 상기 무인 비행체의 입력 파라미터 및 상기 무인 비행체 제어 벡터를 학습하여 상기 무인 비행체 제어 벡터에 대응되는 상기 무인 비행체의 입력 파라미터를 추정하기 위한 상기 렌더링 알고리즘을 생성하는 단계를 더 포함할 수 있다.In addition, the haptic control method may include, before the step of recognizing the initial contact, collecting an input parameter of the unmanned aerial vehicle applied to the unmanned aerial vehicle and an unmanned aerial vehicle control vector related thereto; and learning the collected input parameters of the unmanned aerial vehicle and the unmanned aerial vehicle control vector to generate the rendering algorithm for estimating the input parameter of the unmanned aerial vehicle corresponding to the unmanned aerial vehicle control vector.

상기 무인 비행체의 입력 파라미터는, 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함할 수 있다.Input parameters of the unmanned aerial vehicle may include throttle, yaw, roll, and pitch.

또한, 햅틱 제어 방법은 상기 무인 비행체의 주행 위치를 결정하는 단계에서, 상기 햅틱 포인트의 위치를 기준점이라고 할 때, 상기 기준점에서 상기 하중으로 인해 발생하는 중력 벡터, 상기 무인 비행체 제어 벡터 및 상기 햅틱 포인트로부터 발생되는 피드백 힘 벡터의 합을 0으로 설정할 수 있다.In addition, in the haptic control method, when the position of the haptic point is referred to as a reference point in the step of determining the driving position of the unmanned aerial vehicle, the gravity vector generated by the load at the reference point, the unmanned aerial vehicle control vector, and the haptic point The sum of feedback force vectors generated from may be set to zero.

또한, 햅틱 제어 방법은 상기 무인 비행체의 주행 위치를 결정하는 단계에서, 상기 중력 벡터(

Figure 112021098851132-pat00019
)는
Figure 112021098851132-pat00020
이고, 상기 피드백 힘 벡터(
Figure 112021098851132-pat00021
)는
Figure 112021098851132-pat00022
인 경우, 상기 무인 비행체 제어 벡터(
Figure 112021098851132-pat00023
)를
Figure 112021098851132-pat00024
기준으로 산출할 수 있다.In addition, in the step of determining the driving position of the unmanned aerial vehicle, the haptic control method determines the gravity vector (
Figure 112021098851132-pat00019
)Is
Figure 112021098851132-pat00020
And the feedback force vector (
Figure 112021098851132-pat00021
)Is
Figure 112021098851132-pat00022
In the case of , the unmanned aerial vehicle control vector (
Figure 112021098851132-pat00023
)cast
Figure 112021098851132-pat00024
can be calculated based on

본 발명의 다른 예시적인 실시예에 따르면, 햅틱 장치는 기 설정된 무게를 가지는 하중(load), 상기 하중 상부에 위치하는 햅틱 포인트 및 상기 햅틱 포인트 상부에 위치하는 무인 비행체가 줄(string)을 통해 연결되어 있는 상태에서, 상기 햅틱 포인트의 사용자 손의 접촉을 인지하면 접촉된 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하고, 상기 무인 비행체의 주행 위치를 기초로 상기 무인 비행체의 주행을 제어하여 상기 햅틱 포인트에서 사용자 접촉에 대한 피드백 힘을 발생시키도록 하기 위한 컨트롤러; 및 상기 무인 비행체에 적용된 무인 비행체의 입력 파라미터 및 이와 관련된 무인 비행체 제어 벡터를 수집 및 학습하여 특정 무인 비행체 제어 벡터에 대응되는 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 획득하는 학습 처리부를 포함한다.According to another exemplary embodiment of the present invention, the haptic device includes a load having a predetermined weight, a haptic point positioned above the load, and an unmanned aerial vehicle positioned above the haptic point connected through a string. In this state, when recognizing the contact of the user's hand with the haptic point, the driving position of the unmanned aerial vehicle is determined based on the displacement of the user's hand, and the driving of the unmanned aerial vehicle is determined based on the driving position of the unmanned aerial vehicle. a controller for controlling to generate a feedback force for user contact at the haptic point; and a learning processing unit for obtaining a rendering algorithm for estimating input parameters of the UAV corresponding to a specific UAV control vector by collecting and learning input parameters of the UAV applied to the UAV and related UAV control vectors. .

상기 컨트롤러는, 상기 피드백 힘의 발생을 위한 상기 무인 비행체 제어 벡터를 계산하여 상기 무인 비행체의 입력 파라미터를 추정하기 위한 상기 렌더링 알고리즘을 이용하여 상기 무인 비행체의 주행 위치를 파악할 수 있다.The controller may determine the driving position of the unmanned aerial vehicle by using the rendering algorithm for estimating an input parameter of the unmanned aerial vehicle by calculating the unmanned aerial vehicle control vector for generating the feedback force.

상기 학습 처리부는, 상기 햅틱 포인트에 인접하게 형성된 힘 센서를 통해 측정된 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함하는 상기 무인 비행체의 입력 파라미터에 기초한 상기 무인 비행체의 주행으로 발생되는 상기 무인 비행체 제어 벡터를 획득하여 상기 렌더링 알고리즘을 생성할 수 있다.The learning processing unit controls the unmanned aerial vehicle based on input parameters of the unmanned aerial vehicle including throttle, yaw, roll, and pitch measured through a force sensor formed adjacent to the haptic point. The rendering algorithm may be generated by obtaining the unmanned aerial vehicle control vector generated by the vehicle traveling.

본 발명의 실시예들에 따르면, 이격된 무인 비행체와의 햅틱 상호 작용을 통해 햅틱 포인트에서의 피드백 힘을 제공할 수 있기 때문에, 사용자가 무인 비행체와 이격된 안전한 상태에서 가상현실 체험 서비스를 제공받을 수 있다는 효과를 기대할 수 있다.According to the embodiments of the present invention, since feedback force can be provided at the haptic point through haptic interaction with the unmanned aerial vehicle, the user can receive the virtual reality experience service in a safe state separated from the unmanned aerial vehicle. effect can be expected.

또한, 본 발명의 실시예들은 작업 공간에서 무인 비행체를 비롯하여 실제 햅틱 제어 서비스를 제공하는 대상이 사용자의 신체에 부착되지 않고 이격된 상태에서 사용자의 이동에 따라 이동할 수 있기 때문에, 웨어러블(wearable) 기기에 비해 사용자의 이동이 자유롭고, 이에 따라 활용될 수 있는 분야가 다양할 수 있다는 장점이 있다.In addition, in the embodiments of the present invention, since the object providing the actual haptic control service, including the unmanned aerial vehicle, can move along with the user's movement in a spaced state without being attached to the user's body, wearable devices Compared to the above, there is an advantage in that the user's movement is free and the fields that can be utilized accordingly can be diverse.

도 1은 본 발명의 일 실시예에 따른 무인 비행체를 이용한 햅틱 시스템을 설명하기 위한 블록도
도 2는 도 1의 햅틱 장치를 상세하게 설명하기 위한 블록도
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 햅틱 포인트와 무인 비행체 간의 동작 관계를 설명하기 위한 예시도
도 4 내지 도 6은 본 발명의 일 실시예에 따른 햅틱 제어 방법을 설명하기 위한 예시도
도 7은 본 발명의 일 실시예에 따른 힘의 합을 설명하기 위한 예시도
도 8은 본 발명의 일 실시예에 따른 무인 비행체 제어 벡터 산출 방법을 설명하기 위한 도면
도 9 내지 도 11은 본 발명의 일 실시예에 따른 힘 벡터를 측정하는 방법을 설명하기 위한 예시도
도 12는 본 발명의 다른 실시예에 따른 무인 비행체가 복수 대인 경우의 햅틱 제어 방법을 설명하기 위한 예시도
도 13은 본 발명의 일 실시예에 따른 무인 비행체를 이용한 햅틱 제어 방법을 설명하기 위한 흐름도
도 14는 본 발명의 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram for explaining a haptic system using an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a block diagram for explaining the haptic device of FIG. 1 in detail;
3A to 3D are exemplary diagrams for explaining a motion relationship between a haptic point and an unmanned aerial vehicle according to an embodiment of the present invention.
4 to 6 are exemplary diagrams for explaining a haptic control method according to an embodiment of the present invention.
7 is an exemplary view for explaining the sum of forces according to an embodiment of the present invention
8 is a diagram for explaining a method for calculating an unmanned aerial vehicle control vector according to an embodiment of the present invention.
9 to 11 are exemplary diagrams for explaining a method of measuring a force vector according to an embodiment of the present invention.
12 is an exemplary diagram for explaining a haptic control method in case of a plurality of unmanned aerial vehicles according to another embodiment of the present invention.
13 is a flowchart for explaining a haptic control method using an unmanned aerial vehicle according to an embodiment of the present invention.
14 is a block diagram for illustrating and describing a computing environment including a computing device according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The detailed descriptions that follow are provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is only for describing the embodiments of the present invention and should in no way be limiting. Unless expressly used otherwise, singular forms of expression include plural forms. In this description, expressions such as “comprising” or “comprising of” are intended to indicate certain characteristics, numbers, steps, operations, elements, some or combinations thereof, and one or more other than those described. It should not be construed to exclude the existence or possibility of any other feature, number, step, operation, element, part or combination thereof.

도 1은 본 발명의 일 실시예에 따른 무인 비행체를 이용한 햅틱 시스템을 설명하기 위한 블록도이다.1 is a block diagram illustrating a haptic system using an unmanned aerial vehicle according to an embodiment of the present invention.

도 1을 참고하면, 무인 비행체를 이용한 햅틱 시스템(101)은 무인 비행체(100), 햅틱 포인트(200), 하중(load)(300) 및 햅틱 장치(400)를 포함한다.Referring to FIG. 1 , a haptic system 101 using an unmanned aerial vehicle includes an unmanned aerial vehicle 100, a haptic point 200, a load 300, and a haptic device 400.

무인 비행체(100)는 기 설정된 무게를 가지는 하중(300)의 일단과 줄(string)을 통해 연결되어, 햅틱 장치(400)의 제어에 따라 주행할 수 있다.The unmanned aerial vehicle 100 is connected to one end of the load 300 having a predetermined weight through a string, and may travel under the control of the haptic device 400.

도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 햅틱 포인트와 무인 비행체 간의 동작 관계를 설명하기 위한 예시도이다.3A to 3D are exemplary diagrams for explaining a motion relationship between a haptic point and an unmanned aerial vehicle according to an embodiment of the present invention.

도 3a 내지 도 3d에서 도시하는 바와 같이, 공중에 떠 있는 상태의 무인 비행(100)가 지면에 인접하게 위치한 하중(300)과 줄을 통해 연결된 상태일 수 있다. 도 3a 내지 도 3d에서,

Figure 112021098851132-pat00025
는 무인 비행체(100)의 제어 추력(thrust force)이고,
Figure 112021098851132-pat00026
는 하중(300)의 중력일 수 있다. 이때, 무게가 m인 하중(300)은 줄을 통해 무인 비행체(100)에 부착된 형태로 위치할 수 있다.As shown in FIGS. 3A to 3D , an unmanned flight 100 floating in the air may be connected to a load 300 positioned adjacent to the ground through a line. In Figures 3a to 3d,
Figure 112021098851132-pat00025
Is the control thrust of the unmanned aerial vehicle 100,
Figure 112021098851132-pat00026
may be the gravity of the load 300. At this time, the load 300 having a weight of m may be located in a form attached to the unmanned aerial vehicle 100 through a string.

햅틱 포인트(200)는 하중(300)과 무인 비행체(100) 사이의 줄에 접촉되게 형성되어, 사용자 손의 접촉이 발생함에 따라 무인 비행체(100)의 주행 위치에 대응되는 피드팩 힘(도 3c 및 도 3d의 F)을 발생시키기 위한 구성일 수 있다.The haptic point 200 is formed to be in contact with the string between the load 300 and the unmanned aerial vehicle 100, and as the contact of the user's hand occurs, the feed pack force corresponding to the driving position of the unmanned aerial vehicle 100 (FIG. 3c) And it may be a configuration for generating F) of FIG. 3d.

도 3b를 참고하면, 사용자와 햅틱 시스템(101) 간의 초기 접촉은 사용자 손이 햅틱 포인트(200)를 초기 접촉함에 따라 햅틱 포인트(200)에서 발생할 수 있다. 이후, 도 3c 및 도 3d를 참고하면, 무인 비행체(100)가 하중(300)을 들어 올린 상태에서 사용자 손이 무인 비행체(100)와 하중(300) 사이의 줄에 형성된 햅틱 포인트(200)를 터치함에 따라 가상 환경에서의 렌더링 서비스를 제공받을 수 있는 것이다. 이때, 햅틱 포인트(200)는 사용자의 터치에 따라 전후좌우 다방면으로 이동할 수 있고, 햅틱 장치(400)의 제어에 따라 사용자의 터치에 대응되는 피드백 힘을 발생시킬 수 있다.Referring to FIG. 3B , initial contact between the user and the haptic system 101 may occur at the haptic point 200 as the user's hand initially contacts the haptic point 200 . Then, referring to FIGS. 3C and 3D , in a state where the unmanned aerial vehicle 100 lifts the load 300, the user's hand touches the haptic point 200 formed on the string between the unmanned aerial vehicle 100 and the load 300. By touching it, a rendering service in a virtual environment can be provided. In this case, the haptic point 200 can move in various directions according to the user's touch, and can generate feedback force corresponding to the user's touch according to the control of the haptic device 400 .

도 3c 및 도 3d는 사용자가 햅틱 포인트(200)를 밀거나 당기는 접촉에 따라 햅틱 포인트(200)에서 발생되는 피드백 힘(F)을 나타낸 것이다.3C and 3D show the feedback force F generated at the haptic point 200 according to the contact of the user pushing or pulling the haptic point 200 .

도 3c 및 도 3d를 참고하면, 하중(300)으로 인한 중력이 일정하게 유지되기 때문에, 본 실시예들에 따른 햅틱 장치(400)는 무인 비행체(100)의 추력과 피치를 제어하여 접촉 위치의 피드백 힘을 렌더링할 수 있는 것이다.Referring to FIGS. 3C and 3D , since gravity due to the load 300 is kept constant, the haptic device 400 according to the present embodiments controls the thrust and pitch of the unmanned aerial vehicle 100 to determine the contact position. It is possible to render the feedback force.

햅틱 장치(400)는 사용자 손의 변위를 기반으로 무인 비행체(100)의 주행 위치를 결정하되, 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용하며, 결정된 무인 비행체의 주행 위치를 기초로 무인 비행체(100)의 주행을 제어하기 위한 구성일 수 있다.The haptic device 400 determines the driving position of the unmanned aerial vehicle 100 based on the displacement of the user's hand, calculates the unmanned aerial vehicle control vector for generating feedback force, and uses a rendering algorithm for estimating input parameters of the unmanned aerial vehicle. It may be configured to control the driving of the unmanned aerial vehicle 100 based on the determined driving position of the unmanned aerial vehicle.

햅틱 장치(400)는 무인 비행체(100)에 적용된 무인 비행체의 입력 파라미터 및 이와 관련된 무인 비행체 제어 벡터를 수집 및 학습하여 무인 비행체 제어 벡터에 대응되는 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 획득할 수 있다.The haptic device 400 acquires a rendering algorithm for estimating input parameters of the unmanned aerial vehicle corresponding to the unmanned aerial vehicle control vector by collecting and learning input parameters of the unmanned aerial vehicle applied to the unmanned aerial vehicle 100 and related unmanned aerial vehicle control vectors can do.

예를 들어, 햅틱 장치(400)는

Figure 112021098851132-pat00027
와 같은 무인 비행체의 입력 파라미터와
Figure 112021098851132-pat00028
와 같은 무인 비행체 제어 벡터를 수집할 수 있다. For example, the haptic device 400
Figure 112021098851132-pat00027
The input parameters of the unmanned air vehicle such as
Figure 112021098851132-pat00028
Unmanned air vehicle control vectors such as can be collected.

상술한 렌더링 알고리즘은 피드백 힘 벡터(

Figure 112021098851132-pat00029
)를 제공하기 위해 무인 비행체(100)가 주행할 무인 비행체 제어 벡터(
Figure 112021098851132-pat00030
)를 계산할 수 있는 알고리즘을 의미할 수 있다.The above rendering algorithm is a feedback force vector (
Figure 112021098851132-pat00029
), the unmanned aerial vehicle 100 will drive the unmanned aerial vehicle control vector (
Figure 112021098851132-pat00030
) may mean an algorithm capable of calculating .

상술한

Figure 112021098851132-pat00031
는
Figure 112021098851132-pat00032
일 수 있다. 또한,
Figure 112021098851132-pat00033
를
Figure 112021098851132-pat00034
로 표현할 수 있다. 이때,
Figure 112021098851132-pat00035
은 스로틀과 관련된 힘 크기(force magnitude)이고,
Figure 112021098851132-pat00036
은
Figure 112021098851132-pat00037
일 수 있다. 상기 단위벡터(unit vector)는 요, 롤 및 피치와 관련된 단위벡터를 의미할 수 있다. mentioned above
Figure 112021098851132-pat00031
Is
Figure 112021098851132-pat00032
can be also,
Figure 112021098851132-pat00033
cast
Figure 112021098851132-pat00034
can be expressed as At this time,
Figure 112021098851132-pat00035
is the force magnitude associated with the throttle,
Figure 112021098851132-pat00036
silver
Figure 112021098851132-pat00037
can be The unit vector may mean a unit vector related to yaw, roll, and pitch.

결과적으로, 햅틱 장치(400)는

Figure 112021098851132-pat00038
를 획득할 수 있다.As a result, the haptic device 400
Figure 112021098851132-pat00038
can be obtained.

구체적으로, 햅틱 장치(400)는 상술한

Figure 112021098851132-pat00039
를 모델링하기 위해 데이터 기반 접근 방식을 이용할 수 있다. 먼저, 햅틱 장치(400)는 상술한
Figure 112021098851132-pat00040
와
Figure 112021098851132-pat00041
를 실제 무인 비행체(100)의 설정으로부터 측정하고, 측정된 데이터를 사용하여
Figure 112021098851132-pat00042
에서
Figure 112021098851132-pat00043
까지의 신경망 학습을 통해 렌더링 알고리즘을 생성할 수 있다. 이후, 햅틱 장치(400)는 실시간으로 주어진
Figure 112021098851132-pat00044
에서
Figure 112021098851132-pat00045
를 추정하는데 렌더링 알고리즘을 이용할 수 있다.Specifically, the haptic device 400 is
Figure 112021098851132-pat00039
A data-driven approach can be used to model First, the haptic device 400 is
Figure 112021098851132-pat00040
and
Figure 112021098851132-pat00041
is measured from the setting of the actual unmanned aerial vehicle 100, and using the measured data
Figure 112021098851132-pat00042
at
Figure 112021098851132-pat00043
A rendering algorithm can be created through neural network learning up to Then, the haptic device 400 is given in real time
Figure 112021098851132-pat00044
at
Figure 112021098851132-pat00045
A rendering algorithm can be used to estimate .

도 7은 본 발명의 일 실시예에 따른 힘의 합을 설명하기 위한 예시도이고, 도 8은 본 발명의 일 실시예에 따른 무인 비행체 제어 벡터 산출 방법을 설명하기 위한 도면이다.7 is an exemplary diagram for explaining the sum of forces according to an embodiment of the present invention, and FIG. 8 is a diagram for explaining a method for calculating an unmanned aerial vehicle control vector according to an embodiment of the present invention.

도 7 및 도 8을 참고하면, 햅틱 장치(400)는 햅틱 포인트(200)의 위치를 기준점(P)이라고 할 때, 기준점에서 하중(mg)(300)으로 인해 발생하는 중력 벡터(도 8의

Figure 112021098851132-pat00046
), 무인 비행체 제어 벡터(도 8의
Figure 112021098851132-pat00047
) 및 햅틱 포인트로부터 발생되는 피드백 힘 벡터(도 8의
Figure 112021098851132-pat00048
)의 합을 0으로 설정할 수 있다. 즉,
Figure 112021098851132-pat00049
인 것이다. 이때, 기준점(0)에서 힘 벡터는 서로 상쇄되기 때문에 0일 수 있는 것이다.Referring to FIGS. 7 and 8 , when the position of the haptic point 200 is referred to as the reference point P, the haptic device 400 generates a gravity vector (in FIG.
Figure 112021098851132-pat00046
), UAV control vector (of FIG. 8)
Figure 112021098851132-pat00047
) and the feedback force vector generated from the haptic point (Fig.
Figure 112021098851132-pat00048
) can be set to 0. in other words,
Figure 112021098851132-pat00049
It is. At this time, the force vectors at the reference point (0) may be 0 because they cancel each other.

도 8을 참고하면, 햅틱 장치(400)는 중력 벡터(

Figure 112021098851132-pat00050
)가
Figure 112021098851132-pat00051
이고, 피드백 힘 벡터(
Figure 112021098851132-pat00052
)가
Figure 112021098851132-pat00053
인 경우, 무인 비행체 제어 벡터(
Figure 112021098851132-pat00054
)를
Figure 112021098851132-pat00055
기준으로 산출할 수 있다. 이때,
Figure 112021098851132-pat00056
=
Figure 112021098851132-pat00057
는
Figure 112021098851132-pat00058
=
Figure 112021098851132-pat00059
일 수 있다. 또한, 무인 비행체의 입력 파라미터는
Figure 112021098851132-pat00060
일 수 있다.Referring to FIG. 8 , the haptic device 400 has a gravity vector (
Figure 112021098851132-pat00050
)go
Figure 112021098851132-pat00051
, and the feedback force vector (
Figure 112021098851132-pat00052
)go
Figure 112021098851132-pat00053
If , the UAV control vector (
Figure 112021098851132-pat00054
)cast
Figure 112021098851132-pat00055
can be calculated based on At this time,
Figure 112021098851132-pat00056
=
Figure 112021098851132-pat00057
Is
Figure 112021098851132-pat00058
=
Figure 112021098851132-pat00059
can be In addition, the input parameters of the unmanned aerial vehicle are
Figure 112021098851132-pat00060
can be

한편, 도 3 내지 도 6과 같이, 무인 비행체(100)가 한 개인 경우, 햅틱 장치(400)는 수학식 1을 기초로 햅틱 포인트(200)에서 발생하는 피드백 힘을 파악할 수 있다.Meanwhile, as shown in FIGS. 3 to 6 , when there is only one unmanned aerial vehicle 100 , the haptic device 400 may determine the feedback force generated at the haptic point 200 based on Equation 1.

[수학식 1][Equation 1]

Figure 112021098851132-pat00061
Figure 112021098851132-pat00061

상기 F는 피드백 힘, 상기

Figure 112021098851132-pat00062
는 하중의 중력, 상기
Figure 112021098851132-pat00063
는 무인 비행체의 제어 추력(thrust force) 및 상기
Figure 112021098851132-pat00064
는 무인 비행체의 주행 위치로 인해 지면을 기준으로 발생하는 피치(pitch)(도 7의
Figure 112021098851132-pat00065
)일 수 있다.The F is the feedback force, the
Figure 112021098851132-pat00062
is the gravitational force of the load,
Figure 112021098851132-pat00063
Is the thrust force of the unmanned aerial vehicle and the
Figure 112021098851132-pat00064
Is the pitch (pitch) generated relative to the ground due to the driving position of the unmanned aerial vehicle (Fig. 7
Figure 112021098851132-pat00065
) can be.

도 12는 본 발명의 다른 실시예에 따른 무인 비행체가 복수 대인 경우의 햅틱 제어 방법을 설명하기 위한 예시도이다.12 is an exemplary diagram for explaining a haptic control method in case of a plurality of unmanned aerial vehicles according to another embodiment of the present invention.

이하에서는, 햅틱 포인트(200)에 줄로 연결된 무인 비행체가 복수 대((100-1, 100-2, 100-3)인 경우를 예로 들어 설명하기로 한다.Hereinafter, a case in which a plurality of unmanned air vehicles ((100-1, 100-2, 100-3) connected to the haptic point 200 by a string will be described as an example.

도 12를 참고하면, 무인 비행체가 복수 대(100-1, 100-2, 100-3)인 경우, 햅틱 장치(400)는 수학식 2를 기초로 햅틱 포인트(200)에서 발생하는 피드백 힘(F)을 파악할 수 있다.Referring to FIG. 12 , when there are a plurality of unmanned aerial vehicles (100-1, 100-2, 100-3), the haptic device 400 calculates the feedback force generated at the haptic point 200 based on Equation 2 ( F) can be identified.

[수학식 2][Equation 2]

Figure 112021098851132-pat00066
Figure 112021098851132-pat00066

상기 F는 피드백 힘, 상기

Figure 112021098851132-pat00067
는 하중의 중력,
Figure 112021098851132-pat00068
,
Figure 112021098851132-pat00069
,
Figure 112021098851132-pat00070
는 복수 대의 무인 비행체(100-1, 100-2, 100-3) 각각의 제어 추력(thrust force) 및 상기
Figure 112021098851132-pat00071
,
Figure 112021098851132-pat00072
,
Figure 112021098851132-pat00073
는 상기 복수 대의 무인 비행체(100-1, 100-2, 100-3) 각각의 주행 위치로 인해 지면을 기준으로 발생하는 피치(pitch)(도 12의
Figure 112021098851132-pat00074
)일 수 있다.The F is the feedback force, the
Figure 112021098851132-pat00067
is the gravity of the load,
Figure 112021098851132-pat00068
,
Figure 112021098851132-pat00069
,
Figure 112021098851132-pat00070
Is the control thrust of each of the plurality of unmanned aerial vehicles (100-1, 100-2, 100-3) and the
Figure 112021098851132-pat00071
,
Figure 112021098851132-pat00072
,
Figure 112021098851132-pat00073
Is a pitch generated relative to the ground due to the driving position of each of the plurality of unmanned aerial vehicles 100-1, 100-2, and 100-3 (FIG. 12
Figure 112021098851132-pat00074
) can be.

도 12와 같이 복수 대의 무인 비행체(100)를 적용한 경우, 햅틱 포인트(200)를 재배치한 후 측면 움직임을 방지하고 안정성을 높이는 효과를 기대할 수 있다. 또한, 복수 대의 무인 비행체(100)를 적용한 경우, 최대 힘이 증가되고 목표 힘 벡터의 방향을 변경할 때 대기 시간이 감소할 수 있다.In the case of applying a plurality of unmanned aerial vehicles 100 as shown in FIG. 12 , after the haptic points 200 are rearranged, an effect of preventing lateral movement and increasing stability can be expected. In addition, when a plurality of unmanned aerial vehicles 100 are applied, the maximum force may be increased and the waiting time when changing the direction of the target force vector may be reduced.

도 6과 같이, 햅틱 장치(400)는 햅틱 포인트(200)가 사용자의 손에 기 설정된 거리 이내로 인접하게 위치하도록 무인 비행체(100)의 주행 위치를 결정할 수 있다.As shown in FIG. 6 , the haptic device 400 may determine the driving position of the unmanned aerial vehicle 100 so that the haptic point 200 is positioned adjacent to the user's hand within a preset distance.

추가로, 햅틱 시스템(101)은 힘 센서(500), 제1 마커(marker)(510), 제2 마커(530), 영상 촬영기(550) 및 VR 헬멧(virtual reality helmet)(570)을 포함한다.Additionally, the haptic system 101 includes a force sensor 500, a first marker 510, a second marker 530, an imager 550, and a virtual reality helmet 570. do.

도 9 내지 도 11은 본 발명의 일 실시예에 따른 힘 벡터를 측정하는 방법을 설명하기 위한 예시도이다.9 to 11 are exemplary diagrams for explaining a method of measuring a force vector according to an embodiment of the present invention.

도 9 내지 도 11을 참고하면, 힘 센서(500)는 햅틱 포인트(200)에 인접하게 형성되어, 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함하는 무인 비행체의 입력 파라미터에 기초한 무인 비행체(100)의 주행으로 발생되는 무인 비행체 제어 벡터를 측정하기 위한 구성일 수 있다.9 to 11, the force sensor 500 is formed adjacent to the haptic point 200, and the unmanned air vehicle including throttle, yaw, roll, and pitch It may be a configuration for measuring an unmanned aerial vehicle control vector generated by driving of the unmanned aerial vehicle 100 based on an input parameter of .

예를 들어, 도 9는 무인 비행체(100)가 초기 설정 위치로 비행하기 전의 초기 상태이고, 도 10은 무인 비행체(100)에 스로틀이 입력된 상태이고, 도 11은 무인 비행체(100)에 요, 롤 및 피치가 입력된 상태일 수 있다.For example, FIG. 9 is an initial state before the unmanned aerial vehicle 100 flies to the initial setting position, FIG. 10 is a state in which the throttle is input to the unmanned aerial vehicle 100, and FIG. , roll and pitch may be input.

힘 센서(500)는 상술한 입력에 따라 무인 비행체(100)가 주행할 때 생성되는 무인 비행체 제어 벡터(

Figure 112021098851132-pat00075
)를 제공하는 것이다. 햅틱 장치(400)는 상술한 다양한 입력을 통해 발생하는 입력들 및 관련 무인 비행체 제어 벡터를 수집하고, 이의 보간(interpolation)을 통해 함수 F를 설정할 수 있다. 이러한 수집된 데이터 집합을 기반으로 새 데이터를 구성할 수 있는 것이다.The force sensor 500 is an unmanned aerial vehicle control vector generated when the unmanned aerial vehicle 100 travels according to the above-described input (
Figure 112021098851132-pat00075
) to provide. The haptic device 400 may collect inputs generated through the above-described various inputs and related unmanned aerial vehicle control vectors, and set a function F through interpolation thereof. New data can be constructed based on these collected data sets.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 햅틱 제어 방법을 설명하기 위한 예시도이다.4 to 6 are exemplary diagrams for explaining a haptic control method according to an embodiment of the present invention.

도 4 내지 도 6을 참고하면, 제1 마커(510)는 사용자 손에 부착된 구성일 수 있다. Referring to FIGS. 4 to 6 , the first marker 510 may be attached to a user's hand.

제2 마커(530)는 줄에 부착된 구성일 수 있다.The second marker 530 may be attached to a string.

상술한 제1 및 제2 마커(510, 530)는 영상 촬영기(550)를 통해 촬영되어 비전 기술로 인식하기 위한 대상을 의미할 수 있다. 예를 들어, 제1 및 제2 마커(510, 530)는 기하학적인 형태나 3차원 객체로 구현될 수 있으며, 이에 한정되지 않고, 검정색 바탕의 특이한 색상이나 문양으로 구현되는 것 역시 가능할 수 있다. 마커 인식 과정을 살펴보면, 일단 카메라와 같은 영상 촬영기에 의해서 촬영된 영상을 획득한 후, 영상에서 마커에 대응되는 영역만을 분리하는 방식을 적용할 수 있으며, 이에 한정되지 않는다. 이때, 마커의 영역만을 인식하여 분리하기 위해 유사성 비교 등을 적용할 수 있다. The above-described first and second markers 510 and 530 may refer to objects to be captured by the imager 550 and recognized by vision technology. For example, the first and second markers 510 and 530 may be implemented as geometric shapes or 3D objects, but are not limited thereto, and may also be implemented as unique colors or patterns on a black background. Looking at the marker recognition process, once an image taken by an imager such as a camera is obtained, a method of separating only a region corresponding to the marker from the image may be applied, but is not limited thereto. In this case, similarity comparison or the like may be applied to recognize and separate only the region of the marker.

영상 촬영기(550)는 사용자와 대향되게 위치하여, 제1 및 제2 마커(510, 530)를 촬영하여 제1 및 제2 마커(510, 530)의 영상을 획득하기 위한 구성일 수 있다.The image camera 550 may be positioned to face the user and may be configured to capture images of the first and second markers 510 and 530 by capturing the first and second markers 510 and 530 .

이때, 영상 촬영기(550)가 사용자와 대향되게 위치한다는 것은 영상 촬영기(550)가 무인 비행체(100), 햅틱 포인트(200) 및 하중(300)을 비롯하여 사용자를 모두 촬영할 수 있는 영역에 위치한다는 것을 의미할 수 있다.At this time, the fact that the imager 550 is positioned facing the user means that the imager 550 is located in an area where the user can be captured, including the unmanned aerial vehicle 100, the haptic point 200, and the load 300. can mean

도 4 내지 도 6을 참고하면, 햅틱 장치(400)는 영상 촬영기(550)를 통해 획득된 제1 마커 영상을 통해 사용자의 손을 검출 및 추적하고 제2 마커 영상을 통해 무인 비행체(100)의 위치를 검출 및 추적할 수 있다. 도 4 내지 도 6에서 개시하는 제1 및 제2 마커(510, 530)의 위치는 일 예로, 사용자 손의 위치 및 무인 비행체(100)의 위치를 파악하기 위한 위치라면 어느 위치라도 가능하다 할 것이다. 또한, 제1 및 제2 마커(510, 530)의 개수 역시 운용자의 필요에 따라 변경 가능하다 할 것이다.Referring to FIGS. 4 to 6 , the haptic device 400 detects and tracks the user's hand through the first marker image obtained through the imager 550, and detects and traces the user's hand through the second marker image of the unmanned aerial vehicle 100. Location can be detected and tracked. The positions of the first and second markers 510 and 530 disclosed in FIGS. 4 to 6 may be, for example, any position for determining the position of the user's hand and the position of the unmanned aerial vehicle 100. . In addition, the number of first and second markers 510 and 530 may also be changed according to the operator's needs.

도 4 내지 도 6을 참고하면, 실제 상황(Real)에서의 햅틱 포인트(200)의 위치는 가상 장면(VR)에서 가상 대상(예를 들어, 공룡) 중 사용자 접촉으로 인해 피드백 힘을 발생시킬 위치(예를 들어, 공룡의 입)에 대응될 수 있다.4 to 6, the position of the haptic point 200 in a real situation (Real) is the position where feedback force will be generated due to user contact among virtual objects (eg, dinosaurs) in the virtual scene (VR). (eg, the mouth of a dinosaur).

도 5 및 도 6을 참고하면, 햅틱 장치(400)는 영상 촬영기(550) 등을 활용하여 추적된 사용자 손의 위치 및 무인 비행체(100)의 위치를 기초로 햅틱 포인트(200)가 사용자의 손에 인접하도록 무인 비행체(100)의 주행을 제어할 수 있다. 즉, 햅틱 장치(400)는 사용자가 가상 장면에서의 공룡을 터치하고 피드백 힘을 전달받기 용이한 위치(도 5의 벡터 b)로 무인 비행체(100)를 이동 제어하는 것이다.Referring to FIGS. 5 and 6 , the haptic device 400 generates a haptic point 200 based on the location of the user's hand and the location of the unmanned aerial vehicle 100 tracked using an image camera 550 or the like. It is possible to control the driving of the unmanned aerial vehicle 100 so as to be adjacent to. That is, the haptic device 400 controls the movement of the unmanned aerial vehicle 100 to a location (vector b in FIG. 5 ) where a user touches a dinosaur in a virtual scene and easily receives a feedback force.

햅틱 장치(400)는 사용자 손의 변위를 기반으로 피드백 힘 벡터(

Figure 112021098851132-pat00076
)를 생성할 수 있다. 이때, 사용자 손의 접촉 위치에서의 피드백 힘은 무인 비행체(100)의 위치를 제어하여 렌더링할 수 있다. 이때, 햅틱 장치(400)는 계산된 무인 비행체 제어 벡터(
Figure 112021098851132-pat00077
)에 따라 무인 비행체(100)로 무인 비행체의 입력 파라미터를 포함하는 비행 명령을 전송할 수 있다. 이때, 무인 비행체의 입력 파라미터는 계산된 무인 비행체 제어 벡터에 대응되는 값일 수 있다.The haptic device 400 generates a feedback force vector (based on the displacement of the user's hand).
Figure 112021098851132-pat00076
) can be created. In this case, the feedback force at the contact position of the user's hand may be rendered by controlling the position of the unmanned aerial vehicle 100 . At this time, the haptic device 400 calculates the unmanned aerial vehicle control vector (
Figure 112021098851132-pat00077
), a flight command including input parameters of the unmanned aerial vehicle may be transmitted to the unmanned aerial vehicle 100. In this case, the input parameter of the unmanned aerial vehicle may be a value corresponding to the calculated unmanned aerial vehicle control vector.

VR 헬멧(570)은 사용자 손이 햅틱 포인트(200)를 터치함에 따라 시각을 통해 가상 환경에서 렌더링 서비스를 확인할 수 있도록 하는 구성일 수 있다.The VR helmet 570 may be a component that allows a user to check a rendering service in a virtual environment through vision as the user's hand touches the haptic point 200 .

도 2는 도 1의 햅틱 장치를 상세하게 설명하기 위한 블록도이다.FIG. 2 is a block diagram for explaining the haptic device of FIG. 1 in detail.

도 2를 참고하면, 햅틱 장치(400)는 컨트롤러(410), 학습 처리부(430) 및 메모리(450)를 포함할 수 있다.Referring to FIG. 2 , the haptic device 400 may include a controller 410, a learning processing unit 430, and a memory 450.

컨트롤러(410)는 기 설정된 무게를 가지는 하중(load)(도 1의 300), 하중(300) 상부에 위치하는 햅틱 포인트(200) 및 햅틱 포인트(200) 상부에 위치하는 무인 비행체(100)가 줄(string)을 통해 연결되어 있는 상태에서, 햅틱 포인트(200)의 사용자 손의 접촉을 인지하면 접촉된 사용자 손의 변위를 기반으로 무인 비행체의 주행 위치를 결정할 수 있다.The controller 410 includes a load (300 in FIG. 1) having a preset weight, a haptic point 200 positioned above the load 300, and an unmanned aerial vehicle 100 positioned above the haptic point 200. When the contact of the user's hand is recognized with the haptic point 200 while being connected through a string, the driving position of the unmanned aerial vehicle can be determined based on the displacement of the user's hand.

컨트롤러(410)는 결정된 무인 비행체의 주행 위치를 기초로 무인 비행체(100)의 주행을 제어하여 햅틱 포인트(200)에서 사용자 접촉에 대한 피드백 힘을 발생시키도록 하기 위한 구성일 수 있다. 이때, 컨트롤러(410)를 비롯한 햅틱 장치(400)는 햅틱 제어를 위해 요구되는 정보를 획득하고 제어 정보를 전달하기 위한 구성들, 예를 들어, 무인 비행체(100), 햅틱 포인트(200) 및 힘 센서(500) 등과 유무선 통신을 통해 정보를 송수신함은 당연하다 할 것이다.The controller 410 may be a component for controlling the driving of the unmanned aerial vehicle 100 based on the determined driving position of the unmanned aerial vehicle to generate a feedback force for a user's contact at the haptic point 200 . At this time, the haptic device 400 including the controller 410 obtains information required for haptic control and components for transmitting the control information, for example, the unmanned aerial vehicle 100, the haptic point 200, and force It is natural to transmit and receive information through wired and wireless communication with the sensor 500 and the like.

컨트롤러(410)는 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용하여 무인 비행체의 주행 위치를 파악할 수 있다.The controller 410 may determine the driving position of the unmanned aerial vehicle by using a rendering algorithm for estimating an input parameter of the unmanned aerial vehicle by calculating an unmanned aerial vehicle control vector for generating a feedback force.

학습 처리부(430)는 무인 비행체(100)에 적용된 무인 비행체의 입력 파라미터 및 이와 관련된 무인 비행체 제어 벡터를 수집 및 학습하여 특정 무인 비행체 제어 벡터에 대응되는 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 획득할 수 있다.The learning processing unit 430 collects and learns the input parameters of the unmanned aerial vehicle applied to the unmanned aerial vehicle 100 and the related unmanned aerial vehicle control vectors to generate a rendering algorithm for estimating the input parameters of the unmanned aerial vehicle corresponding to a specific unmanned aerial vehicle control vector. can be obtained

구체적으로, 학습 처리부(430)는 햅틱 포인트에 인접하게 형성된 힘 센서(500)를 통해 측정된 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함하는 무인 비행체의 입력 파라미터에 기초한 무인 비행체(100)의 주행으로 발생되는 무인 비행체 제어 벡터를 획득하여 렌더링 알고리즘을 생성할 수 있다.Specifically, the learning processing unit 430 inputs the unmanned aerial vehicle including throttle, yaw, roll, and pitch measured through the force sensor 500 formed adjacent to the haptic point. A rendering algorithm may be generated by obtaining an unmanned aerial vehicle control vector generated by the driving of the unmanned aerial vehicle 100 based on parameters.

메모리(450)는 하중(300)의 무게, 무인 비행체(100)를 비롯한 각 구성의 식별정보 등과 같이 햅틱 장치(400)와 관련된 정보를 모두 저장할 수 있다. The memory 450 may store all information related to the haptic device 400, such as the weight of the load 300 and identification information of each component including the unmanned aerial vehicle 100.

도 13은 본 발명의 일 실시예에 따른 무인 비행체를 이용한 햅틱 제어 방법을 설명하기 위한 흐름도이다.13 is a flowchart for explaining a haptic control method using an unmanned aerial vehicle according to an embodiment of the present invention.

도 13에 도시된 방법은 예를 들어, 전술한 햅틱 시스템(101)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.The method shown in FIG. 13 may be performed by, for example, the haptic system 101 described above. In the illustrated flowchart, the method is divided into a plurality of steps, but at least some of the steps are performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, or not shown. One or more steps may be added and performed.

101 단계에서, 햅틱 시스템(101)은 무인 비행체(100)에 적용된 무인 비행체의 입력 파라미터 및 이와 관련된 무인 비행체 제어 벡터를 수집할 수 있다. 다음, 햅틱 시스템(101)은 수집된 무인 비행체의 입력 파라미터 및 무인 비행체 제어 벡터를 학습하여 무인 비행체 제어 벡터에 대응되는 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 생성할 수 있다.In step 101, the haptic system 101 may collect an input parameter of the unmanned aerial vehicle applied to the unmanned aerial vehicle 100 and an unmanned aerial vehicle control vector related thereto. Next, the haptic system 101 may generate a rendering algorithm for estimating the input parameter of the unmanned aerial vehicle corresponding to the unmanned aerial vehicle control vector by learning the collected input parameters of the unmanned aerial vehicle and the unmanned aerial vehicle control vector.

상기 무인 비행체의 입력 파라미터는 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함할 수 있다.Input parameters of the unmanned aerial vehicle may include throttle, yaw, roll, and pitch.

103 단계에서, 햅틱 시스템(101)은 햅틱 포인트(200)를 통해 사용자 손의 초기 접촉을 인지할 수 있다.In step 103 , the haptic system 101 may recognize an initial contact of the user's hand through the haptic point 200 .

105 단계에서, 햅틱 시스템(101)은 기 설정된 무게를 가지는 하중(load)과 무인 비행체 사이에 줄(string)을 통해 연결되어 있는 햅틱 포인트(200)를 통해 사용자 손의 접촉을 인지할 수 있다.In step 105, the haptic system 101 may recognize a user's hand contact through a haptic point 200 connected between a load having a predetermined weight and the unmanned aerial vehicle through a string.

107 단계에서, 햅틱 시스템(101)은 사용자 손의 변위를 기반으로 무인 비행체(100)의 주행 위치를 결정할 수 있다.In step 107, the haptic system 101 may determine the driving position of the unmanned aerial vehicle 100 based on the displacement of the user's hand.

구체적으로, 햅틱 시스템(101)은 사용자 손의 변위를 기반으로 무인 비행체(100)의 주행 위치를 결정하되, 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용할 수 있다.Specifically, the haptic system 101 determines the driving position of the unmanned aerial vehicle 100 based on the displacement of the user's hand, calculates an unmanned aerial vehicle control vector for generating feedback force, and estimates input parameters of the unmanned aerial vehicle. Rendering algorithms are available.

도 7 및 도 8을 참고하면, 햅틱 시스템(101)은 햅틱 포인트(200)의 위치를 기준점(P)이라고 할 때, 기준점에서 하중(300)으로 인해 발생하는 중력 벡터, 무인 비행체 제어 벡터 및 햅틱 포인트로부터 발생되는 피드백 힘 벡터의 합을 0으로 설정할 수 있다.Referring to FIGS. 7 and 8 , when the position of the haptic point 200 is referred to as the reference point P, the haptic system 101 generates a gravity vector generated by a load 300 at the reference point, an unmanned aerial vehicle control vector, and a haptic The sum of feedback force vectors generated from points can be set to zero.

상기 중력 벡터(

Figure 112021098851132-pat00078
)는
Figure 112021098851132-pat00079
이고, 상기 피드백 힘 벡터(
Figure 112021098851132-pat00080
)는
Figure 112021098851132-pat00081
인 경우, 햅틱 시스템(101)은 무인 비행체 제어 벡터(
Figure 112021098851132-pat00082
)를
Figure 112021098851132-pat00083
기준으로 산출할 수 있다.The gravity vector (
Figure 112021098851132-pat00078
)Is
Figure 112021098851132-pat00079
And the feedback force vector (
Figure 112021098851132-pat00080
)Is
Figure 112021098851132-pat00081
In the case of , the haptic system 101 is an unmanned air vehicle control vector (
Figure 112021098851132-pat00082
)cast
Figure 112021098851132-pat00083
can be calculated based on

109 단계에서, 햅틱 시스템(101)은 햅틱 포인트(200)에서 무인 비행체(100)의 주행 위치에 대응되는 피드백 힘을 발생시킬 수 있다.In step 109 , the haptic system 101 may generate a feedback force corresponding to the driving position of the unmanned aerial vehicle 100 at the haptic point 200 .

도 14는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에 서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.14 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities other than those described below, and may include additional components other than those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 햅틱 시스템(101)일 수 있다. 또한, 컴퓨팅 장치(12)는 햅틱 장치(400) 일 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, computing device 12 may be haptic system 101 . Computing device 12 may also be haptic device 400 .

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14 , a computer readable storage medium 16 and a communication bus 18 . Processor 14 may cause computing device 12 to operate according to the above-mentioned example embodiments. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16 . The one or more programs may include one or more computer executable instructions, which when executed by processor 14 are configured to cause computing device 12 to perform operations in accordance with an illustrative embodiment. It can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. Program 20 stored on computer readable storage medium 16 includes a set of instructions executable by processor 14 . In one embodiment, computer readable storage medium 16 includes memory (volatile memory such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, other forms of storage media that can be accessed by computing device 12 and store desired information, or any suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communications bus 18 interconnects various other components of computing device 12, including processor 14 and computer-readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 . An input/output interface 22 and a network communication interface 26 are connected to the communication bus 18 . Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 . Exemplary input/output devices 24 include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or a photographing device. input devices, and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included inside the computing device 12 as a component constituting the computing device 12, or may be connected to the computing device 12 as a separate device distinct from the computing device 12. may be

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those skilled in the art will understand that various modifications are possible to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments and should not be defined, and should be defined by not only the claims to be described later, but also those equivalent to these claims.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 무인 비행체
101: 햅틱 시스템
200: 햅틱 포인트
300: 하중
400: 햅틱 장치
410: 컨트롤러
430: 학습 처리부
450: 메모리
500: 힘 센서
510: 제1 마커
530: 제2 마커
550: 영상 촬영기
570: VR 헬멧10: Computing environment
12: computing device
14: Processor
16: computer readable storage medium
18: communication bus
20: program
22: I/O interface
24: I/O device
26: network communication interface
100: unmanned aerial vehicle
101: haptic system
200: haptic point
300: load
400: haptic device
410: controller
430: learning processing unit
450: memory
500: force sensor
510: first marker
530: second marker
550: video camera
570: VR helmet

Claims (20)

기 설정된 무게를 가지는 하중(load)의 일단과 줄(string)을 통해 연결되어, 햅틱 장치의 제어에 따라 주행하는 무인 비행체;
상기 하중과 상기 무인 비행체 사이의 상기 줄에 접촉되게 형성되어, 사용자 손의 접촉이 발생함에 따라 상기 무인 비행체의 주행 위치에 대응되는 피드백 힘을 발생시키기 위한 햅틱 포인트; 및
상기 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하되, 상기 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용하며, 결정된 상기 무인 비행체의 주행 위치를 기초로 상기 무인 비행체의 주행을 제어하기 위한 햅틱 장치를 포함하는 무인 비행체를 이용한 햅틱 시스템.
An unmanned aerial vehicle that is connected to one end of a load having a predetermined weight through a string and travels under the control of a haptic device;
a haptic point formed to be in contact with the string between the load and the unmanned aerial vehicle to generate a feedback force corresponding to a driving position of the unmanned aerial vehicle when a user's hand touches; and
A driving position of the unmanned aerial vehicle is determined based on the displacement of the user's hand, a rendering algorithm for estimating input parameters of the unmanned aerial vehicle by calculating an unmanned aerial vehicle control vector for generating the feedback force is used, and the determined unmanned aerial vehicle is determined. A haptic system using an unmanned aerial vehicle including a haptic device for controlling the driving of the unmanned aerial vehicle based on the driving position of the aerial vehicle.
 청구항 1에 있어서,
상기 햅틱 포인트에 인접하게 형성되어, 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함하는 무인 비행체의 입력 파라미터에 기초한 상기 무인 비행체의 주행으로 발생되는 무인 비행체 제어 벡터를 측정하기 위한 힘 센서를 더 포함하는 무인 비행체를 이용한 햅틱 시스템.
The method of claim 1,
An unmanned aerial vehicle control vector formed adjacent to the haptic point and generated by the driving of the unmanned aerial vehicle based on input parameters of the unmanned aerial vehicle including throttle, yaw, roll, and pitch A haptic system using an unmanned aerial vehicle further comprising a force sensor for measuring.
 청구항 2에 있어서,
상기 햅틱 장치는, 상기 무인 비행체에 적용된 상기 무인 비행체의 입력 파라미터 및 이와 관련된 상기 무인 비행체 제어 벡터를 수집 및 학습하여 상기 무인 비행체 제어 벡터에 대응되는 상기 무인 비행체의 입력 파라미터를 추정하기 위한 상기 렌더링 알고리즘을 획득하는 무인 비행체를 이용한 햅틱 시스템.
The method of claim 2,
The haptic device collects and learns an input parameter of the unmanned aerial vehicle applied to the unmanned aerial vehicle and the unmanned aerial vehicle control vector related thereto, and the rendering algorithm for estimating the input parameter of the unmanned aerial vehicle corresponding to the unmanned aerial vehicle control vector A haptic system using an unmanned aerial vehicle to obtain
 청구항 1에 있어서,
상기 햅틱 장치는, 상기 햅틱 포인트의 위치를 기준점이라고 할 때, 상기 기준점에서 상기 하중으로 인해 발생하는 중력 벡터, 상기 무인 비행체 제어 벡터 및 상기 햅틱 포인트로부터 발생되는 피드백 힘 벡터의 합을 0으로 설정하는 무인 비행체를 이용한 햅틱 시스템.
The method of claim 1,
The haptic device sets the sum of a gravity vector generated due to the load at the reference point, the unmanned aerial vehicle control vector, and a feedback force vector generated from the haptic point to 0, when the position of the haptic point is referred to as a reference point. Haptic system using unmanned aerial vehicles.
 청구항 4에 있어서,
상기 햅틱 장치는, 상기 중력 벡터(
Figure 112021098851132-pat00084
)는
Figure 112021098851132-pat00085
이고, 상기 피드백 힘 벡터(
Figure 112021098851132-pat00086
)는
Figure 112021098851132-pat00087
인 경우, 상기 무인 비행체 제어 벡터(
Figure 112021098851132-pat00088
)를
Figure 112021098851132-pat00089
기준으로 산출하는 무인 비행체를 이용한 햅틱 시스템.
The method of claim 4,
The haptic device, the gravity vector (
Figure 112021098851132-pat00084
)Is
Figure 112021098851132-pat00085
And the feedback force vector (
Figure 112021098851132-pat00086
)Is
Figure 112021098851132-pat00087
In the case of , the unmanned aerial vehicle control vector (
Figure 112021098851132-pat00088
)cast
Figure 112021098851132-pat00089
A haptic system using an unmanned aerial vehicle calculated as a standard.
 청구항 1에 있어서,
상기 무인 비행체가 한 개인 경우,
상기 햅틱 장치는, 수학식 1을 기초로 상기 햅틱 포인트에서 발생하는 피드백 힘을 파악하고,
상기 수학식 1은
Figure 112021098851132-pat00090
이고,
상기 F는 상기 피드백 힘, 상기
Figure 112021098851132-pat00091
는 상기 하중의 중력, 상기
Figure 112021098851132-pat00092
는 상기 무인 비행체의 제어 추력(thrust force) 및 상기
Figure 112021098851132-pat00093
는 상기 무인 비행체의 주행 위치로 인해 지면을 기준으로 발생하는 피치(pitch)인 무인 비행체를 이용한 햅틱 시스템.
The method of claim 1,
In the case of one unmanned aerial vehicle,
The haptic device determines the feedback force generated at the haptic point based on Equation 1,
Equation 1 above is
Figure 112021098851132-pat00090
ego,
The F is the feedback force, the
Figure 112021098851132-pat00091
is the gravity of the load,
Figure 112021098851132-pat00092
Is the control thrust of the unmanned aerial vehicle and the
Figure 112021098851132-pat00093
is a pitch generated relative to the ground due to the driving position of the unmanned aerial vehicle.
 청구항 1에 있어서,
상기 무인 비행체가 복수 대인 경우,
상기 햅틱 장치는, 수학식 2를 기초로 상기 햅틱 포인트에서 발생하는 피드백 힘을 파악하고,
상기 수학식 2는
Figure 112021098851132-pat00094
이고,
상기 F는 상기 피드백 힘, 상기
Figure 112021098851132-pat00095
는 상기 하중의 중력, 상기
Figure 112021098851132-pat00096
,
Figure 112021098851132-pat00097
,
Figure 112021098851132-pat00098
는 상기 복수 대의 무인 비행체 각각의 제어 추력(thrust force) 및 상기
Figure 112021098851132-pat00099
,
Figure 112021098851132-pat00100
,
Figure 112021098851132-pat00101
는 상기 복수 대의 무인 비행체 각각의 주행 위치로 인해 지면을 기준으로 발생하는 피치(pitch)인 무인 비행체를 이용한 햅틱 시스템.
The method of claim 1,
In the case of a plurality of the unmanned air vehicles,
The haptic device determines the feedback force generated at the haptic point based on Equation 2,
Equation 2 above is
Figure 112021098851132-pat00094
ego,
The F is the feedback force, the
Figure 112021098851132-pat00095
is the gravity of the load,
Figure 112021098851132-pat00096
,
Figure 112021098851132-pat00097
,
Figure 112021098851132-pat00098
Is the control thrust of each of the plurality of unmanned aerial vehicles and the
Figure 112021098851132-pat00099
,
Figure 112021098851132-pat00100
,
Figure 112021098851132-pat00101
is a pitch generated relative to the ground due to the driving position of each of the plurality of unmanned aerial vehicles.
 청구항 1에 있어서,
상기 사용자 손에 부착된 제1 마커(marker);
상기 줄에 부착된 제2 마커; 및
상기 사용자와 대향되게 위치하여, 상기 제1 및 제2 마커를 촬영하여 상기 제1 및 제2 마커의 영상을 획득하기 위한 영상 촬영기를 더 포함하는 무인 비행체를 이용한 햅틱 시스템.
The method of claim 1,
a first marker attached to the user's hand;
a second marker attached to the string; and
The haptic system using an unmanned aerial vehicle further includes an image camera positioned opposite to the user and capturing images of the first and second markers by capturing the first and second markers.
 청구항 8에 있어서,
상기 햅틱 장치는, 상기 영상 촬영기를 통해 획득된 상기 제1 마커 영상을 통해 상기 사용자의 손을 검출 및 추적하고 상기 제2 마커 영상을 통해 상기 무인 비행체의 위치를 검출 및 추적하는 무인 비행체를 이용한 햅틱 시스템.
The method of claim 8,
The haptic device detects and tracks the user's hand through the first marker image obtained through the image camera, and detects and tracks the position of the unmanned aerial vehicle through the second marker image. system.
 청구항 9에 있어서,
상기 햅틱 장치는, 상기 햅틱 포인트가 상기 사용자의 손에 기 설정된 거리 이내로 인접하게 위치하도록 상기 무인 비행체의 주행 위치를 결정하는 무인 비행체를 이용한 햅틱 시스템.
The method of claim 9,
The haptic device determines a driving position of the unmanned aerial vehicle so that the haptic point is positioned adjacent to the user's hand within a preset distance.
 기 설정된 무게를 가지는 하중(load)과 무인 비행체 사이에 줄(string)을 통해 연결되어 있는 햅틱 포인트가 사용자 손의 접촉을 인지하는 단계;
상기 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하는 단계; 및
상기 햅틱 포인트에서 상기 무인 비행체의 주행 위치에 대응되는 피드백 힘을 발생시키는 단계를 포함하는 무인 비행체를 이용한 햅틱 제어 방법.
recognizing a contact of a user's hand with a haptic point connected between a load having a predetermined weight and the unmanned aerial vehicle through a string;
determining a driving position of the unmanned aerial vehicle based on the displacement of the user's hand; and
A haptic control method using an unmanned aerial vehicle comprising generating a feedback force corresponding to a driving position of the unmanned aerial vehicle at the haptic point.
 청구항 11에 있어서,
상기 사용자의 손의 접촉을 인지하는 단계 이전에,
상기 햅틱 포인트가 사용자 손의 초기 접촉을 인지하는 단계를 더 포함하는 무인 비행체를 이용한 햅틱 제어 방법.
The method of claim 11,
Prior to the step of recognizing the touch of the user's hand,
The haptic control method using the unmanned aerial vehicle further comprising the step of recognizing the initial contact of the user's hand by the haptic point.
 청구항 12에 있어서,
상기 무인 비행체의 주행 위치를 결정하는 단계에서,
상기 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하되, 상기 피드백 힘의 발생을 위한 무인 비행체 제어 벡터를 계산하여 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 이용하는 무인 비행체를 이용한 햅틱 제어 방법.
The method of claim 12,
In the step of determining the driving position of the unmanned aerial vehicle,
Haptics using an unmanned aerial vehicle using a rendering algorithm for determining the driving position of the unmanned aerial vehicle based on the displacement of the user's hand and estimating input parameters of the unmanned aerial vehicle by calculating an unmanned aerial vehicle control vector for generating the feedback force control method.
 청구항 13에 있어서,
상기 초기 접촉을 인지하는 단계 이전에,
상기 무인 비행체에 적용된 무인 비행체의 입력 파라미터 및 이와 관련된 무인 비행체 제어 벡터를 수집하는 단계; 및
수집된 상기 무인 비행체의 입력 파라미터 및 상기 무인 비행체 제어 벡터를 학습하여 상기 무인 비행체 제어 벡터에 대응되는 상기 무인 비행체의 입력 파라미터를 추정하기 위한 상기 렌더링 알고리즘을 생성하는 단계를 더 포함하는 무인 비행체를 이용한 햅틱 제어 방법.
The method of claim 13,
Prior to the step of recognizing the initial contact,
collecting an input parameter of the unmanned aerial vehicle applied to the unmanned aerial vehicle and an unmanned aerial vehicle control vector related thereto; and
Learning the collected input parameters of the unmanned aerial vehicle and the unmanned aerial vehicle control vector to generate the rendering algorithm for estimating the input parameter of the unmanned aerial vehicle corresponding to the unmanned aerial vehicle control vector Haptic control method.
 청구항 14에 있어서,
상기 무인 비행체의 입력 파라미터는,
스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함하는 무인 비행체를 이용한 햅틱 제어 방법.
The method of claim 14,
The input parameters of the unmanned aerial vehicle are,
A haptic control method using an unmanned aerial vehicle including throttle, yaw, roll and pitch.
 청구항 11에 있어서,
상기 무인 비행체의 주행 위치를 결정하는 단계에서,
상기 햅틱 포인트의 위치를 기준점이라고 할 때, 상기 기준점에서 상기 하중으로 인해 발생하는 중력 벡터, 상기 무인 비행체 제어 벡터 및 상기 햅틱 포인트로부터 발생되는 피드백 힘 벡터의 합을 0으로 설정하는 무인 비행체를 이용한 햅틱 제어 방법.
The method of claim 11,
In the step of determining the driving position of the unmanned aerial vehicle,
When the position of the haptic point is referred to as a reference point, Haptics using an unmanned aerial vehicle that sets the sum of the gravity vector generated by the load at the reference point, the unmanned aerial vehicle control vector, and the feedback force vector generated from the haptic point to 0 control method.
 청구항 16에 있어서,
상기 무인 비행체의 주행 위치를 결정하는 단계에서,
상기 중력 벡터(
Figure 112021098851132-pat00102
)는
Figure 112021098851132-pat00103
이고, 상기 피드백 힘 벡터(
Figure 112021098851132-pat00104
)는
Figure 112021098851132-pat00105
인 경우, 상기 무인 비행체 제어 벡터(
Figure 112021098851132-pat00106
)를
Figure 112021098851132-pat00107
기준으로 산출하는 무인 비행체를 이용한 햅틱 제어 방법.
The method of claim 16
In the step of determining the driving position of the unmanned aerial vehicle,
The gravity vector (
Figure 112021098851132-pat00102
)Is
Figure 112021098851132-pat00103
And the feedback force vector (
Figure 112021098851132-pat00104
)Is
Figure 112021098851132-pat00105
In the case of , the unmanned aerial vehicle control vector (
Figure 112021098851132-pat00106
)cast
Figure 112021098851132-pat00107
A haptic control method using an unmanned aerial vehicle calculated as a standard.
 기 설정된 무게를 가지는 하중(load), 상기 하중 상부에 위치하는 햅틱 포인트 및 상기 햅틱 포인트 상부에 위치하는 무인 비행체가 줄(string)을 통해 연결되어 있는 상태에서, 상기 햅틱 포인트의 사용자 손의 접촉을 인지하면 접촉된 사용자 손의 변위를 기반으로 상기 무인 비행체의 주행 위치를 결정하고, 상기 무인 비행체의 주행 위치를 기초로 상기 무인 비행체의 주행을 제어하여 상기 햅틱 포인트에서 사용자 접촉에 대한 피드백 힘을 발생시키도록 하기 위한 컨트롤러; 및
상기 무인 비행체에 적용된 무인 비행체의 입력 파라미터 및 이와 관련된 무인 비행체 제어 벡터를 수집 및 학습하여 특정 무인 비행체 제어 벡터에 대응되는 무인 비행체의 입력 파라미터를 추정하기 위한 렌더링 알고리즘을 획득하는 학습 처리부를 포함하는 무인 비행체를 이용한 햅틱 장치.
A load having a preset weight, a haptic point located on top of the load, and an unmanned aerial vehicle located on top of the haptic point are connected through a string, and the user's hand touches the haptic point If recognized, the driving position of the unmanned aerial vehicle is determined based on the displacement of the user's hand, and the driving position of the unmanned aerial vehicle is controlled based on the driving position of the unmanned aerial vehicle to generate a feedback force for the user's touch at the haptic point. controller to make it happen; and
An unmanned aerial vehicle comprising a learning processing unit that acquires a rendering algorithm for estimating input parameters of the unmanned aerial vehicle corresponding to a specific unmanned aerial vehicle control vector by collecting and learning the input parameters of the unmanned aerial vehicle applied to the unmanned aerial vehicle and the associated unmanned aerial vehicle control vector A haptic device using an air vehicle.
 청구항 18에 있어서,
상기 컨트롤러는, 상기 피드백 힘의 발생을 위한 상기 무인 비행체 제어 벡터를 계산하여 상기 무인 비행체의 입력 파라미터를 추정하기 위한 상기 렌더링 알고리즘을 이용하여 상기 무인 비행체의 주행 위치를 파악하는 무인 비행체를 이용한 햅틱 장치.
The method of claim 18
The controller calculates the unmanned aerial vehicle control vector for generating the feedback force and uses the rendering algorithm for estimating input parameters of the unmanned aerial vehicle to determine the driving position of the unmanned aerial vehicle A haptic device using an unmanned aerial vehicle .
 청구항 19에 있어서,
상기 학습 처리부는, 상기 햅틱 포인트에 인접하게 형성된 힘 센서를 통해 측정된 스로틀(throttle), 요(yaw), 롤(roll) 및 피치(pitch)를 포함하는 상기 무인 비행체의 입력 파라미터에 기초한 상기 무인 비행체의 주행으로 발생되는 상기 무인 비행체 제어 벡터를 획득하여 상기 렌더링 알고리즘을 생성하는 무인 비행체를 이용한 햅틱 장치.The method of claim 19
The learning processing unit controls the unmanned aerial vehicle based on input parameters of the unmanned aerial vehicle including throttle, yaw, roll, and pitch measured through a force sensor formed adjacent to the haptic point. A haptic device using an unmanned aerial vehicle that generates the rendering algorithm by obtaining the unmanned aerial vehicle control vector generated by the vehicle's travel.
KR1020210113196A 2021-08-26 2021-08-26 Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle KR102509068B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210113196A KR102509068B1 (en) 2021-08-26 2021-08-26 Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210113196A KR102509068B1 (en) 2021-08-26 2021-08-26 Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle

Publications (2)

Publication Number Publication Date
KR20230030933A KR20230030933A (en) 2023-03-07
KR102509068B1 true KR102509068B1 (en) 2023-03-09

Family

ID=85511654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210113196A KR102509068B1 (en) 2021-08-26 2021-08-26 Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle

Country Status (1)

Country Link
KR (1) KR102509068B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228140B (en) * 2019-08-30 2024-04-19 乐天集团股份有限公司 Unmanned aerial vehicle operation simulation system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710364B1 (en) 2016-06-03 2017-02-28 광주과학기술원 Remote Control System with Load Estimation Feedback for Unmanned Aerial Vehicle
KR101881227B1 (en) 2016-12-06 2018-07-23 한국산업기술대학교산학협력단 Flight experience method using unmanned aerial vehicle
JP2019159488A (en) 2018-03-08 2019-09-19 日本電信電話株式会社 Flight controller, method, program, and storage medium
JP2020095563A (en) 2018-12-14 2020-06-18 サイトテック株式会社 Unmanned aircraft system
KR102267840B1 (en) 2019-12-30 2021-06-22 광주과학기술원 Drone Monitoring System

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160138806A (en) 2015-05-26 2016-12-06 엘지전자 주식회사 Glass type terminal and method for controlling the same
KR102649597B1 (en) * 2019-01-02 2024-03-20 한국전자통신연구원 Method for determining location information of signal source using unmaned vehicle and apparatus for the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710364B1 (en) 2016-06-03 2017-02-28 광주과학기술원 Remote Control System with Load Estimation Feedback for Unmanned Aerial Vehicle
KR101881227B1 (en) 2016-12-06 2018-07-23 한국산업기술대학교산학협력단 Flight experience method using unmanned aerial vehicle
JP2019159488A (en) 2018-03-08 2019-09-19 日本電信電話株式会社 Flight controller, method, program, and storage medium
JP2020095563A (en) 2018-12-14 2020-06-18 サイトテック株式会社 Unmanned aircraft system
KR102267840B1 (en) 2019-12-30 2021-06-22 광주과학기술원 Drone Monitoring System

Also Published As

Publication number Publication date
KR20230030933A (en) 2023-03-07

Similar Documents

Publication Publication Date Title
CN108230361B (en) Method and system for enhancing target tracking by fusing unmanned aerial vehicle detector and tracker
US10809081B1 (en) User interface and augmented reality for identifying vehicles and persons
US10837788B1 (en) Techniques for identifying vehicles and persons
JP7178396B2 (en) Method and computer system for generating data for estimating 3D pose of object included in input image
JP6784434B2 (en) Methods, UAV control programs, unmanned aerial vehicles, and control systems
KR102623574B1 (en) Electronic apparatus and operating method for the same
CN108885469B (en) System and method for initializing a target object in a tracking system
US11397871B2 (en) Artificial intelligence moving agent
KR20200021626A (en) Method and device to train object detection model
KR20190110498A (en) An artificial intelligence server for processing de-identification of unspecific person's face area from image file and method for the same
JP2006011880A (en) Environmental map creation method and device, and mobile robot device
WO2016100221A1 (en) Systems and methods for capturing images and annotating the captured images with information
JP6943988B2 (en) Control methods, equipment and systems for movable objects
KR102046706B1 (en) Techniques of performing neural network-based gesture recognition using wearable device
KR102046707B1 (en) Techniques of performing convolutional neural network-based gesture recognition using inertial measurement unit
KR102034021B1 (en) Simulator based on healthcare unit and simulation method using the same
KR20200010640A (en) Method and device to estimate ego motion using motion recognition model and method and device to train motion recognition model
KR102201649B1 (en) Apparatus for recognizing posture based on distruibuted-fusion-filter and method for using the same
US20170242432A1 (en) Image processing for gesture-based control of an unmanned aerial vehicle
CN115039166A (en) Augmented reality map management
KR20190130214A (en) Mobile robot device and method for providing a service to a user
US20210146957A1 (en) Apparatus and method for controlling drive of autonomous vehicle
KR102509068B1 (en) Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN113228103A (en) Target tracking method, device, unmanned aerial vehicle, system and readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant