KR102194127B1 - Drone having MEMS sensor - Google Patents

Drone having MEMS sensor Download PDF

Info

Publication number
KR102194127B1
KR102194127B1 KR1020190098299A KR20190098299A KR102194127B1 KR 102194127 B1 KR102194127 B1 KR 102194127B1 KR 1020190098299 A KR1020190098299 A KR 1020190098299A KR 20190098299 A KR20190098299 A KR 20190098299A KR 102194127 B1 KR102194127 B1 KR 102194127B1
Authority
KR
South Korea
Prior art keywords
sensor
drone
estimated
acceleration
image
Prior art date
Application number
KR1020190098299A
Other languages
Korean (ko)
Inventor
최원석
김재현
조영기
황인서
김희수
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020190098299A priority Critical patent/KR102194127B1/en
Application granted granted Critical
Publication of KR102194127B1 publication Critical patent/KR102194127B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B64C2201/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

The present invention relates to a drone having MEMS sensors. According to the present invention, a drone having MEMS acceleration sensor and angular sensor comprises: an image sensor which photographs a launcher; and a control unit which analyzes a launcher image received from the image sensor. The control unit receives a plurality of launcher images photographed in accordance with the distance from the launcher, compares model data generated through machine learning with the plurality of frames of launcher images continuously photographed by the image sensor, estimates a distance from the launcher, calculates an estimated acceleration based on the estimated distance and the video frame rate of the image sensor, compares the acceleration measured by the acceleration sensor with the estimated acceleration, and determines whether the acceleration sensor is working normally or not. The drone having MEMS sensors is able to rapidly determine whether the MEMS sensors are working normally.

Description

멤스센서를 구비한 드론{Drone having MEMS sensor}Drone having MEMS sensor

본 발명은 멤스센서를 구비한 드론 및 그 제어방법에 관한 것으로, 보다 상세하게는 딥러닝을 이용하여 멤스센서의 정상동작 여부를 신속하게 판단할 수 있는 멤스센서를 구비한 드론 및 그 제어방법에 관한 것이다.The present invention relates to a drone equipped with a MEMS sensor and a control method thereof, and more particularly, to a drone equipped with a MEMS sensor capable of quickly determining whether the MEMS sensor is operating normally using deep learning, and a control method thereof. About.

드론(Drone, 무인비행체)은 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 무인항공기를 총칭하는 용어이다.Drone (unmanned aerial vehicle) is a generic term for an unmanned aerial vehicle in the shape of an airplane or helicopter capable of flying and controlling by induction of radio waves without a pilot.

미래의 전장에는 드론의 역할이 더욱 중요해진다. 드론의 임무는 감시정찰, 운반, 공격 등 다양하게 사용될 수 있다. The role of drones will become more important in future battlefields. The drone's mission can be used in various ways such as surveillance, reconnaissance, transport, and attack.

최근에는 드론을 신속하게 상공에 띄우는 기술이 중요하게 급부상하고 있다. 군사용으로 드론이 사용될 경우, 드론 자체의 날개 구동만으로 지상에서 천천히 이륙하여 원하는 고도까지 오르게 되면 초기 작전투입시간이 너무 오래 걸리기는 문제가 발생하기 때문이다. In recent years, the technology of rapidly flying drones is on the rise in importance. This is because, when a drone is used for military purposes, it takes too long for the initial operation time to take off slowly from the ground and rise to the desired altitude only by driving the wings of the drone itself.

그 해결책 중 하나로 고려되는 것은, 드론을 발사대에 설치후 발사함으로써 원하는 위치까지 신속하게 상승시키는 방안이다. Considered one of the solutions, the drone is installed on the launch pad and then launched to quickly ascend to the desired position.

그러나, 드론에 멤스(MEMS) 타입의 자이로 센서, 가속도계 센서가 구비된 경우에, 발사시 일정이상의 가속력을 받게 되면 소정 시간동안 멤스센서가 동작되지 않게 되며 동작이 정상화되는 시점을 정확하게 파악할 수 없는 문제가 발생한다.However, if the drone is equipped with a MEMS-type gyro sensor and accelerometer sensor, the MEMS sensor does not operate for a predetermined time when receiving more than a certain acceleration force during launch, and it is not possible to accurately grasp when the operation is normalized. Occurs.

한국 등록특허 10-1908021호Korean Patent Registration No. 10-1908021

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 발사대에서 발사된 후에 멤스센서의 정상동작 여부를 신속하게 판단할 수 있도록 하는 멤스센서를 구비한 드론 및 그 제어방법을 제공하는 데 그 목적이 있다.The present invention was conceived to solve the above problems, and in particular, to provide a drone having a MEMS sensor and a control method thereof that enables to quickly determine whether the MEMS sensor operates normally after being launched from a launch pad. There is a purpose.

상기 목적을 달성하기 위해 안출된 본 발명의 일관점에 따른 멤스센서를 구비한 드론은, 멤스타입의 가속도센서 및 각속도센서를 구비하는 드론에 있어서, 발사대를 촬영하는 영상센서; 및 영상센서에서 수신된 발사대 이미지를 분석하는 제어부;를 포함하되, 제어부는, 발사대와의 이격거리에 따라 촬영된 복수의 발사대 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 발사대 이미지를 비교하여 발사대와의 이격거리를 추정하고, 추정된 이격거리 및 영상센서의 프레임 레이트(video frame rate)를 근거로 추정 가속도를 산출하고, 가속도센서에서 측정된 가속도와 추정 가속도를 비교하여 가속도센서의 정상동작 여부를 판단한다.A drone having a MEMS sensor according to an aspect of the present invention conceived to achieve the above object is a drone having a MEMS-type acceleration sensor and an angular velocity sensor, comprising: an image sensor for photographing a launch pad; And a control unit that analyzes the launcher image received from the image sensor; wherein the control unit receives a plurality of launcher images photographed according to the separation distance from the launcher, and receives model data generated through machine learning, and continuously from the image sensor. By comparing the multiple frames of the launcher images captured by the method, the distance from the launcher is estimated, the estimated acceleration is calculated based on the estimated distance and the video frame rate of the image sensor, and the acceleration measured by the acceleration sensor It compares with and estimated acceleration to determine whether the acceleration sensor operates normally.

본 발명의 일실시예에서 제어부는, 가속도센서에서 측정된 가속도와 추정 가속도를 비교한 결과, 오차가 소정 범위 이내인 경우, 가속도센서를 정상동작 상태로 판단할 수 있다.In an embodiment of the present invention, the controller may determine the acceleration sensor as a normal operating state when the error is within a predetermined range as a result of comparing the acceleration measured by the acceleration sensor and the estimated acceleration.

본 발명의 일실시예에서 추정 가속도는, (N-1)번째, N번째, 및 (N+1)번째 프레임의 발사대 이미지들과 모델데이터를 비교하여 (N-1)번째, N번째, 및 (N+1)번째 프레임에서의 추정위치들을 각각 산출한 다음, 프레임 레이트 및 (N-1)번째와 N번째의 추정위치들간의 차로부터 제1이동속도를 산출하고, 프레임 레이트 및 N번째와 (N+1)번째의 추정위치들간의 차로부터 제2이동속도를 산출하고, 프레임 레이트 및 제1이동속도와 제2이동속도의 차를 근거로 추정될 수 있다.In an embodiment of the present invention, the estimated acceleration is (N-1)-th, N-th, and (N-1)-th, N-th, and (N-1)-th, N-th, and After calculating the estimated positions in the (N+1)th frame, respectively, the first moving speed is calculated from the frame rate and the difference between the (N-1)th and Nth estimated positions, and the frame rate and the Nth and The second movement speed may be calculated from the difference between the (N+1)-th estimated positions, and may be estimated based on the frame rate and the difference between the first movement speed and the second movement speed.

본 실시예에서 드론은, 데이터를 저장하는 저장부를 더 포함하고, 모델데이터는 저장부에 저장될 수 있다.In this embodiment, the drone further includes a storage unit for storing data, and model data may be stored in the storage unit.

본 발명의 실시예에서 기계학습되는 발사대 이미지는, 발사대의 발사각도별로 구분되어 입력될 수 있다.In the embodiment of the present invention, the machine-learned launcher image may be input by being divided by launch angle of the launcher.

또한, 영상센서는, 1초에 한 프레임 이상의 발사대 이미지를 연속적으로 촬영할 수 있다.In addition, the image sensor may continuously capture one or more launcher images per second.

한편, 본 발명의 다른 관점에 따른 멤스센서를 구비한 드론은, 멤스타입의 가속도센서 및 각속도센서를 구비하는 드론에 있어서, 드론이 회전할 때 주변을 촬영하는 영상센서; 및 영상센서에서 수신된 발사대 이미지를 분석하는 제어부;를 포함하되, 제어부는, 드론의 회전각도에 따라 촬영된 복수의 주변 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 주변 이미지를 비교하여 드론의 회전각도를 추정하고, 추정된 회전각도 및 영상센서의 프레임 레이트(video frame rate)를 근거로 추정 각속도를 산출하고, 각속도센서에서 측정된 각속도와 추정 각속도를 비교하여 각속도센서의 정상동작 여부를 판단한다.On the other hand, a drone having a MEMS sensor according to another aspect of the present invention is a drone having a MEMS-type acceleration sensor and an angular velocity sensor, comprising: an image sensor for photographing surroundings when the drone rotates; And a control unit for analyzing the launch pad image received from the image sensor; wherein the control unit receives model data generated through machine learning by receiving a plurality of surrounding images photographed according to the rotation angle of the drone, and continuously from the image sensor. Estimates the rotation angle of the drone by comparing the surrounding images of multiple frames taken, calculates the estimated angular velocity based on the estimated rotation angle and the video frame rate of the image sensor, and estimates the angular velocity measured by the angular velocity sensor. The angular speed is compared to determine whether the angular speed sensor operates normally.

본 발명의 실시예에서 제어부는, 가속도센서에서 측정된 가속도와 기계학습을 통해 추정된 추정 가속도를 비교하여 가속도센서가 정상동작 상태로 판단한 이후, 드론을 회전시켜 각속도센서의 정상동작 여부를 판단할 수 있다.In an embodiment of the present invention, the controller compares the acceleration measured by the acceleration sensor with the estimated acceleration estimated through machine learning to determine whether the acceleration sensor is in a normal operation state, and then rotates the drone to determine whether the angular velocity sensor operates normally. I can.

본 발명의 일실시예에 따르면, 기계학습되는 주변 이미지는, 드론의 위치별로 구분되어 입력될 수 있다.According to an embodiment of the present invention, machine-learned surrounding images may be divided and input for each position of the drone.

또한, 기계학습되는 주변 이미지는, 드론의 높이별로 구분되어 입력될 수도 있다.In addition, the machine-learned surrounding images may be divided and input by height of the drone.

본 발명의 다른 관점에 따른 멤스센서를 구비한 드론의 제어방법은, 드론을 발사대에서 발사하는 단계; 영상센서에서 발사대 이미지를 연속적으로 촬영하는 단계; 및 발사대와의 이격거리에 따라 촬영된 복수의 발사대 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 발사대 이미지를 비교하여 발사대와의 이격거리를 추정하고, 추정된 이격거리 및 영상센서의 프레임 레이트(video frame rate)를 근거로 추정 가속도를 산출하고, 가속도센서에서 측정된 가속도와 추정 가속도를 비교하여 가속도센서의 정상동작 여부를 판단하는 단계;를 포함한다.According to another aspect of the present invention, a method for controlling a drone having a MEMS sensor includes the steps of launching the drone from a launch pad; Continuously photographing an image of the launch pad by the image sensor; And a plurality of launcher images captured according to the distance from the launcher are input and the model data generated through machine learning is compared with the launcher image of multiple frames successively photographed by the image sensor to estimate the distance from the launcher. , Calculating an estimated acceleration based on the estimated separation distance and a video frame rate of the image sensor, and comparing the acceleration measured by the acceleration sensor with the estimated acceleration to determine whether the acceleration sensor operates normally or not; including; do.

여기서, 가속도센서가 정상동작으로 판단되는 경우, 드론을 회전시키는 단계; 영상센서에서 주변 이미지를 연속적으로 촬영하는 단계; 및 드론의 회전각도에 따라 촬영된 복수의 주변 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 주변 이미지를 비교하여 드론의 회전각도를 추정하고, 추정된 회전각도 및 영상센서의 프레임 레이트(video frame rate)를 근거로 추정 각속도를 산출하고, 각속도센서에서 측정된 각속도와 추정 각속도를 비교하여 각속도센서의 정상동작 여부를 판단하는 단계;를 포함할 수 있다.Here, if the acceleration sensor is determined to be in normal operation, rotating the drone; Continuously photographing the surrounding image by the image sensor; And a plurality of surrounding images captured according to the drone's rotation angle are input and the model data generated through machine learning is compared with the surrounding images of multiple frames successively captured by the image sensor to estimate and estimate the rotation angle of the drone. Computing an estimated angular velocity based on the determined rotation angle and a video frame rate of the image sensor, and comparing the angular velocity measured by the angular velocity sensor with the estimated angular velocity to determine whether the angular velocity sensor operates normally. It may include; have.

본 발명의 또다른 관점에 따른 멤스센서를 구비한 드론의 제어방법은, 드론을 발사대에서 발사하는 단계; 영상센서에서 주변 이미지를 연속적으로 촬영하는 단계; 및 드론의 회전각도에 따라 촬영된 복수의 주변 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 주변 이미지를 비교하여 드론의 회전각도를 추정하고, 추정된 회전각도 및 영상센서의 프레임 레이트(video frame rate)를 근거로 추정 각속도를 산출하고, 각속도센서에서 측정된 각속도와 추정 각속도를 비교하여 각속도센서의 정상동작 여부를 판단하는;를 포함한다.A method for controlling a drone with a MEMS sensor according to another aspect of the present invention includes the steps of launching the drone from a launch pad; Continuously photographing the surrounding image by the image sensor; And a plurality of surrounding images captured according to the drone's rotation angle are input and the model data generated through machine learning is compared with the surrounding images of multiple frames successively captured by the image sensor to estimate and estimate the rotation angle of the drone. It includes; calculating an estimated angular velocity based on the determined rotation angle and a video frame rate of the image sensor, and comparing the angular velocity measured by the angular velocity sensor with the estimated angular velocity to determine whether the angular velocity sensor operates normally.

본 발명에 의하면 딥러닝을 이용하여 추정 가속도 및 추정 각속도를 산출하고, 이것들과 멤스타입의 가속도센서 및 각속도센서에서 측정된 가속도 및 각속도를 비교함으로써 발사대에서 발사된 후에 멤스센서의 정상동작 여부를 신속하게 판단할 수 있도록 하는 효과가 있다.According to the present invention, the estimated acceleration and the estimated angular velocity are calculated using deep learning, and the acceleration and angular velocity measured by the MEMS-type acceleration sensor and the angular velocity sensor are compared to quickly determine whether the MEMS sensor operates normally after being launched from the launch pad. It has the effect of making it possible to judge properly.

도 1은 본 발명의 일실시예에 따른 멤스센서를 구비한 드론이 발사대에서 발사되는 상태를 도시한 것이고,
도 2는 본 발명의 일실시예에 따른 멤스센서를 구비한 드론을 도시한 블록도이고,
도 3은 본 발명의 일실시예에 따른 멤스센서를 구비한 드론에서 연속적으로 촬영된 발사대 이미지들이고,
도 4는 본 발명의 일실시예에 따른 멤스센서를 구비한 드론에서 연속적으로 촬영된 주변 이미지들이고,
도 5는 본 발명의 일실시예에 따른 멤스센서를 구비한 드론의 제어방법을 도시한 순서도이다.1 shows a state in which a drone equipped with a MEMS sensor is launched from a launch pad according to an embodiment of the present invention,
Figure 2 is a block diagram showing a drone equipped with a MEMS sensor according to an embodiment of the present invention,
3 is a launch pad image continuously photographed in a drone equipped with a MEMS sensor according to an embodiment of the present invention,
4 is an image of surroundings continuously photographed by a drone equipped with a MEMS sensor according to an embodiment of the present invention,
5 is a flow chart showing a method of controlling a drone equipped with a MEMS sensor according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to elements of each drawing, it should be noted that the same elements have the same numerals as possible, even if they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, a preferred embodiment of the present invention will be described below, but the technical idea of the present invention is not limited thereto or is not limited thereto, and may be modified and variously implemented by a person skilled in the art.

도 1은 본 발명의 일실시예에 따른 멤스센서를 구비한 드론이 발사대에서 발사되는 상태를 도시한 것이고, 도 2는 본 발명의 일실시예에 따른 멤스센서를 구비한 드론을 도시한 블록도이다.FIG. 1 is a block diagram showing a drone equipped with a MEMS sensor from a launch pad according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a drone with a MEMS sensor according to an embodiment of the present invention. to be.

도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 드론(100)은, 발사대(10)에 설치되어 발사대(10)의 추력에 의해 원하는 고도까지 신속하게 상승할 수 있게 된다.1 and 2, the drone 100 according to an embodiment of the present invention is installed on the launch pad 10 and can quickly ascend to a desired altitude by the thrust of the launch pad 10.

여기서, 발사대(10)는 드론(100)의 제어부(130)와 연결되어 드론(100)의 전원을 ON시킬 수 있으며, 사출명령을 전달할 수 있게 된다.Here, the launch pad 10 may be connected to the controller 130 of the drone 100 to turn on the power of the drone 100 and transmit an ejection command.

드론(100)에는 상승, 회전, 전후진 이동 등 다양한 동작을 수행할 수 있도록 다수개의 프로펠러(101)가 구비되고, 카메라(103)가 설치되어 촬영이 가능하도록 구성된다. 카메라(103)에는 CMOS센서와 같은 영상센서(110)가 포함되어 드론(100)가 발사된 후 발사대(10)를 연속적으로 촬영할 수 있도록 구성된다.The drone 100 is provided with a plurality of propellers 101 to perform various operations such as ascending, rotating, and moving backwards and forwards, and a camera 103 is installed to enable photographing. The camera 103 includes an image sensor 110 such as a CMOS sensor and is configured to continuously photograph the launch pad 10 after the drone 100 is launched.

또한, 드론(100)는, 드론(100)의 자세제어를 위해 가속도를 측정하는 가속도센서(121)와 각속도를 측정하는 각속도센서(123)를 포함할 수 있는데, 이러한 센서들은 가격측면을 고려하여 멤스(MEM)타입의 센서로 구성될 수 있다.In addition, the drone 100 may include an acceleration sensor 121 that measures acceleration for attitude control of the drone 100 and an angular velocity sensor 123 that measures an angular velocity, and these sensors are considered in terms of price. It can be composed of a MEMS (MEM) type sensor.

본 발명의 일실시예에 따른 멤스센서를 구비한 드론(100)은, 영상센서(110)에서 수신된 발사대 이미지를 분석하는 제어부(130)를 포함한다.The drone 100 having a MEMS sensor according to an embodiment of the present invention includes a control unit 130 that analyzes the launch pad image received from the image sensor 110.

본 발명의 제어부(130)는, 특히 발사대와의 이격거리에 따라 촬영된 복수의 발사대 이미지를 입력받아 기계학습을 통해 이미 생성된 모델데이터(model data)를 이용한다. 즉, 모델데이터와 영상센서(110)에서 촬영된 발사대 이미지를 비교하여 멤스센서(120)의 정상동작 여부를 확인할 수 있도록 구성되는 데, 이에 대한 자세한 과정은 후술한다.In particular, the controller 130 of the present invention receives a plurality of launcher images photographed according to a distance from the launcher and uses model data already generated through machine learning. That is, it is configured to check whether the MEMS sensor 120 is operating normally by comparing the model data and the launch pad image captured by the image sensor 110, and a detailed process for this will be described later.

본 발명의 멤스센서를 구비한 드론(100)은, 제어부(130)가 기계학습을 통해 생성된 모델데이터를 이용할 수 있도록 저장부(140)에 모델데이터를 저장한다.The drone 100 having the MEMS sensor of the present invention stores model data in the storage unit 140 so that the controller 130 can use the model data generated through machine learning.

전술된 실시예에서는 드론(100)의 내부에 위치한 저장부(140)에 모델데이터를 저장하도록 구현되었지만, 드론(100)과 별개로 구성된 서버(미도시)에서 학습데이터들을 기계학습시켜 모델데이터를 생성하고, 생성된 모델데이터를 제어부(130)에서 통신수단을 통해 수신하여 이용하는 방식으로 구현할 수도 있다.In the above-described embodiment, the model data is stored in the storage unit 140 located inside the drone 100, but the model data is machine-learned in a server (not shown) configured separately from the drone 100. It may be generated and implemented in a manner that the generated model data is received and used by the controller 130 through a communication means.

또한, 제어부(130)는 가속도센서(121) 및 각속도센서(123)에서 각각 측정된 드론(100)의 가속도 데이터와 각속도 데이터를 입력받을 수 있으며, 제어신호를 발생시켜 프로펠러 구동부(150)를 구동시킬 수 있도록 구성된다.In addition, the controller 130 may receive acceleration data and angular velocity data of the drone 100 measured by the acceleration sensor 121 and the angular velocity sensor 123, respectively, and drive the propeller drive unit 150 by generating a control signal. It is structured to be able to.

도 3은 본 발명의 일실시예에 따른 멤스센서를 구비한 드론에서 연속적으로 촬영된 발사대 이미지들로서, 여기서는 영상센서(110)에서 연속으로 촬영된 (N-1)번째, N번째, 및 (N+1)번째 프레임에서의 발사대(10) 이미지를 보여준다. 드론(100)이 발사대(10)에서 발사된 후에 발사대(10) 이미지의 크기는 드론(100)이 발사대(10)에서 점점 멀어지기 때문에 시간이 지남에 따라 점점 작아지게 된다.3 is a launch pad image continuously photographed by a drone equipped with a MEMS sensor according to an embodiment of the present invention, in which the (N-1)th, Nth, and (N Shows the launcher 10 image in the +1)th frame. After the drone 100 is launched from the launch pad 10, the size of the image of the launch pad 10 gradually decreases over time because the drone 100 gradually moves away from the launch pad 10.

발사대(10) 이미지가 매초당 보여지는 이미지 장면의 수, 즉 프레임이 촬영된 속도는 프레임 레이트(video frame rate) 또는 fps(frame per second)로 정의될 수 있는데, 일례로 영상센서(110)에서 촬영된 이미지가 30Hz라고 하면, 1초에 30장의 프레임이 촬영되고 각 프레임 영상 이미지간의 시간차이는 1/30초가 된다. The number of image scenes in which the launch pad 10 images are viewed per second, that is, the rate at which frames are photographed, may be defined as a video frame rate or fps (frame per second). For example, in the image sensor 110 Assuming that the captured image is 30Hz, 30 frames are captured in 1 second, and the time difference between each frame video image is 1/30 second.

제어부(130)에서는 저장부(140)에서 제공된 모델데이터와 영상센서(110)에서 측정된 프레임별 발사대(10)의 이미지를 비교하여 각 프레임별로 발사대(10)와 드론(100)간의 이격거리를 추정한다.The control unit 130 compares the model data provided from the storage unit 140 with the image of the launch pad 10 for each frame measured by the image sensor 110, and calculates the separation distance between the launch pad 10 and the drone 100 for each frame. Estimate.

여기서, 모델데이터는 사전에 발사대(10)의 이미지를 발사대(10)와 드론(100)의 이격거리에 따라 촬영하고 이격거리별 학습데이터를 인공지능 알고리즘(일례로, 딥러닝(deep learning))에 입력하여 기계학습시키는 과정을 통해 모델데이터(model data)를 생성하게 된다.Here, as for the model data, the image of the launch pad 10 is photographed according to the separation distance between the launch pad 10 and the drone 100 in advance, and the learning data for each separation distance is an artificial intelligence algorithm (for example, deep learning). Model data is generated through the process of machine learning by entering into

또한, 본 발명의 일실시예에 따른 모델데이터를 생성하기 위해 기계학습되는 발사대 이미지는, 발사대(10)의 발사각도별로 구분되어 입력될 수도 있다. 즉, 드론(100)이 발사되면 중력에 영향을 받게 되고, 발사각도에 따라서 드론(100)의 상승 이동곡선의 형상이 달라지게 되며, 그 결과 발사대(10)의 이미지 또한 달라질 수 있기 때문에 발사각도별로 이격거리에 따른 발사대(10) 이미지를 학습시키는 것이 바람직하다. In addition, the launch pad image machine-learned to generate model data according to an embodiment of the present invention may be divided and input by launch angle of the launch pad 10. That is, when the drone 100 is launched, it is affected by gravity, and the shape of the upward movement curve of the drone 100 is changed according to the launch angle, and as a result, the image of the launch pad 10 may also change, so the launch angle It is desirable to learn the image of the launch pad 10 according to the separation distance.

전술한 바와 같이, 본 발명에서 사용되는 모델데이터를 생성하기 위해서는, 이 경우, 발사대(10)와 드론(100)의 이격거리별 발사대 이미지 또는 발사각도별로 발사대(10)와 드론(100)의 이격거리에 따른 이미지를 입력하여 기계학습을 진행할 수 있는데, 이 경우에는 이격거리별 및/또는 발사각도별로 이미지를 구분하는 라벨링(labeling)이 필요하다. 라벨링의 일례로는, 발사대 이미지 저장파일의 이름으로 이격거리 및/또는 발사각도를 구분할 수 있으며, 다른 예로는 발사대 이미지를 저장하는 폴더명으로 이격거리 및/또는 발사각도를 구분할 수도 있다.As described above, in order to generate the model data used in the present invention, in this case, the separation of the launch pad 10 and the drone 100 by the launch pad image or launch angle according to the separation distance between the launch pad 10 and the drone 100 Machine learning can be performed by inputting an image according to a distance. In this case, labeling is required to classify the images by separation distance and/or launch angle. As an example of labeling, the separation distance and/or launch angle may be classified by the name of the launch pad image storage file, and as another example, the separation distance and/or launch angle may be classified by the folder name that stores the launch pad image.

제어부(130)는 영상센서(110)에서 촬영된 복수개의 발사대 이미지들과 모델데이터를 비교하여 드론(100)의 추정위치(이격거리)들을 산출한 다음, 프레임 레이트를 고려하여 이동속도들을 산출하고, 이동속도들을 기초로 추정 가속도를 산출하게 된다.The controller 130 compares the plurality of launch pad images captured by the image sensor 110 with model data to calculate the estimated position (separation distance) of the drone 100, and then calculates the moving speeds in consideration of the frame rate. , The estimated acceleration is calculated based on the moving speeds.

도 3의 실시예에서 추정 가속도의 산출과정은 다음과 같다.The process of calculating the estimated acceleration in the embodiment of FIG. 3 is as follows.

먼저 (N-1)번째, N번째, 및 (N+1)번째 프레임의 발사대 이미지들(a,b,c)을 획득한다.First, launch pad images (a, b, c) of the (N-1)-th, N-th, and (N+1)-th frames are obtained.

다음으로, 발사대 이미지들(a,b,c)과 모델데이터를 비교하여 (N-1)번째, N번째, 및 (N+1)번째 프레임에서의 추정위치들을 각각 산출한다.Next, the estimated positions in the (N-1)th, Nth, and (N+1)th frames are calculated by comparing the launch pad images (a,b,c) and model data.

다음으로, 프레임 레이트 및 (N-1)번째와 N번째의 추정위치들간의 차로부터 제1이동속도를 산출하고, 프레임 레이트 및 N번째와 (N+1)번째의 추정위치들간의 차로부터 제2이동속도를 산출한다.Next, the first moving speed is calculated from the frame rate and the difference between the (N-1)th and Nth estimated positions, and subtracted from the frame rate and the difference between the Nth and (N+1)th estimated positions. 2 Calculate the moving speed.

이후, 프레임 레이트 및 제1이동속도와 제2이동속도의 차를 근거로 추정 가속도를 산출할 수 있게 된다.Thereafter, the estimated acceleration may be calculated based on the frame rate and the difference between the first moving speed and the second moving speed.

본 발명의 일실시예에서 제어부(130)는, 가속도센서(121)에서 측정된 가속도와 추정 가속도를 비교한 결과, 오차가 소정 범위 이내인 경우, 가속도센서(121)가 정상동작 상태로 판단하게 된다.In an embodiment of the present invention, the controller 130 compares the acceleration measured by the acceleration sensor 121 with the estimated acceleration, and when the error is within a predetermined range, the acceleration sensor 121 determines the normal operation state. do.

도 4는 본 발명의 일실시예에 따른 멤스센서를 구비한 드론에서 연속적으로 촬영된 주변 이미지들로서, 여기서는 영상센서(110)에서 연속으로 촬영된 (N-1)번째, N번째, 및 (N+1)번째 프레임에서의 주변 이미지를 보여준다. 드론(100)이 회전함에 따라 드론(100) 주변의 배경도 회전하면서 복수개의 주변 이미지가 획득된다.4 is an image of surroundings continuously photographed by a drone equipped with a MEMS sensor according to an embodiment of the present invention. Here, the (N-1)th, Nth, and (N Shows the surrounding image in the +1)th frame. As the drone 100 rotates, the background around the drone 100 rotates to obtain a plurality of surrounding images.

제어부(130)에서는 저장부(140)에서 제공된 모델데이터와 영상센서(110)에서 측정된 프레임별 주변 이미지를 비교하여 각 프레임별로 드론(100)의 회전각도를 추정한다.The control unit 130 estimates the rotation angle of the drone 100 for each frame by comparing the model data provided from the storage unit 140 with the surrounding images for each frame measured by the image sensor 110.

여기서, 모델데이터는 사전에 주변 이미지를 드론(100)의 회전각도에 따라 촬영하고 회전각도별 학습데이터를 인공지능 알고리즘에 입력하여 기계학습시킴으로써 모델데이터(model data)를 생성하게 된다.Here, as for the model data, model data is generated by capturing a surrounding image according to the rotation angle of the drone 100 in advance and inputting learning data for each rotation angle into an artificial intelligence algorithm for machine learning.

본 발명의 일실시예에 따른 모델데이터를 생성하기 위해 기계학습되는 주변 이미지는, 드론(100)의 위치에 따라 주변 이미지가 달라지기 때문에 드론(100)의 위치에 따라 구분되어 입력될 수 있다. 또한, 기계학습되는 주변 이미지는, 현재 위치에서의 드론(100)의 높이에 따라 주변 이미지가 달라지기 때문에 드론(100)의 높이별로 구분되어 입력될 수도 있다. The surrounding images machine-learned to generate model data according to an embodiment of the present invention may be divided and input according to the location of the drone 100 because the surrounding images are changed according to the location of the drone 100. Also, the surrounding image to be machine-learned may be divided and input for each height of the drone 100 because the surrounding image varies according to the height of the drone 100 at the current location.

본 발명에서 사용되는 모델데이터를 생성하기 위해서는, 드론(100)의 위치별 및/또는 높이별로 드론(100)이 소정속도로 회전하면서 획득된 주변 이미지를 입력하여 기계학습을 진행할 수 있는데, 이 경우에는 드론(100)의 위치별 및/또는 높이별로 이미지를 구분하는 라벨링이 도 3의 실시예에서와 같은 방식으로 추가될 수 있다.In order to generate the model data used in the present invention, machine learning can be performed by inputting the surrounding image acquired while the drone 100 rotates at a predetermined speed by position and/or height of the drone 100. In this case, Labeling for classifying images by location and/or height of the drone 100 may be added in the same manner as in the embodiment of FIG. 3.

제어부(130)는 영상센서(110)에서 촬영된 복수개의 주변 이미지들과 모델데이터를 비교하여 드론(100)의 회전각도들을 산출한 다음, 프레임 레이트를 고려하여 회전속도들을 산출하게 된다.The controller 130 calculates rotation angles of the drone 100 by comparing model data with a plurality of surrounding images captured by the image sensor 110, and then calculates rotation speeds in consideration of the frame rate.

도 4의 실시예에서 추정 회전속도의 산출과정은 다음과 같다.The process of calculating the estimated rotational speed in the embodiment of FIG. 4 is as follows.

먼저 (N-1)번째, N번째, 및 (N+1)번째 프레임의 주변 이미지들(a,b,c)을 획득한다.First, peripheral images (a, b, c) of the (N-1)-th, N-th, and (N+1)-th frames are acquired.

다음으로, 주변 이미지들(a,b,c)과 모델데이터를 비교하여 (N-1)번째, N번째, 및 (N+1)번째 프레임에서의 회전각도들을 각각 산출한다.Next, by comparing the surrounding images (a, b, c) and model data, rotation angles in the (N-1)-th, N-th, and (N+1)-th frames are calculated.

다음으로, 프레임 레이트 및 (N-1)번째와 N번째의 추정 회전각도들간의 차로부터 제1각속도를 산출하고, 프레임 레이트 및 N번째와 (N+1)번째의 추정위치들간의 차로부터 제2각속도를 산출한다.Next, the first angular velocity is calculated from the frame rate and the difference between the (N-1)th and Nth estimated rotation angles, and is subtracted from the frame rate and the difference between the Nth and (N+1)th estimated positions. 2 Calculate the angular velocity.

본 발명의 일실시예에서 제어부(130)는, 각속도센서(123)에서 측정된 각속도와 추정 각속도를 비교한 결과, 오차가 소정 범위 이내인 경우, 각속도센서(123)가 정상동작 상태로 판단하게 된다.In an embodiment of the present invention, the controller 130 makes the angular velocity sensor 123 determine the normal operation state when the error is within a predetermined range as a result of comparing the angular velocity measured by the angular velocity sensor 123 with the estimated angular velocity. do.

한편, 전술된 각속도센서(123)의 정상여부 판단과정은 가속도센서(121)의 정상여부 판단과정 이후 가속도센서(121)가 정상 상태로 판정되었을 때에만 드론(100)을 회전시켜 각속도센서(123)의 정상동작 여부를 확인하도록 구성할 수 있다. 이와 같이 구성함으로써 가속도센서(121)와 각속도센서(123)의 정상동작 여부를 순차적으로 확인할 수 있게 된다. On the other hand, the above-described process of determining whether the angular velocity sensor 123 is normal is performed by rotating the drone 100 only when the acceleration sensor 121 is determined to be in a normal state after the process of determining whether the acceleration sensor 121 is normal. ) Can be configured to check whether it operates normally. By configuring in this way, it is possible to sequentially check whether the acceleration sensor 121 and the angular velocity sensor 123 operate normally.

도 5는 본 발명의 일실시예에 따른 멤스센서를 구비한 드론의 제어방법을 도시한 순서도이다.5 is a flow chart showing a method of controlling a drone equipped with a MEMS sensor according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 드론 제어방법은, 먼저 멤스타입의 가속도 센서 및 각속도센서를 구비한 드론을 발사대에서 발사한다(S110).Referring to Figure 5, the drone control method of the present invention, first launches a drone having a MEMS-type acceleration sensor and an angular velocity sensor from a launch pad (S110).

발사 이후, 드론은 영상센서에서 발사대 이미지를 연속적으로 촬영한다(S120).After launch, the drone continuously photographs the launch pad image from the image sensor (S120).

다음으로, 드론과 발사대와의 이격거리에 따라 촬영된 복수의 발사대 이미지를 입력받아 기계학습을 통해 생성된 모델데이터를 근거로 추정 가속도를 산출한다(S130).Next, a plurality of launcher images captured according to the distance between the drone and the launcher are input, and the estimated acceleration is calculated based on model data generated through machine learning (S130).

즉, 상기 모델데이터와 영상센서에서 연속적으로 촬영된 복수 프레임의 발사대 이미지를 비교하여 발사대와의 이격거리를 추정하고, 추정된 이격거리 및 영상센서의 프레임 레이트를 근거로 추정 가속도를 산출한다.That is, by comparing the model data with the launcher image of a plurality of frames successively photographed by the image sensor, the distance to the launcher is estimated, and the estimated acceleration is calculated based on the estimated distance and the frame rate of the image sensor.

이후, 가속도센서에서 측정된 측정 가속도와 상기 추정 가속도의 차를 산출하고, 이 차이값을 제1임계값(E1)과 비교함으로써 가속도센서의 정상동작 여부를 판단한다(S140).Thereafter, a difference between the measured acceleration measured by the acceleration sensor and the estimated acceleration is calculated, and the difference value is compared with the first threshold value E 1 to determine whether the acceleration sensor operates normally (S140).

비교결과, 제1임계값보다 차이값이 큰 경우, 측정 가속도와 추정 가속도의 차이가 상대적으로 커서 가속도센서가 정상동작 상태가 아니라고 판단하고 S120단계에서 S140단계를 다시 수행한다.As a result of the comparison, if the difference value is larger than the first threshold value, the difference between the measured acceleration and the estimated acceleration is relatively large, and it is determined that the acceleration sensor is not in a normal operation state, and the step S140 is performed again in step S120.

비교결과, 제1임계값보다 차이값이 작은 경우, 가속도센서가 정상동작 상태로 판단하여 드론을 회전시키고, 영상센서에서는 주변 이미지를 연속적으로 촬영하게 된다(S150).As a result of the comparison, if the difference value is smaller than the first threshold value, the acceleration sensor determines that it is in a normal operation state and rotates the drone, and the image sensor continuously photographs surrounding images (S150).

이후, 드론의 회전각도에 따라 촬영된 복수의 주변 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 주변 이미지를 비교하여 드론의 회전각도를 추정하고, 추정된 회전각도 및 영상센서의 프레임 레이트를 근거로 추정 각속도를 산출한다(S160).Thereafter, the rotation angle of the drone is estimated by comparing the model data generated through machine learning and the surrounding images of a plurality of frames successively captured by an image sensor by receiving a plurality of surrounding images captured according to the rotation angle of the drone, The estimated angular velocity is calculated based on the estimated rotation angle and the frame rate of the image sensor (S160).

다음으로, 각속도센서에서 측정된 측정 각속도와 상기 추정 각속도의 차를 산출하고, 이 차이값을 제2임계값(E2)와 비교함으로써 각속도센서의 정상동작 여부를 판단한다(S170).Next, the difference between the measured angular velocity measured by the angular velocity sensor and the estimated angular velocity is calculated, and the difference value is compared with the second threshold value E 2 to determine whether the angular velocity sensor operates normally (S170).

비교결과, 제2임계값보다 차이값이 큰 경우, 측정 각속도와 추정 각속도의 차이가 상대적으로 커서 각속도센서가 정상동작 상태가 아니라고 판단하고 S150단계에서 S170단계를 다시 수행한다.As a result of the comparison, if the difference value is larger than the second threshold, the difference between the measured angular velocity and the estimated angular velocity is relatively large, and it is determined that the angular velocity sensor is not in a normal operation state, and the step S170 is performed again in step S150.

비교결과, 제2임계값보다 차이값이 작은 경우, 각속도센서가 정상동작 상태로 판단하여 멤스센서에서 측정된 측정정보를 활용하게 된다(S180).As a result of the comparison, if the difference value is smaller than the second threshold, the angular velocity sensor determines that it is in a normal operating state, and the measured information measured by the MEMS sensor is used (S180).

한편, 도 5의 실시예에서는 가속도센서의 정상동작여부를 확인한 다음, 각속도센서의 정상동작여부를 확인하도록 구성되어 있지만, 본 발명은 이에 한정되지 않고 각 센서별로 정상동작여부를 확인하는 단계가 각각 독립적으로 별도 수행될 수도 있다. On the other hand, in the embodiment of FIG. 5, it is configured to check whether the acceleration sensor operates normally, and then check whether the angular velocity sensor operates normally, but the present invention is not limited thereto, and the steps of confirming normal operation for each sensor are each It may be performed independently.

전술한 바와 같이 본 발명의 일실시예에 따른 멤스센서를 구비한 드론은 영상센서에서 측정된 이미지와 기계학습을 통해 생성된 모델데이터를 비교함으로써 드론 초기 발사시에 멤스센서의 정상동작여부를 신속하게 파악할 수 있게 된다. As described above, a drone equipped with a MEMS sensor according to an embodiment of the present invention can quickly determine whether the MEMS sensor operates normally at the initial launch of the drone by comparing the image measured by the image sensor and model data generated through machine learning. You will be able to grasp it.

종래에는 드론 내부의 타이머를 통해 발사대로부터 이탈한 후 어느 정도 시간이 지나면 정상적으로 멤스센서가 동작한다고 판단할 수 있지만 멤스센서 종류에 따라 발사충격을 받은 후 정상적으로 동작하는 시간이 달라 정상동작 시간을 정확하게 파악할 수 없어 대략적인 시간을 정하여 수동적인 대응을 하였지만, 본 발명은 딥러닝을 통한 모델데이터와 센서에서 측정된 이미지를 실시간으로 모니터링함으로써 센서가 정상동작되는 시점을 보다 신속하고 정확하게 파악하여 보다 신속한 임무수행이 가능해진다.Conventionally, it can be determined that the MEMS sensor operates normally after a certain amount of time elapses after departure from the launcher through a timer inside the drone, but the normal operation time after receiving a launch shock varies depending on the type of MEMS sensor, so that the normal operation time can be accurately identified. Although it was not possible to set an approximate time and did a passive response, the present invention monitors the model data through deep learning and the image measured by the sensor in real time to more quickly and accurately identify the point at which the sensor is operating normally and perform the task more quickly. This becomes possible.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the technical field to which the present invention belongs can make various modifications, changes, and substitutions within the scope not departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

100: 멤스센서를 구비한 드론
110: 영상센서
120: 멤스센서
121: 가속도센서
123: 각속도센서
130: 제어부
140: 저장부
150: 프로펠러 구동부100: drone with MEMS sensor
110: image sensor
120: MEMS sensor
121: acceleration sensor
123: angular velocity sensor
130: control unit
140: storage unit
150: propeller drive

Claims (13)

멤스타입의 가속도센서 및 각속도센서를 구비하는 드론에 있어서,
발사대를 촬영하는 영상센서; 및
영상센서에서 수신된 발사대 이미지를 분석하는 제어부;를 포함하되,
제어부는,
발사대와의 이격거리에 따라 촬영된 복수의 발사대 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 발사대 이미지를 비교하여 발사대와의 이격거리를 추정하고, 추정된 이격거리 및 영상센서의 프레임 레이트(video frame rate)를 근거로 추정 가속도를 산출하고,
가속도센서에서 측정된 가속도와 추정 가속도를 비교하여 가속도센서의 정상동작 여부를 판단하고,
제어부는,
가속도센서에서 측정된 가속도와 추정 가속도를 비교한 결과, 오차가 소정 범위 이내인 경우, 가속도센서를 정상동작 상태로 판단하고,
드론은,
데이터를 저장하는 저장부를 더 포함하고,
모델데이터는 저장부에 저장되는, 멤스센서를 구비한 드론.
In a drone equipped with a MEMS-type acceleration sensor and an angular velocity sensor,
An image sensor for photographing the launch pad; And
Including; a control unit for analyzing the launch pad image received from the image sensor,
The control unit,
The separation distance from the launcher is estimated by comparing the model data generated through machine learning by receiving a plurality of launcher images taken according to the distance from the launcher and the launcher image of multiple frames successively photographed by the image sensor, Calculate the estimated acceleration based on the estimated separation distance and the video frame rate of the image sensor,
Compare the acceleration measured by the acceleration sensor and the estimated acceleration to determine whether the acceleration sensor operates normally,
The control unit,
As a result of comparing the acceleration measured by the acceleration sensor and the estimated acceleration, if the error is within a predetermined range, the acceleration sensor is determined as a normal operation state,
Drones,
Further comprising a storage unit for storing data,
The model data is stored in a storage unit, a drone equipped with a MEMS sensor.
 삭제delete 청구항 1에 있어서,
추정 가속도는,
(N-1)번째, N번째, 및 (N+1)번째 프레임의 발사대 이미지들과 모델데이터를 비교하여 (N-1)번째, N번째, 및 (N+1)번째 프레임에서의 추정위치들을 각각 산출한 다음, 프레임 레이트 및 (N-1)번째와 N번째의 추정위치들간의 차로부터 제1이동속도를 산출하고, 프레임 레이트 및 N번째와 (N+1)번째의 추정위치들간의 차로부터 제2이동속도를 산출하고, 프레임 레이트 및 제1이동속도와 제2이동속도의 차를 근거로 추정되는, 멤스센서를 구비한 드론.
The method according to claim 1,
The estimated acceleration is,
Estimated position in (N-1)th, Nth, and (N+1)th frames by comparing the launch pad images of (N-1)th, Nth, and (N+1)th frames with model data Are calculated respectively, then the first movement speed is calculated from the frame rate and the difference between the (N-1)th and Nth estimated positions, and the frame rate and the Nth and (N+1)th estimated positions are A drone equipped with a MEMS sensor that calculates a second movement speed from the vehicle and is estimated based on a frame rate and a difference between the first movement speed and the second movement speed.
 삭제delete 청구항 1에 있어서,
기계학습되는 발사대 이미지는,
발사대의 발사각도별로 구분되어 입력되는, 멤스센서를 구비한 드론.
The method according to claim 1,
The machine-learned launcher image,
A drone equipped with MEMS sensors that are divided and input by launch angle of the launch pad.
 청구항 1에 있어서,
영상센서는,
1초에 한 프레임 이상의 발사대 이미지를 연속적으로 촬영하는, 멤스센서를 구비한 드론.
The method according to claim 1,
The image sensor,
A drone equipped with a MEMS sensor that continuously shoots images of the launch pad more than one frame per second.
 멤스타입의 가속도센서 및 각속도센서를 구비하는 드론에 있어서,
드론이 회전할 때 주변을 촬영하는 영상센서; 및
영상센서에서 수신된 발사대 이미지를 분석하는 제어부;를 포함하되,
제어부는,
드론의 회전각도에 따라 촬영된 복수의 주변 이미지를 입력받아 기계학습을 통해 생성된 모델데이터와, 영상센서에서 연속적으로 촬영된 복수 프레임의 주변 이미지를 비교하여 드론의 회전각도를 추정하고, 추정된 회전각도 및 영상센서의 프레임 레이트(video frame rate)를 근거로 추정 각속도를 산출하고,
각속도센서에서 측정된 각속도와 추정 각속도를 비교하여 각속도센서의 정상동작 여부를 판단하고,
제어부는,
가속도센서에서 측정된 가속도와 기계학습을 통해 추정된 추정 가속도를 비교하여 가속도센서가 정상동작 상태로 판단한 이후, 드론을 회전시켜 각속도센서의 정상동작 여부를 판단하는, 멤스센서를 구비한 드론.
In a drone equipped with a MEMS-type acceleration sensor and an angular velocity sensor,
An image sensor that photographs the surroundings when the drone rotates; And
Including; a control unit for analyzing the launch pad image received from the image sensor,
The control unit,
The rotation angle of the drone is estimated by comparing the model data generated through machine learning by receiving a plurality of surrounding images photographed according to the rotation angle of the drone and the surrounding images successively captured by the image sensor. Calculate the estimated angular velocity based on the rotation angle and the video frame rate of the image sensor,
The angular velocity measured by the angular velocity sensor is compared with the estimated angular velocity to determine whether the angular velocity sensor operates normally,
The control unit,
A drone equipped with a MEMS sensor that compares the acceleration measured by the acceleration sensor with the estimated acceleration estimated through machine learning, and determines whether the angular velocity sensor operates normally by rotating the drone after the acceleration sensor determines that it is in normal operation.
 삭제delete 청구항 7에 있어서,
기계학습되는 주변 이미지는,
드론의 위치별로 구분되어 입력되는, 멤스센서를 구비한 드론.
The method of claim 7,
The machine-learned surrounding image,
A drone equipped with a MEMS sensor that is divided and input by the location of the drone.
 청구항 7에 있어서,
기계학습되는 주변 이미지는,
드론의 높이별로 구분되어 입력되는, 멤스센서를 구비한 드론.
The method of claim 7,
The machine-learned surrounding image,
A drone equipped with a MEMS sensor that is divided and input by the height of the drone.
 삭제delete 삭제delete 삭제delete
KR1020190098299A 2019-08-12 2019-08-12 Drone having MEMS sensor KR102194127B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190098299A KR102194127B1 (en) 2019-08-12 2019-08-12 Drone having MEMS sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190098299A KR102194127B1 (en) 2019-08-12 2019-08-12 Drone having MEMS sensor

Publications (1)

Publication Number Publication Date
KR102194127B1 true KR102194127B1 (en) 2020-12-22

Family

ID=74086581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190098299A KR102194127B1 (en) 2019-08-12 2019-08-12 Drone having MEMS sensor

Country Status (1)

Country Link
KR (1) KR102194127B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240023934A (en) 2022-08-16 2024-02-23 고려대학교 산학협력단 Device and method for detecting gyroscope attack and recovering using accelerometer
KR20240043267A (en) 2022-09-27 2024-04-03 고려대학교 산학협력단 Device and method for detecting signal injection attack using relation between gyroscope and magnetometer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214216A1 (en) * 2007-01-05 2010-08-26 Invensense, Inc. Motion sensing and processing on mobile devices
US20160179096A1 (en) * 2014-05-23 2016-06-23 Lily Robotics, Inc. Launching unmanned aerial copter from mid-air
KR101908021B1 (en) 2018-05-23 2018-10-12 엘아이지넥스원 주식회사 Method for securing image sensor exposure time of image sensor mounted on flight vehicle using attitude information senosr and computer program sotred in recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214216A1 (en) * 2007-01-05 2010-08-26 Invensense, Inc. Motion sensing and processing on mobile devices
US20160179096A1 (en) * 2014-05-23 2016-06-23 Lily Robotics, Inc. Launching unmanned aerial copter from mid-air
KR101908021B1 (en) 2018-05-23 2018-10-12 엘아이지넥스원 주식회사 Method for securing image sensor exposure time of image sensor mounted on flight vehicle using attitude information senosr and computer program sotred in recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240023934A (en) 2022-08-16 2024-02-23 고려대학교 산학협력단 Device and method for detecting gyroscope attack and recovering using accelerometer
KR20240043267A (en) 2022-09-27 2024-04-03 고려대학교 산학협력단 Device and method for detecting signal injection attack using relation between gyroscope and magnetometer

Similar Documents

Publication Publication Date Title
US11188101B2 (en) Method for controlling aircraft, device, and aircraft
US11604479B2 (en) Methods and system for vision-based landing
CN110692027B (en) System and method for providing easy-to-use release and automatic positioning of drone applications
CN110494360B (en) System and method for providing autonomous photography and photography
US9994316B1 (en) Unmanned aerial vehicle sensor synchronization
CN108700890B (en) Unmanned aerial vehicle return control method, unmanned aerial vehicle and machine readable storage medium
WO2020187095A1 (en) Target tracking method and apparatus, and unmanned aerial vehicle
KR102254491B1 (en) Automatic fly drone embedded with intelligent image analysis function
US10538326B1 (en) Flare detection and avoidance in stereo vision systems
CN108235815B (en) Imaging control device, imaging system, moving object, imaging control method, and medium
CN108163203B (en) Shooting control method and device and aircraft
CN107450573B (en) Flight shooting control system and method, intelligent mobile communication terminal and aircraft
KR102194127B1 (en) Drone having MEMS sensor
WO2018179404A1 (en) Information processing device, information processing method, and information processing program
US10896520B2 (en) System and method for moment capturing
WO2018053785A1 (en) Image processing in an unmanned autonomous vehicle
WO2022016534A1 (en) Flight control method of unmanned aerial vehicle and unmanned aerial vehicle
CN109660721B (en) Unmanned aerial vehicle flight shooting quality optimization method, system, equipment and storage medium
US20200410219A1 (en) Moving object detection device, control device, movable body, moving object detection method and program
US10308359B2 (en) Moving device, method of controlling moving device and storage medium
CN105807783A (en) Flight camera
CN113158753B (en) Target identification and guidance method of strapdown image guidance aircraft
KR102414986B1 (en) UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same
US11820488B2 (en) Image capturing method
JP6475568B2 (en) Imaging apparatus and flight control method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant