KR102267840B1 - Drone Monitoring System - Google Patents

Drone Monitoring System Download PDF

Info

Publication number
KR102267840B1
KR102267840B1 KR1020190178057A KR20190178057A KR102267840B1 KR 102267840 B1 KR102267840 B1 KR 102267840B1 KR 1020190178057 A KR1020190178057 A KR 1020190178057A KR 20190178057 A KR20190178057 A KR 20190178057A KR 102267840 B1 KR102267840 B1 KR 102267840B1
Authority
KR
South Korea
Prior art keywords
drone
vibrator
controller
vibrator module
monitoring system
Prior art date
Application number
KR1020190178057A
Other languages
Korean (ko)
Inventor
류제하
김영호
김창현
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020190178057A priority Critical patent/KR102267840B1/en
Application granted granted Critical
Publication of KR102267840B1 publication Critical patent/KR102267840B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/005—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

The present invention relates to a drone monitoring system. The system may include a drone controller that transmits an RF radio signal including an operation control signal to a drone device, the drone device that operates according to the motion control signal received from the drone controller, and a controller auxiliary device that is attached to a part of a human body and receives a sensed value for the operation state of the drone device measured by one or more sensors included in the drone device, analyzes the received sensing value, and vibrates a built-in vibrator.

Description

드론 모니터링 시스템{Drone Monitoring System}Drone Monitoring System

본 발명은 드론 모니터링 시스템에 관한 것으로, 더욱 상세하게는 드론의 동작 상태에 대한 피드백을 통해 드론을 모니터링하는 드론 모니터링 시스템에 관한 것이다.The present invention relates to a drone monitoring system, and more particularly, to a drone monitoring system for monitoring a drone through feedback on the operation state of the drone.

최근 드론에 대한 관심이 높아지면서 이를 활용하는 사례가 차츰 늘어나고 있다. 드론을 활용하는 분야도 점점 많아짐에 따라 드론 시장은 매우 빠르게 성장하고 있고 대중의 관심도 점점 높아지고 있어 실생활에서 드론을 사용할 기회는 점점 늘어날 것이라고 예상된다. Recently, as interest in drones has increased, the cases of using them are gradually increasing. As the number of fields using drones increases, the drone market is growing very rapidly and public interest is also increasing, so it is expected that the opportunities to use drones in real life will increase.

하지만 드론 사용의 대중화 및 보편화를 위해 고민하고 보완해야 할 부분이 있으며, 또한 드론을 능숙하게 다루기에는 많은 연습이 필요하다. 예를 들어 드론 비행 중 조작 미숙이나 돌발 상황에 의해 인구 밀집지역에 추락할 경우 많은 인명사고가 일어날 수 있고, 예기치 못한 강풍 등으로 사용자의 의도에 맞지 않게 제어되거나 드론의 분실 또는 파손 될 우려도 있다. However, there are areas that need to be considered and supplemented for the popularization and generalization of drone use, and it takes a lot of practice to handle drones skillfully. For example, if a drone falls into a densely populated area due to inexperienced operation or unexpected situations during flight, many casualties may occur, and there is a risk that the drone may be lost or damaged due to unexpected strong winds, etc. .

실제로 빌딩풍 같은 벤추리 효과로 바람이 소용돌이처럼 위로 솟구치거나 건물 사이를 지나며 초속 20~30m로 강해져 조종사가 예상치 못한 기상환경으로 기체를 제어하기 어렵게 되는 경우가 있다. 또한, 도심에서의 드론 사용은 건물 외벽의 유리가 전파의 난반사를 일으켜서 GPS신호 수신 오류로 드론을 제어하는데 어려움이 생길 수 있다. In fact, due to the building-like venturi effect, the wind soars upward like a whirlpool or passes between buildings and becomes strong at 20 to 30 m/s, making it difficult for the pilot to control the aircraft due to unexpected weather conditions. In addition, the use of drones in the city center may cause difficulties in controlling the drone due to GPS signal reception errors as the glass on the exterior wall of the building causes diffuse reflection of radio waves.

또한, 숙달된 드론 조종자도 주로 조종자 시각에 의존하여 드론의 움직임을 조종하는데, 조종자 시야에서 벗어날 경우, 조종자의 감에 의존할 수밖에 없다. 또한, 드론에 부착된 카메라를 사용하더라도 상공에 참조할만한 지점이 없어 카메라를 통해 전송된 영상만으로 드론 비행의 방향감각이 혼동되어 조작이 원활하지 않게 될 수 있다. In addition, an experienced drone operator mainly depends on the pilot's vision to control the movement of the drone. In addition, even if a camera attached to the drone is used, there is no point in the sky to refer to, so only the image transmitted through the camera may confuse the sense of direction of the drone flight, making operation difficult.

이러한 문제점 등으로 현재 각종 교육 기관을 통해 수만 명 이상이 드론 인재 육성 과정을 거지고 있으나, 긴 시간과 비싼 수강료를 들여 교육을 수료한 이들 중 실제로 드론을 운용하는 공공기관이나 기업체에서 활약한 이들을 찾기는 어려운 실정이다. 고작 수십 시간에 그치는 강의로는 드론을 능숙하게 조정하는 것은 불가능하며 대부분의 드론 교육 과정이 단순 비행 기술 교육에 불과하고 교육시간도 절대적으로 부족한 실정이다. 또한, 시뮬레이터를 이용하여 훈련 환경과 시간 및 위험을 감소시킬 수 있어도 앞서 언급한 문제는 근본적으로 해결하기 어렵다. Due to these problems, more than tens of thousands of people are currently undergoing training for drone talent through various educational institutions, but among those who have completed the training by spending a long time and expensive tuition, it is possible to find those who have been active in public institutions or companies that actually operate drones. is a difficult situation. It is impossible to control a drone skillfully with only a few dozen hours of lectures, and most of the drone training courses are simply flight skills training, and training hours are absolutely insufficient. In addition, although it is possible to reduce the training environment, time, and risk by using the simulator, the aforementioned problem is fundamentally difficult to solve.

모바일 기기와 원격제어 기기에 햅틱 피드백을 이용하여 직관적이고 사실적인 정보 전달로 장치와 사용자 간의 상호작용을 돕도록 하는 기술이 상기 언급한 문제를 해결하는데 도움을 줄 수 있다. A technology that aids interaction between a device and a user by delivering intuitive and realistic information using haptic feedback to a mobile device and a remote control device may help to solve the above-mentioned problem.

하지만 제한된 공간으로 인해 필요한 만큼의 엑추에이터를 포함하기 어려운 경우가 많고 한정된 엑추이터로는 햅틱 렌더링의 한계가 있다. 또한, 사람은 진동의 시간적인 변화에 대한 인지능력이 뛰어 나지 못하여 이를 해결하려면 더 큰 전력소모, 공간차지, 비용 등의 부작용이 있을 수 있다. 또한, 원격제어에 특화된 햅틱 기술을 이용하여도 드론의 주된 3축 움직임을 직관적으로 알 수 있는 기구가 없고 단지 6가지 모션(위, 아래, 앞, 뒤, 좌회전, 우회전)시 사용자가 장착한 밴드형 기구의 특정한 위치의 진동자가 울리거나 촉각 착각 햅틱 기술로 드론의 움직임에 가이던스(장애물 피하기, 목표지점 이동 등)를 주는 것에 대한 기술만 존재하는 실정이다. However, it is often difficult to include as many actuators as necessary due to a limited space, and there is a limit to haptic rendering with limited actuators. In addition, humans do not have excellent ability to recognize the temporal change of vibration, so to solve this problem, there may be side effects such as greater power consumption, space occupancy, and cost. In addition, even using haptic technology specialized for remote control, there is no mechanism to intuitively know the main three-axis movements of the drone, and the user-mounted band for only six motions (up, down, front, back, left turn, right turn). There are only technologies for giving guidance (avoiding obstacles, moving the target point, etc.) to the movement of the drone with the vibrator sounding at a specific location of the type device or tactile illusion haptic technology.

[특허문헌 1] 한국등록특허 제10-1948569호. 2019.02.11. 등록.[Patent Document 1] Korean Patent No. 10-1948569. 2019.02.11. Enrollment.

본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 드론 모니터링 시스템을 제공하는 것을 그 목적으로 한다. The present invention has been created to solve the above problems, and an object of the present invention is to provide a drone monitoring system.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다. Objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood from the description below.

상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 드론 모니터링 시스템이 개시된다. 상기 시스템은 동작제어 신호가 포함된 RF 무선 신호를 드론 장치로 전송하는 드론 컨트롤러, 드론 컨트롤러로부터 전송받은 동작제어 신호에 따라 동작하는 드론 장치 및 신체의 일부에 부착되어 있으며, 드론 장치에 포함된 하나 이상의 센서들이 측정한 상기 드론 장치의 동작 상태에 대한 센싱값을 전송받아, 전송받은 센싱값을 분석하여, 내장된 진동자를 진동시키는 컨트롤러 보조장치를 포함할 수 있다. In order to achieve the above objects, a drone monitoring system according to an embodiment of the present invention is disclosed. The system is attached to a drone controller that transmits an RF radio signal including a motion control signal to the drone device, a drone device that operates according to a motion control signal received from the drone controller, and a part of the body, and is included in the drone device. It may include a controller auxiliary device that receives the sensing value of the operation state of the drone device measured by the above sensors, analyzes the received sensing value, and vibrates the built-in vibrator.

또한, 본 발명의 일 실시예에 따르면, 드론 장치는 드론 장치의 동작 상태를 측정하는 라이다(Light Detection And Ranging: LiDAR) 센서와 IMU(Inertial Measurement Unit: IMU) 센서를 포함하는 센서부 및 드론 장치의 외부에 부착되어, 드론 장치의 전방을 촬영하는 영상 촬영장치를 포함할 수 있다. In addition, according to an embodiment of the present invention, the drone device includes a sensor unit including a Light Detection And Ranging (LiDAR) sensor and an Inertial Measurement Unit (IMU) sensor for measuring the operating state of the drone device and the drone It may include an image capturing device attached to the outside of the device to photograph the front of the drone device.

또한, 본 발명의 일 실시예에 따르면, 라이다 센서는 광학 펄스를 이용하여 전방 물체를 탐지하고, IMU 센서는 3축 방향으로의 이동을 감지하는 가속도 센서 및 3축 방향으로 회전을 감지하는 자이로스코프 센서를 포함할 수 있다. In addition, according to an embodiment of the present invention, the lidar sensor detects a front object using an optical pulse, and the IMU sensor is an acceleration sensor that detects movement in three axes and a gyro that senses rotation in three directions. It may include a scope sensor.

또한, 본 발명의 일 실시예에 따르면, 컨트롤러 보조장치는 컨트롤러 보조장치의 상단부분 중앙에 마련되며, 원형으로 배열된 진동자들을 포함하고, 드론 장치의 전방을 인지시키는 제1 진동자 모듈, 컨트롤러 보조장치의 하단부분 중앙에 마련되며, 원형으로 배열된 진동자들을 포함하고, 드론 장치의 전방에 위치한 물체와 충돌여부에 대한 피드백을 주는 제2 진동자 모듈 및 전송받은 센싱값을 분석하여, 제1 진동자 모듈 또는 제2 진동자 모듈에 포함된 진동자들 중 적어도 하나의 진동여부를 판단하고, 진동 주파수 또는 진동크기 중 적어도 하나를 연산하는 제어부를 포함할 수 있다. In addition, according to an embodiment of the present invention, the controller auxiliary device is provided in the center of the upper part of the controller auxiliary device, includes vibrators arranged in a circle, and a first vibrator module for recognizing the front of the drone device, the controller auxiliary device A second vibrator module provided at the center of the lower part of the device, including vibrators arranged in a circle, and a second vibrator module that gives feedback on whether or not a collision with an object located in front of the drone device and the received sensing value are analyzed, and the The second vibrator module may include a controller that determines whether at least one of the vibrators is vibrating and calculates at least one of a vibration frequency or a vibration magnitude.

또한, 본 발명의 일 실시예에 따르면, 제어부는 분석한 센싱값에 따라 제1 진동자 모듈의 진동자들을 진동시키는 진동 신호를 제1 진동자 모듈로 전송할 수 있다. Also, according to an embodiment of the present invention, the controller may transmit a vibration signal for vibrating the vibrators of the first vibrator module to the first vibrator module according to the analyzed sensing value.

또한, 본 발명의 일 실시예에 따르면, 제어부는 분석한 센싱값에 따라 드론 장치의 전방에 위치한 물체와의 거리가 기설정된 거리보다 가까워진 경우, 전방에 위치한 물체의 위치에 대응되는 제2 진동자 모듈의 진동자들을 진동시키는 진동 신호를 제2 진동자 모듈로 전송할 수 있다. In addition, according to an embodiment of the present invention, when the distance to the object located in the front of the drone device is closer than a preset distance according to the analyzed sensing value, the controller is a second vibrator module corresponding to the position of the object located in the front A vibration signal for vibrating the vibrators may be transmitted to the second vibrator module.

또한, 본 발명의 일 실시예에 따르면, 제어부는 드론 장치의 전방에서 탐지된 물체와의 거리가 가까워짐에 따라, 제2 진동자 모듈에 포함된 진동자들의 진동크기를 조절하는 신호를 제2 진동자 모듈로 전송할 수 있다. In addition, according to an embodiment of the present invention, as the distance to the object detected from the front of the drone device increases, the controller transmits a signal for adjusting the vibration magnitude of the vibrators included in the second vibrator module to the second vibrator module. can be transmitted

또한, 본 발명의 일 실시예에 따르면, 컨트롤러 보조장치는 양쪽 끝단에 각각 마련된 한 쌍의 제3 진동자 모듈을 더 포함하고, 제3 진동자 모듈은 신체를 감싸도록 배열된 진동자들을 포함하고, 제3 진동자 모듈의 진동자들의 진동을 통해 상기 드론 장치의 기울기를 인지시킬 수 있다. In addition, according to an embodiment of the present invention, the controller auxiliary device further includes a pair of third vibrator modules provided at both ends, respectively, and the third vibrator module includes vibrators arranged to surround the body, and the third The inclination of the drone device may be recognized through the vibrations of the vibrators of the vibrator module.

또한, 본 발명의 일 실시예에 따르면, 제어부는 측정된 드론 장치의 기울기와 대응되는 제3 진동자 모듈의 진동자를 진동시키는 진동 신호를 상기 제3 진동자 모듈로 전송할 수 있다. Also, according to an embodiment of the present invention, the controller may transmit a vibration signal for vibrating the vibrator of the third vibrator module corresponding to the measured inclination of the drone device to the third vibrator module.

상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다. Specific details for achieving the above objects will become clear with reference to the embodiments to be described in detail below in conjunction with the accompanying drawings.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다. However, the present invention is not limited to the embodiments disclosed below, but may be configured in various different forms, and those of ordinary skill in the art to which the present invention belongs ( Hereinafter, "a person skilled in the art") is provided to fully inform the scope of the invention.

본 발명의 일 실시예에 의하면, 컨트롤러 보조장치를 통해 현재 드론 장치의 동작 상태를 확인할 수 있다. According to an embodiment of the present invention, it is possible to check the current operating state of the drone device through the controller auxiliary device.

또한, 본 발명의 일 실시예에 의하면, 컨트롤러 보조장치에 진동자를 포함하여, 드론 장치의 동작 상태에 대응하는 위치에 있는 진동자를 진동시킴으로써 사용자가 현재 드론의 동작 상태에 대해 직관적으로 파악할 수 있어, 사용자가 육안으로 보이지 않아도 직관적으로 대처가 가능할 수 있다. In addition, according to an embodiment of the present invention, the user can intuitively grasp the current operating state of the drone by including the vibrator in the controller auxiliary device and vibrating the vibrator at a position corresponding to the operating state of the drone device, Even if the user cannot see it with the naked eye, it may be possible to respond intuitively.

본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다. The effects of the present invention are not limited to the above-described effects, and potential effects expected by the technical features of the present invention will be clearly understood from the following description.

상기 언급된 본 발명 내용의 특징들이 상세하게, 보다 구체화된 설명으로, 이하의 실시예들을 참조하여 이해될 수 있도록, 실시예들 중 일부는 첨부되는 도면에서 도시된다. 또한, 도면과의 유사한 참조번호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하는 것으로 의도된다. 그러나 첨부된 도면들은 단지 본 발명 내용의 특정한 전형적인 실시예들만을 도시하는 것일 뿐, 본 발명의 범위를 한정하는 것으로 고려되지는 않으며, 동일한 효과를 갖는 다른 실시예들이 충분히 인식될 수 있다는 점을 유의하도록 한다.
도 1은 본 발명의 일 실시예에 따른 드론 모니터링 시스템의 블록도를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 드론 모니터링 시스템의 드론 컨트롤러 보조장치의 일 실시예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 드론 컨트롤러 보조장치의 제1 진동자 모듈을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 드론 컨트롤러 보조장치의 제2 진동자 모듈을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 드론 컨트롤러 보조장치의 제3 진동자 모듈을 도시한 도면이다. BRIEF DESCRIPTION OF THE DRAWINGS So that the above-mentioned features of the present invention may be understood in detail, with a more specific description, with reference to the following embodiments, some of the embodiments are shown in the accompanying drawings. Also, like reference numerals in the drawings are intended to refer to the same or similar functions throughout the various aspects. However, it should be noted that the accompanying drawings only show certain typical embodiments of the present invention, and are not to be considered as limiting the scope of the present invention, and other embodiments having the same effect may be sufficiently recognized. let it do
1 is a diagram illustrating a block diagram of a drone monitoring system according to an embodiment of the present invention.
2 is a diagram illustrating an embodiment of a drone controller auxiliary device of a drone monitoring system according to an embodiment of the present invention.
3 is a diagram illustrating a first vibrator module of a drone controller auxiliary device according to an embodiment of the present invention.
4 is a diagram illustrating a second vibrator module of an auxiliary device for a drone controller according to an embodiment of the present invention.
5 is a diagram illustrating a third vibrator module of an auxiliary device for a drone controller according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail.

청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.Various features of the invention disclosed in the claims may be better understood upon consideration of the drawings and detailed description. The apparatus, methods, preparations, and various embodiments disclosed herein are provided for purposes of illustration. The disclosed structural and functional features are intended to enable those skilled in the art to specifically practice the various embodiments, and are not intended to limit the scope of the invention. The terms and sentences disclosed are for the purpose of easy-to-understand descriptions of various features of the disclosed invention, and not to limit the scope of the invention.

본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

이하, 본 발명의 일 실시예에 따른 드론 모니터링 시스템을 설명한다. Hereinafter, a drone monitoring system according to an embodiment of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 드론 모니터링 시스템의 블록도를 도시한 도면이다. 1 is a diagram illustrating a block diagram of a drone monitoring system according to an embodiment of the present invention.

도 1을 참조하면, 드론 모니터링 시스템(10)은 드론 장치(100), 드론 컨트롤러(200) 및 컨트롤러 보조장치(300)를 포함할 수 있다. Referring to FIG. 1 , the drone monitoring system 10 may include a drone device 100 , a drone controller 200 , and a controller auxiliary device 300 .

일 실시예에서, 드론 장치(100)는 드론 컨트롤러(200)로부터 전송받은 동작제어 신호에 따라 동작할 수 있다. 드론 장치(100)는 드론 컨트롤러(200)로부터 동작 제어 신호가 포함된 RF 무선 신호를 수신하여 프로펠러를 동작하여 드론 장치를 동작시키는 프로펠러부(110), 드론 장치에 포함되어 있으며 드론 장치의 동작 상태를 측정하는 센서부(120), 드론 장치의 외부에 부착되어 있으며, 드론 장치의 전방을 촬영하는 영상 촬영장치(130) 및 센서부(120)로부터 측정된 센싱값은 컨트롤러 보조장치(300)로 전송하고, 영상 촬영장치(130)에서 촬영한 영상은 드론 컨트롤러(200)와 결합된 디스플레이로 전송하는 통신부(140)를 포함할 수 있다. In an embodiment, the drone device 100 may operate according to an operation control signal received from the drone controller 200 . The drone device 100 is included in the propeller unit 110 for operating the drone device by receiving the RF radio signal including the operation control signal from the drone controller 200 and operating the propeller, the drone device, and the operating state of the drone device The sensor unit 120 that measures , is attached to the outside of the drone device, and the sensing value measured from the image capturing device 130 and the sensor unit 120 for photographing the front of the drone device is sent to the controller auxiliary device 300 . It may include a communication unit 140 that transmits and transmits the image captured by the image capturing apparatus 130 to the display coupled to the drone controller 200 .

보다 구체적으로, 프로펠러부(110)는 사용자가 드론 컨트롤러(200)를 통해 신호를 입력하면, 드론 장치(100)는 드론 컨트롤러(200)로부터 동작제어 신호를 수신할 수 있다. More specifically, when the user inputs a signal through the drone controller 200 , the propeller unit 110 may receive the operation control signal from the drone controller 200 .

또한, 센서부(120)는 드론 장치(10)의 동작 상태를 측정하는 라이다(Light Detection And Ranging: LiDAR) 센서와 IMU(Inertial Measurement Unit: IMU) 센서를 포함할 수 있다. 라이다(Light Detection And Ranging: LiDAR) 센서는 광학 펄스를 이용하여 전방 물체를 탐지할 수 있다. 드론 장치(100)는 라이다(Lidar) 센서를 통해 측정된 센싱값을 컨트롤러 보조장치(300)로 전송할 수 있다. 라이다 센서는 초음파 또는 레이저를 발산한 후 돌아오는 시간을 측정하여 장애물과의 거리, 위치, 높이를 입체감 있게 측정할 수 있다. 센싱값을 전송받은 컨트롤러 보조장치(300)의 제어부(340)는 전송받은 센싱값을 분석하여 드론 장치(100)와 전방 물체와의 거리를 계산할 수 있고, 또한 전방 물체와의 충돌 시간을 계산할 수 있다. Also, the sensor unit 120 may include a Light Detection And Ranging (LiDAR) sensor and an Inertial Measurement Unit (IMU) sensor for measuring the operating state of the drone device 10 . Light Detection And Ranging (LiDAR) sensors use optical pulses to detect objects in front. The drone device 100 may transmit a sensing value measured through a lidar sensor to the controller auxiliary device 300 . The lidar sensor can measure the distance, position, and height of obstacles in three dimensions by measuring the return time after emitting ultrasound or laser. The controller 340 of the controller auxiliary device 300 that has received the sensing value may calculate the distance between the drone device 100 and the front object by analyzing the received sensing value, and may also calculate the collision time with the front object. have.

또한, IMU 센서는 3축 방향으로의 이동을 감지하는 가속도 센서 및 3축 방향으로 회전을 감지하는 자이로스코프 센서를 포함할 수 있다. IMU 센서는 드론 장치(100)의 3축 방향으로 회전을 기울기를 감지하는 자이로스코프 센서 및 3축 방향으로의 이동을 감지하는 가속도 센서로부터 측정한 센싱값을 컨트롤러 보조장치(300)로 전송할 수 있다. 컨트롤러 보조장치(300)의 제어부(340)는 전송받은 센싱값을 분석하여 드론 장치(100)의 상하방향을 향한 축회전의 진동인 요잉(yawing), 드론 장치(100)의 전후방향의 흔들림인 피칭(pitching) 및 드론 장치(100)의 비행 방향을 중심축으로 회전하는 것인 롤링(rolling)을 파악할 수 있다. In addition, the IMU sensor may include an acceleration sensor for detecting movement in the three-axis direction and a gyroscope sensor for detecting rotation in the three-axis direction. The IMU sensor may transmit a sensing value measured by a gyroscope sensor detecting a tilt of the drone device 100 in the three-axis direction and an acceleration sensor detecting movement in the three-axis direction to the controller auxiliary device 300 . . The controller 340 of the controller auxiliary device 300 analyzes the received sensing value to yaw, which is the vibration of the shaft rotation in the vertical direction of the drone device 100 , and the shake in the front and rear direction of the drone device 100 . Pitching and rolling (rolling) that rotates the flight direction of the drone device 100 about the central axis can be grasped.

또한, 영상 촬영장치(130)는 드론 장치(100)의 외부에 부착되어 있으며, 드론 장치(100)의 움직임에 따라 전방을 촬영할 수 있다. 영상 촬영장치(130)를 통해 촬영된 영상 데이터는 드론 컨트롤러(200)와 결합된 디스플레이로 전송하여, 사용자가 드론 장치(100)의 움직임을 육안으로 판단할 수 있게 한다. In addition, the image photographing apparatus 130 is attached to the outside of the drone apparatus 100 , and may photograph the front according to the movement of the drone apparatus 100 . The image data captured by the image capturing device 130 is transmitted to the display coupled to the drone controller 200 , so that the user can visually determine the movement of the drone device 100 .

일 실시예에서, 드론 컨트롤러(200)는 동작제어 신호가 포함된 RF 무선 신호를 드론 장치(100)로 전송할 수 있다. 드론 컨트롤러(200)는 드론 장치(100)의 움직임을 제어할 수 있다. In an embodiment, the drone controller 200 may transmit an RF radio signal including an operation control signal to the drone device 100 . The drone controller 200 may control the movement of the drone device 100 .

도 2는 본 발명의 일 실시예에 따른 드론 모니터링 시스템의 드론 컨트롤러 보조장치의 일 실시예를 도시한 도면이다. 또한, 도 3은 본 발명의 일 실시예에 따른 드론 컨트롤러 보조장치의 제1 진동자 모듈을 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 드론 컨트롤러 보조장치의 제2 진동자 모듈을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 드론 컨트롤러 보조장치의 제3 진동자 모듈을 도시한 도면이다. 2 is a diagram illustrating an embodiment of a drone controller auxiliary device of a drone monitoring system according to an embodiment of the present invention. Also, FIG. 3 is a view showing a first vibrator module of an auxiliary device for a drone controller according to an embodiment of the present invention, and FIG. 4 is a view showing a second vibrator module of an auxiliary device for a drone controller according to an embodiment of the present invention It is a view, and FIG. 5 is a view showing a third vibrator module of a drone controller auxiliary device according to an embodiment of the present invention.

도 2 내지 도 5를 참조하면, 컨트롤러 보조장치(300)는 신체의 일부에 부착되어 있으며, 드론 장치(100)에 포함된 하나 이상의 센서들이 측정한 드론 장치(100) 동작 상태에 대한 센싱값을 전송받아, 전송받은 센싱값을 분석하여, 컨트롤러 보조장치(300)에 내장된 진동자를 진동시킬 수 있다. 2 to 5 , the controller auxiliary device 300 is attached to a part of the body, and one or more sensors included in the drone device 100 measure the sensing value for the operating state of the drone device 100 . By receiving the transmission and analyzing the received sensing value, the vibrator built in the controller auxiliary device 300 may be vibrated.

보다 구체적으로, 컨트롤러 보조장치(300)는 드론 컨트롤러(200)에 의해 동작제어 신호를 전송받아 움직이는 드론 장치(100)가 강풍 등의 외란으로 예상하지 못한 움직임으로 사용자의 지시대로 움직이지 못한 경우에 드론 장치(100)의 현재 상태를 직관적으로 확인할 수 있는 장치이다. 컨트롤러 보조장치(300)는 제1 내지 제3 진동자 모듈을 포함하고 있어서 드론 장치(100)의 현재 상태를 각각의 모듈에 포함된 진동자의 진동을 통해 직관적으로 확인할 수 있다. 이렇게 직관적으로 현재의 드론 장치(100)의 상태를 사용자가 확인을 할 수 있으므로, 드론 장치(100)의 예상하지 못한 움직임을 빠르게 인지할 수 있고, 빠르고, 유연하게 대처할 수 있다. More specifically, the controller auxiliary device 300 receives the motion control signal by the drone controller 200 and the drone device 100, which moves, does not move according to the user's instruction due to unexpected movement due to disturbances such as strong wind. It is a device that can intuitively check the current state of the drone device 100 . The controller auxiliary device 300 includes the first to third vibrator modules, so that the current state of the drone device 100 can be intuitively checked through the vibration of the vibrator included in each module. Since the user can intuitively check the current state of the drone device 100 in this way, the unexpected movement of the drone device 100 can be quickly recognized, and can be quickly and flexibly dealt with.

예를 들어, 컨트롤러 보조장치(300)는 사용자의 왼팔 하박부에 고정시킬 수 있다. 사용자는 드론 장치(100)의 움직임을 사용자의 왼팔 하박부에 고정한 컨트롤러 보조장치(300)에 포함된 진동자의 진동을 통해 직관적으로 파악할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, the controller auxiliary device 300 may be fixed to the lower arm of the user's left arm. The user can intuitively grasp the movement of the drone device 100 through the vibration of the vibrator included in the controller auxiliary device 300 fixed to the lower arm of the user's left arm. The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.

일 실시예에서, 컨트롤러 보조장치(300)는 드론 장치(100)의 전방을 확인할 수 있는 제1 진동자 모듈(310), 드론 장치(100)와 전방에 위치한 물체와의 충돌여부를 확인할 수 있는 제2 진동자 모듈(320), 드론 장치(100)의 기울기를 확인할 수 있는 제3 진동자 모듈(340) 및 드론 장치(100)의 센서부(120)에서 측정한 센싱값을 계산하여 제1 내지 제3 진동자 모듈에 포함된 진동자에 진동 신호를 각각의 진동자 모듈로 전송하는 제어부(340)를 포함할 수 있다. In one embodiment, the controller auxiliary device 300 includes a first vibrator module 310 that can check the front of the drone device 100, and a second that can check whether the drone device 100 collides with an object located in the front. 2 The vibrator module 320, the third vibrator module 340 capable of confirming the inclination of the drone device 100, and the first to third values measured by the sensor unit 120 of the drone device 100 are calculated. The control unit 340 for transmitting a vibration signal to the vibrator included in the vibrator module to each vibrator module may be included.

또한, 컨트롤러 보조장치(300)는 사용자의 팔의 하박에 사용자 맞춤형으로 부착할 수 있는 기구부를 포함할 수 있다. 또한, 기구부는 힌지, 볼 조인트에 연결된 곡률 형태의 판과 곁의 4개의 작은 판을 경첩으로 연결하여, 위, 아래 6개씩 총 12개의 조인트와 16개의 진동자를 부착할 수 있다. 기구부는 선형 베어링과 압축스프링으로 구성되며, 사용자의 팔 하박의 두께에 따라 조절이 가능하며, 사용자 팔 하박을 감싸듯이 연결되어 사용자의 피부에 밀착할 수 있다. In addition, the controller auxiliary device 300 may include a mechanism that can be attached to the user's custom to the lower arm of the user. In addition, the mechanism unit connects the curved plate connected to the hinge and the ball joint and the four small plates on the side with a hinge, so that a total of 12 joints and 16 vibrators can be attached, 6 each on the top and bottom. The mechanical part is composed of a linear bearing and a compression spring, and can be adjusted according to the thickness of the user's lower arm, and can be connected as if wrapped around the user's arm to closely adhere to the user's skin.

도 3을 참조하면, 제1 진동자 모듈(310)은 컨트롤러 보조장치(300)의 상단부분 중앙에 마련되며, 원형으로 배열된 진동자들을 포함하여, 드론 장치(100)의 전방을 인지시킬 수 있다. 제1 진동자 모듈(310)은 4개의 진동자를 일정한 간격의 원형으로 배열할 수 있다. 즉, 제1 진동자 모듈(310)은 제1 진동자를 12시 방향에 두면 3시, 6시 및 9시 방향에 다른 진동자들을 배열하는 방법으로, 4개의 진동자를 일정한 간격으로 배열할 수 있다. Referring to FIG. 3 , the first vibrator module 310 is provided at the center of the upper end of the controller auxiliary device 300 , and includes vibrators arranged in a circular shape to recognize the front of the drone device 100 . The first vibrator module 310 may arrange four vibrators in a circle at regular intervals. That is, the first vibrator module 310 arranges other vibrators in the 3 o'clock, 6 o'clock, and 9 o'clock directions when the first vibrator is placed in the 12 o'clock direction, and the four vibrators can be arranged at regular intervals.

또한, 제1 진동자 모듈(310)에 배열된 4개의 진동자는 드론 장치(100)의 전방이 향하는 곳에 따라 대응되는 진동자가 진동을 하므로, 드론 장치(100)의 전방을 직관적으로 알 수 있다. 또한, 드론 장치(100)가 오른쪽 방향으로 회전을 하고 있는 경우, 제1 진동자 모듈(310)의 진동자의 진동도 드론 장치(100)의 회전방향과 대응되는 방향으로 진동을 함으로써, 컨트롤러 보조장치(300)를 착용한 사용자가 직관적으로 드론 장치(100)의 전방을 파악할 수 있다. In addition, the four vibrators arranged in the first vibrator module 310 vibrate the corresponding vibrator according to the direction in which the front of the drone device 100 is directed, so that the front of the drone device 100 can be intuitively known. In addition, when the drone device 100 is rotating in the right direction, the vibration of the vibrator of the first vibrator module 310 also vibrates in a direction corresponding to the rotation direction of the drone device 100, so that the controller auxiliary device ( A user wearing 300 may intuitively grasp the front of the drone device 100 .

예를 들어, 드론 장치(100)의 전방이 12시 방향을 향해 있으면, 컨트롤러 보조장치(300)의 상단부분 중앙에 마련된 제1 진동자 모듈(310)의 12시 방향에 위치한 진동자가 진동을 함으로써, 사용자는 직관적으로 드론 장치(100)의 전방을 확인할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, when the front of the drone device 100 faces the 12 o'clock direction, the vibrator located in the 12 o'clock direction of the first vibrator module 310 provided in the center of the upper end of the controller auxiliary device 300 vibrates, The user may intuitively check the front of the drone device 100 . The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.

또한, 드론 장치(100)의 요잉(yawing)값이 변화하는 경우, 요잉값의 변화에 따라 대응되는 진동자인 12시 방향의 진동자에서 3시 방향의 진동자로 진동의 진폭이 변화할 수 있다. 요잉값의 변화에 따라 진동자의 진폭의 변화하는 양은 아래와 같은 식에 의해 계산될 수 있다. 12시 방향의 진동자와 3시 방향의 진동자에 진동의 크기의 총합은 일정할 수 있다. 아래의 식에 의해 각각의 진동자에 배분되는 크기의 변화를 통해 이동방향을 파악할 수 있다. In addition, when the yaw value of the drone device 100 is changed, the amplitude of the vibration may change from the vibrator in the 12 o'clock direction to the vibrator in the 3 o'clock direction, which is the corresponding vibrator according to the change in the yaw value. The amount of change in the amplitude of the vibrator according to the change in the yaw value can be calculated by the following equation. The sum of the magnitudes of the vibrations of the 12 o'clock vibrator and the 3 o'clock vibrator may be constant. The direction of movement can be grasped through the change in the size distributed to each vibrator by the following equation.

Figure 112019135570443-pat00001
Figure 112019135570443-pat00001

도 4를 참조하면, 제2 진동자 모듈(320)은 컨트롤러 보조장치(300)의 하단부분 중앙에 마련되며, 원형으로 배열된 진동자들을 포함하여, 드론 장치(100)의 전방에 위치한 물체와 충돌여부에 대한 피드백을 줄 수 있다. 제2 진동자 모듈(320)은 4개의 진동자를 일정한 간격의 원형으로 배열할 수 있다. 배열에 대한 기준은 제1 진동자 모듈(310)의 배열방식과 동일할 수 있다. Referring to FIG. 4 , the second vibrator module 320 is provided at the center of the lower end of the controller auxiliary device 300 , and whether or not it collides with an object located in front of the drone device 100 , including vibrators arranged in a circle You can give feedback on The second vibrator module 320 may arrange four vibrators in a circle at regular intervals. The arrangement standard may be the same as the arrangement method of the first vibrator module 310 .

또한, 드론 장치(100)의 라이다 센서로부터 측정된 센싱값에 따라 전방에 위치한 물체가 탐지되고, 전방에 위치한 물체와의 거리가 기설정된 거리보다 가까워지면, 제2 진동자 모듈(320)의 전방에 위치한 물체와 대응되는 위치에 있는 진동자를 진동시켜 전방에 위치한 물체의 위치를 인지할 수 있다. 또한, 전방에 위치한 물체와의 거리가 점점 가까워지고 있는 경우, 진동 주파수를 높여서 전방 물체와의 거리가 가까워지고 있음을 인지할 수 있다. 진동 주파수는 라이다 센서로부터 측정된 센싱값의 분석에 의해 탐지된 거리를 현재의 드론 장치(100)의 속도를 이용하여 충돌예상 시간을 구할 수 있으며, 이 충돌예상 시간을 이용하여 진동 주파수를 계산할 수 있다. In addition, when an object located in the front is detected according to the sensing value measured by the lidar sensor of the drone device 100 and the distance to the object located in the front is closer than the preset distance, the front of the second vibrator module 320 is It is possible to recognize the position of the object located in front by vibrating the vibrator located at the position corresponding to the object located in the . In addition, when the distance to the front object is getting closer, it is possible to recognize that the distance to the front object is getting closer by increasing the vibration frequency. As the vibration frequency, the estimated collision time can be obtained by using the speed of the current drone device 100 from the distance detected by the analysis of the sensing value measured from the lidar sensor, and the vibration frequency can be calculated using the estimated collision time. can

또한, 드론 장치(100)의 속도 벡터와 현재 위치에서 가장 가까운 전방에 위치한 물체에 대한 거리 벡터와 내적하여 그 사잇각에 대해 사용자가 느끼는 진동의 실제 위치를 맞추고, 그 크기에 비례하는 값에 따라 제2 진동자 모듈(320)의 진동자를 진동시킬 수 있다. In addition, dot product with the velocity vector of the drone device 100 and the distance vector for an object located in the front closest to the current position to match the actual position of the vibration felt by the user with respect to the angle between them, and according to a value proportional to the size 2 It is possible to vibrate the vibrator of the vibrator module 320 .

예를 들어, 전방에 위치한 물체가 1시 방향에 있는 경우, 제2 진동자 모듈(320)의 12시 방향과 3시 방향에 있는 진동자가 동시에 진동하며, 12시 방향의 진동자의 진동의 크기를 크게 하여 1시 방향에 전방 물체가 있음을 인지할 수 있다. 또한, 전방에 물체가 있음을 알리는 진동을 하였음에도, 전방의 물체를 향해 드론 장치(100)가 계속 가까워지고 있는 경우, 진동 주파수의 세기를 높여서 드론 장치(100)가 전방의 물체와 가까워지고 있음을 알릴 수 있다. 또한, 드론 장치(100)의 속도가 상승하면서 가까워지고 있는 경우, 진동자의 진폭의 크기를 크게 하여 진동함으로써 사용자에게 인지시킬 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, when the object located in the front is in the 1 o'clock direction, the vibrator in the 12 o'clock direction and the 3 o'clock direction of the second vibrator module 320 vibrates simultaneously, and the magnitude of the vibration of the vibrator in the 12 o'clock direction is increased Thus, it is possible to recognize that there is an object in front at the 1 o'clock position. In addition, if the drone device 100 continues to approach the object in front even though the vibration notifying that there is an object in front, the intensity of the vibration frequency is increased to indicate that the drone device 100 is getting closer to the object in front. can inform In addition, when the speed of the drone device 100 is increasing and getting closer, the amplitude of the vibrator may be increased to vibrate, so that the user may recognize it. The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.

도 5를 참조하면, 제3 진동자 모듈(330)은 컨트롤러 보조장치(300)의 양쪽 끝단에 각각 마련되며, 한 쌍으로 존재할 수 있다. 또한, 제3 진동자 모듈(330)은 신체를 감싸도록 배열된 진동자들을 포함하고, 드론 장치(100)의 기울기를 측정한 센싱값에 따라 진동자를 진동시켜 드론 장치(100)의 기울기를 인식시킬 수 있다. Referring to FIG. 5 , the third vibrator module 330 is provided at both ends of the controller auxiliary device 300 , and may exist as a pair. In addition, the third vibrator module 330 includes vibrators arranged to surround the body, and vibrates the vibrator according to a sensing value measured by measuring the inclination of the drone device 100 to recognize the inclination of the drone device 100 . have.

또한, 제3 진동자 모듈(330)은 컨트롤러 보조장치(300) 양쪽 끝단에 마련될 수 있으며, 한 쌍(331, 333)으로 구성될 수 있다. 제3 진동자 모듈(330)은 4개의 진동자를 컨트롤러 보조장치(300)의 한 쪽 끝단에 신체를 밴드처럼 감쌀 수 있게 배열하고, 다른 쪽 끝단도 동일하게 신체를 감쌀 수 있도록 구성하여, 양쪽 끝단에 위치한 각각의 모듈의 진동자를 통해 드론 장치(100)의 기울기를 인지시킬 수 있다. In addition, the third vibrator module 330 may be provided at both ends of the controller auxiliary device 300 , and may consist of a pair 331 and 333 . The third vibrator module 330 arranges four vibrators so that the body can be wrapped around one end of the controller auxiliary device 300 like a band, and the other end is configured to wrap the body in the same way, The inclination of the drone device 100 may be recognized through the vibrator of each module located therein.

보다 구체적으로, 제3 진동자 모듈(330)은 4개의 진동자가 일정한 간격으로 배열되어 사용자 팔을 감싸도록 구성되어 있으며, 컨트롤러 보조장치(300)의 일단에 위치하고 있는 상단 밴드 모듈(331) 및 상단 밴드 모듈(331)과 대응되게 구성되며, 4개의 진동자가 일정한 간격으로 배열되어 사용자 팔을 감싸도록 구성되어 있으며, 컨트롤러 보조장치(300)의 다른 끝단에 위치하고 있는 하단 밴드 모듈(333)을 포함할 수 있다. More specifically, the third vibrator module 330 has four vibrators arranged at regular intervals to cover the user's arm, and the upper band module 331 and the upper band located at one end of the controller auxiliary device 300 . It is configured to correspond to the module 331, and four vibrators are arranged at regular intervals to wrap the user's arm, and may include a lower band module 333 located at the other end of the controller auxiliary device 300. have.

또한, 제3 진동자 모듈(330)은 상단 밴드 모듈(331)과 하단 밴드 모듈(333)에 포함된 진동자의 진동을 통해 드론 장치(100)의 기울기를 확인할 수 있다. 드론 장치(100)가 전방을 향해 기울어 진, 피칭 상태의 경우, 상단 밴드 모듈(331)의 하단에 위치한 2개의 진동자가 진동을 하고, 하단 밴드 모듈(333)의 상단에 위치한 2개의 진동자가 진동을 할 수 있다. 이 경우, 컨트롤러 보조장치(300)를 착용한 사용자는 진동하는 진동자의 방향으로 팔의 위치를 이동하면 현재 드론 장치(100)의 기울기를 사용자 팔의 기울기를 통해 직관적으로 확인할 수 있다. In addition, the third vibrator module 330 may check the inclination of the drone device 100 through the vibration of the vibrator included in the upper band module 331 and the lower band module 333 . In the case of a pitching state in which the drone device 100 is tilted toward the front, two vibrators located at the lower end of the upper band module 331 vibrate, and two vibrators located at the upper end of the lower band module 333 vibrate can do. In this case, when the user wearing the controller auxiliary device 300 moves the position of the arm in the direction of the vibrating vibrator, the current inclination of the drone device 100 can be intuitively checked through the inclination of the user's arm.

또한, 드론 장치(100)가 왼쪽 측면으로 기울어 진, 롤링 상태의 경우, 상단 밴드 모듈(331)의 상단에 위치한 2개의 진동자가 진동을 하고, 하단 밴드 모듈(333)의 하단에 위치한 2개의 진동자가 진동을 할 수 있다. 이 경우, 컨트롤러 보조장치(300)를 착용한 사용자는 진동하는 진동자의 방향으로 팔의 위치를 이동하면 현재 드론 장치(100)의 기울기를 사용자 팔의 기울기를 통해 직관적으로 확인할 수 있다. In addition, in the case of a rolling state, in which the drone device 100 is inclined to the left side, two vibrators located at the upper end of the upper band module 331 vibrate, and two vibrators located at the lower end of the lower band module 333 . can vibrate. In this case, when the user wearing the controller auxiliary device 300 moves the position of the arm in the direction of the vibrating vibrator, the current tilt of the drone device 100 can be intuitively checked through the tilt of the user's arm.

드론 장치(100)의 기울기 변화와 그 각가속도를 측정한 센싱값의 분석을 통해 컨트롤러 보조장치(300)의 상단 밴드 모듈(331)과 하단 밴드 모듈(333)의 진동자의 진동크기 조절을 통해 드론 장치(100)의 기울기 변화를 확인할 수 있다. Through the analysis of the sensing value measuring the change in inclination of the drone device 100 and its angular acceleration, the upper band module 331 and the lower band module 333 of the controller auxiliary device 300 adjust the vibration size of the vibrator through the drone device A change in the slope of (100) can be confirmed.

일 실시예에서, 제어부(340)는 컨트롤러 보조장치(300) 내에 존재하며, 드론 장치(100)에 포함된 센서들로부터 전송받는 센싱값을 분석할 수 있다. 또한, 제어부(340)는 분석한 센싱값에 따라 제1 진동자 모듈(310), 제2 진동자 모듈(320) 및 제3 진동자 모듈(330) 중 적어도 하나의 모듈에 해당하는 진동자에 진동 신호를 전달할 수 있다. In an embodiment, the controller 340 is present in the controller auxiliary device 300 and may analyze a sensed value transmitted from sensors included in the drone device 100 . Also, the controller 340 transmits a vibration signal to a vibrator corresponding to at least one of the first vibrator module 310 , the second vibrator module 320 , and the third vibrator module 330 according to the analyzed sensing value. can

또한, 제어부(340)는 드론 장치(100)의 센서들로부터 전송받은 센싱값을 분석하여, 분석한 센싱값에 따라 제1 진동자 모듈(310), 제2 진동자 모듈(320) 및 제3 진동자 모듈(330)에 포함된 적어도 하나의 진동여부를 판단하고, 진동 주파수 또는 진동크기 중 적어도 하나를 연산할 수 있다. In addition, the control unit 340 analyzes the sensed values transmitted from the sensors of the drone device 100 , and according to the analyzed sensing values, the first vibrator module 310 , the second vibrator module 320 , and the third vibrator module At least one of the vibrations included in 330 may be determined, and at least one of a vibration frequency and a vibration magnitude may be calculated.

또한, 제어부(340)는 분석하여 판단한 센싱값에 따라 드론 장치(100)의 전방과 대응되는 제1 진동자 모듈(310)의 진동자를 진동시키는 진동 신호를 제1 진동자 모듈(310)로 전송할 수 있다. 제어부(340)의 판단에 따라 진동 신호를 전송받은 제1 진동자 모듈(310)의 해당 진동자를 진동시킴으로써, 사용자는 제1 진동자 모듈(310)의 특정 진동자가 진동하면, 그 방향이 드론 장치(100)의 전방임을 직관적으로 확인할 수 있다. Also, the controller 340 may transmit a vibration signal for vibrating the vibrator of the first vibrator module 310 corresponding to the front of the drone device 100 to the first vibrator module 310 according to the analyzed and determined sensing value. . By vibrating the corresponding vibrator of the first vibrator module 310 that has received the vibration signal according to the determination of the control unit 340 , the user can change the direction of the drone device 100 when a specific vibrator of the first vibrator module 310 vibrates. ) can be intuitively confirmed.

또한, 제어부(340)는 분석하여 판단한 센싱값에 따라 드론 장치(100)의 전방에 위치한 물체와의 거리가 기설정된 거리보다 가까워진 경우, 전방에 위치한 물체 위치에 대응되는 제2 진동자 모듈(320)의 진동자를 진동시키는 진동 신호를 제2 진동자 모듈(320)로 전송할 수 있다. 또한, 제어부(340)는 드론 장치(100)가 탐지된 전방 물체와의 거리가 점점 가까워짐에 따라, 해당하는 진동자의 진동주파수를 크게 하여 신호를 전달함으로써, 사용자는 드론 장치(100)와 전방 물체와의 거리가 가까워지고 있음을 확인할 수 있다. In addition, when the distance to the object located in the front of the drone device 100 is closer than a preset distance according to the sensed value determined by analysis, the controller 340 is a second vibrator module 320 corresponding to the position of the object located in the front. A vibration signal for vibrating the vibrator of may be transmitted to the second vibrator module 320 . In addition, as the distance between the drone device 100 and the detected front object increases, the controller 340 increases the vibration frequency of the corresponding vibrator and transmits a signal, thereby allowing the user to use the drone device 100 and the front object. It can be seen that the distance from

또한, 제어부(340)는 드론 장치(100)의 속도가 증가하면서 전방 물체와의 거리가 가까워지는 경우, 드론 장치(100)의 속도 증가는 해당 진동자의 진동크기를 크게 조절을 통해서 인지시킬 수 있고, 드론 장치(100)가 전방에 위치한 물체와의 거리가 점점 가까워지고 있는 것은 진동 주파수를 증가하는 조절을 통해 인지시킬 수 있다. 사용자는 진동 주파수가 증가, 진폭의 크기가 증가하고 있음을 통해, 드론 장치(100)의 속도가 증가하면서 전방에 위치한 물체와 가까워지고 있음을 확인할 수 있다. In addition, when the distance to the front object increases while the speed of the drone device 100 increases, the controller 340 may recognize the increase in the speed of the drone device 100 by greatly adjusting the vibration magnitude of the corresponding vibrator. , that the drone device 100 is getting closer to the object located in front can be recognized by adjusting the vibration frequency. The user can confirm that the speed of the drone device 100 is increasing and it is getting closer to the object located in front through the increase in the vibration frequency and the increase in the amplitude.

또한, 제어부(340)는 분석하여 판단한 센싱값에 따라 드론 장치(100)의 기울기(예컨대, 드론 장치의 피칭 및 롤링)와 대응되는 제3 진동자 모듈(330)의 진동자를 진동시키는 진동 신호를 제3 진동자 모듈(330)로 전송할 수 있다. 제어부(340)는 드론 장치(100)에서 측정하여 전송한 센싱값의 분석을 통해 상단 밴드 모듈(331)과 하단 밴드 모듈(333)의 해당 진동자에 진동 신호를 전송할 수 있다. 상단 밴드 모듈(331)과 하단 밴드 모듈(333)은 서로 대응되게 구성되어 있어서, 각각의 상단 밴드 모듈(331)과 하단 밴드 모듈(333)에 있는 진동자의 진동하는 방향으로 착용자의 팔을 이동시키면, 사용자의 팔의 기울기가 드론 장치(100)의 현재 기울기를 나타내는 것으로, 사용자의 팔의 기울기를 통해 드론 장치(100)의 기울기를 직관적으로 확인할 수 있다. In addition, the controller 340 generates a vibration signal for vibrating the vibrator of the third vibrator module 330 corresponding to the inclination of the drone device 100 (eg, pitching and rolling of the drone device) according to the analyzed and determined sensing value. 3 may be transmitted to the vibrator module 330 . The control unit 340 may transmit a vibration signal to the corresponding vibrator of the upper band module 331 and the lower band module 333 through analysis of the sensed value measured and transmitted by the drone device 100 . The upper band module 331 and the lower band module 333 are configured to correspond to each other, so when the wearer's arm is moved in the vibrating direction of the vibrator in each of the upper band module 331 and the lower band module 333, , as the inclination of the user's arm indicates the current inclination of the drone apparatus 100 , the inclination of the drone apparatus 100 may be intuitively confirmed through the inclination of the user's arm.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다. The above description is merely illustrative of the technical spirit of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention.

따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다. Accordingly, the embodiments disclosed in the present specification are not intended to limit the technical spirit of the present invention, but to illustrate, and the scope of the present invention is not limited by these embodiments.

본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다. The protection scope of the present invention should be interpreted by the claims, and all technical ideas within the scope equivalent thereto should be understood to be included in the scope of the present invention.

100: 드론 장치
110: 프로펠러부
120: 센서부
130: 영상 촬영장치
140: 통신부
200: 드론 컨트롤러
300: 컨트롤러 보조장치
310: 제1 진동자 모듈
320: 제2 진동자 모듈
330: 제3 진동자 모듈
331: 상단 밴드 모듈
333: 하단 밴드 모듈
340: 제어부100: drone device
110: propeller unit
120: sensor unit
130: video recording device
140: communication department
200: drone controller
300: controller auxiliary
310: first vibrator module
320: second oscillator module
330: third oscillator module
331: upper band module
333: bottom band module
340: control unit

Claims (9)

동작제어 신호가 포함된 RF 무선 신호를 드론 장치로 전송하는 드론 컨트롤러;
상기 드론 컨트롤러로부터 전송받은 동작제어 신호에 따라 동작하는 드론 장치; 및
신체의 일부에 부착되어 있으며, 상기 드론 장치에 포함된 하나 이상의 센서들이 측정한 상기 드론 장치의 동작 상태에 대한 센싱값을 전송받아, 상기 전송받은 센싱값을 분석하여, 컨트롤러 보조장치의 상단과 하단에 각각 원형으로 배열된 진동자들을 진동시켜 상기 드론 장치의 전방을 인지시키거나 또는 전방에 위치한 물체와 충돌여부에 대한 피드백을 주는 컨트롤러 보조장치를 포함하는,
드론 모니터링 시스템.
a drone controller that transmits an RF radio signal including an operation control signal to the drone device;
a drone device operating according to an operation control signal received from the drone controller; and
It is attached to a part of the body, receives a sensed value for the operation state of the drone device measured by one or more sensors included in the drone device, analyzes the received sensed value, and the upper and lower ends of the controller auxiliary device Including a controller auxiliary device for recognizing the front of the drone device by vibrating vibrators arranged in a circle on each of the oscillators or giving feedback on whether to collide with an object located in front,
Drone monitoring system.
 제1항에 있어서,
상기 드론 장치는,
상기 드론 장치의 동작 상태를 측정하는 라이다(Light Detection And Ranging: LiDAR) 센서와 IMU(Inertial Measurement Unit: IMU) 센서를 포함하는 센서부; 및
상기 드론 장치의 외부에 부착되어, 상기 드론 장치의 전방을 촬영하는 영상 촬영장치를 포함하는,
드론 모니터링 시스템.
According to claim 1,
The drone device,
a sensor unit including a Light Detection And Ranging (LiDAR) sensor and an Inertial Measurement Unit (IMU) sensor for measuring the operating state of the drone device; and
Attached to the outside of the drone device, comprising an image photographing device for photographing the front of the drone device,
Drone monitoring system.
 제2항에 있어서,
상기 라이다 센서는,
광학 펄스를 이용하여 전방 물체를 탐지하고,
상기 IMU 센서는,
3축 방향으로의 이동을 감지하는 가속도 센서; 및
3축 방향으로 회전을 감지하는 자이로스코프 센서를 포함하는,
드론 모니터링 시스템.
3. The method of claim 2,
The lidar sensor is
Detects an object in front using optical pulses,
The IMU sensor is
an acceleration sensor that detects movement in the three-axis direction; and
Including a gyroscope sensor for detecting rotation in the three-axis direction,
Drone monitoring system.
 제1항에 있어서,
상기 컨트롤러 보조장치는,
상기 컨트롤러 보조장치의 상단부분 중앙에 마련되며, 원형으로 배열된 진동자들을 포함하고, 상기 드론 장치의 전방을 인지시키는 제1 진동자 모듈;
상기 컨트롤러 보조장치의 하단부분 중앙에 마련되며, 원형으로 배열된 진동자들을 포함하고, 상기 드론 장치의 전방에 위치한 물체와 충돌여부에 대한 피드백을 주는 제2 진동자 모듈; 및
상기 전송받은 센싱값을 분석하여, 상기 제1 진동자 모듈 또는 제2 진동자 모듈에 포함된 진동자들 중 적어도 하나의 진동여부를 판단하고, 진동 주파수 또는 진동크기 중 적어도 하나를 연산하는 제어부를 포함하는,
드론 모니터링 시스템.
According to claim 1,
The controller auxiliary device,
a first vibrator module provided at the center of the upper end of the controller auxiliary device, including vibrators arranged in a circle, and recognizing the front of the drone device;
a second vibrator module provided in the center of the lower end of the controller auxiliary device, comprising vibrators arranged in a circle, and giving feedback on whether or not a collision with an object located in front of the drone device is present; and
and a controller configured to analyze the received sensing value, determine whether at least one of the vibrators included in the first vibrator module or the second vibrator module vibrates, and calculate at least one of a vibration frequency or a vibration magnitude,
Drone monitoring system.
 제4항에 있어서,
상기 제어부는,
상기 분석한 센싱값에 따라 상기 제1 진동자 모듈의 진동자들을 진동시키는 진동 신호를 상기 제1 진동자 모듈로 전송하는,
드론 모니터링 시스템.
5. The method of claim 4,
The control unit is
transmitting a vibration signal for vibrating the vibrators of the first vibrator module according to the analyzed sensing value to the first vibrator module;
Drone monitoring system.
 제4항에 있어서,
상기 제어부는,
상기 분석한 센싱값에 따라 상기 드론 장치의 전방에 위치한 물체와의 거리가 기설정된 거리보다 가까워진 경우, 전방에 위치한 물체의 위치에 대응되는 제2 진동자 모듈의 진동자들을 진동시키는 진동 신호를 상기 제2 진동자 모듈로 전송하는,
드론 모니터링 시스템.
5. The method of claim 4,
The control unit is
When the distance to the object located in the front of the drone device is closer than a preset distance according to the analyzed sensing value, a vibration signal for vibrating the vibrators of the second vibrator module corresponding to the position of the object located in the front is generated in the second transmitted to the vibrator module,
Drone monitoring system.
 제6항에 있어서,
상기 제어부는,
상기 드론 장치의 전방에서 탐지된 물체와의 거리가 가까워짐에 따라, 상기 제2 진동자 모듈에 포함된 진동자들의 진동크기를 조절하는 신호를 상기 제2 진동자 모듈로 전송하는,
드론 모니터링 시스템.
7. The method of claim 6,
The control unit is
Transmitting, to the second vibrator module, a signal for adjusting the vibration magnitude of the vibrators included in the second vibrator module as the distance from the object detected from the front of the drone device approaches,
Drone monitoring system.
 제4항에 있어서,
상기 컨트롤러 보조장치는,
양쪽 끝단에 각각 마련된 한 쌍의 제3 진동자 모듈을 더 포함하고,
상기 제3 진동자 모듈은 신체를 감싸도록 배열된 진동자들을 포함하고, 상기 제3 진동자 모듈의 진동자들의 진동을 통해 상기 드론 장치의 기울기를 인지시키는,
드론 모니터링 시스템.
5. The method of claim 4,
The controller auxiliary device,
Further comprising a pair of third vibrator modules provided at both ends, respectively,
The third vibrator module includes vibrators arranged to surround the body, and recognizes the tilt of the drone device through the vibrations of the vibrators of the third vibrator module,
Drone monitoring system.
 제8항에 있어서,
상기 제어부는,
상기 측정된 드론 장치의 기울기와 대응되는 제3 진동자 모듈의 진동자를 진동시키는 진동 신호를 상기 제3 진동자 모듈로 전송하는,
드론 모니터링 시스템.9. The method of claim 8,
The control unit is
Transmitting a vibration signal for vibrating a vibrator of a third vibrator module corresponding to the measured inclination of the drone device to the third vibrator module,
Drone monitoring system.
KR1020190178057A 2019-12-30 2019-12-30 Drone Monitoring System KR102267840B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190178057A KR102267840B1 (en) 2019-12-30 2019-12-30 Drone Monitoring System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190178057A KR102267840B1 (en) 2019-12-30 2019-12-30 Drone Monitoring System

Publications (1)

Publication Number Publication Date
KR102267840B1 true KR102267840B1 (en) 2021-06-22

Family

ID=76600906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190178057A KR102267840B1 (en) 2019-12-30 2019-12-30 Drone Monitoring System

Country Status (1)

Country Link
KR (1) KR102267840B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373475B1 (en) * 2021-07-26 2022-03-14 한국전력기술 주식회사 Flight status monitoring system and method for drones using acceleration sensor
CN114394256A (en) * 2022-01-11 2022-04-26 四川一电航空技术有限公司 Unmanned aerial vehicle's visual analytical equipment of vibration and unmanned aerial vehicle
KR20230030933A (en) * 2021-08-26 2023-03-07 경희대학교 산학협력단 Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle
KR102654542B1 (en) 2022-08-16 2024-04-05 한국전력공사 Wind Tower Inspection System and Method, Drones for Inspection of Wind Tower, Wired Support Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061813A1 (en) * 2014-09-30 2017-03-02 SZ DJI Technology Co., Ltd. System and method for supporting simulated movement
WO2018122107A1 (en) * 2016-12-26 2018-07-05 CaptoGlove International Limited Haptic interaction method, tool and system
KR101948569B1 (en) 2017-06-07 2019-02-15 국방과학연구소 Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061813A1 (en) * 2014-09-30 2017-03-02 SZ DJI Technology Co., Ltd. System and method for supporting simulated movement
WO2018122107A1 (en) * 2016-12-26 2018-07-05 CaptoGlove International Limited Haptic interaction method, tool and system
KR101948569B1 (en) 2017-06-07 2019-02-15 국방과학연구소 Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373475B1 (en) * 2021-07-26 2022-03-14 한국전력기술 주식회사 Flight status monitoring system and method for drones using acceleration sensor
KR20230030933A (en) * 2021-08-26 2023-03-07 경희대학교 산학협력단 Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle
KR102509068B1 (en) 2021-08-26 2023-03-09 경희대학교 산학협력단 Haptic apparatus, haptic system and haptic control method using unmanned aerial vehicle
CN114394256A (en) * 2022-01-11 2022-04-26 四川一电航空技术有限公司 Unmanned aerial vehicle's visual analytical equipment of vibration and unmanned aerial vehicle
KR102654542B1 (en) 2022-08-16 2024-04-05 한국전력공사 Wind Tower Inspection System and Method, Drones for Inspection of Wind Tower, Wired Support Device

Similar Documents

Publication Publication Date Title
KR102267840B1 (en) Drone Monitoring System
US10202189B2 (en) Unmanned aerial vehicle, wearable apparatus including unmanned aerial vehicle, wristwatch including wearable apparatus, method of operating unmanned aerial vehicle, and apparatus for operating unmanned aerial vehicle
JP4690546B2 (en) Motion tracking system
US20230195102A1 (en) Systems and methods for adjusting flight control of an unmanned aerial vehicle
JPWO2017170148A1 (en) Flight equipment, electronic equipment and program
WO2014077046A1 (en) Image display device and image display method, mobile body device, image display system, and computer program
WO2015083183A1 (en) Hand wearable haptic feedback based navigation device
JP2017151008A (en) Flight vehicle tracking method, flight vehicle image acquisition method, flight vehicle display method, and flight vehicle guide system
KR20190009103A (en) Electronic Device that is moved based on Distance to External Object and the Control Method
JP6964905B2 (en) Distance measuring device and its control method
US10321065B2 (en) Remote communication method, remote communication system, and autonomous movement device
KR101956259B1 (en) Distance measuring apparatus and method for controlling the same
KR20180063719A (en) Unmanned Aerial Vehicle and the Method for controlling thereof
KR101282953B1 (en) System and Method for coaching the sports motions
JP2003267295A (en) Remote operation system
US11914762B2 (en) Controller position tracking using inertial measurement units and machine learning
TW201900134A (en) Obstacle avoidance device
KR20210136043A (en) Interacting with smart devices using pointing controllers
KR102351584B1 (en) System for providing navigation service for visually impaired person
CN113508351A (en) Control method, intelligent glasses, movable platform, holder, control system and computer-readable storage medium
KR102391210B1 (en) Drone and method for controlling drone
KR20200067286A (en) 3D scan and VR inspection system of exposed pipe using drone
CN106792537A (en) A kind of alignment system
JPWO2020166178A1 (en) Information processing equipment, information processing methods and programs
CN110785720A (en) Information processing device, information presentation instruction method, program, and recording medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant