KR101933428B1 - A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program - Google Patents

A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program Download PDF

Info

Publication number
KR101933428B1
KR101933428B1 KR1020170057012A KR20170057012A KR101933428B1 KR 101933428 B1 KR101933428 B1 KR 101933428B1 KR 1020170057012 A KR1020170057012 A KR 1020170057012A KR 20170057012 A KR20170057012 A KR 20170057012A KR 101933428 B1 KR101933428 B1 KR 101933428B1
Authority
KR
South Korea
Prior art keywords
image
person
drones
camera
drone
Prior art date
Application number
KR1020170057012A
Other languages
Korean (ko)
Other versions
KR20180122862A (en
Inventor
송태훈
Original Assignee
주식회사 휴인스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴인스 filed Critical 주식회사 휴인스
Priority to KR1020170057012A priority Critical patent/KR101933428B1/en
Publication of KR20180122862A publication Critical patent/KR20180122862A/en
Application granted granted Critical
Publication of KR101933428B1 publication Critical patent/KR101933428B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H04N5/2258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

본 발명은 드론 시스템에 관한 발명이다. 본 발명의 드론시스템은, 제1영상을 촬영하는 EO카메라, 제2영상을 촬영하는 IR카메라, 제1영상 및 제2영상을 실시간으로 전송하는 통신모듈 및 통신모듈을 제어하는 제어부를 포함하는 드론; 드론으로부터 제1영상 및 제2영상을 실시간으로 수신하여 저장하는 RTSP서버; 및 RTSP서버에 접속하여 제1영상 및 제2영상을 수신하며 제1영상 및 제2영상을 이용하여 사람을 인식하는 사람인식 프로그램을 실행하는 지상 컴퓨터를 포함하는 것을 특징으로 한다. 본 발명의 지상 컴퓨터는 전용의 사람인식 프로그램을 실행하여 빠른 시간에 사람을 인식한다. The present invention relates to a drone system. The dron system according to the present invention is a dron system comprising an EO camera for capturing a first image, an IR camera for capturing a second image, a communication module for transmitting the first image and the second image in real time, and a control unit for controlling the communication module ; An RTSP server for receiving and storing the first image and the second image from the drone in real time; And a terrestrial computer connected to the RTSP server to receive the first and second images and to execute a person recognition program for recognizing the first and second images using the first and second images. The terrestrial computer of the present invention executes a dedicated person recognition program to recognize a person at a fast time.

Description

드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템 {A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program}[0001] The present invention relates to a drone system which receives a video of a drone and executes a human-recognized image analysis program in real time. [0002] A drone system, which receives a real time image from a drone and a human recognition image analyzing program,

본 발명은 하늘을 비행하는 드론으로부터 실시간 영상을 수신하고, 실시간 영상으로부터 사람인식 영상분석 프로그램을 실행하는 드론 시스템에 관한 발명이다. 더욱 구체적으로는 드론이 촬영한 영상을 실시간으로 수신하고, 드론의 영상을 이용하여 실종자와 같은 사람을 인식하여 구조 경보를 발령하는 사람인식 영상분석 프로그램을 실행하는 드론 시스템에 관한 발명이다.The present invention relates to a dronesystem for receiving a real-time image from a dron flying the sky and executing a human-recognized image analysis program from the real-time image. More specifically, the present invention relates to a dron system that receives a photographed image in real time, and recognizes a person such as a missing person by using the image of the dron and executes a person recognition image analysis program that issues a structural alarm.

무인비행체, 일명 드론이 개발되어 상용화 된다. 드론은 일례로서 카메라 및 각종 센서를 장착하여 무인으로 비행한다. 드론은, 예들들어, 방송중계, 스포츠중계, 농약살포, 도로감시, 보안, 군사, 레저, 스포츠, 환경감시 등 광범위한 용도로 이용된다. Unmanned aerial vehicles, aka drone, have been developed and commercialized. Drones, for example, are equipped with cameras and various sensors to fly unmanned. Drones are used for a wide range of applications, for example, broadcast relay, sports relay, pesticide spraying, road surveillance, security, military, leisure, sports and environmental monitoring.

종래의 드론을 이용한 실종자 혹은 조난자의 수색의 경우, 드론에 장착된 카메라를 이용하여 물체를 촬영하고 전송하면, 사용자는 지상제어단말기의 영상을 보면서 수동으로 실종자 혹은 조난자를 찾아야 하는 번거러움이 있었다. 즉, 산이나 들판과 같은 넓은 지역을 광범위하게 촬영한 드론의 영상을 이용하여 사람을 수동으로 인식하는 것은 어려운 작업이다. 따라서, 수동 인식은 실종자 혹은 조난자를 인식하지 못하고 간과하여 실종자 수색 및 구조에 실패하는 문제점이 있었다. In the case of searching for a missing person or a victim using the conventional drones, when the object is photographed and transmitted using a camera mounted on the drones, the user has to manually find the missing person or the victim while watching the image of the ground control terminal. In other words, it is a difficult task to manually recognize people by using images of drones that shoot widely in large areas such as mountains and fields. Therefore, there is a problem that passive recognition fails to recognize the missing person or the victim and fails to search and structure the missing person.

본 발명의 목적은 고성능 광학 카메라인 EO카메라 및 적외선 카메라인 IR카메라를 장착한 드론으로부터 실시간으로 영상을 수신하고, 사람의 형태, 움직임 및 온도 등의 특성을 이용하여 사람을 자동으로 인식하는 사람인식 영상분석 프로그램을 실행하여 자동으로 사람을 인식하여 경고하는 것이 가능한 드론시스템을 제공하는 것이다.An object of the present invention is to provide a method and apparatus for receiving an image in real time from a dron equipped with an EO camera which is a high-performance optical camera and an IR camera which is an infrared camera, and a person recognizing person by automatically recognizing a person And to provide a dron system capable of automatically recognizing and warning a person by executing an image analysis program.

상술한 바와 같은 목적을 달성하기 위한 본 발명은, 드론시스템에 있어서, 제1영상을 촬영하는 EO카메라, 제2영상을 촬영하는 IR카메라, 상기 제1영상 및 상기 제2영상을 실시간으로 전송하는 통신모듈 및 상기 통신모듈을 제어하는 제어부를 포함하는 드론; 상기 드론으로부터 상기 제1영상 및 상기 제2영상을 실시간으로 수신하여 저장하는 RTSP서버; 및 상기 RTSP서버에 접속하여 상기 제1영상 및 상기 제2영상을 수신하며 상기 제1영상 및 상기 제2영상을 이용하여 사람을 인식하는 사람인식 프로그램을 실행하는 지상 컴퓨터를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a drones system comprising: an EO camera for capturing a first image; an IR camera for capturing a second image; a transmitter for transmitting the first image and the second image in real- A dron including a communication module and a control unit for controlling the communication module; An RTSP server for receiving and storing the first image and the second image from the drone in real time; And a terrestrial computer connected to the RTSP server for receiving the first image and the second image and executing a person recognition program for recognizing a person using the first image and the second image .

상기 지상컴퓨터는 비행제어 소프트웨어를 실행하는 단말기제어부 및 상기 드론에게 명령을 전송하는 단말기 통신모듈을 포함하는 지상제어 단말기일 수 있다. RTSP서버에는 지상제어단말기 뿐 만 아니라, 휴대용컴퓨터 및 퍼스널 컴퓨터 등도 접속하여 사람인식 프로그램을 실행 할 수 있다. The terrestrial computer may be a terrestrial control terminal including a terminal control unit for executing flight control software and a terminal communication module for transmitting a command to the drones. In addition to the terrestrial control terminal, the RTSP server can also be connected to a portable computer or a personal computer to execute a human recognition program.

상기 사람 인식 프로그램은, 상기 제1영상으로부터는 사람의 형상 및 움직임을 인식하며, 상기 제2영상으로부터는 사람의 온도를 인식할 수 있다. The human recognition program recognizes the shape and movement of a person from the first image and recognizes the temperature of the person from the second image.

상기 사람 인식 프로그램에서 사람을 인식하였다는 이벤트가 발생 시, 상기 지상 컴퓨터에 지도를 디스플레이하고 사람의 인식을 경보할 수 있다. When an event of recognizing a person is generated in the person recognition program, a map can be displayed on the terrestrial computer and the recognition of a person can be alerted.

상기 지상 컴퓨터는 관제실로 인식된 사람의 위치정보를 전송할 수 있다.  The terrestrial computer can transmit location information of a person recognized as a control room.

본 발명의 드론은 광학식 EO카메라와 적외선 IR카메라를 이용하여 영상을 촬영하여 실시간으로 RTSP서버에 전송하고, RTSP서버의 영상은 지상제어단말기 혹은 지상 컴퓨터가 수신하고, 지상 단말기 혹은 지상 컴퓨터는 전용의 사람인식 프로그램을 실행하여 빠른 시간에 사람을 인식한다. The drones of the present invention capture an image using an optical EO camera and an infrared IR camera and transmit it to the RTSP server in real time. The image of the RTSP server is received by a terrestrial control terminal or a terrestrial computer. Recognize people in a short time by executing a human recognition program.

본 발명은 지상의 휴대폰, 모바일장치, 노트북, PC 등의 지상 컴퓨터들도 RTSP서버에 연결하여 영상을 수신하고 사람인식 프로그램을 실행 할 수 있다. In the present invention, ground computers such as mobile phones, mobile devices, notebook computers, and PCs on the ground can also connect to an RTSP server to receive images and execute a human recognition program.

따라서, 본발명은 실종자 혹은 조난자를 빠른 시간에 인지 및 경보함으로써, 안전한 구조가 가능하다.Therefore, the present invention enables a safe structure by quickly recognizing and alerting a missing person or a victim.

도 1은 본 발명에 따른 드론 및 드론시스템의 사용 상태도이다.
도 2는 본 발명에 따른 드론 및 드론시스템의 블록도이다.
도 3은 본 발명에 따른 일 실시예로서 지상 컴퓨터에 장착된 사람인식 소프트웨어의 실행 과정을 보여주는 플로우 챠트이다.
도 4는 도 3의 플로우챠트에서 사람인식 소프트웨어의 구체적인 실행과정을 보여주는 플로우챠트이다.1 is a use state diagram of a drones and drones system according to the present invention.
2 is a block diagram of a drones and drones system in accordance with the present invention.
FIG. 3 is a flow chart showing an execution process of a person recognition software installed in a terrestrial computer according to an embodiment of the present invention.
FIG. 4 is a flowchart showing a specific execution process of the human recognition software in the flowchart of FIG. 3. FIG.

본 발명의 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명한다. 본 발명의 특징 및 이점들은 첨부된 도면에 의한 바람직한 실시예에 대한 설명으로 더욱 명백해 질 것이다.Embodiments of the present invention will be described in detail with reference to the accompanying drawings. The features and advantages of the present invention will become more apparent from the following description of the preferred embodiments with reference to the accompanying drawings.

도 1은 본 발명에 따른 드론 및 드론시스템의 사용 상태도이다.1 is a use state diagram of a drones and drones system according to the present invention.

본 발명에 따른 드론시스템(1000)은 드론(100), 이동통신기지국(410), RTSP서버(200), 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)을 포함한다. The drones system 1000 according to the present invention includes a drones 100, a mobile communication base station 410, an RTSP server 200, a terrestrial control terminal 300, a portable computer 500 and a personal computer 600.

지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)는 각각 RTSP서버(200)에 연결되어 드론(100)이 촬영한 영상을 수신한다.The terrestrial control terminal 300, the portable computer 500 and the personal computer 600 are connected to the RTSP server 200 to receive images captured by the drones 100, respectively.

지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)는 통칭하여 지상 컴퓨터(미도시)로 호칭된다. The terrestrial control terminal 300, the portable computer 500 and the personal computer 600 are collectively referred to as a terrestrial computer (not shown).

지상 컴퓨터(미도시) 중 어느 하나인 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)는 각각 본 발명의 특징에 해당하는 사람인식 소프트웨어를 탑재하여 드론(100)의 영상을 이용하여 사람을 자동으로 인식할 수 있다.The terrestrial control terminal 300, the portable computer 500 and the personal computer 600, which are any of the ground computers (not shown), are equipped with human recognition software corresponding to the features of the present invention, It is possible to automatically recognize a person by using it.

드론(100)과 지상제어단말기(300)는 각각 이동통신기지국(410)을 통하여 이동통신 네트웍에 연결된다. 본 발명은 이동통신 네트웍에 한정되지 않는다. 드론(100)과 지상제어단말기(300)의 통신은 로라(LoRa)통신, 마브링크(MaVLink)통신 등으로 연결 할 수도 있다.The drones 100 and the terrestrial control terminal 300 are connected to the mobile communication network through the mobile communication base station 410, respectively. The present invention is not limited to a mobile communication network. Communication between the drones 100 and the terrestrial control terminal 300 may be performed by LoRa communication or MaVLink communication.

이동통신기지국(410)은 스마트폰과 같은 무선통신 단말기를 인식하고, 음성 및 데이터를 주고 받을 수 있게 하는 이동통신 네트웍 인프라에 해당한다. 이동통신 기술의 예로서는 3G, 4G, 5G와 같은 기술들이 상용화 되고 있다. The mobile communication base station 410 corresponds to a mobile communication network infrastructure for recognizing a wireless communication terminal such as a smart phone and transmitting and receiving voice and data. As examples of mobile communication technologies, technologies such as 3G, 4G, and 5G are being commercialized.

본 발명은 드론(100)과 드론(100)을 제어하는 지상제어단말기(300)를 이와 같은 이동통신 무선 인프라에 연결하여 드론이 연결된 이동통신 네트웍이 지원하는 공간 내에서는 원격지에서도 드론을 제어하는 것이 가능하게 한다. 또한, 드론(100)이 촬영한 영상 혹은 드론(100)이 관측한 많은 정보들을 원격지에서 수신이 가능하다.The present invention is to connect the terrestrial control terminal 300 for controlling the drones 100 and the drones 100 to the mobile communication wireless infrastructure so that the drones are controlled at a remote place within the space supported by the mobile communication network connected to the drones . In addition, the image captured by the drones 100 or a lot of information observed by the drones 100 can be received from a remote site.

드론(100)에는 EO카메라(40) 및 IR카메라(30)의 두 개의 카메라가 장착되어 각각의 용도에 맞는 영상을 촬영하고 촬영한 영상 스트리밍을 외부장치로 전송한다. (도 2 참조)The drone 100 is equipped with two cameras such as an EO camera 40 and an IR camera 30, capturing an image suitable for each application, and transmitting the captured image stream to an external device. (See Fig. 2)

지상제어단말기(300)는 드론제어 명령을 이동통신기지국(410)을 경유하여 무선으로 드론(100)에게 전송한다. 지상제어단말기(300)는 일명 GCS(Ground Control System)단말기로 명명된다. The terrestrial control terminal 300 transmits a dron control command to the drones 100 via the mobile communication base station 410 wirelessly. The terrestrial control terminal 300 is called a GCS (Ground Control System) terminal.

드론제어명령은, 예를들어, 드론(100)에 장착된 EO카메라(40) 혹은 IR카메라(30)에 대한 영상 촬영에 대한 명령일 수 있다. 드론제어명령은 카메라들에 대한 영상 촬영 명령에 한정되지 않는다. 지상제어단말기(300)는 드론의 이동, 호버링, 촬영, 고도상승, 고도하강, 특정 센서의 구동 등 많은 제어명령을 드론(100)에게 전송 할 수 있다. The drone control command may be, for example, an instruction for imaging the EO camera 40 or the IR camera 30 mounted on the drones 100. [ The drone control command is not limited to the image shooting command for the cameras. The terrestrial control terminal 300 can transmit a lot of control commands to the drones 100 such as moving the drones, hovering, photographing, elevating the elevation, descending the altitude, driving the specific sensor, and the like.

지상제어단말기(300)를 이용하여 두 개의 카메라 중 하나를 선택하여 명령을 전송 할 수 있다. 지상제어단말기(300)은 두 개의 카메라 모두에 대한 동작을 명령 할 수 있다. The terrestrial control terminal 300 may be used to select one of the two cameras and transmit the command. The terrestrial control terminal 300 may command an operation for both cameras.

본원발명의 드론 시스템은(1000)은 RTSP서버(200)를 포함한다. RTSP서버(200)는 드론(100)에 장착된 무선통신모듈의 고유ID와 드론(100)과 대응하는 지상제어단말기(300)에 장착된 무선통신모듈의 고유ID를 서로 짝을 이루어 저장한다.The dron system 1000 of the present invention includes an RTSP server 200. The RTSP server 200 stores a unique ID of the wireless communication module mounted on the drones 100 and a unique ID of the wireless communication module mounted on the ground control terminal 300 in correspondence with the drones 100.

따라서, 생산되고 판매된 드론(100)및 지상제어단말기(300)가 사용자에 의하여 전원이 인가되면, RTSP서버(200)는 드론(100)과 지상제어단말기(300)에 각각 장착된 통신모듈의 고유ID를 확인하여 두 기기가 서로 연결되는 기기인지를 판단하여, 두 기기를 인증하고 연결하는 역할을 수행한다.The RTSP server 200 can transmit and receive data to and from the dron 100 and the terrestrial control terminal 300 through the communication module It checks the unique ID to determine whether the two devices are connected to each other, and authenticates and connects the two devices.

이때, 드론(100) 및 지상제어단말기(300)가 이동통신네트웍에 연결되면, 이동통신회사의 이동통신서버(미도시)는 연결된 드론(100) 및 지상제어단말기(300)에게 각각 유동적인 IP 어드레스를 부여한다.When the drones 100 and the terrestrial control terminal 300 are connected to the mobile communication network, a mobile communication server (not shown) of the mobile communication company transmits a dynamic IP Address.

RTSP서버(200)는 이 유동 IP 어드레스를 드론(100) 및 지상제어단말기(300)에서 수신한 다음, 두 기기가 서로 연결이 되도록 한다.The RTSP server 200 receives the dynamic IP address from the drone 100 and the terrestrial control terminal 300, and then connects the two devices to each other.

이와 같은 연결작업에 의하여 드론(100)과 지상제어단말기(300)는 거리에 대한 제한 없이 이동통신기지국(410)이 지원하는 원격지에서 서로 연결되어 제어가 가능하다. The drones 100 and the terrestrial control terminals 300 can be connected to each other at a remote site supported by the mobile communication base station 410 without restriction on the distance.

RTSP서버(200)의 RTSP란 Real Time Streaming Service Protocol의 약자로서, RTSP서버(200)는 드론(100)이 촬영한 영상 스트리밍을 실시간으로 수신하여 저장하거나 재전송하는 기능도 수행한다.RTSP of the RTSP server 200 is an abbreviation of Real Time Streaming Service Protocol. The RTSP server 200 also receives and stores or retransmits the video stream captured by the drones 100 in real time.

지상제어단말기(300)를 이용하여 드론(100)에 장착된 두개의 카메라(EO카메라 및 IR카메라)를 선택적으로 혹은 동시에 제어하여 각각의 카메라가 촬영한 영상을 RTSP서버(200)는 실시간으로 수신할 수 있다. The RTSP server 200 receives the images captured by the respective cameras by selectively or simultaneously controlling two cameras (EO camera and IR camera) mounted on the drones 100 using the terrestrial control terminal 300 can do.

RTSP서버(200)에 접속한 지상컴퓨터(지상제어단말기 300, 휴대용컴퓨터 500, 퍼스널컴퓨터 600) 중 어느 하나는 드론의 두 개의 카메라가 촬영한 영상을 원격지에서 수신 할 수 있다. Any one of the terrestrial computers (terrestrial control terminal 300, portable computer 500, and personal computer 600) connected to the RTSP server 200 can receive images taken by two cameras of the drones at a remote location.

이때, 지상 컴퓨터들(지상제어단말기 300, 휴대용컴퓨터 500, 퍼스널컴퓨터 600)은 해당 영상을 각각 단독으로 수신하거나 동시에 수신할 수 있다. At this time, the terrestrial computers (the terrestrial control terminal 300, the portable computer 500, and the personal computer 600) can receive the respective images individually or simultaneously.

지상제어단말기(300)는 드론(100)의 영상을 RTSP서버(200)를 통하여 수신할 수도 있고, 드론(100)으로부터 직접 수신할 수도 있다. The terrestrial control terminal 300 may receive the image of the drones 100 through the RTSP server 200 or directly from the drones 100. [

지상 컴퓨터 중 휴대용컴퓨터(500) 혹은 퍼스널컴퓨터(600)는 이동통신 네트웍을 통하여 RTSP서버(200)에 접속하여 드론(100)의 EO카메라(40) 및 IR카메라(30)가 촬영한 영상 스트리밍을 선택적으로 혹은 동시에 수신할 수 있다.The portable computer 500 or the personal computer 600 of the terrestrial computer is connected to the RTSP server 200 through the mobile communication network to transmit the video stream photographed by the EO camera 40 and the IR camera 30 of the drones 100 Selectively or simultaneously.

한편, 지상 컴퓨터 중 휴대용컴퓨터(500) 혹은 퍼스널컴퓨터(600)는 드론(100)과 직접 무선으로 연결하여 드론(100)의 EO카메라(40) 및 IR카메라(30)가 촬영한 영상 스트리밍을 수신할 수 있다.The portable computer 500 or the personal computer 600 of the terrestrial computer is directly connected to the drones 100 to receive the image stream photographed by the EO camera 40 and the IR camera 30 of the drones 100 can do.

도 1에 기재되지 않은 별도의 무선용 드론 운전조작기를 통하여 드론(100)의 운행을 제어할 수 있다. It is possible to control the operation of the drones 100 through a separate cordless drone operation controller not shown in FIG.

도 2는 본 발명에 따른 드론 및 드론시스템의 블록도이다. 2 is a block diagram of a drones and drones system in accordance with the present invention.

드론(100)은 드론제어부(70), EO카메라(40), IR카메라(30), 통신모듈(60), GPS센서(10), 고도센서(20), 전원부(80) 및 구동부(50)을 포함한다. 드론(100)에는 이외에도 프로펠러, 밧데리, 각종 센서 및 비행제어프로그램을 내장한 메모리(72) 등을 구비한다.The drone 100 includes a drone control unit 70, an EO camera 40, an IR camera 30, a communication module 60, a GPS sensor 10, an altitude sensor 20, a power source unit 80, . The drone 100 also includes a propeller, a battery, various sensors, and a memory 72 having a built-in flight control program.

EO카메라(40)는 전기광학(Electro-Optical)카메라를 말하며, 일반적인 광학카메라에 해당한다. EO카메라(40)는 정밀한 광학 영상을 촬영 한다.The EO camera 40 refers to an electro-optical camera, and corresponds to a general optical camera. The EO camera 40 captures a precise optical image.

IR카메라(30)는 적외선(Infrared)카메라에 해당하며 야간과 같은 특수한 경우에 특수영상을 촬영한다. IR카메라(30)은 물체의 온도를 검지 가능하다.The IR camera 30 corresponds to an infrared camera and takes a special image in a special case such as night. The IR camera 30 can detect the temperature of the object.

EO카메라(40) 및 IR카메라(30)가 촬영한 영상을 적절히 활용하면 물체의 형상, 움직임, 물체의 온도를 측정 가능하다. When the images taken by the EO camera 40 and the IR camera 30 are appropriately utilized, the shape, motion, and temperature of the object can be measured.

본원발명은 EO카메라(40)가 촬영한 제1영상과 IR카메라(30)가 촬영한 제2영상을 이용하여 산악, 하천, 바닷가, 개천, 들판에서 조난되어 움직이거나 쓰러져있는 실종자와 같은 사람을 실시간으로 인식하는 것이 가능하다.The present invention can be applied to a person who is disturbed by a mountain, a river, a beach, a river, or a field and moves or falls down by using the first image taken by the EO camera 40 and the second image taken by the IR camera 30 It is possible to recognize in real time.

EO카메라(40)가 촬영한 제1영상은 사람의 움직임과, 사람형상을 기본적으로 인지하기 위한 영상으로 활용된다. IR카메라(30)가 촬영한 제2영상은 사람의 온도를 측정하는 것에 이용된다. The first image photographed by the EO camera 40 is used as an image for basically recognizing a human motion and a human shape. The second image captured by the IR camera 30 is used for measuring the temperature of a person.

한편 야간의 경우에는 IR카메라(30)가 촬영한 제2영상을 이용하여 사람의 형상, 움직임, 온도 모든 것을 촬영 가능하다.On the other hand, in the case of the nighttime, the second image captured by the IR camera 30 can be used to capture a person's shape, motion, and temperature.

드론(100)에 장착된 EO카메라(40) 및 IR카메라(300)가 촬영한 제1영상 및 제2영상은 스트리밍 방식으로 외부장치에 전송된다.The first image and the second image captured by the EO camera 40 and the IR camera 300 mounted on the drone 100 are transmitted to an external device in a streaming manner.

통신모듈(60)은 드론(100)을 이동통신 네트웍에 연결하는 역할을 수행하며, 이동통신 네트웍에 연결된 드론(100)이 촬영한 영상은 RTSP서버(200)로 실시간으로 전송된다. The communication module 60 connects the drones 100 to the mobile communication network and images captured by the drones 100 connected to the mobile communication network are transmitted to the RTSP server 200 in real time.

EO카메라(40)는 제1영상을 촬영하며, 촬영된 제1영상은 I/O어댑터(42)를 통하여 메모리(72)에 저장되며, 이 저장된 제1영상은 스트리밍 방식으로 통신모듈(60)을 통하여 외부로 전송된다.The EO camera 40 captures a first image and the captured first image is stored in the memory 72 via the I / O adapter 42. The stored first image is transmitted to the communication module 60 in a streaming manner, Lt; / RTI >

IR카메라(30)는 제2영상을 촬영하며, 촬영된 제2영상은 I/O어댑터(42)를 통하여 메모리(72)에 저장되며, 이 저장된 제1영상은 스트리밍 방식으로 통신모듈(60)을 통하여 외부로 전송된다.The IR camera 30 captures a second image and the captured second image is stored in the memory 72 via the I / O adapter 42. The stored first image is transmitted to the communication module 60 in a streaming manner, Lt; / RTI >

드론(100)의 제어부(70)는 EO카메라(40) 혹은 IR카메라(30)를 동시에 동작할 것인지, 어느 하나를 선택적으로 동작할 것인지 판단할 수 있다. The control unit 70 of the drone 100 may determine whether to operate the EO camera 40 or the IR camera 30 simultaneously or selectively.

드론(100)의 제어부(70)는 지상제어단말기(300)의 제어 명령에 따라 EO카메라(40) 혹은 IR카메라(30)를 동시에 동작할 것인지, 어느 하나를 선택적으로 동작할 것인지 결정 가능하다.The control unit 70 of the drone 100 can determine whether to operate the EO camera 40 or the IR camera 30 simultaneously or selectively according to the control command of the terrestrial control terminal 300.

RTSP서버(200)는 지상제어단말기(300)와 이동통신 네트웍으로 연결된다. The RTSP server 200 is connected to the terrestrial control terminal 300 through a mobile communication network.

지상 컴퓨터는 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)를 포함하며, 도 2는 RTSP서버(200)과 연결된 지상제어단말기(300)를 일 실시예로서 나타낸다. The terrestrial computer includes a terrestrial control terminal 300, a portable computer 500 and a personal computer 600, and FIG. 2 shows the terrestrial control terminal 300 connected to the RTSP server 200 as an example.

따라서, RTSP서버(200)와 연결된 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)를 다른 실시예로서 도 2의 형태와 유사하게 표시할 수 있다. Accordingly, the portable computer 500 and the personal computer 600 connected to the RTSP server 200 can be displayed in a similar manner to the embodiment of FIG. 2 as another embodiment.

지상제어단말기(300)는 단말기 통신 모듈(310)을 통하여 RTSP서버(200)와 이동통신 네트웍으로 연결되고, 단말기 통신 모듈(310)을 통하여 RTSP서버(200)에 저장된 드론(100)이 촬영한 영상스트리밍을 수신 한다. The terrestrial control terminal 300 is connected to the RTSP server 200 through the terminal communication module 310 and is connected to the terrestrial control terminal 300 through the terminal communication module 310, And receives video streaming.

지상제어단말기(300)는 메모리에 내장된 소프트웨어부(360)를 가지며, 제어부(340)은 소프트웨어부(360)의 프로그램을 실행한다.The terrestrial control terminal 300 has a software unit 360 embedded in a memory, and the control unit 340 executes a program of the software unit 360. [

지상제어단말기(300)의 소프트웨어부(360)에는 비행제어 소프트웨어(362), 영상확인 소프트웨어(364) 및 사람인지 소프트웨어(366)를 포함한다.The software portion 360 of the terrestrial control terminal 300 includes flight control software 362, image verification software 364, and human recognition software 366.

비행제어 소프트웨어(362)는 드론(100)의 비행을 제어하는 비행 제어명령을 드론(100)에게 전송한다. 드론의 이동, 고도 상승, 고도 하강, 카메라 온, 카메라 오프, 각종 센서 동작 온 오프 등의 비행제어 명령이 드론에게 전송된다.The flight control software 362 sends a flight control command to the drones 100 to control the flight of the drones 100. [ The flight control commands such as the movement of the drones, the altitude rise, the altitude fall, the camera on, the camera off, various sensor operation on and off are transmitted to the drone.

영상확인 소프트웨어(364)를 통하여 지상제어단말기(300)의 디스플레이(320)를 통하여 드론(100)이 촬영하여 전송한 영상을 보면서 수동으로 드론의 정지, 이동, 호버링, 촬영 등을 제어할 수 있다.Moving, hovering, shooting, and the like of the drones manually while watching the images taken and transmitted by the drones 100 through the display 320 of the terrestrial control terminal 300 through the image confirmation software 364 .

사람인식 소프트웨어(366)는 드론이 촬영한 EO카메라의 제1영상 및 IR카메라의 제2영상을 이용하여 사람을 자동으로 인지하는 프로그램이다. 이 사람인지 소프트웨어(366)는 영상확인 소프트웨어(364) 혹은 비행제어 소프트웨어(362)를 실행하면서 백그라운드에서 자동으로 실행 할 수 있다.The person recognition software 366 is a program for automatically recognizing a person using the first image of the EO camera and the second image of the IR camera taken by the drone. The person 366 can automatically run in the background while running the image verification software 364 or the flight control software 362.

사람인식 소프트웨어(366)의 실행 혹은 정지는 도시하지 않은 디스플레이(320)상의 버튼 혹은 유저인터페이스 버튼을 이용 할 수 있다. The execution or stop of the human recognition software 366 can use a button or a user interface button on the display 320 not shown.

사람인식 소프트웨어(366)의 실행으로 사람이 인식되면, 사람인식 이벤트가 발생하고, 이때에는 저장부(350)에 저장된 지도생성부(352)가 자동으로 호출되어 단말기 제어부(340)는 지도 프로그램을 실행하고 디스플레이(320)에 지도 및 인식지된 사람의 위치를 표시할 수 있다.When a person is recognized by the execution of the person recognition software 366, a person recognition event occurs. At this time, the map generation unit 352 stored in the storage unit 350 is automatically called and the terminal control unit 340 And display and display the location of the person being mapped and recognized on the display 320. [

이때, 드론(100)의 영상을 부분적으로 팝업 하고, 실시간으로 드론(100)이 촬영한 영상, 지도 및 사람인지 위치정보를 지도상에 동시에 표시할 수 있다.At this time, the image of the drones 100 can be partly popped up, and the image, map, and human perception information photographed by the drones 100 can be simultaneously displayed on the map in real time.

디스플레이(320)의 유저인터페이스를 통하여 비행제어소프트웨어(362)의 비행제어 UI를 부분적으로 혹은 오버랩하여 표시하고, 사용자는 사람인지 위치정보의 근방으로 드론을 이동하여 호버링 상태에서 정밀한 영상을 추가적으로 촬영 할 수 있다.The flight control UI of the flight control software 362 is partially or overlapped to be displayed through the user interface of the display 320 and the user moves the dron near the person or the location information to additionally take a precise image in the hovering state .

이와 같은 동작으로 사람인식 소프트웨어(366)는 추가적인 사람인식 이벤트를 발생하고, 중복적인 사람인식 이벤트는 해당 위치정보의 사람을 중복으로 인식하여 동일한 사람 인식 이벤트로 대체 할 수 있다.In such an operation, the person recognition software 366 generates an additional person recognition event, and the overlapping person recognition event recognizes the person of the corresponding position information as a duplicate and substitutes the same person recognition event.

드론(100)은 실시간으로 촬영한 제1영상신호 및 제2영상신호에 GPS센서(10) 및 고도센서(20)로부터의 센싱신호들인 GPS신호와 고도신호를 결합하여 실시간으로 전송한다.The drone 100 combines the GPS signal and the altitude signal, which are the sensing signals from the GPS sensor 10 and the altitude sensor 20, with the first video signal and the second video signal captured in real time and transmits them in real time.

사람인식 소프트웨어(366)는 제1영상신호 및 제2영상신호를 수신하고, 이 제1영상신호 및 제2영상신호로부터 GPS신호 및 고도신호를 분리 할 수 있다.The human recognition software 366 may receive the first video signal and the second video signal and separate the GPS signal and the altitude signal from the first video signal and the second video signal.

사람인식 소프트웨어(366)는 제1영상신호 및 제2영상신호로부터의 물체의 형상과 분리된 GPS신호 및 고도신호를 이용하여 물체의 위치 및 고도를 계산할 수 있다.The person recognition software 366 can calculate the position and altitude of the object using the GPS signal and the altitude signal separated from the shape of the object from the first image signal and the second image signal.

따라서, 인식된 물체가 사람으로 인식된 경우의 위치정보는 드론의 위치정보 및 드론의 위치정보로부터 계산된 사람의 위치정보 모두를 포함 할 수 있다.Therefore, the position information when the recognized object is recognized as a person may include both the position information of the drones and the position information of the person calculated from the position information of the drones.

도 3은 본 발명에 따른 일 실시예로서 지상 컴퓨터에 장착된 사람인식 소프트웨어의 실행 과정을 보여주는 플로우 챠트이다. FIG. 3 is a flow chart showing an execution process of a person recognition software installed in a terrestrial computer according to an embodiment of the present invention.

지상 컴퓨터는 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600) 중 어느 하나인 경우를 실시예로 설명한다.The case where the terrestrial computer is one of the terrestrial control terminal 300, the portable computer 500 and the personal computer 600 will be described as an embodiment.

지상 컴퓨터(지상제어단말기 300, 휴대용컴퓨터 500 및 퍼스널컴퓨터 600 중 어느 하나)는 RTSP서버(200)에 연결되어 드론(100)이 촬영한 영상 스트리밍을 실시간으로 수신한다. (S20).The ground computer (any one of the terrestrial control terminal 300, the portable computer 500, and the personal computer 600) is connected to the RTSP server 200 and receives the video streaming photographed by the drones 100 in real time. (S20).

지상 컴퓨터는 영상을 캡쳐한다. (S30). 캡쳐된 영상은 EO카메라(40)가 촬영한 제1영상 혹은 IR카메라(30)가 촬영한 제2영상을 선택적으로 혹은 둘 다 포함 할 수 있다.Ground computer captures video. (S30). The captured image may include a first image captured by the EO camera 40 or a second image captured by the IR camera 30, or both.

사람인식 소프트웨어(366)에서 사람이 인식되었는지 확인한다. (S40)The person recognition software 366 confirms that the person is recognized. (S40)

사람인식 소프트웨어(366)에서 사람이 인지되었다면, 지상제어단말기(300)에게 사람인식 이벤트를 밸생한다. (S50)When the person is recognized in the human recognition software 366, the ground control terminal 300 is subjected to a human recognition event. (S50)

이 경우, 지상 컴퓨터가 지상제어단말기(300)이면, 사람인식 소프트웨어(366)는 지상제어단말기(300) 자신에게 이벤트를 발생한다. 지상 컴퓨터가 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600) 중 어느 하나라면 지상 컴퓨터는 지상제어단말기(300)에게 사람인식 이벤트를 발생하면 된다.In this case, if the terrestrial computer is the terrestrial control terminal 300, the human recognition software 366 generates an event to the terrestrial control terminal 300 itself. If the terrestrial computer is one of the portable computer 500 and the personal computer 600, the terrestrial computer may generate a human recognition event to the terrestrial control terminal 300. [

사람인식 이벤트를 수신한 지상제어단말기(300)는 지도 프로그램을 콜하고 지도상에 사람의 인식 암림 혹은 경보를 디스플레이한다. (S60) 사람인식 알림 표시는 지도상에 사람의 위치를 표시하고 감빡이는 디스플레이 및 음향을 통하여 수행한다.The ground control terminal 300 receiving the person recognition event calls the map program and displays a man's perception or alert on the map. (S60) The person recognition notification display indicates the position of the person on the map and performs through the display and sound that are reduced.

전술한 바와 같이 사람인지 위치정보는 드론의 위치정보일 수도 있으며, 드론의 위치정보로부터 계산된 사람의 위치정보일 수 있다.As described above, the human perception information may be the location information of the drones or the location information of the person calculated from the location information of the drones.

지상제어단말기(300)는 인식된 사람의 위치정보 및 드론위치정보를 관제실에 전송한다. (S70).The terrestrial control terminal 300 transmits the recognized location information and the location information of the drone to the control room. (S70).

관제실은 소방서 혹은 경찰서와 같은 실종자 혹은 조난자를 수색하는 공공기관일 수 있다. The control room may be a missing person, such as a fire station or a police station, or a public entity that searches for a victim.

도 4는 도 3의 플로우챠트에서 사람인식 소프트웨어(S40)의 구체적인 실행과정을 보여주는 플로우챠트이다.FIG. 4 is a flowchart showing a specific execution process of the human recognition software S40 in the flow chart of FIG. 3. FIG.

사람인식 소프트웨어에서는 드론(100)으로부터 수신한 제1영상 혹은 제2영상으로부터 물체의 움직임이 있는지 판단한다. (S102)The human recognition software determines whether there is movement of the object from the first image or the second image received from the drones 100. (S102)

촬영한 영상에서 물체의 움직임이 있는 것으로 판단이 되면 사람의 형태인지 판단한다. (S104). If it is judged that there is an object movement in the photographed image, it is judged whether it is a human form. (S104).

사람의 형태는 드론(100)이 물체의 직각 상공에서 촬영한 형상과 일정 각도 경사진 임의 각도에서 촬영한 형상이 서로 상이할 수 있다. 따라서, 사람인식 소프트웨어 내부에는 다양한 각도에서 촬영한 사람의 형상을 복수개 저장하고, 이 복수개의 저장된 형상과 비교하여 사람의 형상으로 매칭이 되는지 판단 할 수 있다.The shape of the person may be different from the shape taken by the drones 100 at right angles to the object and taken at an arbitrary angle. Accordingly, it is possible to store a plurality of shapes of a person photographed at various angles in the human recognition software, and compare the shapes of the plurality of stored shapes to determine the matching of the shape of a person.

사람의 형상으로 매칭이 된 경우에는, 온도가 정해진 범위 이내의 온도인지 판단한다. (S106) When matching is made with the shape of a person, it is determined whether the temperature is within a predetermined range. (S106)

사람의 정상 체온은 섭씨 36.5도이다. 하지만 야외에서 조난 당한 사람의 체온은 정상 체온보다 낮을 수 있다. 또한, 의복을 감안한 온도는 더욱 낮을 수 있다. 이것을 감안하여 IR카메라로부터의 제2영상 신호를 바탕으로 움직이는 물체이면서 사람의 형상을 가진 물체의 온도 분포를 통하여 사람에 대한 인식여부를 최종 판단한다.The normal body temperature of a person is 36.5 degrees Celsius. However, the body temperature of a person who is disturbed outdoors can be lower than normal body temperature. Also, the temperature at which the garment is considered may be lower. In consideration of this, it is finally determined whether or not the person is recognized through the temperature distribution of an object having a human shape, which is an object moving on the basis of the second image signal from the IR camera.

만약에 움직이는 물체로서, 사람의 형상으로 인식되었으나, 온도가 정해진 온도 범위가 아니라면 드론(100)에게 물체 확인 신호를 전송 할 수 있다. (S108)If the object is recognized as a moving object but the temperature is not within the predetermined temperature range, the object identification signal can be transmitted to the drones 100. (S108)

이 경우에는, 극도로 예외적인 온도 범위를 가질 수 있으므로, 저체온 상태와 같은 조난자가 위험에 처한 상태일 수도 있다. 따라서, 드론(100)에게 전송하는 확인 명령에는 드론 혹은 물체의 위치정보를 전송하여 정밀한 재촬영 혹은 재확인이 가능하도록 드론(100)을 제어할 수 있다.In this case, the extreme temperature range may be present, so that the victim, such as a hypothermic state, may be at risk. Accordingly, it is possible to control the drone 100 so that the position information of the drone or the object can be transmitted to the confirmation command to be transmitted to the drone 100 so that it can be precisely re-photographed or re-confirmed.

움직이는 물체로서, 사람의 형상으로 인식되고, 정해진 온도 범위라면 사람 인식 플래그를 셋팅한다. (S112)As a moving object, it is recognized as a human figure, and if it is within the specified temperature range, the human recognition flag is set. (S112)

사람인식 소프트웨어는 사람인식 신호 이벤트 및 사람에 대한 위치정보를 관제실로 전송한다. (S114).The person recognition software transmits the person recognition signal event and the location information about the person to the control room. (S114).

한편, S102 단계에서, 움직이는 물체가 없는 경우에도, 사람의 형태가 검지되었는지 판단한다. (S118)On the other hand, in step S102, even if there is no moving object, it is determined whether the shape of the person is detected. (S118)

이 경우에는, 제1영상 혹은 제2영상을 이용하여 영상의 특정한 패턴을 이용 할 수 있다. 영상의 특정한 패턴이란, 사람의 얼굴 혹은 손과 발과 같은 인체의 특정한 형상 혹은 백팩, 신발, 장갑, 스틱 등과 같은 사람이 휴대하는 물체의 특정한 형상을 사람검지에 이용할 수 있다.In this case, a specific pattern of the image can be used by using the first image or the second image. A specific pattern of an image can be used for human detection, such as a human face, a specific shape of a human body such as a hand and a foot, or a specific shape of an object carried by a person such as a backpack, a shoe, a glove and a stick.

움직임이 없고, 사람의 형상을 검지한 경우에는, 온도가 정해진 온도 이내인지 판단 한다. (S120)When there is no movement and the shape of a person is detected, it is determined whether or not the temperature is within a predetermined temperature. (S120)

온도가 정해진 온도라면, 사람인식 플래그를 셋팅하고, 사람인식 신호 이벤트 및 위치신호를 전송한다. (S112, S114)If the temperature is the predetermined temperature, the person recognition flag is set, and the person recognition signal event and the position signal are transmitted. (S112, S114)

온도가 정해진 온도가 아니라면, 마찬가지로 드론에게 물체 확인 신호 및 위치정보를 전송한다. (S122)If the temperature is not at the specified temperature, it similarly transmits the object identification signal and position information to the drones. (S122)

드론(100)은 수신한 확인 명령과 수신한 위치정보에 기초하여 정밀한 촬영이 가능하다.The drone 100 can photograph accurately based on the received confirmation command and the received position information.

1000 : 드론시스템
100 : 드론
10 : GPS센서
20 : 고도센서
30 : IR카메라
40 : EO카메라
42 : I/O어댑터
50 : 구동부
60 : 통신모듈
70 : 제어부
72 : 메모리
80 : 전원부
200 : RTSP 서버(영상스트리밍 서버)
300 : 지상제어단말기(GCS 단말기)
310 : 단말기 통신모듈
320 : 디스플레이부
330 : 단말기 GPS센서
340 : 단말기 제어부
350 : 저장부
352 : 지도생성부
360 : 소프트웨어부
362 : 비행제어 소프트웨어
364 : 영상확인 소프트웨어
366 : 사람인식 소프트웨어
410 : 이동통신기지국
500 : 휴대용컴퓨터
600 : 퍼스널컴퓨터1000: Dron system
100: Drones
10: GPS sensor
20: altitude sensor
30: IR camera
40: EO camera
42: I / O adapter
50:
60: Communication module
70:
72: Memory
80:
200: RTSP server (video streaming server)
300: Ground control terminal (GCS terminal)
310: Terminal communication module
320:
330: Terminal GPS sensor
340:
350:
352:
360: Software Department
362: Flight Control Software
364: Image verification software
366: People-aware software
410: mobile communication base station
500: portable computer
600: personal computer

Claims (5)

드론시스템에 있어서,
제1영상을 촬영하는 EO카메라, 제2영상을 촬영하는 IR카메라, 상기 제1영상 및 상기 제2영상을 실시간으로 전송하는 통신모듈 및 상기 통신모듈을 제어하는 제어부를 포함하는 드론;
상기 드론으로부터 상기 제1영상 및 상기 제2영상을 실시간으로 수신하여 저장하는 RTSP서버; 및
상기 RTSP서버에 접속하여 상기 제1영상 및 상기 제2영상을 수신하며 상기 제1영상 및 상기 제2영상을 이용하여 사람을 인식하는 사람인식 프로그램을 실행하는 지상 컴퓨터를 포함하고,
상기 지상컴퓨터는 비행제어 소프트웨어를 실행하는 단말기제어부 및 상기 드론에게 명령을 전송하는 단말기 통신모듈을 포함하는 지상제어 단말기이고,
상기 사람 인식 프로그램은, 상기 제1영상으로부터는 사람의 형상 및 움직임을 인식하며, 상기 제2영상으로부터는 사람의 온도를 인식하는 것을 특징으로 하는 드론 시스템.
In the drones system,
A dron including an EO camera for capturing a first image, an IR camera for capturing a second image, a communication module for transmitting the first image and the second image in real time, and a control unit for controlling the communication module;
An RTSP server for receiving and storing the first image and the second image from the drone in real time; And
And a terrestrial computer connected to the RTSP server for executing the person recognition program for receiving the first image and the second image and recognizing the person using the first image and the second image,
Wherein the terrestrial computer is a terrestrial control terminal including a terminal control module for executing flight control software and a terminal communication module for transmitting a command to the drones,
Wherein the human recognition program recognizes the shape and movement of a person from the first image and recognizes the temperature of a person from the second image.
삭제delete 삭제delete 제 1항에 있어서,
상기 사람 인식 프로그램에서 사람을 인식하였다는 이벤트가 발생 시, 상기 지상 컴퓨터에 지도를 디스플레이하고 사람의 인식을 경보하는 것을 특징으로 하는 드론 시스템.
The method according to claim 1,
And displaying the map on the ground computer and alerting the person when the event of recognizing the person in the person recognition program occurs.
제 4항에 있어서,
상기 지상 컴퓨터는 관제실로 인식된 사람의 위치정보를 전송하는 것을 특징으로 하는 드론 시스템.5. The method of claim 4,
Wherein the ground computer transmits location information of a person recognized as a control room.
KR1020170057012A 2017-05-04 2017-05-04 A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program KR101933428B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170057012A KR101933428B1 (en) 2017-05-04 2017-05-04 A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170057012A KR101933428B1 (en) 2017-05-04 2017-05-04 A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program

Publications (2)

Publication Number Publication Date
KR20180122862A KR20180122862A (en) 2018-11-14
KR101933428B1 true KR101933428B1 (en) 2018-12-28

Family

ID=64328175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170057012A KR101933428B1 (en) 2017-05-04 2017-05-04 A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program

Country Status (1)

Country Link
KR (1) KR101933428B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254491B1 (en) 2019-11-22 2021-05-21 (주)가시 Automatic fly drone embedded with intelligent image analysis function

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102268061B1 (en) * 2021-02-26 2021-06-23 주식회사 씨그널정보통신 Fire response and lifesaving monitoring system using helicopter

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254491B1 (en) 2019-11-22 2021-05-21 (주)가시 Automatic fly drone embedded with intelligent image analysis function

Also Published As

Publication number Publication date
KR20180122862A (en) 2018-11-14

Similar Documents

Publication Publication Date Title
KR101690502B1 (en) System for tracking using drone
US20170347010A1 (en) Camera Peripheral Device for Supplemental Audio Capture and Remote Control of Camera
US11531340B2 (en) Flying body, living body detection system, living body detection method, program and recording medium
CN106406343B (en) Control method, device and system of unmanned aerial vehicle
KR101481051B1 (en) Private black box apparatus and driviing method thereof
KR101363066B1 (en) Monitoring system for crime-ridden district using unmanned flight vehicle
CA3009185C (en) Method and apparatus for imaging a scene
US11703863B2 (en) Methods and systems for operating a moving platform to determine data associated with a target person or object
WO2019041633A1 (en) Communication relay method, relay aerial vehicle, program, and recording medium
CN107067617A (en) A kind of method for safety monitoring and safety monitoring system based on unmanned plane
KR101933428B1 (en) A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program
KR20160083774A (en) Drone with self camera and photographer chasing function
US11846941B2 (en) Drone graphical user interface
KR101765480B1 (en) Drone with self camera and photographer chasing function
US11275951B2 (en) Surveillance drone with microbots
KR101786718B1 (en) Drone with self camera and photographer chasing function
KR101859989B1 (en) Stalker drone
Divan et al. Fire detection using quadcopter
KR20210031337A (en) System of safety control service using wearable communication device
CN112330917B (en) Method, device and system for positioning fire point
TWM575594U (en) Cloud lost contact help system combined with UAV and 3S technology
Arjun et al. An IoT Based Multi functional Robot for Military Applications
JP5885480B2 (en) Information processing apparatus, control method for information processing apparatus, and program
KR20180099074A (en) Fusion Type Monitoring System Using Drone Camera
KR101596142B1 (en) Position tracking system displaying geographic information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right