KR20180122862A - 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템 - Google Patents

드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템 Download PDF

Info

Publication number
KR20180122862A
KR20180122862A KR1020170057012A KR20170057012A KR20180122862A KR 20180122862 A KR20180122862 A KR 20180122862A KR 1020170057012 A KR1020170057012 A KR 1020170057012A KR 20170057012 A KR20170057012 A KR 20170057012A KR 20180122862 A KR20180122862 A KR 20180122862A
Authority
KR
South Korea
Prior art keywords
image
person
drones
camera
drone
Prior art date
Application number
KR1020170057012A
Other languages
English (en)
Other versions
KR101933428B1 (ko
Inventor
송태훈
Original Assignee
주식회사 휴인스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴인스 filed Critical 주식회사 휴인스
Priority to KR1020170057012A priority Critical patent/KR101933428B1/ko
Publication of KR20180122862A publication Critical patent/KR20180122862A/ko
Application granted granted Critical
Publication of KR101933428B1 publication Critical patent/KR101933428B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H04N5/2258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 드론 시스템에 관한 발명이다. 본 발명의 드론시스템은, 제1영상을 촬영하는 EO카메라, 제2영상을 촬영하는 IR카메라, 제1영상 및 제2영상을 실시간으로 전송하는 통신모듈 및 통신모듈을 제어하는 제어부를 포함하는 드론; 드론으로부터 제1영상 및 제2영상을 실시간으로 수신하여 저장하는 RTSP서버; 및 RTSP서버에 접속하여 제1영상 및 제2영상을 수신하며 제1영상 및 제2영상을 이용하여 사람을 인식하는 사람인식 프로그램을 실행하는 지상 컴퓨터를 포함하는 것을 특징으로 한다. 본 발명의 지상 컴퓨터는 전용의 사람인식 프로그램을 실행하여 빠른 시간에 사람을 인식한다.

Description

드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템 {A drone system which receiving a real time image from a drone and executing a human recognition image analyzing program}
본 발명은 하늘을 비행하는 드론으로부터 실시간 영상을 수신하고, 실시간 영상으로부터 사람인식 영상분석 프로그램을 실행하는 드론 시스템에 관한 발명이다. 더욱 구체적으로는 드론이 촬영한 영상을 실시간으로 수신하고, 드론의 영상을 이용하여 실종자와 같은 사람을 인식하여 구조 경보를 발령하는 사람인식 영상분석 프로그램을 실행하는 드론 시스템에 관한 발명이다.
무인비행체, 일명 드론이 개발되어 상용화 된다. 드론은 일례로서 카메라 및 각종 센서를 장착하여 무인으로 비행한다. 드론은, 예들들어, 방송중계, 스포츠중계, 농약살포, 도로감시, 보안, 군사, 레저, 스포츠, 환경감시 등 광범위한 용도로 이용된다.
종래의 드론을 이용한 실종자 혹은 조난자의 수색의 경우, 드론에 장착된 카메라를 이용하여 물체를 촬영하고 전송하면, 사용자는 지상제어단말기의 영상을 보면서 수동으로 실종자 혹은 조난자를 찾아야 하는 번거러움이 있었다. 즉, 산이나 들판과 같은 넓은 지역을 광범위하게 촬영한 드론의 영상을 이용하여 사람을 수동으로 인식하는 것은 어려운 작업이다. 따라서, 수동 인식은 실종자 혹은 조난자를 인식하지 못하고 간과하여 실종자 수색 및 구조에 실패하는 문제점이 있었다.
본 발명의 목적은 고성능 광학 카메라인 EO카메라 및 적외선 카메라인 IR카메라를 장착한 드론으로부터 실시간으로 영상을 수신하고, 사람의 형태, 움직임 및 온도 등의 특성을 이용하여 사람을 자동으로 인식하는 사람인식 영상분석 프로그램을 실행하여 자동으로 사람을 인식하여 경고하는 것이 가능한 드론시스템을 제공하는 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명은, 드론시스템에 있어서, 제1영상을 촬영하는 EO카메라, 제2영상을 촬영하는 IR카메라, 상기 제1영상 및 상기 제2영상을 실시간으로 전송하는 통신모듈 및 상기 통신모듈을 제어하는 제어부를 포함하는 드론; 상기 드론으로부터 상기 제1영상 및 상기 제2영상을 실시간으로 수신하여 저장하는 RTSP서버; 및 상기 RTSP서버에 접속하여 상기 제1영상 및 상기 제2영상을 수신하며 상기 제1영상 및 상기 제2영상을 이용하여 사람을 인식하는 사람인식 프로그램을 실행하는 지상 컴퓨터를 포함하는 것을 특징으로 한다.
상기 지상컴퓨터는 비행제어 소프트웨어를 실행하는 단말기제어부 및 상기 드론에게 명령을 전송하는 단말기 통신모듈을 포함하는 지상제어 단말기일 수 있다. RTSP서버에는 지상제어단말기 뿐 만 아니라, 휴대용컴퓨터 및 퍼스널 컴퓨터 등도 접속하여 사람인식 프로그램을 실행 할 수 있다.
상기 사람 인식 프로그램은, 상기 제1영상으로부터는 사람의 형상 및 움직임을 인식하며, 상기 제2영상으로부터는 사람의 온도를 인식할 수 있다.
상기 사람 인식 프로그램에서 사람을 인식하였다는 이벤트가 발생 시, 상기 지상 컴퓨터에 지도를 디스플레이하고 사람의 인식을 경보할 수 있다.
상기 지상 컴퓨터는 관제실로 인식된 사람의 위치정보를 전송할 수 있다.
본 발명의 드론은 광학식 EO카메라와 적외선 IR카메라를 이용하여 영상을 촬영하여 실시간으로 RTSP서버에 전송하고, RTSP서버의 영상은 지상제어단말기 혹은 지상 컴퓨터가 수신하고, 지상 단말기 혹은 지상 컴퓨터는 전용의 사람인식 프로그램을 실행하여 빠른 시간에 사람을 인식한다.
본 발명은 지상의 휴대폰, 모바일장치, 노트북, PC 등의 지상 컴퓨터들도 RTSP서버에 연결하여 영상을 수신하고 사람인식 프로그램을 실행 할 수 있다.
따라서, 본발명은 실종자 혹은 조난자를 빠른 시간에 인지 및 경보함으로써, 안전한 구조가 가능하다.
도 1은 본 발명에 따른 드론 및 드론시스템의 사용 상태도이다.
도 2는 본 발명에 따른 드론 및 드론시스템의 블록도이다.
도 3은 본 발명에 따른 일 실시예로서 지상 컴퓨터에 장착된 사람인식 소프트웨어의 실행 과정을 보여주는 플로우 챠트이다.
도 4는 도 3의 플로우챠트에서 사람인식 소프트웨어의 구체적인 실행과정을 보여주는 플로우챠트이다.
본 발명의 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명한다. 본 발명의 특징 및 이점들은 첨부된 도면에 의한 바람직한 실시예에 대한 설명으로 더욱 명백해 질 것이다.
도 1은 본 발명에 따른 드론 및 드론시스템의 사용 상태도이다.
본 발명에 따른 드론시스템(1000)은 드론(100), 이동통신기지국(410), RTSP서버(200), 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)을 포함한다.
지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)는 각각 RTSP서버(200)에 연결되어 드론(100)이 촬영한 영상을 수신한다.
지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)는 통칭하여 지상 컴퓨터(미도시)로 호칭된다.
지상 컴퓨터(미도시) 중 어느 하나인 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)는 각각 본 발명의 특징에 해당하는 사람인식 소프트웨어를 탑재하여 드론(100)의 영상을 이용하여 사람을 자동으로 인식할 수 있다.
드론(100)과 지상제어단말기(300)는 각각 이동통신기지국(410)을 통하여 이동통신 네트웍에 연결된다. 본 발명은 이동통신 네트웍에 한정되지 않는다. 드론(100)과 지상제어단말기(300)의 통신은 로라(LoRa)통신, 마브링크(MaVLink)통신 등으로 연결 할 수도 있다.
이동통신기지국(410)은 스마트폰과 같은 무선통신 단말기를 인식하고, 음성 및 데이터를 주고 받을 수 있게 하는 이동통신 네트웍 인프라에 해당한다. 이동통신 기술의 예로서는 3G, 4G, 5G와 같은 기술들이 상용화 되고 있다.
본 발명은 드론(100)과 드론(100)을 제어하는 지상제어단말기(300)를 이와 같은 이동통신 무선 인프라에 연결하여 드론이 연결된 이동통신 네트웍이 지원하는 공간 내에서는 원격지에서도 드론을 제어하는 것이 가능하게 한다. 또한, 드론(100)이 촬영한 영상 혹은 드론(100)이 관측한 많은 정보들을 원격지에서 수신이 가능하다.
드론(100)에는 EO카메라(40) 및 IR카메라(30)의 두 개의 카메라가 장착되어 각각의 용도에 맞는 영상을 촬영하고 촬영한 영상 스트리밍을 외부장치로 전송한다. (도 2 참조)
지상제어단말기(300)는 드론제어 명령을 이동통신기지국(410)을 경유하여 무선으로 드론(100)에게 전송한다. 지상제어단말기(300)는 일명 GCS(Ground Control System)단말기로 명명된다.
드론제어명령은, 예를들어, 드론(100)에 장착된 EO카메라(40) 혹은 IR카메라(30)에 대한 영상 촬영에 대한 명령일 수 있다. 드론제어명령은 카메라들에 대한 영상 촬영 명령에 한정되지 않는다. 지상제어단말기(300)는 드론의 이동, 호버링, 촬영, 고도상승, 고도하강, 특정 센서의 구동 등 많은 제어명령을 드론(100)에게 전송 할 수 있다.
지상제어단말기(300)를 이용하여 두 개의 카메라 중 하나를 선택하여 명령을 전송 할 수 있다. 지상제어단말기(300)은 두 개의 카메라 모두에 대한 동작을 명령 할 수 있다.
본원발명의 드론 시스템은(1000)은 RTSP서버(200)를 포함한다. RTSP서버(200)는 드론(100)에 장착된 무선통신모듈의 고유ID와 드론(100)과 대응하는 지상제어단말기(300)에 장착된 무선통신모듈의 고유ID를 서로 짝을 이루어 저장한다.
따라서, 생산되고 판매된 드론(100)및 지상제어단말기(300)가 사용자에 의하여 전원이 인가되면, RTSP서버(200)는 드론(100)과 지상제어단말기(300)에 각각 장착된 통신모듈의 고유ID를 확인하여 두 기기가 서로 연결되는 기기인지를 판단하여, 두 기기를 인증하고 연결하는 역할을 수행한다.
이때, 드론(100) 및 지상제어단말기(300)가 이동통신네트웍에 연결되면, 이동통신회사의 이동통신서버(미도시)는 연결된 드론(100) 및 지상제어단말기(300)에게 각각 유동적인 IP 어드레스를 부여한다.
RTSP서버(200)는 이 유동 IP 어드레스를 드론(100) 및 지상제어단말기(300)에서 수신한 다음, 두 기기가 서로 연결이 되도록 한다.
이와 같은 연결작업에 의하여 드론(100)과 지상제어단말기(300)는 거리에 대한 제한 없이 이동통신기지국(410)이 지원하는 원격지에서 서로 연결되어 제어가 가능하다.
RTSP서버(200)의 RTSP란 Real Time Streaming Service Protocol의 약자로서, RTSP서버(200)는 드론(100)이 촬영한 영상 스트리밍을 실시간으로 수신하여 저장하거나 재전송하는 기능도 수행한다.
지상제어단말기(300)를 이용하여 드론(100)에 장착된 두개의 카메라(EO카메라 및 IR카메라)를 선택적으로 혹은 동시에 제어하여 각각의 카메라가 촬영한 영상을 RTSP서버(200)는 실시간으로 수신할 수 있다.
RTSP서버(200)에 접속한 지상컴퓨터(지상제어단말기 300, 휴대용컴퓨터 500, 퍼스널컴퓨터 600) 중 어느 하나는 드론의 두 개의 카메라가 촬영한 영상을 원격지에서 수신 할 수 있다.
이때, 지상 컴퓨터들(지상제어단말기 300, 휴대용컴퓨터 500, 퍼스널컴퓨터 600)은 해당 영상을 각각 단독으로 수신하거나 동시에 수신할 수 있다.
지상제어단말기(300)는 드론(100)의 영상을 RTSP서버(200)를 통하여 수신할 수도 있고, 드론(100)으로부터 직접 수신할 수도 있다.
지상 컴퓨터 중 휴대용컴퓨터(500) 혹은 퍼스널컴퓨터(600)는 이동통신 네트웍을 통하여 RTSP서버(200)에 접속하여 드론(100)의 EO카메라(40) 및 IR카메라(30)가 촬영한 영상 스트리밍을 선택적으로 혹은 동시에 수신할 수 있다.
한편, 지상 컴퓨터 중 휴대용컴퓨터(500) 혹은 퍼스널컴퓨터(600)는 드론(100)과 직접 무선으로 연결하여 드론(100)의 EO카메라(40) 및 IR카메라(30)가 촬영한 영상 스트리밍을 수신할 수 있다.
도 1에 기재되지 않은 별도의 무선용 드론 운전조작기를 통하여 드론(100)의 운행을 제어할 수 있다.
도 2는 본 발명에 따른 드론 및 드론시스템의 블록도이다.
드론(100)은 드론제어부(70), EO카메라(40), IR카메라(30), 통신모듈(60), GPS센서(10), 고도센서(20), 전원부(80) 및 구동부(50)을 포함한다. 드론(100)에는 이외에도 프로펠러, 밧데리, 각종 센서 및 비행제어프로그램을 내장한 메모리(72) 등을 구비한다.
EO카메라(40)는 전기광학(Electro-Optical)카메라를 말하며, 일반적인 광학카메라에 해당한다. EO카메라(40)는 정밀한 광학 영상을 촬영 한다.
IR카메라(30)는 적외선(Infrared)카메라에 해당하며 야간과 같은 특수한 경우에 특수영상을 촬영한다. IR카메라(30)은 물체의 온도를 검지 가능하다.
EO카메라(40) 및 IR카메라(30)가 촬영한 영상을 적절히 활용하면 물체의 형상, 움직임, 물체의 온도를 측정 가능하다.
본원발명은 EO카메라(40)가 촬영한 제1영상과 IR카메라(30)가 촬영한 제2영상을 이용하여 산악, 하천, 바닷가, 개천, 들판에서 조난되어 움직이거나 쓰러져있는 실종자와 같은 사람을 실시간으로 인식하는 것이 가능하다.
EO카메라(40)가 촬영한 제1영상은 사람의 움직임과, 사람형상을 기본적으로 인지하기 위한 영상으로 활용된다. IR카메라(30)가 촬영한 제2영상은 사람의 온도를 측정하는 것에 이용된다.
한편 야간의 경우에는 IR카메라(30)가 촬영한 제2영상을 이용하여 사람의 형상, 움직임, 온도 모든 것을 촬영 가능하다.
드론(100)에 장착된 EO카메라(40) 및 IR카메라(300)가 촬영한 제1영상 및 제2영상은 스트리밍 방식으로 외부장치에 전송된다.
통신모듈(60)은 드론(100)을 이동통신 네트웍에 연결하는 역할을 수행하며, 이동통신 네트웍에 연결된 드론(100)이 촬영한 영상은 RTSP서버(200)로 실시간으로 전송된다.
EO카메라(40)는 제1영상을 촬영하며, 촬영된 제1영상은 I/O어댑터(42)를 통하여 메모리(72)에 저장되며, 이 저장된 제1영상은 스트리밍 방식으로 통신모듈(60)을 통하여 외부로 전송된다.
IR카메라(30)는 제2영상을 촬영하며, 촬영된 제2영상은 I/O어댑터(42)를 통하여 메모리(72)에 저장되며, 이 저장된 제1영상은 스트리밍 방식으로 통신모듈(60)을 통하여 외부로 전송된다.
드론(100)의 제어부(70)는 EO카메라(40) 혹은 IR카메라(30)를 동시에 동작할 것인지, 어느 하나를 선택적으로 동작할 것인지 판단할 수 있다.
드론(100)의 제어부(70)는 지상제어단말기(300)의 제어 명령에 따라 EO카메라(40) 혹은 IR카메라(30)를 동시에 동작할 것인지, 어느 하나를 선택적으로 동작할 것인지 결정 가능하다.
RTSP서버(200)는 지상제어단말기(300)와 이동통신 네트웍으로 연결된다.
지상 컴퓨터는 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)를 포함하며, 도 2는 RTSP서버(200)과 연결된 지상제어단말기(300)를 일 실시예로서 나타낸다.
따라서, RTSP서버(200)와 연결된 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600)를 다른 실시예로서 도 2의 형태와 유사하게 표시할 수 있다.
지상제어단말기(300)는 단말기 통신 모듈(310)을 통하여 RTSP서버(200)와 이동통신 네트웍으로 연결되고, 단말기 통신 모듈(310)을 통하여 RTSP서버(200)에 저장된 드론(100)이 촬영한 영상스트리밍을 수신 한다.
지상제어단말기(300)는 메모리에 내장된 소프트웨어부(360)를 가지며, 제어부(340)은 소프트웨어부(360)의 프로그램을 실행한다.
지상제어단말기(300)의 소프트웨어부(360)에는 비행제어 소프트웨어(362), 영상확인 소프트웨어(364) 및 사람인지 소프트웨어(366)를 포함한다.
비행제어 소프트웨어(362)는 드론(100)의 비행을 제어하는 비행 제어명령을 드론(100)에게 전송한다. 드론의 이동, 고도 상승, 고도 하강, 카메라 온, 카메라 오프, 각종 센서 동작 온 오프 등의 비행제어 명령이 드론에게 전송된다.
영상확인 소프트웨어(364)를 통하여 지상제어단말기(300)의 디스플레이(320)를 통하여 드론(100)이 촬영하여 전송한 영상을 보면서 수동으로 드론의 정지, 이동, 호버링, 촬영 등을 제어할 수 있다.
사람인식 소프트웨어(366)는 드론이 촬영한 EO카메라의 제1영상 및 IR카메라의 제2영상을 이용하여 사람을 자동으로 인지하는 프로그램이다. 이 사람인지 소프트웨어(366)는 영상확인 소프트웨어(364) 혹은 비행제어 소프트웨어(362)를 실행하면서 백그라운드에서 자동으로 실행 할 수 있다.
사람인식 소프트웨어(366)의 실행 혹은 정지는 도시하지 않은 디스플레이(320)상의 버튼 혹은 유저인터페이스 버튼을 이용 할 수 있다.
사람인식 소프트웨어(366)의 실행으로 사람이 인식되면, 사람인식 이벤트가 발생하고, 이때에는 저장부(350)에 저장된 지도생성부(352)가 자동으로 호출되어 단말기 제어부(340)는 지도 프로그램을 실행하고 디스플레이(320)에 지도 및 인식지된 사람의 위치를 표시할 수 있다.
이때, 드론(100)의 영상을 부분적으로 팝업 하고, 실시간으로 드론(100)이 촬영한 영상, 지도 및 사람인지 위치정보를 지도상에 동시에 표시할 수 있다.
디스플레이(320)의 유저인터페이스를 통하여 비행제어소프트웨어(362)의 비행제어 UI를 부분적으로 혹은 오버랩하여 표시하고, 사용자는 사람인지 위치정보의 근방으로 드론을 이동하여 호버링 상태에서 정밀한 영상을 추가적으로 촬영 할 수 있다.
이와 같은 동작으로 사람인식 소프트웨어(366)는 추가적인 사람인식 이벤트를 발생하고, 중복적인 사람인식 이벤트는 해당 위치정보의 사람을 중복으로 인식하여 동일한 사람 인식 이벤트로 대체 할 수 있다.
드론(100)은 실시간으로 촬영한 제1영상신호 및 제2영상신호에 GPS센서(10) 및 고도센서(20)로부터의 센싱신호들인 GPS신호와 고도신호를 결합하여 실시간으로 전송한다.
사람인식 소프트웨어(366)는 제1영상신호 및 제2영상신호를 수신하고, 이 제1영상신호 및 제2영상신호로부터 GPS신호 및 고도신호를 분리 할 수 있다.
사람인식 소프트웨어(366)는 제1영상신호 및 제2영상신호로부터의 물체의 형상과 분리된 GPS신호 및 고도신호를 이용하여 물체의 위치 및 고도를 계산할 수 있다.
따라서, 인식된 물체가 사람으로 인식된 경우의 위치정보는 드론의 위치정보 및 드론의 위치정보로부터 계산된 사람의 위치정보 모두를 포함 할 수 있다.
도 3은 본 발명에 따른 일 실시예로서 지상 컴퓨터에 장착된 사람인식 소프트웨어의 실행 과정을 보여주는 플로우 챠트이다.
지상 컴퓨터는 지상제어단말기(300), 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600) 중 어느 하나인 경우를 실시예로 설명한다.
지상 컴퓨터(지상제어단말기 300, 휴대용컴퓨터 500 및 퍼스널컴퓨터 600 중 어느 하나)는 RTSP서버(200)에 연결되어 드론(100)이 촬영한 영상 스트리밍을 실시간으로 수신한다. (S20).
지상 컴퓨터는 영상을 캡쳐한다. (S30). 캡쳐된 영상은 EO카메라(40)가 촬영한 제1영상 혹은 IR카메라(30)가 촬영한 제2영상을 선택적으로 혹은 둘 다 포함 할 수 있다.
사람인식 소프트웨어(366)에서 사람이 인식되었는지 확인한다. (S40)
사람인식 소프트웨어(366)에서 사람이 인지되었다면, 지상제어단말기(300)에게 사람인식 이벤트를 밸생한다. (S50)
이 경우, 지상 컴퓨터가 지상제어단말기(300)이면, 사람인식 소프트웨어(366)는 지상제어단말기(300) 자신에게 이벤트를 발생한다. 지상 컴퓨터가 휴대용컴퓨터(500) 및 퍼스널컴퓨터(600) 중 어느 하나라면 지상 컴퓨터는 지상제어단말기(300)에게 사람인식 이벤트를 발생하면 된다.
사람인식 이벤트를 수신한 지상제어단말기(300)는 지도 프로그램을 콜하고 지도상에 사람의 인식 암림 혹은 경보를 디스플레이한다. (S60) 사람인식 알림 표시는 지도상에 사람의 위치를 표시하고 감빡이는 디스플레이 및 음향을 통하여 수행한다.
전술한 바와 같이 사람인지 위치정보는 드론의 위치정보일 수도 있으며, 드론의 위치정보로부터 계산된 사람의 위치정보일 수 있다.
지상제어단말기(300)는 인식된 사람의 위치정보 및 드론위치정보를 관제실에 전송한다. (S70).
관제실은 소방서 혹은 경찰서와 같은 실종자 혹은 조난자를 수색하는 공공기관일 수 있다.
도 4는 도 3의 플로우챠트에서 사람인식 소프트웨어(S40)의 구체적인 실행과정을 보여주는 플로우챠트이다.
사람인식 소프트웨어에서는 드론(100)으로부터 수신한 제1영상 혹은 제2영상으로부터 물체의 움직임이 있는지 판단한다. (S102)
촬영한 영상에서 물체의 움직임이 있는 것으로 판단이 되면 사람의 형태인지 판단한다. (S104).
사람의 형태는 드론(100)이 물체의 직각 상공에서 촬영한 형상과 일정 각도 경사진 임의 각도에서 촬영한 형상이 서로 상이할 수 있다. 따라서, 사람인식 소프트웨어 내부에는 다양한 각도에서 촬영한 사람의 형상을 복수개 저장하고, 이 복수개의 저장된 형상과 비교하여 사람의 형상으로 매칭이 되는지 판단 할 수 있다.
사람의 형상으로 매칭이 된 경우에는, 온도가 정해진 범위 이내의 온도인지 판단한다. (S106)
사람의 정상 체온은 섭씨 36.5도이다. 하지만 야외에서 조난 당한 사람의 체온은 정상 체온보다 낮을 수 있다. 또한, 의복을 감안한 온도는 더욱 낮을 수 있다. 이것을 감안하여 IR카메라로부터의 제2영상 신호를 바탕으로 움직이는 물체이면서 사람의 형상을 가진 물체의 온도 분포를 통하여 사람에 대한 인식여부를 최종 판단한다.
만약에 움직이는 물체로서, 사람의 형상으로 인식되었으나, 온도가 정해진 온도 범위가 아니라면 드론(100)에게 물체 확인 신호를 전송 할 수 있다. (S108)
이 경우에는, 극도로 예외적인 온도 범위를 가질 수 있으므로, 저체온 상태와 같은 조난자가 위험에 처한 상태일 수도 있다. 따라서, 드론(100)에게 전송하는 확인 명령에는 드론 혹은 물체의 위치정보를 전송하여 정밀한 재촬영 혹은 재확인이 가능하도록 드론(100)을 제어할 수 있다.
움직이는 물체로서, 사람의 형상으로 인식되고, 정해진 온도 범위라면 사람 인식 플래그를 셋팅한다. (S112)
사람인식 소프트웨어는 사람인식 신호 이벤트 및 사람에 대한 위치정보를 관제실로 전송한다. (S114).
한편, S102 단계에서, 움직이는 물체가 없는 경우에도, 사람의 형태가 검지되었는지 판단한다. (S118)
이 경우에는, 제1영상 혹은 제2영상을 이용하여 영상의 특정한 패턴을 이용 할 수 있다. 영상의 특정한 패턴이란, 사람의 얼굴 혹은 손과 발과 같은 인체의 특정한 형상 혹은 백팩, 신발, 장갑, 스틱 등과 같은 사람이 휴대하는 물체의 특정한 형상을 사람검지에 이용할 수 있다.
움직임이 없고, 사람의 형상을 검지한 경우에는, 온도가 정해진 온도 이내인지 판단 한다. (S120)
온도가 정해진 온도라면, 사람인식 플래그를 셋팅하고, 사람인식 신호 이벤트 및 위치신호를 전송한다. (S112, S114)
온도가 정해진 온도가 아니라면, 마찬가지로 드론에게 물체 확인 신호 및 위치정보를 전송한다. (S122)
드론(100)은 수신한 확인 명령과 수신한 위치정보에 기초하여 정밀한 촬영이 가능하다.
1000 : 드론시스템
100 : 드론
10 : GPS센서
20 : 고도센서
30 : IR카메라
40 : EO카메라
42 : I/O어댑터
50 : 구동부
60 : 통신모듈
70 : 제어부
72 : 메모리
80 : 전원부
200 : RTSP 서버(영상스트리밍 서버)
300 : 지상제어단말기(GCS 단말기)
310 : 단말기 통신모듈
320 : 디스플레이부
330 : 단말기 GPS센서
340 : 단말기 제어부
350 : 저장부
352 : 지도생성부
360 : 소프트웨어부
362 : 비행제어 소프트웨어
364 : 영상확인 소프트웨어
366 : 사람인식 소프트웨어
410 : 이동통신기지국
500 : 휴대용컴퓨터
600 : 퍼스널컴퓨터

Claims (5)

  1. 드론시스템에 있어서,
    제1영상을 촬영하는 EO카메라, 제2영상을 촬영하는 IR카메라, 상기 제1영상 및 상기 제2영상을 실시간으로 전송하는 통신모듈 및 상기 통신모듈을 제어하는 제어부를 포함하는 드론;
    상기 드론으로부터 상기 제1영상 및 상기 제2영상을 실시간으로 수신하여 저장하는 RTSP서버; 및
    상기 RTSP서버에 접속하여 상기 제1영상 및 상기 제2영상을 수신하며 상기 제1영상 및 상기 제2영상을 이용하여 사람을 인식하는 사람인식 프로그램을 실행하는 지상 컴퓨터를 포함하는 것을 특징으로 하는 드론시스템.
  2. 제 1항에 있어서,
    상기 지상컴퓨터는 비행제어 소프트웨어를 실행하는 단말기제어부 및 상기 드론에게 명령을 전송하는 단말기 통신모듈을 포함하는 지상제어 단말기인 것을 특징으로 하는 드론 시스템.
  3. 상기 제 1항 및 제 2항의 어느 한 항에 있어서,
    상기 사람 인식 프로그램은, 상기 제1영상으로부터는 사람의 형상 및 움직임을 인식하며, 상기 제2영상으로부터는 사람의 온도를 인식하는 것을 특징으로 하는 드론 시스템.
  4. 제 3항에 있어서,
    상기 사람 인식 프로그램에서 사람을 인식하였다는 이벤트가 발생 시, 상기 지상 컴퓨터에 지도를 디스플레이하고 사람의 인식을 경보하는 것을 특징으로 하는 드론 시스템.
  5. 제 4항에 있어서,
    상기 지상 컴퓨터는 관제실로 인식된 사람의 위치정보를 전송하는 것을 특징으로 하는 드론 시스템.
KR1020170057012A 2017-05-04 2017-05-04 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템 KR101933428B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170057012A KR101933428B1 (ko) 2017-05-04 2017-05-04 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170057012A KR101933428B1 (ko) 2017-05-04 2017-05-04 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템

Publications (2)

Publication Number Publication Date
KR20180122862A true KR20180122862A (ko) 2018-11-14
KR101933428B1 KR101933428B1 (ko) 2018-12-28

Family

ID=64328175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170057012A KR101933428B1 (ko) 2017-05-04 2017-05-04 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템

Country Status (1)

Country Link
KR (1) KR101933428B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102268061B1 (ko) * 2021-02-26 2021-06-23 주식회사 씨그널정보통신 헬기를 이용한 화재 대응 및 인명 구조 모니터링 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254491B1 (ko) 2019-11-22 2021-05-21 (주)가시 지능형 영상 분석 모듈을 탑재한 자율비행 드론

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102268061B1 (ko) * 2021-02-26 2021-06-23 주식회사 씨그널정보통신 헬기를 이용한 화재 대응 및 인명 구조 모니터링 시스템
KR102328567B1 (ko) * 2021-02-26 2021-11-19 (주)에코앰넷 헬기의 영상 및 음성 장치를 이용한 재난재해 작전 모니터링 시스템

Also Published As

Publication number Publication date
KR101933428B1 (ko) 2018-12-28

Similar Documents

Publication Publication Date Title
US11531340B2 (en) Flying body, living body detection system, living body detection method, program and recording medium
KR101690502B1 (ko) 드론을 이용한 추적 시스템
CN106406343B (zh) 无人飞行器的控制方法、装置和系统
CA3009185C (en) Method and apparatus for imaging a scene
KR101481051B1 (ko) 개인용 블랙박스 장치 및 그의 동작 방법
KR101363066B1 (ko) 무인비행체를 이용한 우범지역 감시시스템
US11846941B2 (en) Drone graphical user interface
US11703863B2 (en) Methods and systems for operating a moving platform to determine data associated with a target person or object
KR101692018B1 (ko) 피사체 추적형 셀카용 드론
US11275951B2 (en) Surveillance drone with microbots
WO2019041633A1 (zh) 通信中继方法、中继飞行体、程序以及记录介质
KR101765480B1 (ko) 피사체 추적형 드론을 이용한 범죄취약자 보호장치
CN107067617A (zh) 一种基于无人机的安全监控方法及安全监控系统
KR101933428B1 (ko) 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템
KR101786718B1 (ko) 피사체 추적형 셀카용 드론을 이용한 범죄취약자 보호방법
KR101859989B1 (ko) 스토커 드론
KR102262325B1 (ko) 웨어러블 통신 장치를 이용한 관제 서비스 시스템
Divan et al. Fire detection using quadcopter
CN112330917B (zh) 火情点的定位的方法、装置和系统
TWM575594U (zh) 結合ｕａｖ與３ｓ技術之雲端失聯求救系統
KR102196683B1 (ko) 3d 투어 촬영 장치 및 방법
CN111860063B (zh) 步态数据构建系统、方法及装置
KR101596142B1 (ko) 지리정보를 표시하는 위치추적 시스템
KR102334509B1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
KR20180058331A (ko) 드론을 이용한 보안 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right