KR102424098B1 - 딥러닝을 이용한 드론 검출 장치 및 방법 - Google Patents

딥러닝을 이용한 드론 검출 장치 및 방법 Download PDF

Info

Publication number
KR102424098B1
KR102424098B1 KR1020200099721A KR20200099721A KR102424098B1 KR 102424098 B1 KR102424098 B1 KR 102424098B1 KR 1020200099721 A KR1020200099721 A KR 1020200099721A KR 20200099721 A KR20200099721 A KR 20200099721A KR 102424098 B1 KR102424098 B1 KR 102424098B1
Authority
KR
South Korea
Prior art keywords
drone
target image
detection target
detection
bounding box
Prior art date
Application number
KR1020200099721A
Other languages
English (en)
Other versions
KR20220019377A (ko
Inventor
이미영
므칼리파판
스비말
크비야얄락쉬미
스마니칸단
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200099721A priority Critical patent/KR102424098B1/ko
Publication of KR20220019377A publication Critical patent/KR20220019377A/ko
Application granted granted Critical
Publication of KR102424098B1 publication Critical patent/KR102424098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 딥러닝을 이용한 물체 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는 실시간 촬영되는 영상으로부터 신뢰도 점수 및 교집합 지표(Intersection of Union: IOU)가 높은 경계박스에 의한 소형 드론을 검출하고, 검출된 드론을 지속적으로 추적할 수 있는 딥러닝을 이용한 드론 검출 장치 및 방법에 관한 것이다.

Description

딥러닝을 이용한 드론 검출 장치 및 방법{Drone detection apparatus using deep learning and method thereof}
본 발명은 딥러닝을 이용한 물체 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는 실시간 촬영되는 영상으로부터 신뢰도 점수 및 교차점 지표(Intersection of Union: IOU)가 높은 경계박스에 의한 소형 드론을 검출하고, 검출된 드론을 지속적으로 추적할 수 있는 딥러닝을 이용한 드론 검출 장치 및 방법에 관한 것이다.
드론은 군사 장비로 개발되어 군사 장비뿐만 아니라 사진작가나 카메라 감독들이 촬영을 용도로 사용되었으며, 최근에는 상업용 및 놀이용으로 인터넷 쇼핑이나 전자 제품 판매처에서도 쉽게 접할 수 있다.
상업용으로 사용되는 드론은 물건을 운반하는 수송용이나 택배용 등으로 그 활용성이 점차 확대되고 있으며, 이외에도 영상 촬영용, 경비용, 농업용, 구난용 등 다양한 분야에서 다양한 목적으로 그 활용범위가 증가하고 있다.
그러나 드론의 보급이 확대되면서 드론을 이용한 범죄 및 사생활 침해가 발생할 수 있는 문제점이 대두되고 있다.
이러한 문제에 따라 드론이 비행할 수 있는 지역을 한정하거나 필요한 경우 신고를 한 후 비행을 할 수 있도록 하는 등의 제한을 두고 있으나, 이 또한, 사용자가 자체적인 제한을 유도할 뿐 불법한 사용자의 드론 비행을 차단하기 어려운 문제점이 있었다.
따라서 드론 비행을 방지하기 위한 보안 영역에서는 해당 영역의 보안을 위해 드론을 빠르게 검출할 수 있는 방안이 요구되고 있다.
대한민국 등록특허 제10-1473921호(2014.12.18.공고)
따라서 본 발명의 목적은 실시간 촬영되는 영상으로부터 신뢰도 점수 및 교집합 지표(Intersection of Union: IOU)가 높은 경계박스에 의한 소형 드론을 검출하고, 검출된 드론을 지속적으로 추적할 수 있는 딥러닝을 이용한 드론 검출 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 드론 검출 장치는: 드론을 포함하는 다수의 드론 이미지를 포함하는 데이터세트를 입력받고, 데이터세트의 각 드론 이미지로부터 객체를 포함하는 다수의 경계박스를 생성하고, 생성된 경계박스 신뢰점수 및 IOU(Inersection of Union, 자카드 지표(Jaccad Index))를 계산한 후 드론을 포함하는 경계박스의 신뢰점수 및 IOU에 따른 학습을 수행하여 학습된 드론 감시 인공지능 모델을 생성하여 출력하는 학습부; 검출 대상 이미지를 획득하여 출력하는 검출 대상 이미지 획득부; 및 상기 학습부로부터 드론 감시 인공지능 모델을 입력받아 활성화하여 구동하고 있으며, 상기 검출 대상 이미지 획득부로부터 입력되는 검출 대상 이미지를 상기 드론 감시 인공지능 모델에 적용하여 경계박스 신뢰점수 및 IOU에 의해 드론을 검출하는 드론 검출부를 포함하는 것을 특징으로 한다.
상기 장치는: 미리 설정된 감시 영역을 촬영한 동영상을 상기 검출 대상 이미지 획득부로 출력하고, 드론 위치정보를 수신받아 드론 위치정보에 대응하는 방향으로 촬영방향을 이동하여 촬영하는 동영상 획득부; 및 상기 드론 검출부로부터 출력되는 검출 대상 이미지의 드론 위치 정보 및 이전 검출 대상 이미지의 드론의 위치 정보에 의해 드론이 이동한 방향 및 거리를 계산하여 드론을 추적하고, 추적정보를 상기 동영상 획득부로 출력하는 드론 추적부를 더 포함하되, 상기 검출 대상 이미지 획득부는, 상기 동영상으로부터 프레임 단위의 검출 대상 이미지를 획득하여 출력하는 것을 특징으로 한다.
상기 드론 감시 인공지능 모델은, 딥러닝 알고리즘 중 하나인 심층 합성곱 신경망(Deep Convolution Neural Network: DCNN)이고, 입력 계층(Input Layer), 24개의 합성곱 계층(Convolution Layer), 2개의 완전 연결 계층(Fully Connected Layer)을 포함하고, 각 계층의 필터수는 16개인 것을 특징으로 한다.
상기 입력 계층의 크기는, 812*812*3이고, 상기 각 필터의 크기는, 32, 64, 128, 256 및 1024 중 어느 하나인 것을 특징으로 한다.
상기 드론 감시 인공지능 모델은, 입력되는 검출 대상 이미지에 포함된 객체들에 대한 경계박스를 생성하고, 하기 수학식 3에 의해 신뢰점수를 계산하고, 계산된 신뢰점수에 따른 드론을 포함하는 경계박스를 선택하는 것을 특징으로 한다.
[수학식 3]
Figure 112020083617102-pat00001
여기서 Pr(o)은 목표 드론 물체가 경계 상자에 위치할 확률을 나타내는 객체 점수(Object Score) 이고, IOU는 실제 이미지 내의 드론영역과 경계영역의 교집합율을 나타내는 교집합 지표이다.
상기 드론 감시 인공지능 모델은, 하기 수학식 4와 같이 경계박스의 신뢰 예측값(IOUtruth Prediction)에 조건부 등급 확률(Pr(ci))을 곱하여 I 번째 클래스(c)에 대한 신뢰점수를 계산하는 것을 특징으로 한다.
[수학식 4]
Figure 112020083617102-pat00002
상기 드론 감시 인공지능 모델은, 하기 수학식 5에 의해 신뢰점수가 높은 최종 경계박스를 선택하는 것을 특징으로 한다.
[수학식 5]
Figure 112020083617102-pat00003
여기서, σ(t0)는 예측 경계 박스의 중심 좌표이고, (b, 0)은 객체 점수가 있는 경계 상자를 나타낸다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 드론 검출 방법은: 학습부가 드론을 포함하는 다수의 드론 이미지를 포함하는 데이터세트를 입력받고, 데이터세트의 각 드론 이미지로부터 객체를 포함하는 다수의 경계박스를 생성하고, 생성된 경계박스 신뢰점수 및 IOU(Inersection of Union, 자카드 지표(Jaccad Index))를 계산한 후 드론을 포함하는 경계박스의 신뢰점수 및 IOU에 따른 학습을 수행하여 학습된 드론 감시 인공지능 모델을 생성하여 출력하는 학습 과정; 검출 대상 이미지 획득부가 검출 대상 이미지를 획득하여 출력하는 검출 대상 이미지 획득 과정; 및 드론 검출부가 상기 학습부로부터 드론 감시 인공지능 모델을 입력받아 활성화하여 구동하고 있으며, 상기 검출 대상 이미지 획득부로부터 입력되는 검출 대상 이미지를 상기 드론 감시 인공지능 모델에 적용하여 경계박스 신뢰점수 및 IOU에 의해 드론을 검출하는 드론 검출 과정을 포함하는 것을 특징으로 한다.
상기 방법은: 동영상 획득부가 미리 설정된 감시 영역을 촬영한 동영상을 상기 검출 대상 이미지 획득부로 출력하고, 드론 위치정보를 수신받아 드론 위치정보에 대응하는 방향으로 촬영방향을 이동하여 촬영하는 동영상 획득 과정; 및 드론 추적부가 상기 드론 검출부로부터 출력되는 검출 대상 이미지의 드론 위치 정보 및 이전 검출 대상 이미지의 각 드론의 위치 정보에 의해 드론이 이동한 방향 및 거리를 계산하여 드론을 추적하고, 드론 추적에 따른 추적정보를 상기 동영상 획득부로 출력하는 드론 추적 과정을 더 포함하되, 상기 검출 대상 이미지 획득 과정은, 상기 동영상으로부터 프레임 단위의 검출 대상 이미지를 획득하여 출력하는 것을 특징으로 한다.
상기 드론 감시 인공지능 모델은, 입력되는 검출 대상 이미지에 포함된 객체들에 대한 경계박스를 생성하고, 하기 수학식 3에 의해 신뢰점수를 계산하고, 계산된 신뢰점수에 따른 드론을 포함하는 경계박스를 선택하는 것을 특징으로 한다.
[수학식 3]
Figure 112020083617102-pat00004
여기서 Pr은 목표 드론 물체가 경계 상자에 위치할 확률을 나타내는 객체 점수(Object Score) 이고, IOU는 실제 이미지 내의 드론영역과 경계영역의 교집합율을 나타내는 교집합 지표이다.
상기 드론 감시 인공지능 모델은, 하기 수학식 4와 같이 경계박스의 신뢰 예측값(IOUtruth Prediction)에 조건부 등급 확률(Pr(ci))을 곱하여 I 번째 클래스(c)에 대한 신뢰점수를 무엇무엇을 계산하는 것을 특징으로 한다.
[수학식 4]
Figure 112020083617102-pat00005
상기 드론 감시 인공지능 모델은, 하기 수학식 5에 의해 신뢰점수가 높은 최종 경계박스를 선택하는 것을 특징으로 한다.
[수학식 5]
Figure 112020083617102-pat00006
여기서, σ(t0)는 예측 경계 박스의 중심 좌표이고, (b, 0)은 객체 점수가 있는 경계 상자를 나타낸다.
본 발명은 이미지로부터 객체를 빠르게 검출할 수 있는 딥러닝을 적용하여 드론 이미지를 통해 드론을 학습시키고, 경계박스를 이용함으로써 실시간 획득되는 동영상으로부터 빠르게 드론을 검출할 수 있는 효과가 있다.
또한, 본 발명은 동영상의 프레임 간 드론의 위치 이동을 검출하여 드론의 위치를 추적하며, 이 추적정보를 드론을 촬영하는 카메라를 포함하는 동영상 획득부로 제공하여 상기 드론을 지속적으로 추적하여 촬영할 수 있도록 할 수 있는 효과가 있다.
또한, 본 발명은 경계박스의 신뢰 예측과 조건부 등급 확률을 곱하여 드론을 검출하므로 예측 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 딥러닝을 이용한 드론 검출 장치의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 딥러닝을 이용한 드론 검출 장치에 적용된 드론 이미지 데이터세트의 일 예를 나타낸 도면이다.
도 3은 본 발명에 따른 딥러닝을 이용한 드론 검출 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 딥러닝을 이용한 드론 검출 장치의 구성 및 동작을 상세히 설명하고, 상기 장치에서의 드론 검출 방법을 설명한다.
도 1은 본 발명에 따른 딥러닝을 이용한 드론 검출 장치의 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 딥러닝을 이용한 드론 검출 장치에 적용된 드론 이미지 데이터세트의 일 예를 나타낸 도면이다. 이하 도 1 및 도 2를 참조하여 설명한다.
본 발명에 따른 딥러닝을 이용한 드론 검출 장치는 데이터 세트 획득부(10), 이미지 전처리부(20), 학습부(30), 검출 대상 이미지 획득부(40) 및 드론 검출부(50)를 포함하고, 실시예에 따라 동영상 획득부(60) 및 드론 추적부(70)를 더 포함할 수 있을 것이다.
데이터세트 획득부(10)는 구글, 카글에서 운영하는 미리 설정된 이미지 제공 서버로부터 제공되는 이미지로부터 도 2에서 나타내고 있는 바와 같이 드론을 포함하는 이미지(이하 "드론 이미지"라 함)를 추출하여 획득하고, 관리자로부터 드론 이미지별로 드론 이미지 내 드론을 포함하는 영역에 대한 주석정보를 포함하는 데이터세트를 획득하여 저장한다.
이미지 전처리부(20)는 상기 데이터세트 획득부(10)에서 획득된 데이터세트의 각 드론 이미지를 미리 설정된 크기 및 해상도로 변환 처리하여 학습부(30)로 제공한다.
학습부(30)는 드론을 포함하는 다수의 드론 이미지를 포함하는 데이터세트를 입력받고, 데이터세트의 각 드론 이미지로부터 객체를 포함하는 다수의 경계박스를 생성하고, 생성된 경계박스별 신뢰점수 및 IOU(Inersection of Union, 자카드 지표(Jaccad Index), "교집합 지표"라 함)를 계산한 후 드론을 포함하는 경계박스의 신뢰점수 및 IOU에 따른 학습을 수행하여 학습된 드론 감시 인공지능 모델을 생성하여 드론 검출부(50)로 출력한다.
상기 드론 감시 인공지능 모델은 심층 신경망(Deep Convolution Neural Network: DCNN)인 딥러닝 모델로, 입력 계층(Input Layer), 합성곱 계층(Convolution Layer) 및 완전 연결 계층(Fully Connected Layer)을 포함한다.
상기 입력 계층은 812*812*3의 크기를 가지는 드론 이미지들을 입력받아 합성곱 계층으로 제공한다.
상기 합성곱 계층은 본 발명에 따라 24개가 구성될 수 있으며, 각 계층별로 복수의 필터를 구비하며, 본 발명에 따라 필터 수는 합성곱 계층별로 16개씩 구성되는 것이 바람직할 것이다. 상기 필터의 크기는 32, 64, 128, 256 및 1024 중 어느 하나가 될 수 있으며 스트라이드(Stride) 및 패딩(Padding)과 함께 적용되어 프레임에서 픽셀 단위로 처리된다.
상기 완전 연결 계층은 2개가 구성될 수 있을 것이다.
검출 대상 이미지 획득부(40)는 드론의 존재 여부를 판단하기 위한 이미지인 검출 대상 이미지를 획득하여 드론 검출부(50)로 출력한다.
드론 검출부(50)는 상기 학습부(30)에서 학습된 드론 감시 인공지능 모델을 입력받아 구동하고, 검출 대상 이미지 획득부(40)로부터 입력되는 검출 대상 이미지를 상기 드론 감시 인공지능 모델에 적용하여 상기 검출 대상 이미지 내 드론이 존재하는지를 검출하고, 드론 검출 결과를 출력한다. 상기 드론 검출 결과는 이미지 내에 드론 존재 여부 및 영상 내에서 드론의 위치정보를 포함할 수 있을 것이다.
상기 학습부(30) 및 드론 검출부(50)의 드론 감시 인공지능 모델은 회귀 메커니즘을 사용하여 하기 수학식 1과 같이 정의되는 전체 이미지에 대한 클래스와 객체들 각각에 대한 경계박스(y)를 예측한다.
Figure 112020083617102-pat00007
상기 Pc는 모든 객체 객체 점수로, 객체가 시그모이드를 통과하는 경계 상자 안의 객체가 포함될 확률을 나타내고, bx, by는 바운딩 박스에 있는 그리드 셀의 절대 중심 위치값이고, bw, bh는 전체 드론 이미지의 절대 너비와 높이이며, c는 드론과 같은 클래스에 속하는 감지된 물체의 확률에 기초한 클래스 신뢰를 나타낸다.
상기 드론 감시 인공지능 모델은 경계박스의 관리자의 주석에 포함된 실측 좌표, tx, ty, tw 및 th등과 같은 t*를 알고 있으며, 하기 수학식 2에 의해 상기 경계박스의 중심 좌표(bx, by), 폭(bw) 및 높이(bh)를 계산한다.
Figure 112020083617102-pat00008
여기서 cx 및 cy는 이미지의 왼쪽 상단 모서리의 오프셋이고, pw 및 ph는 각각 이전 경계박스의 폭과 높이이다.
상기 드론 감시 인공지능 모델은 최대가 아닌 억제 기법을 적용하여 그리드와 경계박스의 상당 부분이 대상 물체인 드론을 포함하고 있지 않은 상태에서 Pc를 예측한다. 즉, 드론 감시 인공지능 모델은 객체들을 포함하는 적어도 하나 이상의 경계박스들 각각에 대해 하기 수학식 3과 같이 신뢰점수를 계산한다.
Figure 112020083617102-pat00009
여기서 Pr은 목표 드론 물체가 경계 상자에 위치할 확률을 나타내는 객체 점수(Object Score) 이고, IOU는 실제 이미지 내의 드론영역과 경계영역의 교차율(교집합율: 예: 완벽하게 일치하면 100%) 지표이다.
또한, 드론 감시 인공지능 모델은 하기 수학식 4와 같이 경계박스의 신뢰 예측값(IOUtruth Prediction)에 조건부 등급 확률(Pr(ci))을 곱하여 I 번째 클래스(c)에 대한 신뢰점수를 계산한다.
Figure 112020083617102-pat00010
상기 드론 감시 인공지능 모델은 하기 수학식 5에 의해 신뢰점수가 높은 최종 경계박스를 선택한다.
Figure 112020083617102-pat00011
여기서, σ(t0)는 예측 경계 박스의 중심 좌표이고, (b, 0)은 객체 점수가 있는 경계 상자를 나타낸다.
동영상 획득부(60)는 CCTV, 저장수단, 통신수단 등으로부터 동영상을 획득하여 검출 대상 이미지 획득부(60)로 출력한다.
또한, 동영상 획득부(60)는 CCTV 등과 같은 카메라인 경우, 임의의 방향을 촬영한 동영상을 검출 대상 이미지 획득부(60)로 출력하고, 드론 추적부(70)로부터 드론 위치정보를 수신받아 드론 위치정보에 대응하는 방향으로 촬영방향을 이동하여 촬영을 수행한다.
그러면 검출 대상 이미지 획득부(40)는 동영상 획득부(60)를 통해 동영상을 입력받고, 입력된 동영상을 프레임 단위의 검출 대상 이미지를 추출하여 드론 검출부(50)로 출력한다.
상기 검출 대상 이미지는 이미지 전처리부(20)를 통해 드론 검출부(50)로 입력하도록 구성될 수도 있을 것이다.
이때 이미지 전처리부(20)는 학습 시와 동일한 해상도로 이미지 전처리를 처리하여 드론 검출부(50)로 출력하도록 구성될 수도 있고, 학습 시의 2배의 해상도로 이미지 전처리를 수행한 후 드론 검출부(50)로 출력할 수도 있을 것이다. 단, 후자의 경우 드론 검출부(50)에 학습되어 구동되는 드론 감시 인공지능 모델의 입력 계층은 2배의 해상도를 처리할 수 있도록 구성될 것이다.
드론 추적부(70)는 상기 드론 검출부로부터 출력되는 검출 대상 이미지의 드론 위치 정보 및 이전 검출 대상 이미지의 드론의 위치 정보에 의해 드론이 이동한 방향 및 거리를 계산하여 드론을 추척하고, 드론 위치정보를 상기 동영상 획득부(60)로 출력한다.
도 3은 본 발명에 따른 딥러닝을 이용한 드론 검출 방법을 나타낸 흐름도이다.
도 3을 참조하면, 우선 데이터세트 획득부(10)는 드론 이미지 데이터세트를 획득하여 이미지 전처리부(20)로 출력한다(S111).
이미지 전처리부(20)는 데이터세트 획득부(10)로부터 드론 이미지 데이터세트가 입력되면 이미지별로 이미지 전처리를 수행하여 학습부(30)로 출력한다(S113).
학습부(30)는 이미지 전처리된 드론 이미지를 포함하는 데이터세트를 드론 감시 인공지능 모델에 적용하여 학습시켜 학습된 드론 감시 인공지능 모델을 생성한 후 드론 검출부(50)로 제공한다(S115, S117).
드론 검출부(50)는 드론 감시 인공지능 모델이 학습부(30)로부터 입력되면 구동하고 동영상 획득부(60)를 활성화하고, 활성화된 동영상 획득부(60)는 검출 대상 영상이 입력되는지를 검사한다(S119). 검출 대상 영상이 획득되면 동영상 획득부(60)는 동영상을 검출 대상 이미지 획득부(40)로 출력할 것이다.
동영상을 입력받은 검출 대상 이미지 획득부(40)는 입력된 동영상을 프레임 단위의 검출 대상 이미지를 추출하여 드론 검출부(50)로 출력한다(S121).
검출 대상 이미지를 입력받은 드론 검출부(50)는 검출 대상 이미지를 드론 감시 인공지능 모델에 적용하여 상기 검출 대상 이미지에 드론이 존재하는지를 검사하고(S125), 드론 검출 시 드론의 존재 여부 및 드론의 위치정보를 포함하는 드론 감시 결과정보를 출력한다(S127).
상기 드론 감시 결과정보는 실시예에 따라 드론 추적부(70)로 입력될 수 있을 것이다.
드론 감시 결과를 입력받은 드론 추적부(70)는 검출 대상 이미지의 드론 위치 정보 및 이전 검출 대상 이미지의 드론의 위치 정보에 의해 드론이 이동한 방향 및 거리를 계산하여 드론을 추적하고, 추적정보를 생성한(S129) 후, 동영상 획득부(60)로 출력한다(S131).
상기 추적정보를 수신한 동영상 획득부(60)는 카메라를 상기 추적정보에 대응하는 방향을 촬영할 수 있도록 촬영방향을 이동시켜 촬영을 수행하고 그에 따른 동영상을 다시 검출 대상 이미지 획득부(40)로 제공할 것이다.
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
10: 데이터세트 획득부 20: 데이터 전처리부
30: 학습부 40: 검출 대상 이미지 획득부
50: 드론 검출부 60: 동영상 획득부
70: 드론 추적부

Claims (12)

  1. 드론을 포함하는 다수의 드론 이미지를 포함하는 데이터세트를 입력받고, 데이터세트의 각 드론 이미지로부터 객체를 포함하는 다수의 경계박스를 생성하고, 생성된 경계박스 신뢰점수 및 IOU(Inersection of Union, 자카드 지표(Jaccad Index))를 계산한 후 드론을 포함하는 경계박스의 신뢰점수 및 IOU에 따른 학습을 수행하여 학습된 드론 감시 인공지능 모델을 생성하여 출력하는 학습부;
    검출 대상 이미지를 획득하여 출력하는 검출 대상 이미지 획득부; 및
    상기 학습부로부터 드론 감시 인공지능 모델을 입력받아 활성화하여 구동하고 있으며, 상기 검출 대상 이미지 획득부로부터 입력되는 검출 대상 이미지를 상기 드론 감시 인공지능 모델에 적용하여 경계박스 신뢰점수 및 IOU에 의해 드론을 검출하는 드론 검출부를 포함하고,
    상기 드론 감시 인공지능 모델은,
    딥러닝 알고리즘 중 하나인 심층 합성곱 신경망(Deep Convolution Neural Network: DCNN)이고, 입력 계층(Input Layer), 24개의 합성곱 계층(Convolution Layer), 2개의 완전 연결 계층(Fully Connected Layer)을 포함하고, 각 계층의 필터수는 16개이고,
    상기 드론 감시 인공지능 모델은,
    입력되는 검출 대상 이미지에 포함된 객체들에 대한 경계박스를 생성하고, 하기 수학식 3에 의해 신뢰점수를 계산하고, 계산된 신뢰점수에 따른 드론을 포함하는 경계박스를 선택하고,
    [수학식 3]
    Figure 112021111305615-pat00021

    여기서 Pr은 목표 드론 물체가 경계 상자에 위치할 확률을 나타내는 객체 점수(Object Score) 이고, IOU는 실제 이미지 내의 드론영역과 경계영역의 교집합율을 나타내는 교집합 지표이며,
    상기 드론 감시 인공지능 모델은,
    하기 수학식 4와 같이 경계박스의 신뢰 예측값(IOUtruthPrediction)에 조건부 등급 확률(Pr(ci))을 곱하여 I 번째 클래스(c)에 대한 신뢰점수를 계산하는 것을 특징으로 하는 딥러닝을 이용한 드론 검출 장치.
    [수학식 4]
    Figure 112021111305615-pat00022

  2. 제1항에 있어서,
    미리 설정된 감시 영역을 촬영한 동영상을 상기 검출 대상 이미지 획득부로 출력하고, 드론 위치정보를 수신받아 드론 위치정보에 대응하는 방향으로 촬영방향을 이동하여 촬영하는 동영상 획득부; 및
    상기 드론 검출부로부터 출력되는 검출 대상 이미지의 드론 위치 정보 및 이전 검출 대상 이미지의 드론의 위치 정보에 의해 드론이 이동한 방향 및 거리를 계산하여 드론을 추적하고, 추적정보를 상기 동영상 획득부로 출력하는 드론 추적부를 더 포함하되,
    상기 검출 대상 이미지 획득부는,
    상기 동영상으로부터 프레임 단위의 검출 대상 이미지를 획득하여 출력하는 것을 특징으로 하는 딥러닝을 이용한 드론 검출 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 입력 계층의 크기는,
    812*812*3이고,
    상기 각 필터의 크기는,
    32, 64, 128, 256 및 1024 중 어느 하나인 것을 특징으로 하는 딥러닝을 이용한 드론 검출 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 드론 감시 인공지능 모델은,
    신뢰점수가 드론의 검출과 연관된 사전 결정된 기준보다 높은 최종 경계박스를 선택하는 것을 특징으로 하는 딥러닝을 이용한 드론 검출 장치.
  8. 학습부가 드론을 포함하는 다수의 드론 이미지를 포함하는 데이터세트를 입력받고, 데이터세트의 각 드론 이미지로부터 객체를 포함하는 다수의 경계박스를 생성하고, 생성된 경계박스 신뢰점수 및 IOU(Inersection of Union, 자카드 지표(Jaccad Index))를 계산한 후 드론을 포함하는 경계박스의 신뢰점수 및 IOU에 따른 학습을 수행하여 학습된 드론 감시 인공지능 모델을 생성하여 출력하는 학습 과정;
    검출 대상 이미지 획득부가 검출 대상 이미지를 획득하여 출력하는 검출 대상 이미지 획득 과정; 및
    드론 검출부가 상기 학습부로부터 드론 감시 인공지능 모델을 입력받아 활성화하여 구동하고 있으며, 상기 검출 대상 이미지 획득부로부터 입력되는 검출 대상 이미지를 상기 드론 감시 인공지능 모델에 적용하여 경계박스 신뢰점수 및 IOU에 의해 드론을 검출하는 드론 검출 과정을 포함하고,
    상기 드론 감시 인공지능 모델은,
    입력되는 검출 대상 이미지에 포함된 객체들에 대한 경계박스를 생성하고, 하기 수학식 3에 의해 신뢰점수를 계산하고, 계산된 신뢰점수에 따른 드론을 포함하는 경계박스를 선택하고,
    [수학식 3]
    Figure 112021111305615-pat00023

    여기서 Pr은 목표 드론 물체가 경계 상자에 위치할 확률을 나타내는 객체 점수(Object Score) 이고, IOU는 실제 이미지 내의 드론영역과 경계영역의 교집합율을 나타내는 교집합 지표이며,
    상기 드론 감시 인공지능 모델은,
    하기 수학식 4와 같이 경계박스의 신뢰 예측값(IOUtruthPrediction)에 조건부 등급 확률(Pr(ci))을 곱하여 I 번째 클래스(c)에 대한 신뢰점수를 계산하는 것을 특징으로 하는 딥러닝을 이용한 드론 검출 방법.
    [수학식 4]
    Figure 112021111305615-pat00024

  9. 제8항에 있어서,
    동영상 획득부가 미리 설정된 감시 영역을 촬영한 동영상을 상기 검출 대상 이미지 획득부로 출력하고, 드론 위치정보를 수신받아 드론 위치정보에 대응하는 방향으로 촬영방향을 이동하여 촬영하는 동영상 획득 과정; 및
    드론 추적부가 상기 드론 검출부로부터 출력되는 검출 대상 이미지의 드론 위치 정보 및 이전 검출 대상 이미지의 각 드론의 위치 정보에 의해 드론이 이동한 방향 및 거리를 계산하여 드론을 추적하고, 드론 추적에 따른 추적정보를 상기 동영상 획득부로 출력하는 드론 추적 과정을 더 포함하되,
    상기 검출 대상 이미지 획득 과정은,
    상기 동영상으로부터 프레임 단위의 검출 대상 이미지를 획득하여 출력하는 것을 특징으로 하는 딥러닝을 이용한 드론 검출 방법.
  10. 삭제
  11. 삭제
  12. 제8항에 있어서,
    상기 드론 감시 인공지능 모델은,
    신뢰점수가 드론의 검출과 연관된 사전 결정된 기준보다 높은 최종 경계박스를 선택하는 것을 특징으로 하는 딥러닝을 이용한 드론 검출 방법.
KR1020200099721A 2020-08-10 2020-08-10 딥러닝을 이용한 드론 검출 장치 및 방법 KR102424098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200099721A KR102424098B1 (ko) 2020-08-10 2020-08-10 딥러닝을 이용한 드론 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200099721A KR102424098B1 (ko) 2020-08-10 2020-08-10 딥러닝을 이용한 드론 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220019377A KR20220019377A (ko) 2022-02-17
KR102424098B1 true KR102424098B1 (ko) 2022-07-22

Family

ID=80493230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200099721A KR102424098B1 (ko) 2020-08-10 2020-08-10 딥러닝을 이용한 드론 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102424098B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953704B (zh) * 2023-01-18 2023-10-03 北京理工大学 一种无人机探测方法
CN117406780B (zh) * 2023-11-20 2024-05-31 鸣飞伟业技术有限公司 一种无人机追逃方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101473921B1 (ko) 2013-03-05 2014-12-18 한국항공우주산업 주식회사 관심 검색 윈도우 선정 알고리즘을 이용한 비젼 기반의 전방 비행 물체 검출 방법
KR101995107B1 (ko) * 2017-03-23 2019-07-01 한국과학기술원 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이동현, "심층 컨벌루션 신경망 기반의 실시간 드론 탐지 알고리즘,"로봇학회 논문지 제12권 제4호 (2017.12.) 1부.*

Also Published As

Publication number Publication date
KR20220019377A (ko) 2022-02-17

Similar Documents

Publication Publication Date Title
CN109325933B (zh) 一种翻拍图像识别方法及装置
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
US11023707B2 (en) System and method for selecting a part of a video image for a face detection operation
US11887318B2 (en) Object tracking
US9665777B2 (en) System and method for object and event identification using multiple cameras
Bozek et al. Towards dense object tracking in a 2D honeybee hive
US10635936B2 (en) Method and system for training a neural network to classify objects or events
JP2021514548A (ja) 目標対象物の監視方法、装置及びシステム
US20200387718A1 (en) System and method for counting objects
GB2581626A (en) Method and system for classifying an object-of-interest using an artificial neural network
CN111898581B (zh) 动物检测方法、装置、电子设备及可读存储介质
WO2018065158A1 (en) Computer device for training a deep neural network
KR101872811B1 (ko) 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
KR102424098B1 (ko) 딥러닝을 이용한 드론 검출 장치 및 방법
US20220122360A1 (en) Identification of suspicious individuals during night in public areas using a video brightening network system
CN111986156A (zh) 一种斧状利器检测方法、系统、装置和存储介质
KR20210094931A (ko) 영상 기반 재난 감지 방법 및 장치
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
KR20200009530A (ko) 이상 개체 검출 시스템 및 방법
KR20200084164A (ko) 사육장 환경 관리 장치
CN113255549A (zh) 一种狼群围猎行为状态智能识别方法及系统
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
Aparna Swarm intelligence for automatic video image contrast adjustment
JP7349290B2 (ja) 対象物認識装置、対象物認識方法、及び対象物認識プログラム
Pava et al. Object Detection and Motion Analysis in a Low Resolution 3-D Model

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant