KR20190138377A - Cctv와 딥러닝을 이용한 항공기 식별 및 위치 추적 시스템 - Google Patents

Abstract

본 발명은 항공기 식별 및 위치 추적을 위한 CCTV 기술 및 딥러닝 기술의 결합 적용에 관한 것으로서, 보다 상세하게는 딥러닝 알고리즘인 Fast R-CNN을 사용하여 항공기의 유형 및 일련번호를 식별하고, 이미지 처리 기법인 SLAM과 딥러닝 알고리즘인 CNN을 하이브리드로 적용하여 항공기 위치에 대한 3차원 정보인 깊이(depth) 정보를 추출하며, 복수개의 CCTV 카메라 위치 정보를 추가 활용함으로써 항공기 식별 및 위치 추적의 정확도를 높이고 실시간 추적성을 보장하는 시스템 및 방법에 관한 것이다.

Description

CCTV와 딥러닝을 이용한 항공기 식별 및 위치 추적 시스템{AIRCRAFT IDENTIFICATION AND LOCATION TRACKING SYSTEM USING CCTV AND DEEP RUNNING}

본 발명은 딥러닝 기술의 활용 분야에 관한 것으로서, 보다 상세하게는 CCTV 기술과 딥러닝 기술의 결합 적용을 통한 항공기 식별과 위치 추적의 정확도 제고 및 실시간성 보장 방법에 관한 것이다.

본 발명의 근간이 되는 기술인 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습의 한 분야로서 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망(Deep Belief Network, DBN), 심층 Q-네트워크(Deep Q-Networks) 등 주어진 데이터 집합에 적합하게 적용할 수 있는 다양한 알고리즘이 존재하며 영상 인식, 자연어 처리, 자동 음성 인식 등 다양한 응용 분야에 활용되고 있다. 이러한 알고리즘들 중에서 CNN은 사물의 위치와 종류(클래스)를 알아내는 사물 검출(object detection)에 많이 활용되고 있고, CNN을 이용한 사물 검출 수행 방식은 여러 가지가 있는데 그 중에서 후보 영역을 추출하고 CNN 특징(feature) 계산을 통해 클래스를 분류하는 R-CNN이 유명하다. 최근에는 후보 영역 추출을 위한 bounding box regression을 신경망 트레이닝 자체에 추가시킨 Fast R-CNN 기법도 등장하여 트레이닝 및 테스팅 속도를 빠르게 하고 사물 분류의 정확도를 높였다.

한편, 본 발명에서 활용되는 CCTV 기술은 2차원 이미지 데이터를 실시간으로 생성하여 제공하지만 이를 활용하여 사물의 위치와 종류를 식별해내는 전통적인 기술들은 그 정확도 및 성능 측면에서 비효율적이었다. 따라서 데이터 학습에 기반을 둔 딥러닝 기법을 적용함으로써 항공기 식별 및 위치 추적의 정확도 및 성능을 향상시키고자 한다.

본 발명은 상술한 종래 기술의 문제점을 감안한 것으로서, 식별 및 위치 추적을 위한 CCTV 기술 및 딥러닝 기술의 결합 적용하여 항공기 식별 및 위치 추적을 실시하는 위치 추적 시스템과 방법을 제공한다.

본 발명은 항공기 식별 및 위치 추적을 위한 CCTV 기술 및 딥러닝 기술의 결합 적용에 관한 것으로서, 보다 상세하게는 딥러닝 알고리즘인 Fast R-CNN을 사용하여 항공기의 유형 및 일련번호를 식별하고, 이미지 처리 기법인 SLAM과 딥러닝 알고리즘인 CNN을 하이브리드로 적용하여 항공기 위치에 대한 3차원 정보인 깊이(depth) 정보를 추출하며, 복수개의 CCTV 카메라 위치 정보를 추가 활용함으로써 항공기 식별 및 위치 추적의 정확도를 높이고 실시간 추적성을 보장하는 방법에 관한 것이다.

본 발명은 공항에서 항공기를 CCTV 이미지를 사용하여 식별하고 위치를 실시간으로 추적하기 위해 딥러닝 알고리즘을 적용한다. 이를 통해, 항공기의 실시간 자동 식별 및 위치 추적을 가능하게 하고, 누적 학습을 통해 항공기 식별 및 위치 추적의 정확도를 높여감으로써 공항에서 항공기 이착륙 처리 업무의 효율성을 높여 공항의 수익률을 제고하는데 기여할 수 있다.

도 1은 CCTV 이미지를 이용하여 항공기의 위치를 식별하기 위한 절차를 나타내는 도면이다.
도 2는 딥러닝의 Fsst R-CNN 알고리즘을 이용하여 2D 이미지 내의 항공기 유형과 일련번호를 식별하는 과정을 나타내는 도면이다.
도 3은 기존의 이미지 처리 기법인 SLAM과 딥러닝 알고리즘인 CNN을 하이브리드로 적용하여 CCTV의 2D 이미지에서 3D 정보인 깊이(depth)를 예측해내는 과정을 나타내는 도면이다.
도 4는 복수개의 CCTV 이미지 정보를 이용하여 항공기의 위치를 보다 정확하게 추적할 수 있음을 나타내는 도면이다.

이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 발명의 실시예를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 시스템에서 CCTV 이미지를 이용하여 항공기의 위치를 식별하는 절차를 나타내는 도면이다. 항공기의 위치를 식별하는 절차는 항공기 유형별 데이터 수집, 항공기 유형 및 부위 학습, 항공기 유형별 일련번호 식별, 항공기 깊이(depth) 및 길이(scale) 예측, CCTV 카메라 위치정보를 추가 활용하여 보다 정확한 항공기 위치를 계산하는 단계를 포함한다.

도 2는 본 발명의 시스템에서 Fast R-CNN 알고리즘을 이용하여 CCTV 2D 이미지 내에서 항공기의 유형과 일련번호를 식별하는 과정을 보여준다. 1단계 RPN(Region Proposal Network)에서는 사전 학습된 학습결과를 이용하여 VGG로 관심 영역을 학습 후 관심 영역을 추출한다. 2단계 Detector에서는 별개의 사전 학습된 학습결과를 이용하여 1단계에서 추천된 관심 영역 내의 객체를 학습한다. 3단계 RPN에서는 2단계에서 관심 영역 내의 객체를 인식하는 능력을 가진 학습 결과를 로드하여 관심 영역을 학습 후 새로운 관심 영역을 추천한다. 4단계 Detector에서는 3단계에서 향상된 관심 영역 식별 능력을 가진 학습 결과를 로드하여 관심 영역 내 객체를 학습하는 것을 보여준다.

도 3은 본 발명의 시스템에서 CNN(Convolutional Neural Network)와 SLAM(Simultaneous Localization and Mapping) 기법의 결합 적용을 통해 CCTV의 2D 프레임에서 3D 정보인 깊이 (depth)를 예측해 내는 방법을 보여준다,

도 4는 본 발명의 시스템에서 복수개의 CCTV에서 찍은 항공기의 유형, 일련번호를 식별하여 인식된 항공기가 동일 항공기라는 것으로 확인될 경우 카메라의 위치 정보를 활용하여 해당 항공기의 보다 정확한 위치를 추적할 수 있음을 보여주고 있다.

이상, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해서 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 당해 분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다.

Claims (1)

1. CCTV와 딥러닝을 이용한 항공기 식별 및 위치 추적 방법으로서:
   RPN(Region Proposal Network)에서는 사전 학습된 학습결과를 이용하여 VGG로 관심 영역을 학습 후 관심 영역을 추출하는 1단계;
   Detector에서는 별개의 사전 학습된 학습결과를 이용하여 1단계에서 추천된 관심 영역 내의 객체를 학습하는 2단계;
   RPN에서는 2단계에서 관심 영역 내의 객체를 인식하는 능력을 가진 학습 결과를 로드하여 관심 영역을 학습 후 새로운 관심 영역을 추천하는 3단계; 및
   Detector에서는 3단계에서 향상된 관심 영역 식별 능력을 가진 학습 결과를 로드하여 관심 영역 내 객체를 학습하는 4단계를 포함하는 CCTV와 딥러닝을 이용한 항공기 식별 및 위치 추적 방법

Images