KR102527642B1 - 딥러닝 기반 소형 표적 탐지 시스템 및 방법 - Google Patents

Abstract

본 발명에 따른 딥러닝 기반 소형 표적 탐지 시스템은 소정의 소형 표적이 포함된 이미지를 입력받아 특징 정보를 추출하는 특징 추출 신경망 영역부, 상기 추출된 특징 정보를 입력받아 상기 소형 표적에 상응하는 특징 정보를 강화하는 특징 강화 신경망 영역부 및 상기 강화된 특징 정보를 입력받아 상기 소형 객체의 탐지 및 분류 결과를 출력하는 결과 예측 신경망 영역부를 포함한다.

Description

딥러닝 기반 소형 표적 탐지 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING SMALL TARGET BASED DEEP LEARNING}

본 발명은 딥러닝 기반 소형 표적 탐지 시스템 및 방법에 관한 것으로서, 특히 작고 밀집된 객체의 특징을 지니는 항공 영상의 특성을 반영하여 항공 영상에 포함된 소형 객체 검출에 적합한 객체 검출 네트워크를 제공하는 딥러닝 기반 소형 표적 탐지 시스템 및 방법에 관한 것이다.

객체 검출(Object Detection)은 영상 내 다수의 객체 위치를 경계 박스(Bounding Box)로 표현하고 해당 경계 상자 내 객체의 종류(Class)를 분류하는 컴퓨터 영상 처리 분야 중 하나이다.

현재 객체 검출 알고리즘들은 다양한 산업 분야에서 활용되고 있으며, 특히 고정된 감시장비 또는 드론(Drone)에서 촬영된 항공 영상을 사용하는 감시 시스템 분야에서 활용도가 높다.

감시 시스템 분야의 객체 검출은 표적 객체 미탐지로 인해 발생할 수 있는 감시 공백을 방지하기 위하여 높은 성능의 객체 검출 알고리즘이 요구된다. 이에 따라, 2015년 이후 인간의 인지능력을 뛰어넘었다고 평가받는 인공 신경망 기반 딥러닝(Deep Learning) 알고리즘을 활용한 객체 검출 알고리즘이 최근 감시 시스템 분야에서 활용되고 있다.

한편, 최근 객체 검출기는 인공 신경망을 사용한 VGG, ResNet, EffcientNet 등의 CNN(Convolutional Neural Network) 기반 특징 추출 네트워크를 사용하여, 일반적인 주변환경에서 획득할 수 있는 영상으로 구성된 데이터 세트를 대상으로 높은 검출 정확도를 제공한다. 하지만, 항공 영상에서는 낮은 검출 정확도를 보인다. 이는 항공 영상의 특징은 도 1과 같이 대부분의 객체가 매우 작고 조밀하게 위치해 있어 배경과 전경을 구분하기 어렵다는 것과, 도 2와 같이 FOV(Field Of View)가 넓어 필연적으로 많은 배경정보를 포함해 복잡한 배경 위에 객체들이 존재한다는 것을 고려하지 않았기 때문이다.

따라서, 항공 영상을 기반으로 높은 성능의 객체 검출 결과를 제공하는 객체 검출 기술이 필요한 실정이다.

따라서, 본 발명은 상기한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 작고 밀집된 객체의 특징을 지니는 항공 영상의 특성을 반영하여 항공 영상에 포함된 소형 객체 검출에 적합한 객체 검출 네트워크를 제공하는, 딥러닝 기반 소형 표적 탐지 시스템 및 방법을 제공하는데 있다.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 딥러닝 기반 소형 표적 탐지 시스템은 소정의 소형 표적이 포함된 이미지를 입력받아 특징 정보를 추출하는 특징 추출 신경망 영역부, 상기 추출된 특징 정보를 입력받아 상기 소형 표적에 상응하는 특징 정보를 강화하는 특징 강화 신경망 영역부 및 상기 강화된 특징 정보를 입력받아 상기 소형 표적의 탐지 및 분류 결과를 출력하는 결과 예측 신경망 영역부를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 특징 추출 신경망 영역부는, 상기 입력된 이미지를 대상으로 컨볼루션 연산을 수행하는 컨볼루션 연산부 및 상기 컨볼루션 연산 결과를 대상으로 CSP 연산을 각각 수행하는 제1 및 제2 CSP 연산부를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 특징 강화 신경망 영역부는, 상기 제2 CSP 연산부의 제2 CSP 연산 수행 결과를 입력받아 CSP 연산을 수행하는 제3 CSP 연산부, 상기 제1 CSP 연산부의 제1 CSP 연산 수행 결과 및 제3 CSP 연산부의 제3 CSP 연산 수행 결과를 입력받아 제4 CSP 연산 수행 결과를 출력하는 제4 CSP 연산부 및 상기 제3 및 제4 CSP 연산 수행 결과를 입력받아 특징 정보를 강화하는 어텐션 레이어를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 특징 강화 신경망 영역부는 상기 제3 CSP 연산 수행 결과인 특징맵을 입력하여 상기 특징맵에 대한 초해상화를 수행하는 초해상화 모듈을 더 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 어텐션 레이어는 상기 제3 및 제4 CSP 연산 수행 결과인 특징맵을 입력받아 특징 정보의 채널 방향 정보 및 공간 방향 정보를 강화하는 Triplet 기반의 어텐션 레이어일 수 있다.

본 발명의 일부 실시예에 있어서, 상기 어텐션 레이어는 상기 특징맵을 높이 및 너비 방향으로 회전시키는 제1 경로 및 제2 경로에 통과시켜 채널 방향 정보를 강화시키고, 상기 특징맵에 소정의 가중치를 적용하는 제3 경로에 통과시켜 공간 방향 정보를 강화시킨 후, 상기 제1 내지 제3 경로의 출력값을 병합하여 특징 정보가 강화된 특징맵을 출력할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 소형 표적이 포함된 이미지는 항공 영상으로부터 입력되는 이미지일 수 있다.

또한, 본 발명의 제2 측면에 따른 딥러닝 기반 소형 표적 탐지 방법은 소정의 소형 표적이 포함된 이미지를 입력받아 백본 영역을 통해 소형 표적에 상응하는 특징 정보를 추출하는 단계; 상기 백본 영역으로부터 추출된 특징 정보를 입력받아 넥 영역을 통해 상기 소형 표적에 상응하는 특징 정보를 강화하는 단계; 및 상기 강화된 특징 정보를 넥 영역으로부터 입력받아 헤드 영역을 통해 상기 소형 표적의 탐지 및 분류 결과를 출력하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 소정의 소형 표적이 포함된 이미지를 입력받아 백본 영역을 통해 소형 표적에 상응하는 특징 정보를 추출하는 단계는, 상기 소정의 소형 표적이 포함된 이미지를 대상으로 컨볼루션 연산을 수행하는 단계; 및 상기 컨볼루션 연산 결과를 대상으로 제1 및 제2 CSP 연산을 수행하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 백본 영역으로부터 추출된 특징 정보를 입력받아 넥 영역을 통해 상기 소형 표적에 상응하는 특징 정보를 강화하는 단계는, 상기 제2 CSP 연산 수행 결과를 입력받아 제3 CSP 연산을 수행하는 단계; 상기 제1 CSP 연산 수행 결과 및 제3 CSP 연산 수행 결과를 입력받아 제4 CSP 연산을 수행하는 단계; 및 상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계를 포함할 수 있다.

본 발명의 일부 실시예는, 상기 제3 CSP 연산 수행 결과인 특징맵을 SRNet에 입력하여 상기 특징맵에 대한 초해상화를 수행하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계는, 상기 초해상화된 특징맵을 상기 제3 CSP 연산 수행 결과로 상기 어텐션 레이어에 입력할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계는, 상기 제3 및 제4 CSP 연산 수행 결과인 특징맵을 Triplet 기반의 어텐션 레이어에 입력하여 특징 정보의 채널 방향 정보 및 공간 방향 정보를 강화할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계는, 상기 특징맵을 높이 및 너비 방향으로 회전시키는 제1 경로 및 제2 경로에 통과시켜 채널 방향 정보를 강화하는 단계; 상기 특징맵에 소정의 가중치를 적용하는 제3 경로에 통과시켜 공간 방향 정보를 강화하는 단계 및 상기 제1 내지 제3 경로의 출력값을 병합하여 특징 정보가 강화된 특징맵을 출력하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 상기 소형 표적이 포함된 이미지는 항공 영상으로부터 입력되는 이미지일 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 딥러닝 기반 소형 표적 탐지 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 항공 영상에서의 작고 밀집된 객체의 탐지 능력 및 복잡한 배경에서의 객체 탐지 능력이 크게 향상된다. 특히, 중형 객체의 검출 성능은 유지함과 동시에 소형 객체 능력은 큰 수준으로 증가하여 항공 영상에 최적화된 네트워크 제공이 가능하다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시 예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1 및 도 2는 항공 영상의 특징을 설명하기 위한 도면이다.
도 3은 종래 기술에 따른 특징 추출 네트워크의 중간 결과를 설명하기 위한 도면이다.
도 4는 종래 기술에 따른 특징 추출 네트워크의 특징맵 분류 및 시각화 결과를 도시한 도면이다.
도 5는 종래 기술 대비 본 발명에서의 객체 검출 결과를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 소형 표적 탐지 시스템의 구조도이다.
도 7은 본 발명의 일 실시예에서 초해상화 모듈이 추가된 소형 표적 탐지 시스템의 구조도이다.
도 8은 본 발명의 일 실시예의 기본 구조인 종래 기술에서의 YOLOv5 네트워크 구조를 도시한 도면이다.
도 9는 일반적인 객체 검출기의 구조를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에서의 트리플렛 기반의 어텐션 레이어를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 트리플렛 기반의 어텐션 레이어의 적용 전후의 특징맵을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에서의 초해상화 모듈 구조의 일 예시를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 딥러닝 기반 소형 표적 탐지 방법의 순서도이다.
도 14는 본 발명의 객체 탐지 성능의 테스트 결과를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.이하에서는 통상의 기술자의 이해를 돕기 위하여 본 발명이 제안된 배경을 설명한 후, 본 발명에 대해 상세히 설명하도록 한다.

종래의 객체 검출 기술들은 크게 2-Stage 방식과 1-Stage 방식이 존재한다. 먼저, 2-Stage 방식의 객체 검출기는 대표적으로 R-CNN 계열의 네트워크가 있다, 2-Stage 방식의 객체 검출기는 다수의 객체 후보 영역(Region Proposal)을 선정하고, 해당 영역에 대하여 객체 종류 분류 및 영역 보정을 수행한다. 이러한 네트워크는 높은 객체 검출 정확도를 달성하지만, 네트워크 계산 비용(Computation Cost)이 높아 1-Stage 방식에 비해 추론 속도가 느리다.

반면, 1-Stage 객체 검출기는 대표적으로 YOLO 계열이 있다. 1-Stage 객체 검출기는 객체 검출 문제를 하나의 회귀(Regression) 문제로 정의해 종단간(End-to-End) 네트워크로 구성하여 객체의 위치 추정과 클래스 분류 수행한다. 이러한 1-Stage 객체 검출기는 계산 비용이 2-Stage에 비해 적고 검출 성능이 낮았으나, 최근 연구들로 인해 현재는 2-Stage 와 비슷한 수준의 검출 성능을 보이고 있고 빠른 추론 속도로 인해 실시간 영상에서 활용될 수 있어 산업분야에 활발하게 사용되고 있다.

따라서, 본 발명의 일 실시예에서는 종래의 1-Stage 기술을 기반으로 하는 객체 검출기를 제안하되, 이를 개선하여 항공 영상에서 종래의 기술보다 더 높은 성능을 도출할 수 있는 표적 탐지 방법을 제안한다.

도 3은 종래 기술에 따른 특징 추출 네트워크의 중간 결과를 설명하기 위한 도면이다. 도 4는 종래 기술에 따른 특징 추출 네트워크의 특징맵 분류 및 시각화 결과를 도시한 도면이다. 도 5는 종래 기술 대비 본 발명에서의 객체 검출 결과를 나타낸 도면이다.

종래의 특징 추출 네트워크는 도 3과 같이 입력 영상이 존재할 때 마지막 단계에서는 대부분의 공간 정보가 소실된다.

또한, 도 4는 항공 영상이 종래 기술 중 하나로 YOLOv5의 특징 추출 네트워크인 CSPDarkNet(Cross Stage Partial DarkNet)을 통해 특징 추출 과정을 시각화한 것으로, 도 4의 특징 추출 네트워크는 입력 특징맵이 통과한 이전 스테이지(Stage)의 개수에 따라 얕은(Shallow), 중간(Middle) 및 깊은(Deep) 특징맵으로 분류된다.

얕은 특징맵은 높은 해상도를 유지하여 객체와 배경의 구분이 가능하며, 공간 정보가 풍부하다는 특징이 있다. 반면, 깊은 특징맵은 해상도가 낮지만 의미론적(Semantic) 정보가 풍부하여 개별 객체 클래스 분류에 유리하다. 중간 특징맵은 앞서 언급한 2개의 특징맵의 특성이 고르게 나타난다.

따라서, CSPDarkNet 특징 추출 네트워크에서 소형 객체의 공간 정보는 얕은 특징맵에서 가장 풍부하고, 깊은 특징맵으로 진행할수록 의미론적 정보가 증가하는 것에 반해 공간 정보는 감소한다. 특히, YOLOv5 네트워크의 깊은 특징맵에서 소형 객체의 절대적 크기는 입력 영상 대비 1/32로 도 3에서 확인할 수 있듯이 객체의 크기가 32x64 Pixel인 객체는 스테이지 5에서 1x2로 대부분의 공간 정보가 소실된다.

본 발명의 일 실시예에 따른 딥러닝 기반 소형 표적 탐지 시스템 및 방법에서는 이러한 종래 기술의 문제를 해결하기 위해, YOLOv5 구조를 중심으로 항공 영상에 특화된 객체 검출 네트워크를 제공한다. 본 발명에서 제안하는 네트워크는 작고 밀집된 객체의 특징을 지니는 항공 영상의 특성을 반영하기 위해, 기존 특징 추출 네트워크를 항공 객체 검출에 적합하도록 커널 수, 채널, 깊이 등의 네트워크 구조에 대한 스케일링(Scaling)을 진행하였다.

본 발명의 일 실시예는 공간 정보가 소실되어 작은 객체 탐지에 불리한 깊은 특징맵이 출력되는 네트워크 계층을 제거하였으며, 얕은 특징맵을 중심으로 소형 객체 검출을 하였다.

또한, 본 발명의 일 실시예는 객체와 복잡한 배경과의 분리를 위하여 트리플렛 어텐션 네트워크를 객체 검출기의 FPN(Feature Pyramid Network) 기반의 네트워크 구조에 결합하였다.

이러한 본 발명의 일 실시예를 적용한 결과 도 5에 도시된 바와 같이 종래 기술 대비 소형 객체에 대한 검출 정확도가 향상되는 것을 확인할 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 딥러닝 기반 소형 표적 탐지 시스템(100) 및 방법에 대해 보다 상세히 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 소형 표적 탐지 시스템(100)의 구조도이다. 도 7은 본 발명의 일 실시예에서 초해상화 모듈(124)이 추가된 소형 표적 탐지 시스템(100)의 구조도이다. 도 8은 본 발명의 일 실시예의 기본 구조인 종래 기술에서의 YOLOv5 네트워크 구조를 도시한 도면이다. 도 9는 일반적인 객체 검출기의 구조를 나타낸 도면이다.

먼저, 도 8을 참조하면 본 발명에서 근간으로 하는 종래 기술은 YOLOv5 네트워크이다. YOLOv5 네트워크에서 특징 추출 네트워크는 5개의 스테이지로 구성되어 있다. 각 스테이지 통과시 입력 이미지의 해상도는 절반이 되므로, 가로 및 세로 32 픽셀 이하에 해당하는 작은(Small) 객체들은 스테이지 5에서 1픽셀 크기로 감소한다. 이는 객체를 구분하기 위한 공간 정보가 대부분 소실된 상태이며, 따라서 YOLOv5 구조는 대부분 객체가 Small 이하의 객체들로 구성된 항공 영상 데이터 세트에는 적합하지 않는 구조이다.

본 발명의 일 실시예는 종래 기술인 YOLOv5에 비해 특징 추출 네트워크의 스테이지 수가 적은 것을 특징으로 한다. 스테이지 수가 적을수록 네트워크의 파라미터는 줄어들어 고차원의 데이터를 해석하지 못할 가능성이 높아지지만, 스테이지가 적을수록 공간 손실은 최소화할 수 있어 적절한 스테이지 개수를 선정하는 것이 핵심이다. 본 발명의 일 실시예에서는 이를 고려하여 2개의 스테이지 수를 선정하였다.

도 9를 참조하면, 일반적으로 객체 탐지기의 구조는 도 9에 도시된 바와 같이 백본(Backbone) 영역, 넥(Neck) 영역 및 헤드(Head) 영역으로 구성되어 있다. 백본 영역은 특징 추출을 위한 인공신경망으로 CNN으로 이루어진 다양한 구조를 통해 Down-Sampling을 진행하며 단계별 특징을 추출한다. 넥 영역에서는 백본 영역에서 추출된 특징들을 다중 해상도에서 특징을 강화하기 위한 단계로 해상도가 큰 특징맵은 의미론적인 정보가 해상도가 작은 특징맵에 비해 약하므로 특징맵 간의 정보를 공유하는 형태로 넥 영역을 구성하여 특징맵의 특징을 강화한다. 그 후 각 스테이지에 실제 객체 탐지 및 분류를 수행하는 헤드 영역을 부착하여 백본 영역 및 넥 영역을 통해 추출된 특징을 이용하여 객체 탐지 및 분류를 실시한다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반 소형 표적 탐지 시스템(100)은 특징 추출 신경망 영역부(110, Backbone), 특징 강화 신경망 영역부(120, Neck) 및 결과 예측 신경망 영역부(130, Head)를 포함한다.

특징 추출 신경망 영역부(110)는 소정의 소형 표적이 포함된 이미지를 입력받아 특징 정보를 추출한다. 여기에서 특징 추출 신경망 영역부(110)가 입력받는 이미지는 항공 영상으로부터 입력되는 이미지일 수 있다.

구체적으로 특징 추출 신경망 영역부(110)는 컨볼루션 연산부(111)와, 제1 및 제2 CSP 연산부(112, 113)를 포함할 수 있다.

컨볼루션 연산부(111)는 입력된 이미지를 대상으로 컨볼루션 연산을 수행한다. 컨볼루션 연산부(111)는 컨볼루션 연산을 통해 입력된 이미지에 대한 특징맵을 추출한다. 일 실시예로, 이미지에서의 특징은 외곽선, 질감, 형태 등 객체 검출을 위한 다양한 정보들일 수 있다.

제1 및 제2 CSP 연산부(112, 113)는 컨볼루션 연산 결과를 대상으로 CSP(Cross Stage Partial) 연산을 각각 수행한다.

특징 강화 신경망 영역부(120)는 추출된 특징 정보를 입력받아 소형 표적에 상응하는 특징 정보를 강화한다.

구체적으로, 특징 강화 신경망 영역부(120)는 제3 및 제4 CSP 연산부(121, 122)와 어텐션 레이어(123)를 포함할 수 있다.

제3 CSP 연산부(121)는 특징 추출 신경망 영역부(110)에 포함된 제2 CSP 연산부(113)의 제2 CSP 연산 수행 결과를 입력받아 CSP 연산을 수행한다.

제4 CSP 연산부(122)는 제1 CSP 연산부(112)의 제1 CSP 연산 수행 결과 및 제3 CSP 연산부(121)의 제3 CSP 연산 수행 결과를 입력받아 제4 CSP 연산 수행 결과를 출력한다.

그리고 어텐션 레이어(123)는 제3 및 제4 CSP 연산 수행 결과를 입력받아 특징 정보를 강화한다. 이때, 본 발명의 일 실시예에서의 어텐션 레이어(123)는 트리플렛(Triplet) 기반의 어텐션 레이어일 수 있다.

도 10은 본 발명의 일 실시예에서의 트리플렛 기반의 어텐션 레이어(123)를 설명하기 위한 도면이다. 도 11은 본 발명의 일 실시예에 따른 트리플렛 기반의 어텐션 레이어(123)의 적용 전후의 특징맵을 나타낸 도면이다. 도 12는 본 발명의 일 실시예에서의 초해상화 모듈(124) 구조의 일 예시를 도시한 도면이다.

본 발명의 일 실시예는 소형 객체가 있는 곳의 특징 정보를 강조하고 전경과 배경의 분리를 용이하게 하기 위하여 도 10에 도시된 구조인 트리플렛 어텐션 레이어(123)를 적용하였다.

어텐션 네트워크는 특징맵의 채널, 공간 등 특정 차원 내 특정 부분의 정보를 강조하는 네트워크로 가중치를 스칼라 곱하는 방법으로 입력 특징맵의 특정 부분을 강조한다. 객체 검출기 네트워크에서 공간 방향 정보는 위치 정보를 의미하며, 채널 방향 정보는 클래스 정보를 의미한다. CBAM(Convolutional Block Attention Module) 네트워크는 MLP(Multi-Layer Perceptron)와 컨볼루션 연산을 사용하여 적은 네트워크 파라미터 개수로 채널, 공간 방향 특징을 효율적으로 강조하였다.

본 발명의 일 실시예에 적용한 트리플렛 어텐션 레이어(123)는 3개의 경로를 나눠 특징을 강조하며, 2개의 경로에서는 제3 및 제4 연산 수행 결과인 특징맵을 입력받아 특징 정보의 채널 방향 정보를 강화하고, 나머지 경로는 CBAM과 네트워크와 동일한 방법으로 공간 방향 정보를 강화할 수 있다.

즉, 어텐션 레이어(123)는 특징맵의 텐서(Tensor)를 높이 및 너비 방향으로 회전시키는 제1 경로 및 제2 경로에 통과시켜 채널 방향 정보를 강화시키고, Z-풀링(Zeroth Pool) 연산을 사용하여 차원을 줄이고 컨볼루션과 시그모이드 연산을 사용하여 특징맵 가중치를 계산한 후, 최종적으로 입력 특징맵에 가중치를 결합하고 다시 기존의 입력 특징맵의 높이 및 너비 방향으로 회전한다. 그리고 특징맵에 소정의 가중치를 적용하는 제3 경로에 통과시켜 공간 방향 정보를 강화시킨 후, 제1 내지 제3 경로의 출력값을 병합하여 특징 정보가 강화된 특징맵을 출력할 수 있다.

이러한 트리플렛 어텐션(123)은 도 11에 도시된 바와 같이 객체의 크기가 작고 밀집도가 높으며 객체와 배경 구분이 어려운 항공 영상에서 효과적으로 객체의 특징을 강조할 수 있다.

또한, 도 12를 참조하면 특징 강화 신경망 영역부(120)는 초해상화를 이용한 특징맵의 해상도 증가를 위한 초해상화 모듈(124, SRNet)을 포함할 수 있다. 이때, 초해상화 모듈(124)은 제3 CSP 연산 수행 결과인 특징맵을 입력하여 특징맵에 대한 초해상화를 수행한다. 초해상화 모듈은 스테이지 3의 의미론적 정보를 유지하고 초해상화를 통해 해상도를 증가시켜 공간정보를 생성할 수 있는 것을 특징으로 한다.

일반적인 SRNet의 경우 특정 사이즈의 RGB 이미지를 입력받아 x2, x4배된 해상도의 RGB 이미지를 출력하나, 본 발명의 일 실시예의 경우 초해상화 모듈(124)의 입출력은 모두 특징맵으로, 특징맵의 해상도와 품질을 향상시켜 크기가 작은 소형 객체를 x2 또는 x4배된 해상도로 향상시켜 탐지에 유리하도록 한다.

결과 예측 신경망 영역부(130)는 강화된 특징 정보를 입력받아 소형 객체의 탐지 및 분류 결과를 출력한다(Detection-P1, Detection-P2).

이하에서는 도 13을 참조하여 본 발명의 일 실시예에 따른 딥러닝 기반 소형 표적 탐지 시스템(100)에 의해 수행되는 방법을 설명하도록 한다.

도 13은 본 발명의 일 실시예에 따른 딥러닝 기반 소형 표적 탐지 방법의 순서도이다.

본 발명의 일 실시예는 먼저, 소정의 소형 표적이 포함된 이미지를 입력받아 백본 영역을 통해 소형 표적에 상응하는 특징 정보를 추출한다(S110).

다음으로, 백본 영역으로부터 추출된 특징 정보를 입력받아 넥 영역을 통해 소형 표적에 상응하는 특징 정보를 강화한다(S120).

다음으로, 강화된 특징 정보를 넥 영역으로부터 입력받아 헤드 영역을 통해 소형 객체의 탐지 및 분류 결과를 출력한다(S130).

한편, 상술한 설명에서, 단계 S110 내지 S130은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 6 내지 도 12에 기술된 내용과 도 13에 기술된 내용은 상호 적용될 수 있다.

도 14는 본 발명의 객체 탐지 성능의 테스트 결과를 도시한 도면이다.

도 13에 도시된 바와 같이, 종래 기술 대비 본 발명의 경우 작고 밀집된 객체의 탐지 능력과 복잡한 배경에서의 객체 탐지 능력이 크게 비교되는 것을 확인할 수 있다. 특히, 중형 객체의 검출 성능은 종래 기술과 유사하게 유지됨과 동시에 소형 객체 검출 능력은 큰 수준으로 증가하여 제안하는 네트워크가 항공 영상에 최적화된 네트워크임을 확인할 수 있다.

위 정성적인 평가뿐만 아닌 정량적으로 평가하기 위해 객체 탐지 분야에서 성능 지표로 활용되는 mAP를 활용하여 평가를 실시하였다. 객체의 크기별로 성능 평가를 하기 위해 다음 표 1과 같이 객체의 크기에 따라 분리하여 평가하였다. 평가를 위해 사용한 데이터 세트는 VisDrone-DET2019이며 전체 객체의 81.59%가 Small 객체인 항공 영상 데이터 세트이다.

또한, 아래 표 2와 같이 제안하는 발명은 종래 기술 대비

성능이 11.2% 향상되는 것을 확인하였고

를 제외한 나머지 성능 지표 또한 향상됨을 확인할 수 있다. 최종적으로, 본 발명은 감시정찰 분야에서 활용될 수 있는 항공 영상에 특화된 네트워크로의 적용이 가능하며, 이를 통해 작은 객체 탐지에 대해 높은 성능이 요구되는 감시정찰 분야에 기여할 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 딥러닝 기반 소형 표적 탐지 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 딥러닝 기반 소형 표적 탐지 시스템
110: 특징 추출 신경망 영역부
120: 특징 강화 신경망 영역부
130: 결과 예측 신경망 영역부

Claims (15)

1. 딥러닝 기반 소형 표적 탐지 시스템에 있어서,
   소정의 소형 표적이 포함된 이미지를 입력받아 특징 정보를 추출하는 특징 추출 신경망 영역부;
   상기 추출된 특징 정보를 입력받아 상기 소형 표적에 상응하는 특징 정보를 강화하는 특징 강화 신경망 영역부; 및
   상기 강화된 특징 정보를 입력받아 상기 소형 표적의 탐지 및 분류 결과를 출력하는 결과 예측 신경망 영역부를 포함하고,
   상기 특징 추출 신경망 영역부는,
   상기 입력된 이미지를 대상으로 컨볼루션 연산을 수행하는 컨볼루션 연산부; 및
   상기 컨볼루션 연산 결과를 대상으로 CSP 연산을 각각 수행하는 제1 및 제2 CSP 연산부를 포함하며,
   상기 특징 강화 신경망 영역부는,
   상기 제2 CSP 연산부의 제2 CSP 연산 수행 결과를 입력받아 CSP 연산을 수행하는 제3 CSP 연산부;
   상기 제1 CSP 연산부의 제1 CSP 연산 수행 결과 및 제3 CSP 연산부의 제3 CSP 연산 수행 결과를 입력받아 제4 CSP 연산 수행 결과를 출력하는 제4 CSP 연산부; 및
   상기 제3 및 제4 CSP 연산 수행 결과를 입력받아 특징 정보를 강화하는 어텐션 레이어를 포함하고,
   상기 특징 강화 신경망 영역부는 상기 제3 CSP 연산 수행 결과인 특징맵을 입력하여 상기 특징맵에 대한 초해상화를 수행하는 초해상화 모듈을 더 포함하며,
   상기 어텐션 레이어는 상기 제3 및 제4 CSP 연산 수행 결과인 특징맵을 입력받아 특징 정보의 채널 방향 정보 및 공간 방향 정보를 강화하는 Triplet 기반의 어텐션 레이어이고,
   상기 어텐션 레이어는 상기 특징맵을 높이 및 너비 방향으로 회전시키는 제1 경로 및 제2 경로에 통과시켜 채널 방향 정보를 강화시키고, 상기 특징맵에 소정의 가중치를 적용하는 제3 경로에 통과시켜 공간 방향 정보를 강화시킨 후, 상기 제1 내지 제3 경로의 출력값을 병합하여 특징 정보가 강화된 특징맵을 출력하며,
   상기 소형 표적이 포함된 이미지는 항공 영상으로부터 입력되는 이미지인 것인 딥러닝 기반 소형 표적 탐지 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 딥러닝 기반 소형 표적 탐지 방법에 있어서,
   소정의 소형 표적이 포함된 이미지를 입력받아 백본 영역을 통해 소형 표적에 상응하는 특징 정보를 추출하는 단계;
   상기 백본 영역으로부터 추출된 특징 정보를 입력받아 넥 영역을 통해 상기 소형 표적에 상응하는 특징 정보를 강화하는 단계; 및
   상기 강화된 특징 정보를 넥 영역으로부터 입력받아 헤드 영역을 통해 상기 소형 표적의 탐지 및 분류 결과를 출력하는 단계를 포함하고,
   상기 소정의 소형 표적이 포함된 이미지를 입력받아 백본 영역을 통해 소형 표적에 상응하는 특징 정보를 추출하는 단계는,
   상기 소정의 소형 표적이 포함된 이미지를 대상으로 컨볼루션 연산을 수행하는 단계; 및
   상기 컨볼루션 연산 결과를 대상으로 제1 및 제2 CSP 연산을 수행하는 단계를 포함하며,
   상기 백본 영역으로부터 추출된 특징 정보를 입력받아 넥 영역을 통해 상기 소형 표적에 상응하는 특징 정보를 강화하는 단계는,
   상기 제2 CSP 연산 수행 결과를 입력받아 제3 CSP 연산을 수행하는 단계;
   상기 제1 CSP 연산 수행 결과 및 제3 CSP 연산 수행 결과를 입력받아 제4 CSP 연산을 수행하는 단계; 및
   상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계를 포함하고,
   상기 제3 CSP 연산 수행 결과인 특징맵을 SRNet에 입력하여 상기 특징맵에 대한 초해상화를 수행하는 단계를 더 포함하며,
   상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계는,
   상기 초해상화된 특징맵을 상기 제3 CSP 연산 수행 결과로 상기 어텐션 레이어에 입력하고,
   상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계는,
   상기 제3 및 제4 CSP 연산 수행 결과인 특징맵을 Triplet 기반의 어텐션 레이어에 입력하여 특징 정보의 채널 방향 정보 및 공간 방향 정보를 강화하며,
   상기 제3 및 제4 CSP 연산 수행 결과를 소정의 어텐션 레이어에 입력하여 특징 정보를 강화하는 단계는,
   상기 특징맵을 높이 및 너비 방향으로 회전시키는 제1 경로 및 제2 경로에 통과시켜 채널 방향 정보를 강화하는 단계;
   상기 특징맵에 소정의 가중치를 적용하는 제3 경로에 통과시켜 공간 방향 정보를 강화하는 단계 및
   상기 제1 내지 제3 경로의 출력값을 병합하여 특징 정보가 강화된 특징맵을 출력하는 단계를 포함하고,
   상기 소형 표적이 포함된 이미지는 항공 영상으로부터 입력되는 이미지인 것인 딥러닝 기반 소형 표적 탐지 방법.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images