KR102217020B1

KR102217020B1 - 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치

Info

Publication number: KR102217020B1
Application number: KR1020190053526A
Authority: KR
Inventors: 정길도; 히랄 타야라
Original assignee: 전북대학교산학협력단
Priority date: 2019-05-08
Filing date: 2019-05-08
Publication date: 2021-02-17
Also published as: KR20200129314A

Abstract

본 발명은 서로 다른 스케일 문제를 해결하기 위해 조밀하게 연결된 특징 피라미드 네트워크를 통해 항공 이미지에서 물체 탐지가 가능한 단일 단계 고밀도 피라미드 특징 네트워크에 관한 것이다. 본 발명은 단일 단계로 이루어진 고밀도로 연결된 피라미드 네트워크를 통해 서로 다른 크기의 대상 객체를 감지함으로서 높은 평균 정밀도와 실행시간을 단축시킬 수 있는 효과가 있다.

Description

단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치 {OBJECT DETECTION DEVICE IN VERY HIGH-RESOLUTION AERIAL IMAGES BASEO OM SINGLE-STAGE DIGH-DENSITY PYRAMID FEATURE NETWORK}

본 발명은 고해상도 항공 이미지내에서 물체를 감지하기 위한 단일 단계 피라미드 특징 네트워크에 관한 것으로, 보다 상세하게는 서로 다른 스케일 문제를 해결하기 위해 조밀하게 연결된 특징 피라미드 네트워크를 통해 항공 이미지에서 물체 탐지가 가능한 단일 단계 고밀도 피라미드 특징 네트워크에 관한 것이다.

고해상도(VHR; VERY HIGH-RESOLUTION)의 항공(공중) 이미지에서 물체 검출하는 것은 매우 어려우나, 군사 응용, 도시 계획, 환경 관리와 같은 광범위한 응용 분야에서 중요하다. 최근 몇 년 동안 연구원들은 차량, 비행기, 건물 및 저장 탱크와 같은 VHR 항공(공중) 이미지에서 다양한 유형의 표적을 탐지하기 위해 다양한 방법과 알고리즘을 개발했다. VHR 공중 이미지의 물체 감지 작업은 CNN (convolution neural network)의 발전으로 인해 크게 향상되었다.

논문 Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks(이하 '선행문헌' 이라 칭함)는 Fast R-CNN을 개선하기 위해 Region Proposal Network (RPN)을 도입한 기술이다. R-CNN과 Fast R-CNN은 Region Proposal을 생성하기 위해서 Selective Search라는 알고리즘을 사용하였으며, 약 2,000개에 가까운 Region Proposal을 생성하는 것 자체가 성능저하를 일으킨다. 이에 선행문헌은 Region Proposal을 생성하는 방법 자체를 CNN 내부에 네트워크 구조로 넣어놓은 모델로서, RPN(Region Proposal Network)을 통해서, RoI Pooling을 수행하는 레이어와 Bounding Box를 추출하는 레이어가 같은 특징 맵을 공유한다.

하지만 선행문헌은 2단계 접근법으로 수행되며, 2단계 접근법은 초기의 CNN과 대비할때 우수하기는 하지만 최적화가 쉽지 않고, 실시간 응용 프로그램에 적합하지 않다. 따라서 VHR 공중 영상에서 물체를 검출하기 위한 일률적인 단일 단계 모델이 필요한 실정이다.

논문 Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks (2016.01.06)

본 발명은 위와 같은 문제점을 해결하기 위해 단일 단계로 이루어진 고밀도로 연결된 피라미드 네트워크를 통해 서로 다른 크기의 대상 객체를 감지하는데 그 목적이 있다.

본 발명에 따른 고해상도 항공 이미지내의 물체를 감지하기 위한 단일 단계 고밀도 피라미드 특징 네트워크는 적어도 하나의 컨볼루션 블록으로 이루어지는 백본 네트워크, 상기 컨볼루션 블록의 마지막 컨볼루션 층에 대응하는 특징맵과 이미지 내의 특징을 찾기 위한 커널(필터)의 개수, 크기, 이동거리에 의해 컨볼루션된 또 다른 특징맵으로 구축되는 상향식경로, 상기 특징맵과 상기 또 다른 특징맵을 상호간에 횡방향으로 연결하고, 기 설정된 컨볼루션 연산을 적용하여 상기 특징맵과 상기 또 다른 특징맵에 대응하는 최종 특징맵을 구축하는 하향식경로, 및 컨블루션 연산과 ReLU 활성화 함수를 통해 상기 최종 특징맵으로부터 클래스와 경계 박스를 예측하는 예측헤드를 포함한다.

본 발명에 따른 상기 하향식 경로는 손실된 공간적정보를 보충하기 위해 상기 특징맵와 상기 또 다른 특징맵은 각각 상단 층에 위치한 모든 특징맵과 측면연결되어 상기 특징맵와 상기 또 다른 특징맵에 각 대응되는 고밀도로 연결된 특징맵을 생성하되, 상기 고밀도로 연결된 특징맵이 동일한 채널을 가지도록 기 설정된 크기의 레이어로 컨벌루션을 수행한다.

본 발명에 따른 상기 예측헤드는 분류헤드와 회귀헤드를 포함하되, 상기 분류헤드와 회귀헤드는 상기 2차원 컨블루션 연산과 ReLU 활성화 함수가 중첩되어 연속적으로 구성되며, 상기 분류헤드의 마지막 컨볼루션 층은 앵커와 클래스로 이루어지는 채널과 sigmoid 활성화 함수로 구성되고, 상기 회귀헤드의 마지막 컨볼루션 층은 앵커 채널과 Linear 활성화 함수로 구성된다.

본 발명에 따른 고해상도 항공 이미지내의 물체를 감지하기 위한 단일 단계 고밀도 피라미드 특징 네트워크는 데이터의 불균형을 해소하기 위해 경계 박스 회귀 손실 함수와 분류 손실 함수가 결합된 손실함수의 가중치를 변경한다.

본 발명은 단일 단계로 이루어진 고밀도로 연결된 피라미드 네트워크를 통해 서로 다른 크기의 대상 객체를 감지함으로서 높은 평균 정밀도와 실행시간을 단축시킬 수 있는 효과가 있다.

도 1은 본 발명에 따른 단일 단계 고밀도 피라미드 특징 네트워크의 구성도를 나타낸다.
도 2는 본 발명에 따른 고밀도로 연결된 특징 피라미드 네트워크를 나타낸다.
도 3은 본 발명에 따른 분류헤드의 구조를 나타낸다.
도 4는 본 발명에서 제안된 모델과 NWPU VHR-10 데이터 세트의 모델간의 성능을 비교한 표이다.
도 5는 제안된 모델과 기존의 모델간의 계산시간을 비교한 도면이다.
도 6은 본 발명에서 제안된 모델과 기존의 모델간의 정밀도 리콜 곡선을 비교한 도면이다.

이하, 본 발명의 바람직한 실시 예에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 본 발명의 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명에 따른 단일 단계 고밀도 피라미드 특징 네트워크의 구성도를 나타낸다. 도 1을 참조하면, 단일 단계 고밀도 피라미드 특징 네트워크는 백본 네트워크(100), 상향식경로(200), 하향식 경로(300), 분류헤드(400)를 포함하며, 한 번의 단계로 물체 감지가 가능한 구조이다. 따라서 기존의 다중 단계 방식에 비해 본 발명의 처리 과정은 간략화 된다.

백본 네트워크(100; Backbone network)는 적어도 하나의 컨볼루션 블록(convolution block)으로 이루어진다. 백본네트워크(100)는 VGG-16, Resnet-50 또는 Resnet-101의 컨볼루션 블록으로 구성되며, 5개의 컨볼루션 블록으로 이루어진다.

상향식경로(200)는 컨볼루션 블록의 마지막 컨볼루션 층에 대응하는 특징맵과 이미지 내의 특징을 찾기 위한 커널(필터)의 개수, 크기, 이동거리에 의해 컨볼루션된 또 다른 특징맵으로 구축된다. 마지막 컨볼루션 층에 대응하는 특징맵은 백본 네트워크의 5개의 컨볼루션 블록 중 컨볼루션 블록 3, 컨볼루션 블록 4, 컨볼루션 블록 5가 선택된다. 편의상 컨볼루션 블록 3은 C3, 컨볼루션 블록 4은 C4, 컨볼루션 블록 5은 C5로 지칭하며, 세분화된 의미정보를 얻기 위해 또 다른 특징맵 C6, C7이 추가된다. 특징맵 C6, C7은 아래와 수학식으로 계산된다.

Conv2D는 사전에 정의 된 개수의 커널을 사용하여 특징 맵을 컨볼루션하는 2차원 컨볼루션 연산자이다. K는 커널(필터)의 개수, s는 커널(필터)의 크기, d는 수직 및 수평방향으로의 이동거리(stride)이다. ReLU는 정류 된 선형 활성화 함수이다. 위의 식을 살펴보면, 특징 맵 C6은 커널크기가 (3,3), 수직 및 수평방항의 이동거리(strides)가 (2,2), 256개의 커널로 특징맵 C5를 컨벌루션하여 수행된다. 특징 맵 C7은 특징 맵 C6에 ReLU 활성화 함수를 적용한 다음 커널크기가 (3,3), 수직 및 수평방항의 이동거리(strides)가 (2,2), 256개의 커널로 결과출력을 컨볼루션함으로써 계산된다.

결과적으로 상향식 경로(200)는 특징맵 {C3, C4, C5, C6, C7}을 생성하며, 각각의 특징맵의 이동거리(stride)는 {8, 16, 32, 64, 128}로서, 원본 대비 크기가 1/8, 1/16, 1/32, 1/64, 1/128로 줄어든다.

하향식 경로는 상향식 경로에서 구축된 특징맵(C3, C4, C5)과 또 다른 특징맵인(C6, C7)을 상호간에 횡방향으로 연결한다. 또한, 고밀도로 연결된 특징맵이 동일한 채널을 가지도록 3x3 컨볼루션 연산을 적용하여 특징맵 {C3, C4, C5, C6, C7}에 대응하는 최종 특징맵을 구축한다.

도 2는 본 발명에 따른 고밀도로 연결된 특징 피라미드 네트워크를 나타낸다. 하향식 경로(300)는 손실된 공간적정보를 보충하기 위해 특징맵 {C3, C4, C5, 공간적정보를 보충하기 위해 특징맵 {C3, C4, C5, C6, C7}(210, 220, 230, 240, 250)을 각각 상단 층에 위치한 모든 특징맵과 측면연결(lateral connection)한다. 도 2를 참조하면, 특징맵 C6은 상단 층에 위치한 C7과 측면연결되며, C5는 상단 층에 위치한 C6, C7과 측면연결된다. C3(210)은 상단 층에 위치한 C4(220), C5(230), C6(240), C7(250)과 측면연결된다. 다만, C7(250)은 상단 층에 위치한 특징맵이 없음에 따라, 측면연결되는 특징맵은 존재 하지 않는다. 특징맵 {C3, C4, C5, C6, C7}은 채널 치수를 감소시키기 위한 1x1 컨볼루션 연산을 수행하며, 각각의 특징맵에 대응되는 고밀도로 연결된 특징맵 {T3, T4, T5, T6, T7}(310, 320, 330, 340, 350)을 생성한다. 고밀도로 연결된 특징맵 {T3, T4, T5, T6, T7}에 3x3 컨볼루션을 적용하여 최종 특징맵을 생성한다. 특징맵 {T3, T4, T5, T6, T7}에 3x3 컨볼루션이 적용됨으로서 업 샘플링(Upsampling)의 앨리어싱 효과를 줄이게 된다. 최종 특징맵은 {P3, P4, P5, P6, P7}(410, 420, 430, 440, 450)로 불리며, 각각 동일한 공간 크기 인 특징맵 {C3, C4, C5, C6, C7}에 대응한다.

최종 특징맵 {P3, P4, P5, P6, P7}은 아래의 수학식으로 계산된다.

식 (3), (6)에서 N = 3, 4, 5, 6, 7 및 (5)에서 N = 3, 4, 5, 6 인 경우, R_N은 차원을 축소시키기 위해 (1,1)의 커널 크기 및 이동거리(stride), 256 개의 커널로 상향식 경로(200)의 각 맵을 컨벌루션한다. T_N은 고밀도로 연결된 특징맵을 나타낸다. Up_Sample_Like(Ti, CN) 연산자는 T_i의 크기를 C_N의 크기로 조정한다. P_N은 최종 특성맵이며 256개의 채널로 구성된다. 피라미드의 모든 레벨은 기존의 이미지 피라미드에서와 같이 공유 분류기 / 회귀기를 사용하기 때문에 모든 컨볼루션 레이어는 256개의 채널 출력을 갖는다.

예측헤드(400)는 컨블루션 연산과 ReLU 활성화 함수를 통해 최종 특징맵으로부터 클래스와 경계 박스를 예측한다. 도 3은 본 발명에 따른 분류헤드의 구조를 나타낸다. 도 3을 참조하면, 예측헤드(400)는 분류헤드(classification head)와 회귀헤드(regression head)를 포함한다. 분류헤드(classification head)는 4개의 3x3 컨블루션과 ReLU 활성화 함수가 연속적으로 구성되며, 마지막 컨볼루션 층은 앵커(anchor) x 4 채널과 Linear 활성화 함수로 구성된다.

한편, 분류헤드와 회귀헤드의 가중치는 고밀도의 특징 피라미드 네트워크의 특징 맵 간에 공유된다. 기존의 2단 검출기(2K)와 달리 본 발명에서 제안하는 단일 단계 검출기는 이미지 당 10k ~ 100k개의 영역을 제안한다. 따라서 더 많은 백그라운드 영역이 제안됨에 따라 데이터 불균형 문제가 발생된다. 이 문제를 해결하기 위해 손실 함수의 가중치를 변경하였으며, 초점 손실 함수를 활용하였다.

손실함수는 경계 박스 회귀 손실 함수와 분류 손실 함수가 결합된다. 경계 박스 회귀 손실 함수의 (X_1b, Y_1b)와 (X_2b, Y_2b)는 지상 실측(ground-truth) 경계 박스의 상단-좌측 모서리와 하단-우측 모서리, (X_1a, Y_1a)와 (X_2a, Y_2a)는 해당 앵커의 상단-좌측 모시리와 하단-우측 모서리이며, 타겟은 아래와 같이 계산된다.

W_a와 H_a는 앵커의 너비와 높이이고, (X_1t, Y_1t)와 (X_2t, Y_2t)는 각각 타겟의 상단-좌측 및 하단-우측 모서리이다. 타겟은 μ= 0 및 σ = 0.2 인 정규 분포를 사용하여 정규화된다. (X_1p, Y_1p) 및 (X_2p, Y_2P)은 예측 된 경계 박스의 상단-좌측 및 하단-우측 모서리이다. 회귀 손실은 smooth_L1함수를 사용하며, 아래의 식으로 표현된다.

분류 손실 함수는 초점 손실 함수를 활용하였으며, 큰 클래스의 불균형을 처리하기 위해 사용된다. 초점 손실 함수는 크로스-엔트로피 손실에 미세 조정 요소

를 추가하고, 네거티브/포지티브 경우의 중요성을 균형 잡는 factor α를 사용하여 어려운 예제에 집중하고, 쉬운 것들을 가중치를 부여한다. p_t는 타겟 레이블 y=1이 1- p 이 외일 때, 모델의 출력 확률 p이다. 그러므로 이진 분류의 경우 크로스-엔트로피는 CE(p, y) = -log(p_t)이다. 초점 손실 함수는 아래의 식으로 정의된다.

손실 함수는 p_t가 작고, 미세 조정 요소가 1에 가깝기 때문에 오 분류된 사례의 경우 크로스-엔트로피 손실뿐이다. 잘 분류 된 사례는 p_t에 접근하여 미세 조정 요인을 0에 가깝게 유도한다. 잘 분류 된 사례의 경우 손실이 가중되며, 손실을 감소시키는 비율은 ｒ에 의해 제어된다. 따라서 본 발명은 하이퍼 파라미터를 α=0.25, 및 ｒ=2로 설정하였다.

도 4는 본 발명에서 제안된 모델과 NWPU VHR-10 데이터 세트의 모델간의 성능을 비교한 표이다. NWPU VHR-10 데이터 세트는“Cheng, G.; Han, J. A survey on object detection in optical remote sensing images. ISPRS J. Photogramm. Remote Sens. 2016, 117, 11-28.”와“Cheng, G.; Zhou, P.; Han, J. Learning rotation-invariant convolutional neural networks for object detection in vhr optical remote sensing images. IEEE Trans. Geosci. Remote Sens. 2016, 54, 7405-7415.”에 제안된바 있다.

먼저, NWPU VHR-10 데이터 세트는 각 이미지에 적어도 하나의 객체가 포함 된 650 개의 주석 이미지를 제공한다. 이미지 크기는 533x597에서 1728x1028 픽셀까지 다양하며, 감지 할 물체의 크기와 모양이 다르게 지정되어 있다. 모든 실험에서 데이터 세트는 교육의 경우 60 %, 유효성 검사의 경우 10 %, 테스트의 경우 30 %로 나뉜다.

도 4를 참조하면, 제안된 모델이 map (평균 정밀도)측면에서 기존의 모델을 능가하는 것을 확인할 수 있다. 제안된 모델은 Resnet 101,Resnet 50, VGG-16을 각각 사용하여 1.85%, 0.81% 및 1.02%가 향상된 것을 확인할 수 있다. 또한, 제안 된 모델은 계산 시간 측면에서 기존의 모델을 능가한다.

도 5는 제안된 모델과 기존의 모델간의 계산시간을 비교한 도면이다. 모든 실험은 Titan X 12GB GPS, Xeon CPU E5-2640 2.40GHz 및 256GB RAM 성능의 워크 스테이션에서 수행되었다. 도 5를 참조하면, 제안딘 모델(Resnet 101)은 하나의 이미지를 처리하는 평균 예상 시간은 0.088초로 기존의 모델과 대비할때 월등히 빠른 계산 속도를 보인다.

도 6은 본 발명에서 제안된 모델과 기존의 모델간의 정밀도 리콜 곡선을 비교한 도면이다. 정밀도 리콜 곡선은 유효성 및 견고성의 주요 신호 중 하나이며, y축은 정밀도를 나타내고 x축은 리콜을 나타낸다. 더 나은 성능은 맨 위에 곡선으로 표시되며, 본 발명에서 제안하는 모델의 성능이 기존의 모델에 비해 향상 된 것을 확인할 수 있다.

Claims

적어도 하나의 컨볼루션 블록으로 이루어지는 백본 네트워크;
상기 컨볼루션 블록의 마지막 컨볼루션 층에 대응하는 특징맵; 및 커널(필터)의 개수, 크기, 이동거리에 의해 컨볼루션된 또 다른 특징맵;으로 구축되는 상향식경로;
손실된 공간적정보를 보충하기 위해 상기 특징맵과 상기 또 다른 특징맵은 각각 상단 층에 위치한 모든 특징맵과 측면연결되어 상기 특징맵와 상기 또 다른 특징맵에 각 대응되는 특징맵을 생성하되, 기 설정된 컨볼루션 연산을 적용하여 상기 특징맵과 상기 또 다른 특징맵에 대응하는 최종 특징맵을 구축하는 하향식경로; 및
컨볼루션 연산과 ReLU 활성화 함수를 통해 상기 최종 특징맵으로부터 클래스와 경계 박스를 예측하는 예측헤드;를 포함하는 것을 특징으로 하는 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치.
삭제
제1항에 있어서,
상기 예측헤드는 분류헤드와 회귀헤드를 포함하되,
상기 분류헤드와 회귀헤드는 상기 컨볼루션 연산과 ReLU 활성화 함수가 중첩되어 연속적으로 구성되며, 상기 분류헤드의 마지막 컨볼루션 층은 앵커와 클래스로 이루어지는 채널과 sigmoid 활성화 함수로 구성되고, 상기 회귀헤드의 마지막 컨볼루션 층은 앵커 채널과 Linear 활성화 함수로 구성되는 것을 특징으로 하는 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치.
제3항에 있어서,
데이터의 불균형을 해소하기 위해 경계 박스 회귀 손실 함수와 분류 손실 함수가 결합된 손실함수의 가중치를 변경하는 것을 특징으로 하는 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치.