KR102213600B1

KR102213600B1 - Cnn을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치

Info

Publication number: KR102213600B1
Application number: KR1020180101128A
Authority: KR
Inventors: 김대진; 김용현
Original assignee: 포항공과대학교 산학협력단
Priority date: 2018-08-28
Filing date: 2018-08-28
Publication date: 2021-02-05
Also published as: WO2020045903A1; KR102213600B9; KR20200027078A

Abstract

CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치가 개시된다. 크기 독립적으로 물체를 검출하는 방법은, 검출하고자 하는 물체가 포함된 입력 영상을 획득하는 단계, 상기 물체의 크기를 정규화한 영상에서 추출한 고정 크기 특징과 상기 입력 영상에서 추출한 크기 의존적 특징 사이의 상관 관계를 학습한 크기 인식 기반 CNN에 상기 입력 영상을 입력하여, 상기 물체에 대한 크기 독립적 특징을 추출하는 단계 및 추출된 크기 독립적 특징을 물체 검출 신경망에 입력하여 상기 물체를 검출하는 단계를 포함한다.

Description

CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치{METHOD AND APPARATUS FOR DETECTING OBJECT INDEPENDENTLY OF SIZE USING CONVOLUTIONAL NEURAL NETWORK}

본 발명은 CNN을 이용하여 크기에 독립적으로 물체를 검출하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 고정된 크기로 정규화된 물체의 특징과 다양한 크기를 갖는 물체의 특징 사이의 상관관계를 CNN을 이용해 학습하고, 학습된 CNN을 이용하여 물체의 크기에 관계없이 물체를 검출하는 방법 및 장치에 관한 것이다.

물체 검출 기술은 로봇, 비디오 감시, 자동차 안전 등과 같은 여러 응용 분야에서 널리 사용되고 있는 핵심 기술이다. 최근에는, 물체 검출 기술에 합성 곱 신경망(convolutional neural network, CNN)을 사용하는 방식이 알려짐에 따라, 단일 영상을 이용한 물체 검출 기술은 비약적으로 발전하였다.

합성 곱 신경망을 사용한 물체 검출 방법은 영역 추출(ROI Pooling)을 기반으로 하는 물체 검출 기술과 격자 공간(Grid Cell)을 기반으로 하는 물체 검출 기술로 분류할 수 있다.

영역 추출을 기반으로 하는 물체 검출 방법은 합성 곱 신경망(CNN)을 이용해 단일 영상 전체의 합성 곱 특징을 계산하고, 계산된 특징을 이용하여 확인된 물체 후보 영역을 대상으로 영역 추출을 통한 합성 곱 특징을 계산한다. 상기 영역 추출을 기반으로 한 방법은 물체 후보 영역을 미리 정의된 추출 영역 크기로 분할한 뒤 분할된 영역에 대해 최대 혹은 평균값을 계산해 대입한다. 이처럼, 영역 추출을 기반으로 한 방법은 미리 정의된 추출 영역 크기를 사용하기 때문에 영상 내 물체 크기와 관계없이 동일 크기의 합성 곱 특징을 추출하게 된다. 따라서, 영상에 따라 다양한 크기로 표현되는 물체의 특징을 동일한 영역 크기를 갖는 합성 곱 특징으로 추출하기 때문에, 영상 내 물체 크기에 따라 합성 곱 특징의 해상도가 달라지고 특징의 중복과 누락이 발생하게 된다.

격자 공간을 기반으로 하는 물체 검출 방법은 합성 곱 신경망(CNN)을 이용해 단일 영상 전체의 합성 곱 특징을 계산하고 얻어진 합성 곱 특징에 따른 각각의 격자 공간을 물체와 대응시킨다. 격자 공간은 물체의 크기와 관계없이 격자 공간의 중심에 위치한 물체들을 대표한다. 상기 격자 공간을 기반으로 한 방법은 공간 정보가 없이 하나의 격자 공간 값으로 표현하기 때문에 물체의 크기 정보를 학습할 수 없게 된다.

종합하면, 현재의 합성 곱 신경망(CNN)을 이용한 단일 영상내의 물체 검출 기술은 영상마다 상이한 물체의 크기를 고려하지 않고 영역 추출 혹은 격자 공간에 기초한 방법을 이용해 물체를 검출하고 있다. 이 때문에, 같은 물체라고 하더라도 서로 다른 물체의 특징이 추출되므로 물체 검출의 정확도가 낮은 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 방법을 제공한다.

CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 방법은, 검출하고자 하는 물체가 포함된 입력 영상을 획득하는 단계, 상기 물체의 크기를 정규화한 영상에서 추출한 고정 크기 특징과 상기 입력 영상에서 추출한 크기 의존적 특징 사이의 상관 관계를 학습한 크기 인식 기반 CNN에 상기 입력 영상을 입력하여, 상기 물체에 대한 크기 독립적 특징을 추출하는 단계 및 추출된 크기 독립적 특징을 물체 검출 신경망에 입력하여 상기 물체를 검출하는 단계를 포함할 수 있다.

상기 입력 영상을 획득하는 단계 전이나 후에, 상기 고정 크기 특징을 수집하여 고정 크기 특징 DB(database)를 생성하는 단계를 더 포함할 수 있다.

상기 고정 크기 특징 DB를 생성하는 단계는, 상기 물체의 크기 정보를 수집하는 단계, 수집된 상기 물체의 크기 정보를 이용하여 참조 크기를 결정하는 단계, 결정된 참조 크기를 이용하여 상기 입력 영상에 포함된 물체의 크기를 정규화하는 단계 및 정규화된 상기 입력 영상을 CNN에 입력하여 고정 크기 특징을 추출하는 단계를 포함할 수 있다.

상기 참조 크기를 결정하는 단계는, 상기 물체의 크기 정보에 포함된 값들 중에서 중간값(median)을 상기 참조 크기로 결정할 수 있다.

상기 크기 인식 기반 CNN은, 상기 참조 크기에 따라 상기 크기 의존적 특징을 분류하고, 분류된 크기에 상응하는 부분 신경망이 개별적으로 활성화되어 상기 크기 독립적 특징을 추출할 수 있다.

상기 크기 인식 기반 CNN은, 상기 크기 의존적 특징이 산출된 물체의 크기를 상기 참조 크기와 비교하여, 상기 참조 크기보다 큰 경우, 작은 경우 및 유사한 경우에 따라 개별적으로 활성화되는 3개의 부분 신경망을 포함할 수 있다.

상기 고정 크기 특징과 상기 크기 의존적 특징 사이의 상관 관계는, 상기 크기 의존적 특징에 따른 특징값을 공간축상에서 모두 더한 값(r_c)과 상기 고정 크기 특징에 따른 특징값을 공간축상에서 모두 더한 값(

) 사이의 차분값을 부드러운 1차 정규 손실 함수(smooth_L1)로 계산하여 결정될 수 있다.

상기 고정 크기 특징과 상기 크기 의존적 특징 사이의 상관 관계(L_san)는, 상기 입력 영상의 표시 방식에 따른 채널(C)에 대하여 수학식

로 정의될 수 있다.

상기 크기 인식 기반 CNN은, 상기 상관 관계를 학습하여 신경망 내부 파라미터(parameter)를 설정하는 제1 크기 인식 기반 CNN 및 상기 제1 크기 인식 기반 CNN의 신경망 내부 파라미터를 공유하여 상기 크기 독립적 특징을 추출하는 제2 크기 인식 기반 CNN을 포함할 수 있다.

상기 물체를 검출하는 단계는, 상기 크기 독립적 특징과 상기 크기 의존적 특징을 결합한 결과값을 상기 물체 검출 신경망에 입력함으로써, 상기 크기 의존적 특징에 따른 상기 물체의 영상 내 위치 정보를 고려하여 상기 물체를 검출할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 측면은, CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 장치를 제공한다.

상기 CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.

적어도 하나의 단계는, 검출하고자 하는 물체가 포함된 입력 영상을 획득하는 단계, 상기 물체의 크기를 정규화한 영상에서 추출한 고정 크기 특징과 상기 입력 영상에서 추출한 크기 의존적 특징 사이의 상관 관계를 학습한 크기 인식 기반 CNN에 상기 입력 영상을 입력하여, 상기 물체에 대한 크기 독립적 특징을 추출하는 단계 및 추출된 크기 독립적 특징을 물체 검출 신경망에 입력하여 상기 물체를 검출하는 단계를 포함할 수 있다.

로 정의될 수 있다.

상기와 같은 본 발명에 따른 CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치를 이용할 경우에는 영상에 표현된 물체의 크기와 관계없이 물체 자체가 가진 고유의 특징을 이용하여 물체를 검출할 수 있으므로 검출 성능이 크게 향상될 수 있다.

또한, 기존의 합성 곱 특징(또는 크기 의존적 특징)과 크기에 무관한 크기 독립적 특징을 결합하여 물체를 검출하면, 기존의 합성 곱 특징에 따른 물체의 영상 내 위치 정보와 크기 독립적 특징을 모두 이용하여 물체를 검출할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 내 물체에 대한 고정 크기 특징을 수집하여 데이터베이스로 구축하는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 크기 인식 기반 CNN에 대한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 크기 인식 기반 CNN을 학습시키는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 크기 의식 손실이 역전파되는 것을 차단하기 위해 크기 인식 기반 CNN을 듀얼로 구성한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 고정 크기 특징을 수집하여 데이터베이스를 구축하는 방법에 대한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 장치에 대한 구성도이다.
도 9a 내지 도 9d는 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치에 따른 물체 검출 성능을 나타내는 그래프이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치에 대한 개념도이다.

본 발명의 일 실시예에 따르면, 영상에 표시되는 물체의 크기에 관계없이 물체의 형상 자체가 가진 고유의 특징(이하에서 크기 독립적 특징으로 지칭할 수 있음)을 추출하고, 추출된 특징을 이용하여 물체를 검출하기 위한 방법을 제안한다. 이러한 목적을 달성하기 위해 본 발명에서는 크기 독립적 특징을 추출할 수 있는 크기 인식 기반 CNN을 학습시키고, 학습된 크기 인식 기반 CNN을 이용하여 물체를 검출한다.

구체적으로 도 1을 참조하면, 먼저 검출하고자 하는 물체가 포함된 영상을 CNN(10)에 입력하여 물체에 대한 크기 의존적 특징을 추출할 수 있다. 이때, 크기 의존적 특징은 영상에 따라 다양한 크기를 갖는 물체의 특징을 추출한 것이기 때문에, 영상에 표시된 물체가 동일하더라도 물체의 크기에 따라 서로 다를 수 있다.

여기서 CNN(10)은 입력 영상으로부터 특징을 추출하는 컨볼루셔널 레이어(Convolutional layer)를 포함할 수 있다. 컨볼루셔널 레이어는 입력 영상의 특징을 추출하는 필터, 필터의 값을 비선형 값으로 바꾸는 활성화 함수(activation function) 및 풀링 레이어(pooling layer) 중 적어도 하나를 포함할 수 있다. 필터는 일종의 행렬로 표현되는 입력 영상의 특징적 부분을 검출하는 함수로서, 일반적으로 행렬로 표현된다. 여기서 행렬로 표현된 입력 영상과 필터를 서로 합성 곱함으로써, 물체의 특징을 추출할 수 있는데, 여기서 추출된 특징은 특징 맵(feature map), 활성화 맵(activation map) 또는 관심 영역(Region of interest, ROI)으로 지칭될 수도 있다. 또한, 합성곱을 수행하는 간격 값을 스트라이드(stride)라고 지칭할 수 있는데, 스트라이드 값에 따라 다른 크기의 특징 맵이 추출될 수 있다. 이때, 특징 맵은 필터의 크기가 입력 영상보다 작으면, 기존의 입력 영상보다 더 작은 크기를 갖게 되는데, 여러 단계를 거쳐 특징이 소실되는 것을 방지하기 위하여 패딩 과정이 추가로 수행될 수 있다. 이때, 패딩 과정은 생성된 특징 맵의 외곽에 미리 설정된 값(예를 들면 0)을 추가함으로써 입력 영상의 크기와 특징 맵의 크기를 동일하게 유지하는 과정일 수 있다.

활성화 함수는 어떠한 값(또는 행렬)으로 추출된 특징을 비선형 값으로 바꾸는 함수로서, 시그모이드(sigmoid) 함수, ReLU 함수 등이 사용될 수 있다.

풀링 레이어는 추출된 특징맵에 대하여 서브 샘플링(subsampling) 또는 풀링(pooling)을 수행하여 특징맵을 대표하는 특징을 선정하는 계층으로서, 특징맵의 일정 영역에 대하여 가장 큰 값을 추출하는 맥스 풀링(max pooling), 평균값을 추출하는 애버리지 풀링(average pooling) 등이 수행될 수 있다. 이때, 풀링 레이어는 활성화 함수 이후에 반드시 수행되는 것이 아니라 선택적으로 수행될 수 있다.

그 밖에 CNN(10)의 구성과 동작에 대해서는 본 발명이 속하는 기술분야에서 통상의 기술자가 용이하게 이해할 수 있을 것이므로 구체적인 설명은 생략한다.

한편, 본 발명의 일 실시예에 따르면, 영상에 표시된 다양한 크기의 물체를 미리 설정된 크기로 정규화하고, 미리 설정된 크기의 물체가 표시된 영상을 대상으로 추출한 특징(이하에서 고정 크기 특징으로 지칭)을 수집하여 고정 크기 특징 DB(database, DB, 11)를 미리 구축할 수 있다.

이때, 미리 구축된 고정 크기 특징 DB(11)에서 얻어지는 고정 크기 특징과 다양한 크기의 물체가 표시된 영상에서 얻은 크기 의존적 특징 사이의 상관 관계를 크기 인식 기반 CNN(12)이 학습할 수 있도록 한다. 상관 관계를 학습한 크기 인식 기반 CNN(12)은 입력 영상에 대해 크기 독립적 특징을 추출할 수 있게 된다.

다음으로, 크기 인식 기반 CNN(12)을 통해 크기 독립적 특징이 추출되면, 물체 검출 신경망(13)은 추출된 크기 독립적 특징을 이용하여 입력 영상에 표시된 물체를 검출할 수 있다.

이때, 물체 검출 신경망(13)은 입력 영상에 표시된 물체를 하나 이상의 검출 가능성이 있는 후보 물체로 분류하는 분류기(classifier) 및 회귀 분석을 통해 어떤 물체인지 예측하는 리그레서(Regressor)로 구성될 수 있는데, 물체 검출 신경망(13)은 본 발명이 속하는 기술분야에서 통상의 기술자가 용이하게 구현할 수 있으므로 자세한 설명은 생략한다.

도 2는 본 발명의 일 실시예에 따른 영상 내 물체에 대한 고정 크기 특징을 수집하여 데이터베이스로 구축하는 개념도이다.

본 발명의 일 실시예에 따르면, 도 1의 크기 인식 기반 CNN(12)을 학습시키기 위해 고정 크기 특징이 사용될 수 있다. 이때, 고정 크기 특징은 고정된 크기로 정규화된 물체에 대하여 추출된 특징으로서, 미리 수집될 필요가 있다.

도 2를 참조하면, 고정 크기 특징이 수집되어 데이터베이스로 구축되는 과정을 설명할 수 있다. 먼저 하나 이상의 영상(또는 하나 이상의 픽쳐)에 표시된 물체의 크기를 미리 설정된 크기로 정규화할 수 있다(21). 이때, 정규화된 영상은 영상 내에 표시된 물체가 하나 이상 존재할 경우, 개별 물체가 표시된 영역을 추출하고, 추출된 영역의 크기를 미리 설정된 크기로 정규화함으로써, 하나의 영상에 대해 복수개의 정규화된 영상이 도출될 수도 있다.

한편, 여기서 미리 설정된 크기는 별도로 구축된 물체 DB(22)를 통해 얻어진 참조 크기에 따라 설정될 수 있다. 여기서 물체 DB(22)는 개별 물체가 표시된 영상들이 저장되어 있거나, 개별 물체에 대한 크기(넓이, 폭, 높이 등으로 대표적으로는 넓이)가 저장되어 있다. 따라서, 물체 DB(22)에 포함된 크기 중에서 선정된 크기(예를 들면 중앙값)를 참조 크기로 하여 정규화할 크기가 설정될 수 있다.

물체의 크기가 정규화된 영상이 도출되면, 크기 정규화된 영상을 CNN(23)에 입력하여 영상에 포함된 물체의 특징을 추출할 수 있다. 여기서 추출되는 물체의 특징은 크기가 정규화된 물체를 대상으로 추출되었기 때문에 도 1에서 설명한 고정 크기 특징으로 지칭될 수 있다. 여기서 CNN(23)은 도 1에 따른 CNN(10)과 동일한 구조를 가지거나 통상의 기술자에 따라 다양한 방식으로 구현될 수 있다.

도 3은 본 발명의 일 실시예에 따른 크기 인식 기반 CNN에 대한 개념도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 크기 인식 기반 CNN은 크기에 독립적으로(또는 크기에 관련없는) 물체의 특징을 추출하는 신경망으로서, 입력 영상에 대하여 추출된 관심영역들을 관심영역에 포함된 물체의 크기에 따라 분류하는 분류기(31) 물체의 크기에 따라 독립적으로 활성화되는 복수의 부분 신경망(32) 및 중 적어도 하나를 포함할 수 있다.

여기서 분류기(31)는 입력된 관심영역을 물체의 크기에 따라 분류하여 해당되는 크기에 상응하는 부분 신경망(32)을 활성화할 수 있다. 이때, 분류 기준이 되는 크기는 앞서 도 2에 따른 참조 크기가 될 수 있다.

예를 들어 부분 신경망(32)은 참조 크기보다 미리 설정된 임계값 이상 작은 경우, 미리 설정된 임계값보다 큰 경우, 미리 설정된 임계값 이내인 경우에 따라 각각 하나씩 구현되어 최소 3개일 수 있다. 또한, 부분 신경망(32)은 미리 학습된 고정 크기 특징과 크기 의존적 특징 사이의 관계를 이용하여 입력된 물체의 특징에서, 물체의 크기가 미치는 영향을 제외함으로써 크기 독립적 특징을 추출할 수 있다.

도 4는 본 발명의 일 실시예에 따른 크기 인식 기반 CNN을 학습시키는 과정을 설명하기 위한 개념도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 크기 인식 기반 CNN은 먼저 입력 영상(40)에 대하여 고정 크기 특징(42)을 추출하는 제1 과정(40a)과 입력 영상에서 추출된 관심 영역(43)을 크기 인식 기반 CNN(44)에 입력하여 크기 의존적 특징(45)을 추출하는 제2 과정(40b)을 통해 학습될 수 있다.

여기서 고정 크기 특징(42)은 고정된 크기로 정규화된 관심 영역들(41)을 필터와 합성 곱(convolution)하고, 풀링을 선택적으로 수행하여 획득될 수 있다.

이때, 크기 인식 기반 CNN(44)은 관심 영역(43)을 참조 크기에 따라 분류하고, 분류된 관심 영역(43)을 필터와 컨볼루션한 후 활성화 함수(ReLU)를 적용함으로써 크기 의존적 특징(45)을 추출할 수 있다. 여기서 추출된 크기 의존적 특징(45)은 입력 영상이 RGB에 기반한 경우, R,G,B 각각 3개의 채널에 따라 3개의 특징값일 수 있다.

여기서, 크기 인식 기반 CNN(44)은 고정 크기 특징(42)의 전역 평균값과 크기 의존적 특징(45)의 전역 평균값 사이의 차분값을 부드러운 1차 정규 손실 함수(smooth L1)로 계산함으로써, 고정 크기 특징(42)과 크기 의존적 특징(45) 사이의 관계를 학습할 수 있다.

구체적으로, 고정 크기 특징(42)과 크기 의존적 특징(45) 사이의 관계는 다음의 수학식 1에 따른 함수로 정의될 수 있다.

상기 수학식 1을 참조하면, 각 채널(c, 예를 들어 R,G,B마다 각각 하나)마다 크기 의존적 특징(44)을 공간 축에 대하여 모두 더한 값(r_c)과 고정 크기 특징(42)을 공간 축(x, y)에 대하여 모두 더한 값(

) 사이의 차분값을 부드러운 정규 손실 함수(smooth_L1)에 입력하고 각 채널의 결과값을 합산함으로써, 고정 크기 특징(42)과 크기 의존적 특징(44) 사이의 관계가 정의될 수 있다. 이때, 수학식 1에 따른 관계는 크기 의식 손실(size aware loss)로 지칭될 수도 있다.

크기 인식 기반 CNN(44)에 대한 학습이 끝나면, 학습에 따라 결정된 파라미터를 기반으로 크기 인식 기반 CNN(44)에 따른 특징 추출 과정(40b)을 수행함으로써, 영상에 포함된 물체에 대한 크기 독립적 특징을 추출할 수 있고 추출된 크기 독립적 특징을 물체 검출 신경망(46)에 입력함으로써 최종적으로 물체를 검출할 수 있다.

도 5는 본 발명의 일 실시예에 따른 크기 의식 손실이 역전파되는 것을 차단하기 위해 크기 인식 기반 CNN을 듀얼로 구성한 개념도이다.

일반적으로 인공 신경망(nurural network)은 다중 계층으로 구성되어 있고, 계층이 복잡해질수록 연산이 복잡해지고 최적의 값을 계산할 수 없는 문제가 있다. 이러한 문제를 해결하기 위해 인공 신경망에서는, 일반적으로 인공 신경망의 연산 결과값을 다시 역방향으로 계산하면서 결론을 도출하는 역전파(back propagation) 개념이 사용된다. 그러나, 본 발명의 일 실시예에 따른 크기 의식 손실(또는 크기 독립적 특징과 크기 의존적 특징 사이의 관계 학습)이 역전파되는 경우 검출 성능의 저하를 야기할 수 있다. 따라서, 본 발명의 일 실시예에 따른 크기 인식 기반 CNN은 역전파를 차단하기 위해 듀얼로 구성될 수 있다.

구체적으로, 도 5를 참조하면 제1 크기 인식 기반 CNN(51)이 크기 의식 손실을 학습하여 신경망 내부의 파라미터를 설정하게 되며, 설정된 파라미터를 공유하는 제2 크기 인식 기반 CNN(52)을 실제 영상의 물체 검출에 사용함으로써, 역전파를 차단할 수 있다. 반면, 제2 크기 인식 기반 CNN(52)는 검출 신경망에 따른 검출 결과(또는 검출 손실)를 다시 신경망 전체로 역전파할 수 있다.

한편, 도 5에서 제2 크기 인식 기반 CNN에서 도출되는 크기 독립적 특징은 그대로 물체 검출 신경망에 입력되어 물체를 검출할 수도 있으나, 기존의 합성 곱 특징과 크기 독립적 특징을 서로 결합시키고 결합된 특징이 검출 신경망에 입력될 수 있다.

크기 독립적 특징은 영상 내 물체의 위치에 따른 정보가 배제되어 있기 때문에 기존의 합성 곱 특징과 결합시키면 표현력을 더 풍부하게 만들 수 있다. 여기서 결합된 특징은 기존 합성 곱 특징에 따른 물체의 위치를 반영하고 있고, 크기 독립적일 수 있다. 도 5를 참조하면, 이러한 특징 결합을 반영하기 위하여 가산기(53)가 부가된 것을 확인할 수 있다.

도 6은 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법에 대한 흐름도이다. 도 7은 본 발명의 일 실시예에 따른 고정 크기 특징을 수집하여 데이터베이스를 구축하는 방법에 대한 흐름도이다.

도 6을 참조하면, CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 방법은, 검출하고자 하는 물체가 포함된 입력 영상을 획득하는 단계(S100), 상기 물체의 크기를 정규화한 영상에서 추출한 고정 크기 특징과 상기 입력 영상에서 추출한 크기 의존적 특징 사이의 상관 관계를 학습한 크기 인식 기반 CNN에 상기 입력 영상을 입력하여, 상기 물체에 대한 크기 독립적 특징을 추출하는 단계(S110) 및 추출된 크기 독립적 특징을 물체 검출 신경망에 입력하여 상기 물체를 검출하는 단계(S120)를 포함할 수 있다.

상기 입력 영상을 획득하는 단계(S100) 전이나 후에, 상기 고정 크기 특징을 수집하여 고정 크기 특징 DB(database)를 생성하는 단계를 더 포함할 수 있다.

도 7을 참조할 때 상기 고정 크기 특징 DB를 생성하는 단계는, 상기 물체의 크기 정보를 수집하는 단계(S200), 수집된 상기 물체의 크기 정보를 이용하여 참조 크기를 결정하는 단계(S210), 결정된 참조 크기를 이용하여 상기 입력 영상에 포함된 물체의 크기를 정규화하는 단계(S220) 및 정규화된 상기 입력 영상을 CNN에 입력하여 고정 크기 특징을 추출하는 단계(S230)를 포함할 수 있다.

상기 참조 크기를 결정하는 단계(S110)는, 상기 물체의 크기 정보에 포함된 값들 중에서 중간값(median)을 상기 참조 크기로 결정할 수 있다.

로 정의될 수 있다.

상기 물체를 검출하는 단계(S120)는, 상기 크기 독립적 특징과 상기 크기 의존적 특징을 결합한 결과값을 상기 물체 검출 신경망에 입력함으로써, 상기 크기 의존적 특징에 따른 상기 물체의 영상 내 위치 정보를 고려하여 상기 물체를 검출할 수 있다.

도 8은 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 장치에 대한 구성도이다.

도 8을 참조하면, CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 장치(100)는, 적어도 하나의 프로세서(processor, 110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.

상기 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.

또한, CNN을 이용하여 크기 독립적으로 물체를 검출하는 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver, 130)를 포함할 수 있다. 또한, CNN을 이용하여 크기 독립적으로 물체를 검출하는 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. CNN을 이용하여 크기 독립적으로 물체를 검출하는 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.

상기 적어도 하나의 단계는, 검출하고자 하는 물체가 포함된 입력 영상을 획득하는 단계, 상기 물체의 크기를 정규화한 영상에서 추출한 고정 크기 특징과 상기 입력 영상에서 추출한 크기 의존적 특징 사이의 상관 관계를 학습한 크기 인식 기반 CNN에 상기 입력 영상을 입력하여, 상기 물체에 대한 크기 독립적 특징을 추출하는 단계 및 추출된 크기 독립적 특징을 물체 검출 신경망에 입력하여 상기 물체를 검출하는 단계를 포함할 수 있다.

로 정의될 수 있다.

도 9a 내지 도 9d는 본 발명의 일 실시예에 따른 CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치에 따른 물체 검출 성능을 나타내는 그래프이다.

도 9a 내지 도 9d는 각각 배경(background), 비행기(aeroplane), 자전거(bicycle), 새(bird) 등이 도시된 픽쳐(또는 영상)을 입력 영상으로 사용하여 영상에 포함된 물체를 검출한 성능을 나타낸 것이다. 이때, 각 그래프는 기존의 관심 영역 기반의 물체 검출 방법(pooling)과 본 발명의 일 실시예에 따른 크기 인식 기반 CNN을 이용하여 크기 독립적으로 물체를 검출하는 방법(Pooling with SAN)을 서로 비교하여, 물체의 크기(scale)에 따른 평균 제곱근 오차(root mean square error, RMSE)을 도시한 것이다.

도 9a 내지 도 9d를 참조하면, 본 발명의 일 실시예에 따른 크기 독립적으로 물체를 검출하는 방법 및 장치를 사용한 경우에서, 종래의 기술보다 오검출율이 모든 크기 범위에서 더 낮게 측정된 것을 확인할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 방법에서,
검출하고자 하는 물체가 포함된 입력 영상을 획득하는 단계;
상기 물체의 크기를 정규화한 영상에서 추출한 고정 크기 특징과 상기 입력 영상에서 추출한 크기 의존적 특징 사이의 상관 관계를 학습한 크기 인식 기반 CNN에 상기 입력 영상을 입력하여, 상기 물체에 대한 크기 독립적 특징을 추출하는 단계; 및
추출된 크기 독립적 특징을 물체 검출 신경망에 입력하여 상기 물체를 검출하는 단계를 포함하며,
상기 크기 독립적 특징은, 상기 입력 영상에 표시되는 물체의 형상 자체의 특징으로서, 입력된 물체의 특징에서 물체의 크기가 미치는 영향을 제외한 특징인, 크기 독립적으로 물체를 검출하는 방법.
청구항 1에서,
상기 입력 영상을 획득하는 단계 전이나 후에,
상기 고정 크기 특징을 수집하여 고정 크기 특징 DB(database)를 생성하는 단계를 더 포함하는, 크기 독립적으로 물체를 검출하는 방법.
청구항 2에서,
상기 고정 크기 특징 DB를 생성하는 단계는,
상기 물체의 크기 정보를 수집하는 단계;
수집된 상기 물체의 크기 정보를 이용하여 참조 크기를 결정하는 단계;
결정된 참조 크기를 이용하여 상기 입력 영상에 포함된 물체의 크기를 정규화하는 단계; 및
정규화된 상기 입력 영상을 CNN에 입력하여 고정 크기 특징을 추출하는 단계를 포함하는, 크기 독립적으로 물체를 검출하는 방법.
청구항 3에서,
상기 참조 크기를 결정하는 단계는,
상기 물체의 크기 정보에 포함된 값들 중에서 중간값(median)을 상기 참조 크기로 결정하는, 크기 독립적으로 물체를 검출하는 방법.
청구항 3에서,
상기 크기 인식 기반 CNN은,
상기 참조 크기에 따라 상기 크기 의존적 특징을 분류하고, 분류된 크기에 상응하는 부분 신경망이 개별적으로 활성화되어 상기 크기 독립적 특징을 추출하는, 크기 독립적으로 물체를 검출하는 방법.
청구항 5에서,
상기 크기 인식 기반 CNN은,
상기 크기 의존적 특징이 산출된 물체의 크기를 상기 참조 크기와 비교하여, 상기 참조 크기보다 큰 경우, 작은 경우 및 유사한 경우에 따라 개별적으로 활성화되는 3개의 부분 신경망을 포함하는, 크기 독립적으로 물체를 검출하는 방법.
청구항 1에서,
상기 고정 크기 특징과 상기 크기 의존적 특징 사이의 상관 관계는,
상기 크기 의존적 특징에 따른 특징값을 공간축상에서 모두 더한 값(r_c)과 상기 고정 크기 특징에 따른 특징값을 공간축상에서 모두 더한 값(
) 사이의 차분값을 부드러운 1차 정규 손실 함수(smooth_L1)로 계산하여 결정되는, 크기 독립적으로 물체를 검출하는 방법.
청구항 7에서,
상기 고정 크기 특징과 상기 크기 의존적 특징 사이의 상관 관계(L_san)는, 상기 입력 영상의 표시 방식에 따른 채널(C)에 대하여 수학식

로 정의되는, 크기 독립적으로 물체를 검출하는 방법.
청구항 1에서,
상기 크기 인식 기반 CNN은,
상기 상관 관계를 학습하여 신경망 내부 파라미터(parameter)를 설정하는 제1 크기 인식 기반 CNN; 및
상기 제1 크기 인식 기반 CNN의 신경망 내부 파라미터를 공유하여 상기 크기 독립적 특징을 추출하는 제2 크기 인식 기반 CNN을 포함하는, 크기 독립적으로 물체를 검출하는 방법.
청구항 1에서,
상기 물체를 검출하는 단계는,
상기 크기 독립적 특징과 상기 크기 의존적 특징을 결합한 결과값을 상기 물체 검출 신경망에 입력함으로써, 상기 크기 의존적 특징에 따른 상기 물체의 영상 내 위치 정보를 고려하여 상기 물체를 검출하는, 크기 독립적으로 물체를 검출하는 방법.
CNN(Convolutional Neural Network)을 이용하여 크기 독립적으로 물체를 검출하는 장치로서,
적어도 하나의 프로세서(processor); 및
상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
상기 적어도 하나의 단계는,
검출하고자 하는 물체가 포함된 입력 영상을 획득하는 단계;
상기 물체의 크기를 정규화한 영상에서 추출한 고정 크기 특징과 상기 입력 영상에서 추출한 크기 의존적 특징 사이의 상관 관계를 학습한 크기 인식 기반 CNN에 상기 입력 영상을 입력하여, 상기 물체에 대한 크기 독립적 특징을 추출하는 단계; 및
추출된 크기 독립적 특징을 물체 검출 신경망에 입력하여 상기 물체를 검출하는 단계를 포함하며,
상기 크기 독립적 특징은, 상기 입력 영상에 표시되는 물체의 형상 자체의 특징으로서, 입력된 물체의 특징에서 물체의 크기가 미치는 영향을 제외한 특징인, 크기 독립적으로 물체를 검출하는 장치.
청구항 11에서,
상기 입력 영상을 획득하는 단계 전이나 후에,
상기 고정 크기 특징을 수집하여 고정 크기 특징 DB(database)를 생성하는 단계를 더 포함하는, 크기 독립적으로 물체를 검출하는 장치.
청구항 12에서,
상기 고정 크기 특징 DB를 생성하는 단계는,
상기 물체의 크기 정보를 수집하는 단계;
수집된 상기 물체의 크기 정보를 이용하여 참조 크기를 결정하는 단계;
결정된 참조 크기를 이용하여 상기 입력 영상에 포함된 물체의 크기를 정규화하는 단계; 및
정규화된 상기 입력 영상을 CNN에 입력하여 고정 크기 특징을 추출하는 단계를 포함하는, 크기 독립적으로 물체를 검출하는 장치.
청구항 13에서,
상기 참조 크기를 결정하는 단계는,
상기 물체의 크기 정보에 포함된 값들 중에서 중간값(median)을 상기 참조 크기로 결정하는, 크기 독립적으로 물체를 검출하는 장치.
청구항 13에서,
상기 크기 인식 기반 CNN은,
상기 참조 크기에 따라 상기 크기 의존적 특징을 분류하고, 분류된 크기에 상응하는 부분 신경망이 개별적으로 활성화되어 상기 크기 독립적 특징을 추출하는, 크기 독립적으로 물체를 검출하는 장치.
청구항 15에서,
상기 크기 인식 기반 CNN은,
상기 크기 의존적 특징이 산출된 물체의 크기를 상기 참조 크기와 비교하여, 상기 참조 크기보다 큰 경우, 작은 경우 및 유사한 경우에 따라 개별적으로 활성화되는 3개의 부분 신경망을 포함하는, 크기 독립적으로 물체를 검출하는 장치.
청구항 11에서,
상기 고정 크기 특징과 상기 크기 의존적 특징 사이의 상관 관계는,
상기 크기 의존적 특징에 따른 특징값을 공간축상에서 모두 더한 값(r_c)과 상기 고정 크기 특징에 따른 특징값을 공간축상에서 모두 더한 값(
) 사이의 차분값을 부드러운 1차 정규 손실 함수(smooth_L1)로 계산하여 결정되는, 크기 독립적으로 물체를 검출하는 장치.
청구항 17에서,
상기 고정 크기 특징과 상기 크기 의존적 특징 사이의 상관 관계(L_san)는, 상기 입력 영상의 표시 방식에 따른 채널(C)에 대하여 수학식

로 정의되는, 크기 독립적으로 물체를 검출하는 장치.
청구항 11에서,
상기 크기 인식 기반 CNN은,
상기 상관 관계를 학습하여 신경망 내부 파라미터(parameter)를 설정하는 제1 크기 인식 기반 CNN; 및
상기 제1 크기 인식 기반 CNN의 신경망 내부 파라미터를 공유하여 상기 크기 독립적 특징을 추출하는 제2 크기 인식 기반 CNN을 포함하는, 크기 독립적으로 물체를 검출하는 장치.
청구항 11에서,
상기 물체를 검출하는 단계는,
상기 크기 독립적 특징과 상기 크기 의존적 특징을 결합한 결과값을 상기 물체 검출 신경망에 입력함으로써, 상기 크기 의존적 특징에 따른 상기 물체의 영상 내 위치 정보를 고려하여 상기 물체를 검출하는, 크기 독립적으로 물체를 검출하는 장치.