KR102337358B1

KR102337358B1 - 모바일 장치 또는 소형 네트워크에 적용 가능한 하드웨어를 최적화하는데 사용될 수 있는 roi를 풀링하기 위하여, 마스킹 파라미터를 이용하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Info

Publication number: KR102337358B1
Application number: KR1020190119523A
Authority: KR
Inventors: 김용중; 김인수; 김학경; 남운현; 부석훈; 성명철; 유우주; 정경중; 제홍모; 조호진
Original assignee: 주식회사 스트라드비젼
Priority date: 2019-01-23
Filing date: 2019-09-27
Publication date: 2021-12-10
Also published as: CN111476343A; KR20200091783A; JP2020119529A; JP6957050B2; EP3687152B1; US10325179B1; EP3687152A1; CN111476343B

Abstract

본 발명은 하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 방법에 있어서, (a) 입력 이미지가 획득되면, 컴퓨팅 장치가, CNN의 컨벌루션 레이어로 하여금, 상기 입력 이미지에 대응하는 특징 맵을 생성하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 상기 CNN의 RPN으로 하여금, 상기 특징 맵을 이용하여 상기 입력 이미지에 포함된 적어도 하나의 객체에 대응되는 ROI를 결정하도록 하는 단계; (c) 상기 컴퓨팅 장치가, 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 ROI 내에 있는 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 학습 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

Description

모바일 장치 또는 소형 네트워크에 적용 가능한 하드웨어를 최적화하는데 사용될 수 있는 ROI를 풀링하기 위하여, 마스킹 파라미터를 이용하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치{LEARNING METHOD AND LEARNING DEVICE FOR POOLING ROI BY USING MASKING PARAMETERS TO BE USED FOR MOBILE DEVICES OR COMPACT NETWORKS VIA HARDWARE OPTIMIZATION, AND TESTING METHOD AND TESTING DEVICE USING THE SAME}

딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Network or Deep CNN)는 딥 러닝 분야에서 일어난 눈부신 발전의 핵심이다. CNN은 글자 인식 문제를 해결하기 위해 90년대에도 사용되었지만, 근래에 들어서야 기계 학습(Machine Learning) 분야에서 널리 쓰이게 되었다. 예를 들어, CNN은 2012년에 이미지 인식 경진대회(ImageNet Large Scale Visual Recognition Challenge)에서 다른 경쟁 상대를 제치고 우승을 차지했다. 그 후, CNN은 기계 학습 분야에서 매우 유용한 툴로 쓰이게 되었다.

한편, ROI 풀링은 서브 영역(sub-regions) 각각에 대응하는 대표 특징 값 각각을 이용하여 풀링하는 방법으로서, 서브 영역 각각은 적어도 하나의 ROI, 즉 관심 영역(Region-of-Interest)에 포함된다. 관심 영역은 입력 이미지의 적어도 하나의 중요한 부분, 즉, 적어도 하나의 타겟 객체가 위치하는 적어도 하나의 부분이다. ROI 풀링은 기계 학습에서 널리 사용되며 계산 부하를 줄일 수 있다.

종래의 ROI 풀링 방법에 따르면, 입력 이미지에 포함된 객체에 대응하는 ROI가 RPN에 의해 결정되는 상태에서, ROI의 각 서브 영역에 풀링 연산이 적용된다. 풀링 연산을 통해 ROI의 각각의 서브 영역에 대응하는 각각의 대표 특징 값이 계산된다. 여기서, 서브 영역별 대표 특징 값은 각각의 서브 영역별로 각각의 특징 값의 평균을 이용하거나, 각각의 서브 영역별로 각각의 특징 값 중 가장 큰 값을 이용하여 생성된다.

도 4는 종래의 ROI 풀링 방법에 따라 ROI 풀링을 위한 대표 특징 값을 생성하는 프로세스를 도시한 것이다.

도 4를 참조하면, 각 서브 영역별로 이에 대응하는 모든 특징 값이 각각의 대표 특징 값을 생성하는데 사용된 것을 알 수 있다.

그러나, 종래의 ROI 풀링 방법은 ROI의 서브 영역이 직사각형이지만, 임의의 입력 이미지에 포함된 임의의 객체 모양은 일반적으로 직사각형이 아니기 때문에, 필요한 것보다 많은 메모리 접근을 하게 되는 중요한 문제가 있다. 따라서, 서브 영역에는 포함되지만 입력 이미지의 객체에는 포함되지 않는 불필요한 픽셀이 있을 수 있다. 불필요한 픽셀에 대한 이러한 비효율적이고 필요하지 않은 접근은 풀링 결과에 왜곡을 일으키거나 학습 속도를 떨어뜨릴 수 있다.

본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.

본 발명은 ROI에 포함된 특징 값에 대응하는 마스킹 파라미터를 참조로 하여, 최적화된 메모리 접근을 위한 ROI 풀링 방법을 제공하는 것을 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 방법에 있어서, (a) 입력 이미지가 획득되면, 컴퓨팅 장치가, CNN의 컨벌루션 레이어로 하여금, 상기 입력 이미지에 대응하는 특징 맵을 생성하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 상기 CNN의 RPN으로 하여금, 상기 특징 맵을 이용하여 상기 입력 이미지에 포함된 적어도 하나의 객체에 대응되는 ROI를 결정하도록 하는 단계; (c) 상기 컴퓨팅 장치가, 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 ROI 내에 있는 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 학습 방법이 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 학습 방법이 제공된다.

일 실시예에서, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 학습 방법이 제공된다.

일 실시예에서, (d) 상기 컴퓨팅 장치가, 상기 CNN의 출력 레이어로 하여금, 상기 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, CNN 출력 값을 생성하도록 하는 단계; 및 (e) 상기 컴퓨팅 장치가, 상기 CNN의 로스 레이어로 하여금, 상기 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 단계;를 더 포함하는 것을 특징으로 하는 학습 방법이 제공된다.

일 실시예에서, 상기 (e) 단계는, 상기 컴퓨팅 장치가, 상기 로스 값을 백프로파게이션함으로써 상기 컨벌루션 레이어 및 상기 출력 레이어에 포함된 파라미터의 적어도 일부를 더 학습하는 것을 특징으로 하는 학습 방법이 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값 각각을 출력하고, 상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 학습 방법이 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값을 각각 출력하고, 상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 학습 방법이 제공된다.

본 발명의 다른 태양에 따르면, 하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 테스트 방법에 있어서, (a) (1) 컴퓨팅 장치가, CNN의 컨벌루션 레이어로 하여금, 트레이닝 이미지에 대응하는 트레이닝용 특징 맵을 생성하도록 하는 단계; (2) 상기 컴퓨팅 장치가, 상기 CNN의 RPN으로 하여금, 상기 트레이닝용 특징 맵을 이용하여 상기 트레이닝 이미지에 포함된 적어도 하나의 트레이닝용 객체에 대응되는 트레이닝용 ROI를 결정하도록 하는 단계; (3) 상기 컴퓨팅 장치가, 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 트레이닝용 ROI 내에 있는 트레이닝용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 트레이닝용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계; (4) 상기 컴퓨팅 장치가, 상기 CNN의 출력 레이어로 하여금, 상기 트레이닝용 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, 트레이닝용 CNN 출력 값을 생성하도록 하는 단계; 및 (5) 상기 컴퓨팅 장치가, 상기 CNN의 로스 레이어로 하여금, 상기 트레이닝용 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 단계;를 거쳐 학습이 완료된 상태에서, 상기 테스트 장치가, 테스트 이미지를 획득하면, 상기 CNN의 상기 컨벌루션 레이어로 하여금, 상기 테스트 이미지에 대응하는 테스트용 특징 맵을 생성하도록 하는 단계; (b) 상기 테스트 장치가, 상기 CNN의 상기 RPN 으로 하여금, 상기 테스트용 특징 맵을 이용하여 상기 테스트 이미지에 포함된 적어도 하나의 테스트용 객체에 대응되는 테스트용 ROI를 결정하도록 하는 단계; (c) 상기 테스트 장치가, 상기 CNN의 상기 ROI 풀링 레이어로 하여금, 상기 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 테스트용 ROI내에 있는 테스트용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 테스트용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계; (d) 상기 테스트 장치가, 상기 CNN의 상기 출력 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵에 상기 뉴럴 네트워크 연산(neural network operations)을 적용하여, 테스트용 CNN 출력 값을 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 테스트 방법이 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (c) 단계는, 상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 테스트 방법이 제공된다.

일 실시예에서, 상기 마스킹 파라미터 중에서 특정 마스킹 파라미터가 상기 제1 값인 경우, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 테스트 방법이 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (c) 단계는, 상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (c) 단계는, 상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값 각각을 출력하고, 상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 방법이 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (c) 단계는, 상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (c) 단계는, 상기 테스트 장치가, 상가 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값을 각각 출력하고, 상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 방법이 제공된다.

본 발명의 또 다른 태양에 따르면, 하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) CNN의 컨벌루션 레이어로 하여금, 입력 이미지에 대응하는 특징 맵을 생성하도록 하는 프로세스; (II) 상기 CNN의 RPN으로 하여금, 상기 특징 맵을 이용하여 상기 입력 이미지에 포함된 적어도 하나의 객체에 대응되는 ROI를 결정하도록 하는 프로세스; (III) 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 ROI 내에 있는 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.

일 실시예에서, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.

일 실시예에서, 상기 프로세서가, (IV) 상기 CNN의 출력 레이어로 하여금, 상기 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, CNN 출력 값을 생성하도록 하는 프로세스; 및 (V) 상기 CNN의 로스 레이어로 하여금, 상기 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 프로세스;를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.

일 실시예에서, 상기 (V) 프로세스는, 상기 프로세서가, 상기 로스 값을 백프로파게이션함으로써 상기 컨벌루션 레이어 및 상기 출력 레이어에 포함된 파라미터의 적어도 일부를 더 학습하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값 각각을 출력하고, 상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값을 각각 출력하고, 상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.

본 발명의 또 다른 태양에 따르면, 하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 테스트 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (1) 컴퓨팅 장치가, CNN의 컨벌루션 레이어로 하여금, 트레이닝 이미지에 대응하는 트레이닝용 특징 맵을 생성하도록 하는 단계; (2) 상기 컴퓨팅 장치가, 상기 CNN의 RPN으로 하여금, 상기 트레이닝용 특징 맵을 이용하여 상기 트레이닝 이미지에 포함된 적어도 하나의 트레이닝용 객체에 대응되는 트레이닝용 ROI를 결정하도록 하는 단계; (3) 상기 컴퓨팅 장치가, 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 트레이닝용 ROI 내에 있는 트레이닝용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 트레이닝용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계; (4) 상기 컴퓨팅 장치가, 상기 CNN의 출력 레이어로 하여금, 상기 트레이닝용 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, 트레이닝용 CNN 출력 값을 생성하도록 하는 단계; 및 (5) 상기 컴퓨팅 장치가, 상기 CNN의 로스 레이어로 하여금, 상기 트레이닝용 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 단계;를 거쳐 학습이 완료된 상태에서, (I) 상기 CNN의 상기 컨벌루션 레이어로 하여금, 테스트 이미지에 대응하는 테스트용 특징 맵을 생성하도록 하는 프로세스; (II) 상기 CNN의 상기 RPN 으로 하여금, 상기 테스트용 특징 맵을 이용하여 상기 테스트 이미지에 포함된 적어도 하나의 테스트용 객체에 대응되는 테스트용 ROI를 결정하도록 하는 프로세스; (III) 상기 CNN의 상기 ROI 풀링 레이어로 하여금, 상기 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 테스트용 ROI내에 있는 테스트용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 테스트용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 프로세스; (IV) 상기 CNN의 상기 출력 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵에 상기 뉴럴 네트워크 연산(neural network operations)을 적용하여, 테스트용 CNN 출력 값을 생성하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 테스트 장치가 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치가 제공된다.

일 실시예에서, 상기 마스킹 파라미터 중에서 특정 마스킹 파라미터가 상기 제1 값인 경우, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 테스트 장치가 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값 각각을 출력하고, 상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 장치가 제공된다.

일 실시예에서, 상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고, 상기 (III) 프로세서는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되, 상기 (III) 프로세스는, 상기 프로세서가, 상가 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값을 각각 출력하고, 상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 장치가 제공된다.

본 발명은 ROI에 포함된 특징 값에 대응하는 마스킹 파라미터를 참조로 하여, ROI 풀링에 사용될 특징 값을 선택함으로써 메모리 접근 횟수가 최적화되는 효과가 있다.

또한, 본 발명의 ROI 풀링 방법은 하드웨어의 최적화를 통해 모바일 장치 또는 소형 네트워크에 적용 가능하다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 마스킹 파라미터를 이용하여 ROI 풀링 레이어를 학습하기 위한 컴퓨팅 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 CNN의 구성 및 학습 과정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 대표 특징 값을 생성하는 과정을 나타낸 예시 도면이다.
도 4는 종래의 ROI 풀링 방법에 따라 대표 특징 값을 생성하는 과정을 나타낸 예시 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 마스킹 파라미터를 이용하여 ROI 풀링 레이어를 학습하기 위한 컴퓨팅 장치의 구성을 나타낸 도면이다. 여기서, 컴퓨팅 장치는 학습 장치를 나타낼 수 있다.

도 1을 참조하면, 컴퓨팅 장치(100)는 CNN(200)을 포함할 수 있다. 상기 CNN(200)에 의한 다양한 데이터의 입력 및 출력과 각종 데이터 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 그러나, 도 1에서 통신부(110)와 프로세서(120)가 어떻게 연결되는 지에 대한 상세한 설명은 생략한다. 또한, 컴퓨팅 장치는 다음 프로세스를 수행하기 위한 컴퓨터 판독 가능한 명령어를 저장할 수 있는 메모리(115)를 더 포함할 수 있다. 일 예로서, 프로세서, 메모리, 미디엄 등은 통합 프로세서와 통합될 수 있다.

도 2는 본 발명의 일 실시예에 따른 CNN의 구성 및 학습 과정을 나타낸 도면이다.

도 2를 참조하면, CNN(200)은 컨벌루션 레이어(210), RPN(220), ROI 풀링 레이어(230), 출력 레이어(240), 로스 레이어(250)를 포함할 수 있다.

먼저, 컨벌루션 레이어(210)는 입력 이미지에 하나 이상의 컨벌루션 연산을 적용하여 특징 맵을 생성하기 위한 프로세스를 수행할 수 있다.

RPN(220)은 출력된 특징 맵을 이용하여 입력 이미지에 포함된 적어도 하나의 객체에 대응되는 적어도 하나의 ROI(Region-Of-Interest)를 결정하기 위한 프로세스를 수행할 수 있다. ROI결정에 이용되는 특징 맵은 컨벌루션 레이어(210)에서 최종적으로 출력된 특징 맵일 수 있으나 이에 한정되는 것은 아니다.

ROI 풀링 레이어(230)는 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 ROI 내에 있는 각 서브 영역(sub-regions)별로 각각에 풀링 연산을 각각 적용하여, 마스킹된 풀드(pooled) 특징 맵을 생성하기 위한 프로세스를 수행할 수 있다. 상기 마스킹 파라미터가 무엇인지, 어떠한 방식으로 참조되는지는 추후 자세히 설명하기로 한다.

출력 레이어(240)는, 상기 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, CNN 출력 값을 생성하기 위한 프로세스를 수행할 수 있다. 이후 로스 레이어(250)은 상기 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 데 사용될 수 있다.

이상 본 발명의 일 실시예에 따른 CNN(200)의 구성 및 개괄적인 학습 과정에 대해 알아본 바, 이하 자세한 학습 과정 및 마스킹 파라미터에 대해 살핀다.

다만, 컨벌루션 레이어(210) 및 RPN(220)에서 이루어지는 프로세스에 관하여는 충분히 설명한 바 있으므로 생략하도록 한다.

ROI 풀링 레이어(230)에서 이루어지는 프로세스에 대해 도 3을 참조로 하여 설명할 수 있다.

도 3은 본 발명의 일 실시예에 따라 각 서브 영역 별로 대표 특징 값 각각을 생성하는 과정을 나타낸 예시 도면이다.

도 3을 참조하면, 각 서브 영역별로 일부 값만이 마스킹 파라미터로 인해 대표 특징 값을 생성하는데 사용된 것을 알 수 있다.

ROI에 포함된 각각의 특징 값에 대응하는 각각의 마스킹 파라미터는 제1 값 또는 제2 값으로 결정된다.

컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 각 서브 영역별로 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 할 수 있다. 만약, 상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 풀링 연산을 적용하지 않도록 한다. 여기서, 제1 값은 0으로 설정될 수 있고, 제2 값은 1로 설정될 수 있다.

ROI 풀링 레이어(230)는 ROI 내의 각각의 마스킹 파라미터 및 각각의 특징 값을 요소 단위(element-wise)로 곱하여, 대표 특징 값을 생성할 수 있다. 이러한 방식으로 컴퓨팅 리소스의 사용이 감소될 수 있다.

풀링 연산이 적용될 때, 컴퓨팅 장치는 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 각 서브 영역별 대표 특징 값 각각을 출력할 수 있다. 여기서, 대표 특징 값 각각은 (i) 각 서브 영역별로 각각의 특징 값들의 평균 값 각각 또는 (ii) 각 서브 영역별로 각각의 특징 값들 중에서 가장 큰 값 각각일 수 있으며, 여기서 사용되는 특징 값은 상기 ROI 내에 있는 각각의 서브 영역에 포함된 특징 값이며, 상기 특징 값들에 대응하는 마스킹 파라미터는 상기 제 2 값이다.

따라서, 평균 풀링 방법 또는 최대 풀링 방법이 사용될 수 있는 것이다. 도 3의 경우 평균 풀링에 대해 묘사되어 있으나, 최대 풀링의 경우에도 같은 방식으로 본 발명의 일 실시예를 적용할 수 있을 것이다.

상기한 과정을 거쳐 마스킹된 풀드 특징 맵이 생성되면, 출력 레이어(240)는 상기 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, CNN 출력 값을 생성하도록 할 수 있다. 뉴럴 네트워크 이미지 세그멘테이션, 객체 디텍션, 클러스터링 등을 위한 연산일 수 있으나 이에 한정되는 것은 아니다.

CNN 출력 값이 생성되면, 로스 레이어(250)는 상기 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습할 수 있다. 여기서, 컨벌루션 레이어(210) 및 출력 레이어(240)에 포함된 파라미터의 적어도 일부는 백프로파게이션 과정에서 추가로 학습될 수 있다.

이상 본 발명의 일 실시예에 따른 학습 과정을 알아본 바, 본 발명이 테스트 장치로 기능할 때의 구성 및 학습 장치의 구성과의 차이점을 알아본다.

참고로, 후술할 설명에서 혼동을 방지하기 위해, 학습 프로세스와 관련된 용어에는 "학습용"이라는 문구가 추가되고, 테스트 프로세스와 관련된 용어에는 "테스트용"라는 문구가 추가되었다.

테스트 장치로 기능할 때의 구성을 살피면, 먼저 (1) 컴퓨팅 장치(100)가, CNN(200)의 컨벌루션 레이어(210)로 하여금, 트레이닝 이미지에 대응하는 트레이닝용 특징 맵을 생성하도록 하는 단계; (2) 상기 컴퓨팅 장치(100)가, 상기 CNN(200)의 RPN(220)으로 하여금, 상기 트레이닝용 특징 맵을 이용하여 상기 트레이닝 이미지에 포함된 적어도 하나의 트레이닝용 객체에 대응되는 트레이닝용 ROI를 결정하도록 하는 단계; (3) 상기 컴퓨팅 장치(100)가, 상기 CNN(200)의 ROI 풀링 레이어(230)로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 트레이닝용 ROI 내에 있는 트레이닝용 서브 영역(sub-regions) 각각에 풀링 연산을 각각 적용하여, 트레이닝용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계; (4) 상기 컴퓨팅 장치(100)가, 상기 CNN(200)의 출력 레이어(240)로 하여금, 상기 트레이닝용 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, 트레이닝용 CNN 출력 값을 생성하도록 하는 단계; 및 (5) 상기 컴퓨팅 장치(100)가, 상기 CNN(200)의 로스 레이어(250)로 하여금, 상기 트레이닝용 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 단계;를 거쳐 학습이 완료된 상태에서, 상기 테스트 장치가, 테스트 이미지를 획득하면, 상기 CNN의 상기 컨벌루션 레이어로 하여금, 상기 테스트 이미지에 대응하는 테스트용 특징 맵을 생성하도록 한다.

두번째, 상기 테스트 장치가, 상기 CNN의 상기 RPN 으로 하여금, 상기 테스트용 특징 맵을 이용하여 상기 테스트 이미지에 포함된 적어도 하나의 테스트용 객체에 대응되는 테스트용 ROI를 결정하도록 한다.

세번째, 상기 테스트 장치가, 상기 CNN의 상기 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 테스트용 ROI내에 있는 테스트용 각 서브 영역(sub-regions)별로 풀링 연산을 각각 적용하여, 테스트용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 한다.

마지막으로, 상기 테스트 장치가, 상기 CNN의 상기 출력 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵에 상기 뉴럴 네트워크 연산(neural network operations)을 적용하여, 테스트용 CNN 출력 값을 생성하도록 한다.

학습 장치로서 기능할 때의 구성과의 차이를 보면, 테스트 과정에서는 컨벌루션 레이어(210), ROI 풀링 레이어(230) 및 출력 레이어(240)의 파라미터들은 모두 학습된 상태이므로, 로스 값을 생성하는 과정과 백프로파게이션하는 과정은 생략될 수 있다. 따라서, 테스트 장치로서 본 발명이 기능할 때의 구성은 학습 장치로서 기능할 때의 구성에서 로스 값을 생성하는 부분을 제외하고 컴퓨팅 장치(100)의 구성과 동일하다.

본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 원본 이미지, 원본 레이블 및 추가 레이블과 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 방법에 있어서,
(a) 입력 이미지가 획득되면, 컴퓨팅 장치가, CNN의 컨벌루션 레이어로 하여금, 상기 입력 이미지에 대응하는 특징 맵을 생성하도록 하는 단계;
(b) 상기 컴퓨팅 장치가, 상기 CNN의 RPN(Region Proposal Network)으로 하여금, 상기 특징 맵을 이용하여 상기 입력 이미지에 포함된 적어도 하나의 객체에 대응되는 ROI를 결정하도록 하는 단계;
(c) 상기 컴퓨팅 장치가, 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 ROI 내에 있는 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계;
를 포함하는 것을 특징으로 하는 학습 방법.
제 1항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (c) 단계는,
상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 학습 방법.
제 2항에 있어서,
상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 학습 방법.
제 1항에 있어서,
(d) 상기 컴퓨팅 장치가, 상기 CNN의 출력 레이어로 하여금, 상기 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, CNN 출력 값을 생성하도록 하는 단계; 및
(e) 상기 컴퓨팅 장치가, 상기 CNN의 로스 레이어로 하여금, 상기 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 단계;
를 더 포함하는 것을 특징으로 하는 학습 방법.
제4 항에 있어서,
상기 (e) 단계는,
상기 컴퓨팅 장치가, 상기 로스 값을 백프로파게이션함으로써 상기 컨벌루션 레이어 및 상기 출력 레이어에 포함된 파라미터의 적어도 일부를 더 학습하는 것을 특징으로 하는 학습 방법.
제 1항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (c) 단계는,
상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (c) 단계는,
상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값 각각을 출력하고,
상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 학습 방법.
제 1항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (c) 단계는,
상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (c) 단계는,
상기 컴퓨팅 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값 각각을 출력하고,
상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 학습 방법.
하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 테스트 방법에 있어서,
(a) (1) 컴퓨팅 장치가, CNN의 컨벌루션 레이어로 하여금, 트레이닝 이미지에 대응하는 트레이닝용 특징 맵을 생성하도록 하는 단계; (2) 상기 컴퓨팅 장치가, 상기 CNN의 RPN(Region Proposal Network)으로 하여금, 상기 트레이닝용 특징 맵을 이용하여 상기 트레이닝 이미지에 포함된 적어도 하나의 트레이닝용 객체에 대응되는 트레이닝용 ROI를 결정하도록 하는 단계; (3) 상기 컴퓨팅 장치가, 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 트레이닝용 ROI 내에 있는 트레이닝용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 트레이닝용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계; (4) 상기 컴퓨팅 장치가, 상기 CNN의 출력 레이어로 하여금, 상기 트레이닝용 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, 트레이닝용 CNN 출력 값을 생성하도록 하는 단계; 및 (5) 상기 컴퓨팅 장치가, 상기 CNN의 로스 레이어로 하여금, 상기 트레이닝용 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 단계;를 거쳐 학습이 완료된 상태에서, 테스트 장치가, 테스트 이미지를 획득하면, 상기 CNN의 상기 컨벌루션 레이어로 하여금, 상기 테스트 이미지에 대응하는 테스트용 특징 맵을 생성하도록 하는 단계;
(b) 상기 테스트 장치가, 상기 CNN의 상기 RPN 으로 하여금, 상기 테스트용 특징 맵을 이용하여 상기 테스트 이미지에 포함된 적어도 하나의 테스트용 객체에 대응되는 테스트용 ROI를 결정하도록 하는 단계;
(c) 상기 테스트 장치가, 상기 CNN의 상기 ROI 풀링 레이어로 하여금, 상기 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 테스트용 ROI내에 있는 테스트용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 테스트용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계;
(d) 상기 테스트 장치가, 상기 CNN의 상기 출력 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵에 상기 뉴럴 네트워크 연산(neural network operations)을 적용하여, 테스트용 CNN 출력 값을 생성하도록 하는 단계;
를 포함하는 것을 특징으로 하는 테스트 방법.
제 8항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (c) 단계는,
상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 테스트 방법.
제 9항에 있어서,
상기 마스킹 파라미터 중에서 특정 마스킹 파라미터가 상기 제1 값인 경우, 상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 테스트 방법.
제 8항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (c) 단계는,
상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (c) 단계는,
상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값 각각을 출력하고,
상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 방법.
제 8항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (c) 단계는,
상기 테스트 장치가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (c) 단계는,
상기 테스트 장치가, 상가 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값을 각각 출력하고,
상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 방법.
하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) CNN의 컨벌루션 레이어로 하여금, 입력 이미지에 대응하는 특징 맵을 생성하도록 하는 프로세스; (II) 상기 CNN의 RPN(Region Proposal Network)으로 하여금, 상기 특징 맵을 이용하여 상기 입력 이미지에 포함된 적어도 하나의 객체에 대응되는 ROI를 결정하도록 하는 프로세스; (III) 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 ROI 내에 있는 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
제 13항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (III) 프로세스는,
상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
제 14항에 있어서,
상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 컴퓨팅 장치.
제 13항에 있어서,
상기 프로세서가,
(IV) 상기 CNN의 출력 레이어로 하여금, 상기 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, CNN 출력 값을 생성하도록 하는 프로세스; 및 (V) 상기 CNN의 로스 레이어로 하여금, 상기 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 프로세스;
를 더 수행하는 것을 특징으로 하는 컴퓨팅 장치.
제16 항에 있어서,
상기 (V) 프로세스는,
상기 프로세서가, 상기 로스 값을 백프로파게이션함으로써 상기 컨벌루션 레이어 및 상기 출력 레이어에 포함된 파라미터의 적어도 일부를 더 학습하는 것을 특징으로 하는 컴퓨팅 장치.
제 13항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값 각각을 출력하고,
상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 컴퓨팅 장치.
제 13항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 ROI 내에 있는 상기 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹된 풀드 특징 맵의 각각의 성분으로서, 대표 특징 값을 각각 출력하고,
상기 대표 특징 값 각각은, 상기 ROI 내에 있는 각각의 대응하는 상기 서브 영역별로 각각의 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 컴퓨팅 장치.
하나 이상의 마스킹 파라미터(masking parameters)를 이용하여 적어도 하나의 ROI를 풀링하는 테스트 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(1) 컴퓨팅 장치가, CNN의 컨벌루션 레이어로 하여금, 트레이닝 이미지에 대응하는 트레이닝용 특징 맵을 생성하도록 하는 단계; (2) 상기 컴퓨팅 장치가, 상기 CNN의 RPN(Region Proposal Network)으로 하여금, 상기 트레이닝용 특징 맵을 이용하여 상기 트레이닝 이미지에 포함된 적어도 하나의 트레이닝용 객체에 대응되는 트레이닝용 ROI를 결정하도록 하는 단계; (3) 상기 컴퓨팅 장치가, 상기 CNN의 ROI 풀링 레이어로 하여금, 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 트레이닝용 ROI 내에 있는 트레이닝용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 트레이닝용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 단계; (4) 상기 컴퓨팅 장치가, 상기 CNN의 출력 레이어로 하여금, 상기 트레이닝용 마스킹된 풀드 특징 맵에 뉴럴 네트워크 연산(neural network operations)을 적용하여, 트레이닝용 CNN 출력 값을 생성하도록 하는 단계; 및 (5) 상기 컴퓨팅 장치가, 상기 CNN의 로스 레이어로 하여금, 상기 트레이닝용 CNN 출력 값 및 이에 대응하는 GT를 참조로 하여, 로스 값을 생성하도록 하고, 상기 로스 값을 백프로파게이션함으로써 상기 ROI 풀링 레이어의 상기 마스킹 파라미터를 학습하는 단계;를 거쳐 학습이 완료된 상태에서, (I) 상기 CNN의 상기 컨벌루션 레이어로 하여금, 테스트 이미지에 대응하는 테스트용 특징 맵을 생성하도록 하는 프로세스; (II) 상기 CNN의 상기 RPN 으로 하여금, 상기 테스트용 특징 맵을 이용하여 상기 테스트 이미지에 포함된 적어도 하나의 테스트용 객체에 대응되는 테스트용 ROI를 결정하도록 하는 프로세스; (III) 상기 CNN의 상기 ROI 풀링 레이어로 하여금, 상기 풀링 연산 각각에 대응하는 상기 마스킹 파라미터 각각을 참조로 하여, 상기 테스트용 ROI내에 있는 테스트용 서브 영역(sub-regions) 각각에 상기 풀링 연산을 각각 적용하여, 테스트용 마스킹된 풀드(pooled) 특징 맵을 생성하도록 하는 프로세스; (IV) 상기 CNN의 상기 출력 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵에 상기 뉴럴 네트워크 연산(neural network operations)을 적용하여, 테스트용 CNN 출력 값을 생성하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 테스트 장치.
제 20항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (III) 프로세스는,
상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치.
제 21항에 있어서,
상기 마스킹 파라미터 중에서 특정 마스킹 파라미터가 상기 제1 값인 경우, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 제1 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서는 상기 풀링 연산을 적용하지 않도록 하는 것을 특징으로 하는 테스트 장치.
제 20항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (III) 프로세스는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값 각각을 출력하고,
상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 평균 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 장치.
제 20항에 있어서,
상기 마스킹 파라미터 각각은 제1 값 또는 제2 값 중 하나로 결정되고,
상기 (III) 프로세서는, 상기 프로세서가, 상기 ROI 풀링 레이어로 하여금, 상기 마스킹 파라미터 각각이 상기 제1 값 또는 상기 제2 값인지에 대한 정보를 참조로 하여, 상기 테스트용 ROI 내에 있는 상기 테스트용 서브 영역 각각에 상기 풀링 연산을 각각 적용하여, 상기 테스트용 마스킹된 풀드 특징 맵을 생성하도록 하되,
상기 (III) 프로세스는, 상기 프로세서가, 상가 ROI 풀링 레이어로 하여금, 상기 테스트용 마스킹된 풀드 특징 맵의 각각의 성분으로서, 테스트용 대표 특징 값을 각각 출력하고,
상기 테스트용 대표 특징 값 각각은, 상기 테스트용 ROI 내에 있는 각각의 대응하는 상기 테스트용 서브 영역별로 각각의 테스트용 특징 값들의 평균 값을 각각 구함에 있어서, 상기 제2 값의 마스킹 파라미터에 대응되는 위치에 존재하는 일부 특징 값들에 대해서만 상기 테스트용 서브 영역별로 가장 큰 값을 각각 구하고, 이를 각각 상기 테스트용 서브 영역별 상기 대표 특징 값으로 결정하는 것을 특징으로 하는 테스트 장치.