KR20180020724A - 나선형 신경망 네트워크 기반의 딥러닝에서 특징맵의 계산을 위한 피라미드 히스토리 맵 생성 방법 및 특징맵 생성 방법 - Google Patents

Abstract

특징맵(A)에 대한 피라미드 히스토리 맵(B)을 생성하는 방법은 상기 특징맵(A)의 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 일치하는지 여부에 기초하여 각 컨볼루션 값에 대응하는 참조값을 결정하고, 복수의 참조값을 포함하는 제1 레이어를 생성하는 단계; 상기 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 제 2 레이어를 생성하는 단계; 및 상기 제 2 레이어의 상기 복수의 블록값에 기초하여 제3 레이어를 생성하는 단계를 포함하도록 구성된다.

Description

나선형 신경망 네트워크 기반의 딥러닝에서 특징맵의 계산을 위한 피라미드 히스토리 맵 생성 방법 및 특징맵 생성 방법{PYRAMID HISTORY MAP GENERATING METHOD FOR CALCULATING FEATURE MAP IN DEEP LEARNING BASED ON CONVOLUTION NEURAL NETWORK AND FEATURE MAP GENERATING METHOD}

본 발명은 피라미드 히스토리 맵을 생성하는 방법 및 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법에 관한 것이다. 구체적으로, 나선형 신경망 네트워크(CNN; Convolution Neural Network) 기반의 딥러닝에서 특징맵의 계산을 위한 피라미드 히스토리 맵을 생성하는 방법 및 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법에 관한 것이다.

기존에 이미지 또는 장면을 검색할 때는 유사한 그림을 찾아주거나, 캡션(주석)이 달려있는 텍스트 단어를 이용하여 검색 결과를 보여주었다. 이를 위해서는 이미지를 갖고 있거나, 캡션이 달려있는 방대한 데이터베이스가 필요하게 된다.

최근 들어 딥러닝이 발전하며 기존의 영상 인식 정확도를 크게 향상시키면서, 이미지의 객체의 카테고리를 분류하거나 어떤 객체가 있는지를 인식할 수 있는 정도의 정확도를 보이고 있다. 게다가 이미지나 장면을 글로써 설명하는 문장을 만드는 수준까지 발전되고 있다.

딥러닝에서는 나선형 신경망 네트워크를 활용하여 이미지의 특징을 추출하는 방법을 사용하고 있다. 비디오 영상을 검색 및 분석하기 위해서는 모든 이미지를 나선형 층(Convolution Layer)으로 분석해야 하는데, 계산량이 커지는 문제점이 있다. 추가로 깊이가 깊어질수록 계산량이 승수로 증가하는 것이다.

이러한 이미지의 특징을 추출하는 방법과 관련하여, 선행기술인 한국등록특허 제10-1349672호는 영상 특징 고속 추출 방법 및 이를 지원하는 장치에 관한 것으로, 슬라이딩 윈도우의 크기 및 스탭 거리 정보를 획득하고, 상기 슬라이딩 윈도우 정보를 기반으로 영상 분석된 데이터에서 중복 영상을 검출하고, 상기 검출된 중복 영상을 기반으로 슬라이딩 윈도우가 지정한 새로 분석된 영상 데이터 중 중복 영상 부분을 제외하고 새로 지정된 영역의 데이터만을 분석하는 방법에 대해 개시하고 있다.

이전 프레임과 현재 프레임간의 비교를 통하여 이전 프레임에 대한 특징맵을 현재 프레임에서 재활용할 수 있도록 하는 피라미드 히스토리 맵을 생성하는 방법 및 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법을 제공하고자 한다.

이전 프레임과 현재 프레임간의 중복되는 부분을 3단계 피라미드 방식으로 부호화함으로써 이전 프레임에서 계산된 특징맵을 효율적으로 재활용하고, 특징맵의 계산량을 줄일 수 있는 피라미드 히스토리 맵을 생성하는 방법 및 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 특징맵(A)에 대한 피라미드 히스토리 맵(B)을 생성하는 방법에 있어서, 상기 특징맵(A)의 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 일치하는지 여부에 기초하여 각 컨볼루션 값에 대응하는 참조값을 결정하고, 복수의 참조값을 포함하는 제1 레이어를 생성하는 단계; 상기 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 제 2 레이어를 생성하는 단계; 및 상기 제 2 레이어의 상기 복수의 블록값에 기초하여 제3 레이어를 생성하는 단계를 포함하는 것인, 피라미드 히스토리 맵 생성 방법을 제공할 수 있다.

상기 제 1 레이어를 생성하는 단계는, 상기 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 모두 일치하는 경우 해당 컨볼루션 값에 대응하는 참조값을 제 1 값으로 결정하고, 그 이외의 경우 참조값을 제 2 값으로 결정하는 단계를 포함할 수 있다.

상기 제 2 레이어를 생성하는 단계는, 상기 각 블록 내의 참조값이 모두 제 1 값인 경우, 해당 블록의 블록값을 제 3 값로 결정하고, 그 이외의 경우 블록값을 제 4 값으로 결정하는 단계를 포함할 수 있다.

상기 제 3 레이어를 생성하는 단계는, 상기 제 2 레이어 내의 블록값이 모두 제 3 값인 경우, 상기 제 3 레이어의 값을 제 5 값으로 결정하고, 그 이외의 경우 상기 제 3 레이어의 값을 제 6 값으로 결정하는 단계를 포함할 수 있다.

상기 특징맵(A)에 대한 피라미드 히스토리 맵(B)을 재구성하여 다음 깊이의 특징맵(A')에 대한 피라미드 히스토리 맵(B')을 생성하는 단계를 더 포함할 수 있다.

상기 피라미드 히스토리 맵(B')을 생성하는 단계는, 상기 피라미드 히스토리 맵(B)의 참조값에 기초하여 상기 피라미드 히스토리 맵(B')의 참조값을 결정하고, 복수의 참조값을 포함하는 상기 피라미드 히스토리 맵(B')의 제 1 레이어를 생성하는 단계, 상기 피라미드 히스토리 맵(B')의 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 피라미드 히스토리 맵(B')의 제 2 레이어를 생성하는 단계; 및 상기 피라미드 히스토리 맵(B')의 제 2 레이어의 상기 복수의 블록값에 기초하여 상기 피라미드 히스토리 맵(B')의 제3 레이어를 생성하는 단계를 포함할 수 있다.

상기 피라미드 히스토리 맵(B')의 제 1 레이어를 생성하는 단계는, 상기 윈도우 영역이 k*l(k, l은 자연수) 행렬이고, 상기 피라미드 히스토리 맵(B)의 제 1 레이어의 각각의 제 2 값의 위치에 대하여 그 위치를 (x, y)로 표시했을 때(x, y는 0 이상의 정수), 상기 피라미드 히스토리 맵(B')의 제 1 레이어의 [x-k+1, x]*[y-l+1,y] 직사각형 영역 내의 참조값을 제 2 값으로 결정할 수 있다.

상기 제 1 프레임 및 상기 제 2 프레임이 m*n 행렬이고(m, n은 자연수), 상기 윈도우 영역이 k*l(k, l은 자연수) 행렬이면, 상기 제 1 레이어는 (m-k+1)*(n-l+1) 행렬일 수 있다.

상기 제 2 레이어는 제 1 크기의 행렬이고, 상기 제 3 레이어는 상기 제 1 크기보다 작은 제 2 크기의 행렬일 수 있다.

상기 제 1 프레임과 상기 제 2 프레임은 하나의 영상에서 연속하는 프레임일 수 있다.

본 발명의 다른 실시예는, 특징맵(A)에 대한 피라미드 히스토리 맵(B)을 생성하는 방법에 있어서, 상기 특징맵(A)의 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값의 차이가 기준값 미만인지 여부에 기초하여 각 컨볼루션 값에 대응하는 참조값을 결정하고, 복수의 참조값을 포함하는 제 1 레이어를 생성하는 단계; 상기 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 상기 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 제 2 레이어를 생성하는 단계; 및 상기 제 2 레이어의 상기 복수의 블록값에 기초하여 제3 레이어를 생성하는 단계를 포함하는 것인, 피라미드 히스토리 맵 생성 방법을 제공할 수 있다.

본 발명의 또 다른 실시예는, 제 1 프레임과 제 2 프레임의 픽셀값에 기초하여 생성되고, 제 1 레이어, 제 2 레이어 및 제 3 레이어를 포함하는 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법에 있어서, 상기 제 1 프레임에 커널을 적용한 컨볼루션 값을 계산하여 상기 제 1 프레임의 특징맵(a)을 생성하는 단계; 상기 피라미드 히스토리 맵을 참고하여 상기 제 1 프레임의 특징맵(a)과 상기 제 2 프레임의 특징맵(b)의 중복 영역을 결정하는 단계; 상기 특징맵(a)의 중복 영역 내의 컨볼루션 값을 상기 특징맵(b)의 중복 영역내의 컨볼루션 값으로 사용하는 단계; 및 상기 특징맵(b)의 상기 중복 영역을 제외한 나머지 영역에 대하여 상기 제 2 프레임에 상기 커널을 적용한 컨볼루션 값을 계산하여 상기 제 2 프레임의 특징맵(b)을 생성하는 단계를 포함하는, 특징맵 생성 방법을 제공할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 이전 프레임과 현재 프레임간의 비교를 통해 이전 프레임의 정보를 재활용할 수 있도록 하는 피라미드 히스토리 맵을 생성하는 방법 및 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법을 제공할 수 있다.

이전 프레임과 현재 프레임간의 중복되는 부분을 3단계 피라미드 방식으로 부호화함으로써 이전 프레임에서 계산된 특징맵을 효율적으로 재활용하고, 특징맵의 계산량을 줄일 수 있는 피라미드 히스토리 맵을 생성하는 방법 및 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법을 제공할 수 있다.

영상에서 얼굴인식, 객체인식, 객체 분류 등의 인식을 위하여 이미지를 CNN(Convolution Neural Network)등과 같은 신경망을 통해 연산하는 경우 중복되는 구역을 피라미드 형식으로 부호화함으로써 연산량을 대폭 감소 시킬 수 있어 실시간 처리나 더 깊은 신경망의 결과를 기존보다 더 빨리 얻을 수 있게 하는 피라미드 히스토리 맵을 생성하는 방법 및 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 피라미드 히스토리 맵을 생성하는 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 컨볼루션 값에 대응하는 윈도우 영역을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 피라미드 히스토리 맵의 제 1 레이어를 생성하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 피라미드 히스토리맵의 제 2 레이어 및 제 3 레이어를 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 피라미드 히스토리 맵을 재구성하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 피라미드 히스토리 맵의 제 1 레이어를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 제 1 프레임의 특징맵을 생성하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 제 1 프레임과 제 2 프레임의 중복 영역을 결정하는 방법을 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 피라미드 히스토리 맵을 생성하는 방법을 나타낸 흐름도이다.

도 1을 참조하면, 단계 S102에서 제 1 프레임과 제 2 프레임의 픽셀값을 비교하여 제 1 레이어를 생성한다.

제 1 프레임과 제 2 프레임은 복수의 픽셀(pixel)로 구성된 이미지 또는 영상의 프레임일 수 있다. 제 1 프레임 또는 제 2 프레임은 가로로 m 픽셀, 세로로 n 픽셀의 크기를 가지는 직사각형 프레임일 수 있으며(m, n은 자연수), 이러한 경우 m*n 행렬로 표시할 수 있다.

제 1 프레임과 제 2 프레임은 하나의 영상에서 연속하는 프레임일 수 있다. 예컨대, 제 1 프레임과 제 2 프레임은 1초가 30프레임으로 구성된 영상에서 연속하는 2개의 프레임일 수 있으며, 제 1 프레임과 제 2 프레임은 픽셀의 일부 또는 전부가 중복될 수 있다.

단계 S102에서 제 1 프레임과 제 2 프레임의 픽셀값을 비교하는 것은 특징맵(feature map)의 각 컨볼루션 값에 대응하는 윈도우 영역별로 수행되는 것일 수 있으며, 각 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 일치하는지 여부에 기초하여 각 컨볼루션 값에 대응하는 참조값을 결정하고, 복수의 참조값을 포함하는 제 1 레이어를 생성할 수 있다.

특징맵이란, 프레임에 컨볼루션 커널(convolution kernel)을 적용하여 특징값을 추출해낸 결과물로서, 복수의 컨볼루션 값을 포함하는 행렬로 구성된다.

특징맵의 각 컨볼루션 값에 대응하는 윈도우 영역이란, 프레임의 픽셀 영역 중 각 컨볼루션 값의 계산 시 컨볼루션 커널이 적용되는 영역을 의미하며, 이하 도 2를 참조하여 컨볼루션 값에 대응하는 윈도우 영역에 대해 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 컨볼루션 값에 대응하는 윈도우 영역을 설명하기 위한 도면이다.

도 2를 참조하면, 5*5 크기의 프레임(201)에 3*3 크기의 컨볼루션 커널(203)을 적용하여 3*3 크기의 특징맵(205)을 생성할 수 있다. 프레임(201)의 첫번째 영역(209)에 컨볼루션 커널(203)을 적용하면, 1*1 + 1*0 + 1*1 + 0*0 + 1*1 + 1*0 + 0*0 + 1*1 = 4가 나오므로, 특징맵(205)의 첫번째 컨볼루션 값(207)은 4가 된다. 마찬가지로 방식으로, 프레임(201) 내에서 컨볼루션 커널(203)을 1 픽셀씩 이동시키며 컨볼루션 값을 계산한다.

이 때 첫번째 컨볼루션 값(207)에 대응하는 윈도우 영역은 프레임(201)의 첫번째 영역(209)이고, 두번째 컨볼루션 값(211)에 대응하는 윈도우 영역은 프레임(201)의 두번째 영역(213)이다.

이어서, 도 3을 참조하여 피라미드 히스토리 맵의 제 1 레이어를 생성하는 방법에 대해 상세히 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 피라미드 히스토리 맵의 제 1 레이어를 생성하는 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 8*8 크기의 제 1 프레임(301)과 제 2 프레임(303)의 픽셀값을 비교하여 6*6 크기의 제 1 레이어(305)를 생성할 수 있다. 제 1 레이어(305)의 크기는 피라미드 히스토리 맵을 이용하여 생성할 특징맵의 크기와 동일하며, 프레임의 크기 및 특징맵 생성 시 사용되는 컨볼루션 커널의 크기에 따라 결정된다. 프레임의 크기가 m*l이고, 특징맵 생성 시 사용되는 컨볼루션 커널의 크기가 k*l이면 제 1 레이어의 크기는 (m-k+1)*(n-l+1)이 된다(m, l, k, n은 자연수). 도 3에 도시된 제 1 레이어(305)는 제 1 프레임(301)과 제 2 프레임(303)에 대해 3*3 크기의 컨볼루션 커널을 적용한 특징맵 생성 시 이용될 수 있는 피라미드 히스토리 맵의 제 1 레이어이다.

제 1 레이어(305)는 복수의 참조값을 포함하며, 참조값은 제 1 값 또는 제 2 값으로 결정될 수 있다. 예를 들어, 도 3에 도시된 제 1 레이어(305)는 6*6=36개의 참조값을 포함하고 있으며, 제 1 값은 1이고, 제 2 값은 0이다. 이하에서는, 제 1 값이 1이고, 제 2 값이 0인 것으로 가정하여 설명하기로 한다.

제 1 레이어(305)의 참조값은, 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 모두 일치하는 경우 1로, 그 이외의 경우 0으로 결정될 수 있다. 그 이외의 경우라 함은 적어도 하나의 픽셀값이 일치하지 않는 경우일 수 있다.

예컨대, 첫번째 컨볼루션 값에 대응하는 제 1 프레임(301)의 윈도우 영역(307)에 포함된 픽셀값과 제 2 프레임(303)의 윈도우 영역(309)에 포함된 픽셀값을 비교해보면, 12, 20, 30, 8, 11, 2, 5, 7, 3으로 모두 일치한다. 따라서, 첫번째 컨볼루션 값에 대응하는 참조값은 1로 결정될 수 있다.

마찬가지 방식으로, 제 1 프레임(301)과 제 2 프레임(303) 내에서 윈도우 영역을 1 픽셀씩 이동시키며 양 프레임의 윈도우에 포함된 픽셀값을 비교하여 참조값을 결정할 수 있다.

도 3에 도시된 제 1 프레임(301)과 제 2 프레임(303)의 경우 우측 최상단의 직사각형 영역(313) 내의 픽셀값을 제외하고 픽셀값이 모두 동일하다. 따라서, 윈도우 영역을 1 픽셀씩 이동시키며 모든 윈도우 영역에 대하여 참조값을 결정해보면 제 1 레이어(305)의 우측 최상단의 직사각형 영역(315)의 참조값은 0으로 결정되고, 그 외 영역의 참조값은 1로 결정된다.

다시 도 1로 돌아와서, 단계 S104에서 제 1 레이어를 복수개의 블록으로 구분하고, 각 블록의 블록값을 결정하여 제 2 레이어를 생성한다. 그 다음, 단계 S106에서 제 2 레이어의 블록값에 기초하여 제 3 레이어를 생성한다. 이하 도 4를 참조하여, 제 2 레이어 및 제 3 레이어의 생성 방법에 대해 설명한다.

도 4는 본 발명의 일 실시예에 따른 피라미드 히스토리맵의 제 2 레이어 및 제 3 레이어를 생성하는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 제 1 레이어(410)를 복수개의 블록, 예컨대 4개의 블록(411, 413, 415, 417)로 구분하고, 구분된 각 블록 내의 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 제 2 레이어(430)를 생성할 수 있다.

예컨대, 각 블록 내의 참조값이 모두 1이면 해당 블록의 블록값을 제 3 값으로 결정하고, 블록 내의 적어도 하나의 참조값이 0이면 블록값을 제 4 값으로 결정할 수 있다. 예를 들어, 도 4에서는 제 3 값이 1, 제 4 값이 0인 경우를 도시하고 있다. 이하에서는, 제 3 값이 1이고, 제 4 값이 0인 것으로 가정하여 설명하기로 한다.

도 4를 참조하면, 제 1 레이어(410)의 제 1 블록(411) 내의 참조값은 모두 1이므로, 제 1 블록(411)의 블록값(431)은 1로 결정된다. 한편, 제 2 블록(413)은 참조값이 0인 영역을 포함하고 있으므로, 제 2 블록(413)의 블록값(433)은 0으로 결정된다. 마찬가지로 제 3 블록(415)의 블록값(435)은 1로, 제 4 블록(417)의 블록값(437)은 0으로 결정된다.

상술한 바와 같이, 제 1 레이어의 참조값에 기초하여 복수개의 블록값을 포함하는 제 2 레이어(430)를 생성할 수 있다. 제 2 레이어는 제 1 크기의 행렬일 수 있으며, 예를 들어, 도 4에 도시된 바와 같이 2*2 크기의 행렬일 수 있다.

이어서 제 2 레이어(430)의 블록값에 기초하여 제 3 레이어(450)를 생성하는 방법을 설명한다.

제 2 레이어(430)의 블록값이 모두 1인 경우, 제 3 레이어를 제 5 값으로 결정하고, 적어도 하나의 블록값이 0인 경우, 제 3 레이어를 제 6 값으로 결정하여 제 3 레이어를 생성할 수 있다. 예를 들어, 제 5 값은 1이고, 제 6 값은 0일 수 있다. 이하에서는, 제 5 값이 1이고, 제 6 값이 0인 것으로 가정하여 설명하기로 한다.

도 4에 도시된 실시예의 경우, 제 2 레이어(430)는 블록값이 0인 블록을 포함하고 있으므로, 제 3 레이어(450)의 값은 0으로 결정된다.

이상 설명한 바와 같이, 피라미드 히스토리 맵을 구성하는 제 1 레이어(410), 제 2 레이어(430) 및 제 3 레이어(450)를 생성할 수 있다.

도 1에 도시된 일 실시예에 따른 피라미드 히스토리 맵을 생성하는 방법에 따라 특징맵(A)에 대한 피라미드 히스토리 맵(B)을 생성한 경우, 생성한 히스토리 맵(B)을 재구성하여 다음 깊이의 특징맵(A')에 대한 피라미드 히스토리 맵(B')을 생성할 수 있다.

도 5는 본 발명의 일 실시예에 따른 피라미드 히스토리 맵을 재구성하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 특징맵(A)에 대한 피라미드 히스토리 맵(B)의 제 1 레이어(510)를 재구성하여 다음 깊이의 특징맵(A')에 대한 피라미드 히스토리 맵(B')의 제 1 레이어(530)를 생성할 수 있다. 도 5에 도시된 실시예는 3*3 크기의 컨볼루션 커널을 사용하는 경우로서, 제 1 레이어(510)의 크기가 6*6이면, 재구성된 제 1 레이어(530)의 크기는 4*4가 된다.

재구성된 제 1 레이어(530)의 참조값은 제 1 레이어(510)의 참조값에 기초하여 결정될 수 있다. 예컨대, 도 5에 도시된 바와 같이, 제 1 레이어(510)의 제 1 위치(511)의 참조값이 0인 경우, 재구성된 제 1 레이어(530)는 제 1 위치로부터 왼쪽으로 2칸, 위쪽으로 2칸을 더 포함하는 직사각형 영역(531)의 참조값이 0으로 결정될 수 있다.

다시 말해, 제 1 레이어(510)에서 4행3열 위치(511)의 참조값이 0이면, 재구성된 제 1 레이어(530)의 2행1열부터 4행3열까지의 직사각형 영역(531)의 참조값이 0으로 결정될 수 있다. 이는 제 1 레이어(510)에 3*3 커널을 적용하여 1픽셀씩 이동시킬 때 0인 참조값이 커널에 포함되는 경우를 생각해보면 이해할 수 있다.

임의의 위치에 대해 설명해보면, 컨볼루션 커널이 k*l 행렬인 경우, 제 1 레이어(510)의 x행y열 (x, y)의 위치에서 참조값이 0이면, 재구성된 제 1 레이어(530)의 (x-k+1)행(y-l+1)열부터 x행y열까지 직사각형 영역([x-k+1, x]*[y-l+1,y])내의 참조값이 0으로 결정될 수 있다.

이상 설명한 바와 같이, 특징맵(A)에 대한 제 1 레이어(510)의 참조값에 기초하여, 다음 깊이의 특징맵(A')에 대한 제 1 레이어(530)를 재구성할 수 있다. 피라미드 히스토리 맵(B')의 제 2 레이어 및 제 3 레이어를 생성하는 방법은 피라미드 히스토리 맵(B)의 제 2 레이어 및 제 3 레이어를 생성하는 방법과 동일하므로, 설명을 생략한다.

이상 설명한 바와 같이, 이전 깊이의 특징맵에 대하여 생성한 피라미드 히스토리 맵을 간단히 재구성하여 다음 깊이의 특징맵에 대한 피라미드 히스토리 맵을 생성할 수 있으므로, 깊이가 다른 모든 특징맵에 대해서 픽셀을 비교하여 피라미드 히스토리 맵을 생성할 필요가 없어진다.

도 6은 본 발명의 다른 실시예에 따른 피라미드 히스토리 맵의 제 1 레이어를 생성하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 제 2 프레임(603)은 제 1 픽셀 영역(605) 및 제 2 픽셀 영역(607)에 있어서 제 1 프레임(601)의 픽셀값과 차이가 있다. 제 1 픽셀 영역(605)은 픽셀값의 차이가 작으며(차이값 2 미만), 제 2 픽셀 영역(607)은 픽셀값의 차이가 크다.

도 1 에서 설명한 본 발명의 일 실시예에 따른 피라미드 히스토리 맵의 생성 방법에 따르면, 제 1 프레임(601)과 제 2 프레임(603)의 픽셀값이 일치하는지 여부에 기초하여 참조값을 결정하였므로, 일 실시예에 따라 생성된 제 1 레이어(608)는 제 1 픽셀 영역(605)에 대응하는 영역(609)의 참조값이 0으로 결정된다.

본 발명의 다른 실시예에 따른 피라미드 히스토리 맵을 생성하는 방법에서는 제 1 프레임(601)과 제 2프레임(603)의 픽셀값의 차이가 기준값 미만인지 여부에 기초하여 참조값을 결정한다는 점에서 차이가 있다. 기준값은 제 1프레임(601) 또는 제 2 프레임(603)의 픽셀값의 평균 및 분산에 기초하여 결정될 수 있다.

다른 실시예에 따라 생성된 제 1 레이어(611)의 경우, 기준값이 2 이상이면, 제 1 픽셀 영역(605)에 대응하는 영역(613)의 참조값이 1로 결정된다.

본 발명의 다른 실시예에 따른 피라미드 히스토리 맵의 생성 방법에 따르면, 양 프레임 간의 픽셀값에 차이가 있더라도, 그 차이가 미세한 경우에는 해당 영역에 대해서 양 프레임이 중복되는 것으로 판단한다. 이는 픽셀값의 차이가 미세한 영역은 이를 중복되는 영역으로 취급하더라도 프레임의 특징 추출에 영향을 미치지 않기 때문이다.

이상으로 본 발명의 일 실시예 및 다른 실시예에 따른 피라미드 히스토리 맵을 생성하는 방법에 대해 설명하였으며, 이하에서는 피라미드 히스토리 맵을 활용하는 방법에 대해 설명한다.

도 7은 본 발명의 일 실시예에 따른 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법을 나타낸 흐름도이다.

도 7을 참조하면, 단계 S701에서 제 1 프레임의 특징맵을 생성한다. 단계 S701에서의 특징맵 생성은 종래의 특징맵 생성 방법과 같다. 즉, 제 1 프레임의 전 영역에 컨볼루션 커널을 적용하여 컨볼루션 값을 계산함으로써 특징맵을 생성한다.

단계 S703에서 제 1 프레임과 제 2 프레임의 중복 영역을 결정하고, 단계 S705에서 중복 영역에 대하여 제 1 프레임의 특징맵의 컨볼루션 값을 제 2 프레임의 특징맵에서 재사용한다. 따라서, 컨볼루션 값을 재사용하는 만큼 제 2 프레임의 특징맵 생성 시의 연산량을 줄일 수 있다.

단계 S707에서 중복 영역을 제외한 나머지 영역에 대한 컨볼루션 값을 계산하여 제 2 프레임의 특징맵을 생성한다.

이하에서는, 도 8을 참조하여 컨볼루션 연산을 통해 제 1 프레임의 특징맵을 생성하는 방법에 대해 설명하고, 이어서, 도 9를 참조하여 피라미드 히스토리 맵을 이용하여 제 1 프레임과 제 2 프레임의 중복 영역을 결정하고, 컨볼루션 값을 재사용하는 방법에 대해 설명한다.

도 8은 본 발명의 일 실시예에 따른 제 1 프레임의 특징맵을 생성하는 방법을 설명하기 위한 도면이다.

도 8을 참조하면, 제 1 프레임(801)에 컨볼루션 커널(803)을 적용하여 특징맵(805)를 생성한다. 특징맵(805)의 첫번째 컨볼루션 값인 61은 12*1 + 20*0 + 30*1 + 8*0 + 11*1 + 2*0 + 5*1 + 7*0 + 3*1=61과 같이 9번의 곱셈과 8번의 덧셈을 통해 얻어진다. 따라서, 특징맵(805)을 생성하기 위하여 총 9*36 = 324번의 곱셈과 8*36 = 288번의 덧셈을 수행하여야 한다.

도 9는 본 발명의 일 실시예에 따른 제 1 프레임과 제 2 프레임의 중복 영역을 결정하는 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 피라미드 히스토리 맵의 제 3 레이어(901), 제 2 레이어(905) 및 제 1 레이어(909)를 순차적으로 참고하여 제 1 프레임의 특징맵(805)과 제 2 프레임의 특징맵(903 또는 915)의 중복 영역을 결정하는 과정이 도시되어 있다.

우선, 제 3 레이어(901)을 참고하여 제 3 레이어의 값이 1인 경우에는, 제 1 프레임의 특징맵(805)과 제 2 프레임의 특징맵(903)의 전체 영역을 중복 영역으로 결정할 수 있다. 이 경우, 제 1 프레임의 특징맵(805)의 모든 컨볼루션 값이 제 2 프레임의 특징맵(903)에서 재사용될 수 있다.

제 3 레이어(901)의 값이 0인 경우에는 제 2 레이어(905)를 참고한다. 제 2 레이어(905)를 참고하여, 제 2 레이어의 블록값이 1인 블록에 대응하는 제 2 프레임의 영역(907)을 중복 영역으로 결정하고, 해당 중복 영역에 대하여 제 1 프레임의 특징맵(805)의 컨볼루션 값을 재사용할 수 있다.

이어서, 제 2 레이어(905)의 블록값이 0인 블록에 대하여는 제 1 레이어(909)를 참고하여 제 1 레이어(909)의 참조값이 1인 영역(911)에 대응하는 영역을 중복 영역으로 추가 결정할 수 있다.

제 3 레이어(901), 제 2 레이어(905) 및 제 1 레이어(909)를 순차적으로 참고하여 결정한 중복 영역(913)에 대해서는 제 1 프레임의 특징맵(805)의 컨볼루션 값을 재사용할 수 있다. 따라서, 중복 영역을 제외한 나머지 영역에 대해서만 컨볼루션 연산을 수행하면 되므로, 제 2 프레임의 특징맵 생성을 위한 연산량을 줄이고, 효율적으로 특징맵을 생성할 수 있다.

본 발명에 따른 피라미드 히스토리 맵은 3d 컨볼루션 신경망을 활용하여 물체/사람인식과 그 물체나 사람의 행동을 인식하는 시스템에도 활용될 수 있다. 움직임 인식을 위해 3~5 프레임을 하나의 블록으로 보는 부분에 대해서 특정 시점의 블록과 그 다음 블록을 비교하여 상술한 바와 같이 피라미드 히스토리 맵을 구성하게 되면 이전 블록 대비 변화가 없는 부분에 대한 픽셀에 대해서 중복된 계산량을 줄일 수 있기 때문이다.

본 발명에 따른 피라미드 히스토리 맵은 화면의 크기가 커지면 커질수록 계산량을 줄이는 폭이 커진다는 장점이 있다. 컨볼루션 신경망을 이용하여 사람/물체를 인식하기 위해서는 픽셀 단위의 연산이 필요하기 때문이다.

예를 들어 UHD 4k 적용해보면, (4096) x (2160) 픽셀에 3x3 컨볼루션 커널 적용시 필요한 계산량은 대략 800만번 필요하게 된다. 컨볼루션 커널을 3개 정도를 사용한다면 2400만번의 계산이 필요하게 된다. Depth가 10개라면 2.4억번의 계산량이 필요하게 된다. 이전 프레임과 현재 프레임이 1/3 중복이 된다면 대략 1/3의 계산량을 감소 시켜, 0.8억번의 계산량으로 줄일 수 있다.

도 1을 통해 설명된 피라미드 히스토리 맵을 생성하는 방법 및 도 7을 통해 설명된 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

410: 제 1 레이어
430: 제 2 레이어
450: 제 3 레이어

Claims (17)

1. 특징맵(A)에 대한 피라미드 히스토리 맵(B)을 생성하는 방법에 있어서,
   상기 특징맵(A)의 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 일치하는지 여부에 기초하여 각 컨볼루션 값에 대응하는 참조값을 결정하고, 복수의 참조값을 포함하는 제 1 레이어를 생성하는 단계;
   상기 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 제 2 레이어를 생성하는 단계; 및
   상기 제 2 레이어의 상기 복수의 블록값에 기초하여 제 3 레이어를 생성하는 단계
   를 포함하는 것인, 피라미드 히스토리 맵 생성 방법.
   
2. 제 1 항에 있어서,
   상기 제 1 레이어를 생성하는 단계는,
   상기 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 모두 일치하는 경우 해당 컨볼루션 값에 대응하는 참조값을 제 1 값으로 결정하고, 그 이외의 경우 참조값을 제 2 값으로 결정하는 단계
   를 포함하는 것인, 피라미드 히스토리 맵 생성 방법.
   
3. 제 2 항에 있어서,
   상기 제 2 레이어를 생성하는 단계는,
   상기 각 블록 내의 참조값이 모두 제 1 값인 경우, 해당 블록의 블록값을 제 3 값로 결정하고, 그 이외의 경우 블록값을 제 4 값으로 결정하는 단계
   를 포함하는 것인, 피라미드 히스토리 맵 생성 방법.
   
4. 제 3 항에 있어서,
   상기 제 3 레이어를 생성하는 단계는
   상기 제 2 레이어 내의 블록값이 모두 제 3 값인 경우, 상기 제 3 레이어의 값을 제 5 값으로 결정하고, 그 이외의 경우 상기 제 3 레이어의 값을 제 6 값으로 결정하는 단계
   를 포함하는 것인, 피라미드 히스토리 맵 생성 방법.
   
5. 제 4 항에 있어서,
   상기 특징맵(A)에 대한 피라미드 히스토리 맵(B)을 재구성하여 다음 깊이의 특징맵(A')에 대한 피라미드 히스토리 맵(B')을 생성하는 단계
   를 더 포함하고,
   상기 피라미드 히스토리 맵(B')을 생성하는 단계는,
   상기 피라미드 히스토리 맵(B)의 참조값에 기초하여 상기 피라미드 히스토리 맵(B')의 참조값을 결정하고, 복수의 참조값을 포함하는 상기 피라미드 히스토리 맵(B')의 제 1 레이어를 생성하는 단계,
   상기 피라미드 히스토리 맵(B')의 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 피라미드 히스토리 맵(B')의 제 2 레이어를 생성하는 단계; 및
   상기 피라미드 히스토리 맵(B')의 제 2 레이어의 상기 복수의 블록값에 기초하여 상기 피라미드 히스토리 맵(B')의 제 3 레이어를 생성하는 단계
   를 포함하는 것인, 피라미드 히스토리 맵 생성 방법.
   
6. 제 5 항에 있어서,
   상기 피라미드 히스토리 맵(B')의 제 1 레이어를 생성하는 단계는,
   상기 윈도우 영역이 k*l(k, l은 자연수) 행렬이고, 상기 피라미드 히스토리 맵(B)의 제 1 레이어의 각각의 제 2 값의 위치에 대하여 그 위치를 (x, y)로 표시했을 때(x, y는 0 이상의 정수), 상기 피라미드 히스토리 맵(B')의 제 1 레이어의 [x-k+1, x]*[y-l+1,y] 직사각형 영역 내의 참조값을 제 2 값으로 결정하는 것인, 피라미드 히스토리 맵 생성 방법.
   
7. 제 1 항에 있어서,
   상기 제 1 프레임 및 상기 제 2 프레임이 m*n 행렬이고(m, n은 자연수), 상기 윈도우 영역이 k*l(k, l은 자연수) 행렬이면, 상기 제 1 레이어는 (m-k+1)*(n-l+1) 행렬인 것인, 피라미드 히스토리 맵 생성 방법.
   
8. 제 1 항에 있어서,
   상기 제 2 레이어는 제 1 크기의 행렬인 것인, 피라미드 히스토리 맵 생성 방법.
   
9. 제 8 항에 있어서,
   상기 제 3 레이어는 상기 제 1 크기보다 작은 제 2 크기의 행렬인 것인, 피라미드 히스토리 맵 생성 방법.
   
10. 제 1 항에 있어서,
    상기 제 1 프레임과 상기 제 2 프레임은 하나의 영상에서 연속하는 프레임인 것인, 피라미드 히스토리 맵 생성 방법.
    
11. 특징맵(A)에 대한 피라미드 히스토리 맵(B)을 생성하는 방법에 있어서,
    상기 특징맵(A)의 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값의 차이가 기준값 미만인지 여부에 기초하여 각 컨볼루션 값에 대응하는 참조값을 결정하고, 복수의 참조값을 포함하는 제 1 레이어를 생성하는 단계;
    상기 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 상기 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 제 2 레이어를 생성하는 단계; 및
    상기 제 2 레이어의 상기 복수의 블록값에 기초하여 제 3 레이어를 생성하는 단계
    를 포함하는 것인, 피라미드 히스토리 맵 생성 방법.
    
12. 제 11 항에 있어서,
    상기 기준값은 상기 제 1 프레임 또는 상기 제 2 프레임의 픽셀값의 평균 및 분산에 기초하여 결정되는 것인, 피라미드 히스토리 맵 생성 방법.
    
13. 제 1 프레임과 제 2 프레임의 픽셀값에 기초하여 생성되고, 제 1 레이어, 제 2 레이어 및 제 3 레이어를 포함하는 피라미드 히스토리 맵을 이용하여 특징맵을 생성하는 방법에 있어서,
    상기 제 1 프레임에 커널을 적용한 컨볼루션 값을 계산하여 상기 제 1 프레임의 특징맵(a)을 생성하는 단계;
    상기 피라미드 히스토리 맵을 참고하여 상기 제 1 프레임의 특징맵(a)과 상기 제 2 프레임의 특징맵(b)의 중복 영역을 결정하는 단계;
    상기 특징맵(a)의 중복 영역 내의 컨볼루션 값을 상기 특징맵(b)의 중복 영역내의 컨볼루션 값으로 사용하는 단계; 및
    상기 특징맵(b)의 상기 중복 영역을 제외한 나머지 영역에 대하여 상기 제 2 프레임에 상기 커널을 적용한 컨볼루션 값을 계산하여 상기 제 2 프레임의 특징맵(b)을 생성하는 단계
    를 포함하는, 특징맵 생성 방법.
    
14. 제 13 항에 있어서,
    상기 중복 영역을 결정하는 단계는, 상기 피라미드 히스토리 맵의 제 3 레이어, 제 2 레이어 및 제 1 레이어를 순차적으로 참고하여 상기 중복 영역을 결정하는 것인, 특징맵 생성 방법.
    
15. 제 14 항에 있어서,
    상기 피라미드 히스토리 맵은,
    상기 특징맵(a)의 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 상기 제 1 프레임과 상기 제 2 프레임의 픽셀값이 일치하는지 여부에 기초하여 각 컨볼루션 값에 대응하는 참조값을 결정하고, 복수의 참조값을 포함하는 상기 제 1 레이어를 생성하는 단계,
    상기 제 1 레이어를 복수개의 블록으로 구분하고, 구분된 각 블록 내의 상기 참조값에 기초하여 각 블록에 대응하는 블록값을 결정하고, 복수의 블록값을 포함하는 상기 제 2 레이어를 생성하는 단계, 및
    상기 제 2 레이어의 상기 복수의 블록값에 기초하여 상기 제3 레이어를 생성하는 단계를 통해 생성되는 것인, 특징맵 생성 방법.
    
16. 제 15 항에 있어서,
    상기 제 1 레이어를 생성하는 단계는, 상기 각 컨볼루션 값에 대응하는 윈도우 영역에 포함된 제 1 프레임과 제 2 프레임의 픽셀값이 모두 일치하는 경우 해당 컨볼루션 값에 대응하는 참조값을 제 1 값으로 결정하고, 그 이외의 경우 참조값을 제 2 값으로 결정하는 단계를 포함하고,
    상기 제 2 레이어를 생성하는 단계는, 상기 각 블록 내의 참조값이 모두 제 1 값인 경우, 해당 블록의 블록값을 제 3 값으로 결정하고, 그 이외의 경우 블록값을 제 4 값으로 결정하는 단계를 포함하고,
    상기 제 3 레이어를 생성하는 단계는, 상기 제 2 레이어 내의 블록값이 모두 제 3 값인 경우, 상기 제 3 레이어의 값을 제 5 값으로 결정하고, 그 이외의 경우 상기 제 3 레이어의 값을 제 6 값으로 결정하는 단계를 포함하는 것인, 특징맵 생성 방법.
    
17. 제 16 항에 있어서,
    상기 중복 영역을 결정하는 단계는,
    상기 제 3 레이어를 참고하여, 상기 제 3 레이어의 값이 제 5 값이면 상기 특징맵(a)과 특징맵(b)의 전체 영역을 중복 영역으로 결정하는 단계;
    상기 제 3 레이어의 값이 제 6 값이면 상기 제 2 레이어를 참고하여, 상기 블록값이 제 3 값인 블록에 대응하는 상기 특징맵(a)과 특징맵(b)의 영역을 상기 중복 영역으로 결정하는 단계; 및
    상기 블록값이 제 4 값인 블록에 대하여 상기 제 1 레이어를 참고하여, 상기 참조값이 제 1 값인 영역에 대응하는 상기 특징맵(a)과 특징맵(b)의 영역을 상기 중복 영역으로 결정하는 단계
    를 포함하는, 특징맵 생성 방법.
    

Images