KR20200031993A

KR20200031993A - 이미지를 인코딩하기 위한 방법 및 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치

Info

Publication number: KR20200031993A
Application number: KR1020190105479A
Authority: KR
Inventors: 김계현; 김용중; 김인수; 김학경; 남운현; 부석훈; 성명철; 여동훈; 유우주; 장태웅; 정경중; 제홍모; 조호진
Original assignee: 주식회사 스트라드비젼
Priority date: 2018-09-17
Filing date: 2019-08-27
Publication date: 2020-03-25
Also published as: US10282864B1; KR102309702B1; JP6856851B2; CN110910395A; CN110910395B; JP2020047271A; EP3624016A1

Abstract

본 발명에 따르면, CNN(convolutional Neural Network) 기반 이미지 인코딩 방법에 있어서, 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 (a) 입력 이미지를 획득하는 단계; (b) 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적용하여 각각 다른 사이즈를 갖는 전치 특징 맵을 생성하며, (ii) 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적용하여 인셉션(Inception) 특징 맵을 제1 그룹으로서 생성하는 단계; 및 (c) 제1 그룹에 포함된 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 출력 특징 맵을 생성하는 단계;를 포함하는 방법이 제공된다.

Description

이미지를 인코딩하기 위한 방법 및 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치{METHOD AND DEVICE FOR ENCODING IMAGE AND TESTING METHOD AND TESTING DEVICE USING THE SAME}

본 발명은 CNN 기반 이미지 인코딩 방법에 관한 것으로, 보다 상세하게는; 상기 CNN 기반 이미지 인코딩 방법에 있어서, (a) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 적어도 하나의 입력 이미지를 획득하는 단계; (b) 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하며, (ii) 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 그에 대응되는 각각의 전치 특징 맵에 적어도 한 번 적용하여 적어도 하나의 인셉션(Inception) 특징 맵을 제1 그룹으로서 생성하는 단계; 및 (c) 상기 학습 장치가, 상기 제1 그룹에 포함된 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 출력 특징 맵을 생성하는 단계;를 포함하는 것을 특징으로 하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

딥러닝은 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술이다. 예를 들어 컴퓨터는 사진만으로 개와 고양이를 구분하지 못한다. 하지만 사람은 아주 쉽게 구분할 수 있다. 이를 위해 '기계학습(Machine Learning)'이라는 방법이 고안됐다. 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다. 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 한 것이다.

데이터를 어떻게 분류할 것인가를 놓고 이미 많은 기계학습 알고리즘이 등장했다. '의사결정나무'나 '베이지안망', '서포트벡터머신(SVM)', '인공신경망' 등이 대표적이다. 이 중 딥러닝은 인공신경망의 후예다.

딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Networks; Deep CNN)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNN은 글자 인식 문제를 풀기 위해 90년대에 이미 사용되었지만, 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 이러한 딥 CNN은 2012년 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했다. 그리고 나서 컨벌루션 뉴럴 네트워크는 기계 학습(Machine Learning) 분야에서 매우 유용한 툴이 되었다.

도 1은 일반적인 CNN 세그멘테이션 프로세스를 간략하게 나타낸 도이다.

도 1을 참조하면, 기존의 차선 검출 방법에서는, 학습 장치가, 입력 이미지를 입력 받아, 복수의 컨벌루션 레이어에서 컨벌루션 연산과 ReLU 등의 비선형 연산을 여러 번 수행하여 인코디드 특징 맵을 획득하고 마지막 특징 맵에 대하여 복수의 디컨벌루션 레이어에서 디컨벌루션 연산과 소프트맥스 연산을 여러 번 수행하여 세그멘테이션 결과를 얻는다.

도 2a 및 도 2b는 종래의 인셉션 방법으로 이미지를 인코딩하기 위한 컨벌루션 레이어의 다양한 구성을 각각 나타낸다.

도 2a에 도시된 종래의 인셉션 방법은 다양한 커널 크기, 예를 들어, 1×1, 3×3, 5×5또는 이들의 조합의 커널 크기를 갖는 컨벌루션 유닛을 통해 이전 레이어에서 전달된 입력 특징 맵에 대하여 컨벌루션 연산을 수행한 다음, 컨벌루션 연산된 다양한 특징 맵을 컨캐터네이팅한다. 이와 같은 방법으로 하나의 스케일(Scale)로부터 다양한 리셉티브 필드(Receptive Field)를 고려하는 중간(Intermediate) 특징 맵 즉, 인셉션 특징 맵을 얻을 수 있었다.

도 2b에 도시된 종래의 인셉션 방법은 연산량을 줄이기 위해 1×1 컨벌루션 필터를 이용해 채널 수를 줄이는 프로세스를 추가하였다.

위와 같은 인셉션 개념을 이용한 종래의 이미지 인코딩 방법은 특징 맵의 컨벌루션 연산 시 다양한 커널 크기로 다양한 리셉티브 필드를 고려할 수 있지만, 기존 방법으로는 1×1 이상의 커널 크기만을 고려할 수 있다는 문제가 있었는바, 이미지의 다양한 특징을 다 고려할 수는 없었다. 이에 따라, 좀 더 다양한 커널 크기를 고려하여 좀 더 다양한 특성을 갖는 특징을 추출할 수 있는 새로운 방법의 제시가 요구되고 있다.

본 발명은 상술한 문제점을 해결하고자 하는 것을 목적으로 한다.

본 발명은 입력 특징 맵에 대하여 적용되는 1×1 보다 작은 커널 크기를 고려할 수 있는 새로운 이미지 인코딩 방법을 제공하는 것을 다른 목적으로 한다.

본 발명은 입력 특징 맵에서 종래의 방법보다 좀 더 다양한 특성을 얻을 수 있는 새로운 이미지 인코딩 방법을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 태양에 따르면, CNN 기반 이미지 인코딩 방법에 있어서, (a) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 적어도 하나의 입력 이미지를 획득하는 단계; (b) 상기 학습 장치가, 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하며, (ii) 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 그에 대응되는 각각의 전치 특징 맵에 적어도 한 번 적용하여 적어도 하나의 인셉션(Inception) 특징 맵을 제1 그룹으로서 생성하는 단계; 및 (c) 상기 학습 장치가, 상기 제1 그룹에 포함된 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 출력 특징 맵을 생성하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제1 그룹에 포함된 상기 인셉션 특징 맵은 사이즈가 동일하지만, 각각 서로 다른 특성을 가지는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (b) 단계는, (b-1) 상기 학습 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 단계; (b-2) 상기 학습 장치가, (i) 상기 제k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치는 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 인셉션 특징 맵을 제2 그룹으로서 생성하고, 상기 (c) 단계에서, 상기 학습 장치는, 상기 제1 그룹의 상기 인셉션 특징 맵 및 상기 제2 그룹의 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (b) 단계는, (b-1) 상기 학습 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 단계; (b-2) 상기 학습 장치가, (i) 상기 제 k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 단계; 및 (b-3) 상기 학습 장치가, 상기 입력 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 제m+1 내지 제m+n 인셉션 특징 맵을 상기 제2 그룹으로서 생성하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치는, 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 맥스 풀링 특징 맵을 제3 그룹으로서 생성하고, 상기 (c) 단계에서, 상기 학습 장치는, 상기 제1 그룹의 상기 인셉션 특징 맵, 상기 제2 그룹의 상기 인셉션 특징 맵 및 상기 제3 그룹의 상기 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치는, 상기 제1 컨벌루션 레이어로 하여금 (i) 상기 입력 이미지에 대하여 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하고, (ii) 스트라이드와 커널 크기를 달리 한 컨벌루션 연산을 그에 대응되는 각각의 전치 특징 맵에 적어도 한 번 적용하여 적어도 하나의 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 것을 특징으로 한다.

일 실시예에서, 상기 방법은, (d) 상기 학습 장치가, 상기 제n 컨벌루션 레이어로부터 출력된 상기 출력 특징 맵을 바탕으로 CNN 출력을 획득하고, 상기 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, CNN 기반 이미지 인코딩 방법에 있어서, (a) (i) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 학습용 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 학습용 전치 특징 맵을 생성하는 프로세스, (ii) 상기 학습 장치가 상기 학습용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 학습용 인셉션(Inception) 특징 맵을 학습용 제1 그룹으로서 생성하는 프로세스, (iii) 상기 학습 장치가 상기 학습용 제1 그룹에 포함된 상기 학습용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 학습용 출력 특징 맵을 생성하는 프로세스 및 (iv) 상기 학습 장치가 상기 학습용 출력 특징 맵을 바탕으로 학습용 CNN 출력을 획득하고, 상기 학습용 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 프로세스를 수행한 상태에서, 테스트 장치가 적어도 하나의 테스트 이미지를 획득하는 단계; (b) 상기 테스트 장치가 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득된 테스트용 입력 특징 맵에 대하여 상기 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 테스트용 전치 특징 맵을 생성하며, (ii) 상기 테스트용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 인셉션 특징 맵을 테스트용 제1 그룹으로서 생성하는 단계; 및 (c) 상기 테스트 장치가, 상기 테스트용 제1 그룹에 포함된 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 테스트용 출력 특징 맵을 생성하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 테스트용 제1 그룹에 포함된 상기 테스트용 인셉션 특징 맵은 사이즈가 동일하지만, 각각 서로 다른 특성을 가지는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (b) 단계는, (b-1) 상기 테스트 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 제m 전치 특징 맵을 생성하는 단계; (b-2) 상기 테스트 장치가, (i) 상기 테스트용 제k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 테스트 장치는 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 인셉션 특징 맵을 테스트용 제2 그룹으로서 생성하고, 상기 (c) 단계에서, 상기 테스트 장치는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (b) 단계는, (b-1) 상기 테스트 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 테스트용 제m 전치 특징 맵을 생성하는 단계; (b-2) 상기 테스트 장치가, (i) 상기 테스트용 제 k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드의 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 단계; 및 (b-3) 상기 테스트 장치가, 상기 테스트 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 테스트용 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 테스트용 제m+1 내지 테스트용 제m+n 인셉션 특징 맵을 상기 테스트용 제2 그룹으로서 생성하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 테스트 장치는, 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 맥스 풀링 특징 맵을 테스트용 제3 그룹으로서 생성하고, 상기 (c) 단계에서, 상기 테스트 장치는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵, 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제3 그룹의 상기 테스트용 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 한다.

본 발명의 또 다른 태양에 따르면, 제1 내지 제n 컨벌루션 레이어를 포함하는, CNN 기반 이미지 인코딩을 위한 학습 장치에 있어서, 적어도 하나의 트레이닝 이미지를 입력 이미지로서 획득하기 위한 통신부; 및 (I) 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하며, (ii) 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 그에 대응되는 각각의 전치 특징 맵에 적어도 한 번 적용하여 적어도 하나의 인셉션(Inception) 특징 맵을 제1 그룹으로서 생성하는 프로세스, 및 (II) 상기 제1 그룹에 포함된 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 출력 특징 맵을 생성하는 프로세스를 수행하는 프로세서;를 포함하는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (I) 프로세스는, (I-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 프로세스; (I-2) (i) 상기 제k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 프로세스;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 인셉션 특징 맵을 제2 그룹으로서 생성하고, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 제1 그룹의 상기 인셉션 특징 맵 및 상기 제2 그룹의 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (I) 프로세스는, (I-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 프로세스; (I-2) (i) 상기 제 k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드의 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 프로세스; 및 (I-3) 상기 입력 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 제m+1 내지 제m+n 인셉션 특징 맵을 상기 제2 그룹으로서 생성하는 프로세스;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 맥스 풀링 특징 맵을 제3 그룹으로서 생성하고, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 제1 그룹의 상기 인셉션 특징 맵, 상기 제2 그룹의 상기 인셉션 특징 맵 및 상기 제3 그룹의 상기 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 제1 컨벌루션 레이어로 하여금 (i) 상기 입력 이미지에 대하여 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 크기를 갖는 적어도 하나의 전치 특징 맵을 생성하고, (ii) 상기 전치 특징 맵에 대해 스트라이드와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서는, (III) 상기 제n 컨벌루션 레이어로부터 출력된 상기 출력 특징 맵을 바탕으로 CNN 출력을 획득하고, 상기 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 프로세스;를 더 수행하는 것을 특징으로 한다.

본 발명의 또 다른 태양에 따르면, CNN 기반 이미지 인코딩을 위한 테스트 장치에 있어서, (i) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 학습용 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 학습용 전치 특징 맵을 생성하는 프로세스, (ii) 상기 학습 장치가 스트라이드(Stride)와 커널 크기를 달리 하여 컨벌루션 연산을 그에 대응하는 상기 학습용 전치 특징 맵에 대하여 적어도 한 번 적용하여 적어도 하나의 학습용 인셉션 특징 맵(Inception Feature Maps For Training)을 학습용 제1 그룹으로서 생성하는 프로세스, (iii) 상기 학습 장치가 상기 학습용 제1 그룹에 포함된 상기 학습용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 학습용 출력 특징 맵을 생성하는 프로세스 및 (iv) 상기 학습 장치가 상기 학습용 출력 특징 맵을 바탕으로 학습용 CNN 출력을 획득하고, 상기 학습용 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 프로세스를 수행한 상태에서, 적어도 하나의 테스트 이미지를 획득하는 통신부; 및 (I) 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득된 상기 테스트용 입력 특징 맵에 대하여 상기 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 테스트용 전치 특징 맵을 생성하며, (ii) 상기 테스트용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 인셉션 특징 맵(Inception Feature Maps)을 테스트용 제1 그룹으로서 생성하는 프로세스; 및 (II) 상기 테스트용 제1 그룹에 포함된 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 테스트용 출력 특징 맵을 생성하는 프로세스;를 수행하는 프로세서;를 포함하는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (I) 프로세스는, (I-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 제m 전치 특징 맵을 생성하는 프로세스; (I-2) (i) 상기 테스트용 제k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 프로세스;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 인셉션 특징 맵을 테스트용 제2 그룹으로서 생성하고, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 한다.

일 실시예에서, 적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우, 상기 (II) 프로세스는, (II-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 테스트용 제m 전치 특징 맵을 생성하는 프로세스; (II-2) (i) 상기 테스트용 제 k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드의 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 프로세스; 및 (II-3) 상기 테스트 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 테스트용 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 테스트용 제m+1 내지 테스트용 제m+n 인셉션 특징 맵을 상기 테스트용 제2 그룹으로서 생성하는 프로세스;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 맥스 풀링 특징 맵을 테스트용 제3 그룹으로서 생성하고, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵, 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제3 그룹의 상기 테스트용 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 한다.

본 발명에 따르면, 입력 이미지 또는 이전 컨벌루션 레이어에서 획득한 입력 특징 맵에 대하여 다양한 사이즈의 전치 컨벌루션 연산을 적용하여 특징 맵의 사이즈를 키우고, 여기에 대응하는 스트라이드(Stride)를 갖는 컨벌루션 연산을 적용하여 커널 크기를 정수에서 실수 범위로 넓힐 수 있는 효과가 있다.

본 발명에 따르면, 이전 특징 맵으로부터 획득된 입력 특징 맵에서 고려할 수 있는 리셉티브 필드(Receptive Field)가 다양해져 다양한 특성을 갖는 특징을 얻을 수 있는 다른 효과가 있다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 “통상의 기술자”)에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 일반적인 CNN 세그멘테이션 프로세스를 간략하게 나타낸 도이다.
도 2a 및 도 2b는 종래의 인셉션 방법을 이용하여 이미지를 인코딩하기 위한 컨벌루션 레이어의 다양한 구성을 각각 나타낸다.
도 3은 본 발명의 일 실시예에 따른 이미지 인코딩 방법을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 이미지 인코딩 방법을 나타낸다.
도 5는 본 발명의 또 다른 실시예에 따른 이미지 인코딩 방법을 나타낸다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, “포함하다”라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 이미지 인코딩 방법을 나타낸다.

CNN(Convolutional Neural Network) 기반 학습 장치 또는 테스트 장치에서 제1 내지 제n 컨벌루션 레이어 각각은 입력 이미지 또는 이전 컨벌루션 레이어에서 획득한 입력 특징 맵에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 제1 내지 제n 특징 맵을 생성한다.

이때, 도 3에 도시된, 제1 내지 제n 컨벌루션 레이어 중 적어도 하나의 컨벌루션 레이어 각각은, 이전 컨벌루션 레이어로부터 획득된 입력 특징 맵(301)(또는 입력 이미지)에 대하여 하나 이상의 전치 컨벌루션 연산(310, 320)을 적용하여 각각 다르게 사이즈가 증가된 하나 이상의 전치 특징 맵을 생성한다. 여기서 상기 전치 컨벌루션 연산(310, 320)은 디컨벌루션 레이어를 사용해 특징 맵의 사이즈를 확장하는 컨벌루션 연산을 의미할 수도 있지만, 보간법(Interpolation)이나 리사이즈(예를 들어, 최근린법(Nearest Neighbor), 직선 보간(Linear Interpolation) 등)도 포함할 수 있다. 입력 특징 맵(301) (또는 입력 이미지)에 대해, 상기 하나 이상의 전치 컨벌루션 연산(310, 320)을 적용하면, 하나 이상의 전치 특징 맵(311, 321)이 생성된다. 도 3의 예에서, 제1 전치 컨벌루션 연산(310)은 입력 특징 맵(301)의 사이즈를 2배 키워, 제1 전치 특징 맵(311)의 사이즈는 입력 특징 맵(301) 사이즈의 2배가 되고, 제2 전치 컨벌루션 연산(320)은 입력 특징 맵(301)의 사이즈를 4배 키워, 제2 전치 특징 맵(321)의 사이즈는 입력 특징 맵(301) 사이즈의 4배가 된다. 물론, 이러한 사이즈 확대 정도는 예시적인 것으로, 본 발명의 범위는 이에 한정되지 않는다.

그런 다음, 상기 하나 이상의 전치 특징 맵(311, 321)에 대해 그에 대응하여 하나 이상의 컨벌루션 연산(330, 340)을 수행한다. 보다 상세하게는, 컨벌루션 연산(330 340)은 상기 전치 특징 맵에 대해 그에 대응하여 각각 스트라이드(Stride)와 커널 크기를 달리하여 적용되는 것으로, 이에 대응하는 하나 이상의 인셉션 특징 맵을 제1 그룹(302)으로 생성한다. 예를 들어, 제1 컨벌루션 연산(330)의 스트라이드 값이 2이며 제2 컨벌루션 연산(340)의 스트라이드 값이 4인 상태에서, (i) 제1 전치 특징 맵(311)의 사이즈가 입력 특징 맵(301)와 비교하여 2배가 되었기에, 스트라이드가 2인 제1 컨벌루션 연산(330)을 적용해 제1 전치 특징 맵(311)의 사이즈를 입력 특징 맵(301)의 사이즈와 동일하게 변형시키고, (ii) 마찬가지로, 제2 전치 특징 맵(321)의 사이즈가 입력 특징 맵(301)와 비교하여 4배가 되었기에, 스트라이드가 4인 제2 컨벌루션 연산(340)을 통해 제2 전치 특징 맵(321)의 사이즈를 입력 특징 맵(301)의 사이즈와 동일하게 변형시킨다. 이에 따라, 제1 그룹(302) 내의 인셉션 특징 맵(331, 341)의 사이즈는 동일하게 형성된다.

아울러, 제1 컨벌루션 연산(330) 및 제2 컨벌루션 연산(340)에 적용되는 커널 크기는 각각 e×f와 g×h와 같이 서로 달리 정할 수 있다. 이에 따라, 입력 특징 맵(301)에 대해 다양한 리셉티브 필드(Receptive Field)를 고려할 수 있다. 특히, 입력 특징 맵(301)의 사이즈를 다양하게 변형시킨 후 다양한 리셉티브 필드를 적용하기 때문에, 각각의 특정 배수 축소된 커널 크기가 적용되는 효과를 얻을 수 있되, 상기 각각의 특정 배수는 전치 컨벌루션 연산을 통해 그에 대응하여 사이즈가 증가한 배수이다. 예를 들어 도 3에서 입력 특징 맵(301)에 대해 제1 전치 컨벌루션 연산(310)을 적용하여 생성된 제1 전치 컨벌루션 특징 맵(311)에 e×f의 커널 크기를 적용한다면, 제1 전치 컨벌루션 특징 맵(311)에 대해서는 e×f 사이즈의 리셉티브 필드가 제공되지만, 입력 특징 맵(301)에 대해서는 e/2×f/2의 리셉티브 필드가 제공될 수 있다.

도 3의 예에서, 제1 컨벌루션 연산(330)의 스트라이드가 2이고 3×3의 커널 크기를 갖는다면, 제1 그룹(302)의 제1 인셉션 특징 맵(331)은 입력 특징 맵(301)에 대해 3/2×3/2 사이즈의 리셉티브 필드를 고려하여 생성되었다고 볼 수 있으며, 제2 컨벌루션 연산(340)의 스트라이드가 4이고 5×5의 커널 크기를 갖는다면, 제1 그룹(302)의 제2 인셉션 특징 맵(341)은 입력 특징 맵(301)에 대해 5/4×5/4 사이즈의 리셉티브 필드를 고려하여 생성되었다고 볼 수 있다.

이 때, 제1 그룹(302)의 인셉션 특징 맵(331, 341)은 동일한 사이즈를 갖지만, 다양한 리셉티브 필드를 고려하여 생성된 다양한 특성을 가진다.

그리고 이렇게 생성된 제1 그룹(302)에 포함된 인셉션 특징 맵(331, 341)을 컨캐터네이팅(Concatenating)하거나 요소별 합산(Element-Wise Adding)하여 하나의 출력 특징 맵(303)으로 통합된다. 그리고 출력 특징 맵(303)은 이에 대응하는 컨벌루션 레이어의 출력일 수도 있고, 출력 특징 맵(303)으로부터 생성된 수정된 특징 맵은 이에 대응하는 컨벌루션 레이어의 출력일 수도 있다. 예를 들어, 제 k 컨벌루션 레이엉에 입력되는 입력 특징 맵(301)이 n개의 컨벌루션 레이어 중 제(k-1) 컨벌루션 레이어로부터 출력된 제(k-1) 특징 맵이라면, 도 3에 도시된 연산은 제k 컨벌루션 레이어에서 수행될 것이며, 출력 특징 맵(303)은 상기 제k 컨벌루션 레이어로부터 출력된 제k 특징 맵일 수 있다. 다른 예로, 채널과 사이즈를 변경하기 위해 상기 출력 특징 맵(303)에 대해 추가 컨벌루션 연산 및 ReLU와 같은 비선형 연산을 적용하여 생성된 수정된 특징 맵이 상기 제k 컨벌루션 레이어로부터 출력된 제k 특징 맵일 수도 있다.

한편, 본 발명의 인코딩 방법에서, 제1 컨벌루션 레이어는 이전 컨벌루션 레이어가 없기에 입력 특징 맵이 아닌 입력 이미지를 이용해 도 3에 도시된 출력 특징 맵을 생성하는 프로세스를 수행한다. 즉, 학습 장치는 제1 컨벌루션 레이어로 하여금 (i) 입력 이미지에 대해 전치 컨벌루션을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하고, (ii) 상기 적어도 하나의 전치 특징 맵 각각에 컨벌루션 연산을 수행함에 있어서 상기 전치 특징 맵에 대해 스트라이드와 커널 크기를 달리 하여 컨벌루션 연산을 적용하여 적어도 하나의 인셉션 특징 맵을 제1 그룹으로서 생성한다.

도 4는 본 발명의 다른 실시예에 따른 이미지 인코딩 방법을 나타낸다.

도 4에 도시된 본 발명의 다른 실시예에 따르면, 도 3에 도시된 방법에 더해 제1 그룹(302) 외에 제2 그룹(402)의 인셉션 특징 맵을 추가로 생성하고, 제1 그룹(302)의 인셉션 특징 맵 및 제2 그룹(402)의 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 출력 특징 맵(303)으로 통합한다.

구체적으로, 입력 특징 맵(301)에 대해 적어도 하나 이상의 커널로 컨벌루션 연산(410, 420)을 적용하여 적어도 하나의 인셉션 특징 맵(411, 421)을 제2 그룹(402)으로 생성한다.

예를 들어, 입력 특징 맵(301)에 대해 a×b 사이즈의 커널을 갖는 제3 컨벌루션 연산(410)을 적용하여 제2 그룹(402) 내의 제3 인셉션 특징 맵(411)을 생성하고, 입력 특징 맵(301)에 대해 c×d 사이즈의 커널을 갖는 제4 컨벌루션 연산(420)을 적용하여 제2 그룹(402) 내의 제4 인셉션 특징 맵(421)을 생성한다. 제3 인셉션 특징 맵(411)은 입력 특징 맵(301)에 대해 a×b 사이즈의 리셉티브 필드를 고려하여 생성되었고, 제4 인셉션 특징 맵(421)은 입력 특징 맵(301)에 대해 c×d 사이즈의 리셉티브 필드를 고려하여 생성되었다.

그런 다음, 학습 장치는 제1 그룹(302)의 인셉션 특징 맵(331, 341) 및 제2 그룹(402)의 인셉션 특징 맵(411, 421)을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 출력 특징 맵(303)으로 통합한다.

도 5는 본 발명의 또 다른 실시예에 따른 이미지 인코딩 방법을 나타낸다.

도 5에 도시된 본 발명의 또 다른 실시예에 따르면, 도 3 또는 도 4에 도시된 방법에 더해, 제3 그룹(502) 내의 인셉션 특징 맵을 추가로 생성한다. 예를 들어, 학습 장치는 제3 그룹(502) 내의 인셉션 특징 맵 및 제1 그룹(302) 내의 인셉션 특징 맵을 컨캐터네이팅 또는 요소별 합산(Element-Wise Adding)하거나 제1 그룹(302) 내의 인셉션 특징 맵, 제2 그룹(402)의 인셉션 특징 맵 및 제3 그룹(502)의 인셉션 특징 맵을 컨캐터네이팅 또는 요소별 합산(Element-Wise Adding)하여 출력 특징 맵(303)으로 통합하는 방법을 사용한다.

구체적으로, 입력 특징 맵(301)에 대해 서로 다른 사이즈의 맥스 풀링(Max Pooling) 연산(예를 들어 도 5에 도시된 3×3 맥스 풀링)을 적용하여 맥스 풀링 특징 맵(511)을 제3 그룹(502)으로 생성한다. 이 맥스 풀링 연산은 입력 특징 맵(301)으로부터 컨벌루션 연산 없이 최대값만 추출하여 맥스 풀링 특징 맵(511)을 생성하는 역할을 한다.

그런 다음, 학습 장치는 제1 그룹(302)의 인셉션 특징 맵(331, 341), 제3 그룹(502)의 인셉션 특징 맵(511)을 컨캐터네이팅 또는 요소별 합산(Element-Wise Adding)하거나, 제1 그룹(302)의 인셉션 특징 맵(331, 341), 제2 그룹(402)의 인셉션 특징 맵(411, 421), 제3 그룹(502)의 인셉션 특징 맵(511)을 컨캐터네이팅 또는 요소별 합산(Element-Wise Adding)하여 출력 특징 맵(303)으로 통합한다.

한편, 본 발명에 따르면, 연산량을 줄이기 위해 채널 수를 줄이기 위한 1×1 컨벌루션 연산도 제1 그룹 내지 제3 그룹의 특징 맵을 생성하는 중간에 사용될 수도 있다.

학습 장치는 획득된 특징 맵을 바탕으로 CNN 출력을 획득하고, CNN 출력과 이에 대응하는 GT를 참조로 획득된 세그멘테이션 로스를 백프로파게이션(Backpropagation) 한다.

그리고, 도 3 내지 도 5에 도시된 이미지 인코딩 방법은 테스트 장치에도 적용될 수 있다.

즉, (i) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 학습용 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 학습용 전치 특징 맵을 생성하고, (ii) 학습 장치가 학습용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 학습용 인셉션(Inception) 특징 맵을 학습용 제1 그룹으로서 생성하고, (iii) 학습 장치가 학습용 제1 그룹에 포함된 학습용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 학습용 출력 특징 맵을 생성하고, (iv) 학습 장치가 학습용 출력 특징 맵을 바탕으로 학습용 CNN 출력을 획득하고, 학습용 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행한 상태에서, 테스트 장치가 테스트 이미지를 획득할 수 있다.

그런 다음, 테스트 장치가 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득된 테스트용 입력 특징 맵에 대하여 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 테스트용 전치 특징 맵을 생성하며, (ii) 테스트용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 인셉션 특징 맵을 테스트용 제1 그룹으로서 생성할 수 있다.

그 후에 테스트 장치가 테스트용 제1 그룹에 포함된 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 테스트용 출력 특징 맵을 생성할 수 있다.

본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 트레이닝 이미지, 테스트 이미지와 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

CNN 기반 이미지 인코딩 방법에 있어서,
(a) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 적어도 하나의 입력 이미지를 획득하는 단계;
(b) 상기 학습 장치가, 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하며, (ii) 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 그에 대응되는 각각의 전치 특징 맵에 적어도 한 번 적용하여 적어도 하나의 인셉션(Inception) 특징 맵을 제1 그룹으로서 생성하는 단계; 및
(c) 상기 학습 장치가, 상기 제1 그룹에 포함된 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 출력 특징 맵을 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 제1 그룹에 포함된 상기 인셉션 특징 맵은 사이즈가 동일하지만, 각각 서로 다른 특성을 가지는 것을 특징으로 하는 방법.
제 1 항에 있어서,
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (b) 단계는,
(b-1) 상기 학습 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 단계;
(b-2) 상기 학습 장치가, (i) 상기 제k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 (b) 단계에서,
상기 학습 장치는 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 인셉션 특징 맵을 제2 그룹으로서 생성하고,
상기 (c) 단계에서,
상기 학습 장치는, 상기 제1 그룹의 상기 인셉션 특징 맵 및 상기 제2 그룹의 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 하는 방법.
제 4 항에 있어서
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (b) 단계는,
(b-1) 상기 학습 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 단계;
(b-2) 상기 학습 장치가, (i) 상기 제 k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 단계; 및
(b-3) 상기 학습 장치가, 상기 입력 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 제m+1 내지 제m+n 인셉션 특징 맵을 상기 제2 그룹으로서 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 4 항에 있어서
상기 (b) 단계에서,
상기 학습 장치는, 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 맥스 풀링 특징 맵을 제3 그룹으로서 생성하고,
상기 (c) 단계에서,
상기 학습 장치는, 상기 제1 그룹의 상기 인셉션 특징 맵, 상기 제2 그룹의 상기 인셉션 특징 맵 및 상기 제3 그룹의 상기 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 하는 방법.
제 1 항에 있어서
상기 (b) 단계에서,
상기 학습 장치는, 상기 제1 컨벌루션 레이어로 하여금 (i) 상기 입력 이미지에 대하여 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하고, (ii) 스트라이드와 커널 크기를 달리 한 컨벌루션 연산을 그에 대응되는 각각의 전치 특징 맵에 적어도 한 번 적용하여 적어도 하나의 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 것을 특징으로 하는 방법.
제 1 항에 있어서
상기 방법은,
(d) 상기 학습 장치가, 상기 제n 컨벌루션 레이어로부터 출력된 상기 출력 특징 맵을 바탕으로 CNN 출력을 획득하고, 상기 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
CNN 기반 이미지 인코딩 방법에 있어서,
(a) (i) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 학습용 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 학습용 전치 특징 맵을 생성하는 프로세스, (ii) 상기 학습 장치가 상기 학습용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 학습용 인셉션(Inception) 특징 맵을 학습용 제1 그룹으로서 생성하는 프로세스, (iii) 상기 학습 장치가 상기 학습용 제1 그룹에 포함된 상기 학습용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 학습용 출력 특징 맵을 생성하는 프로세스 및 (iv) 상기 학습 장치가 상기 학습용 출력 특징 맵을 바탕으로 학습용 CNN 출력을 획득하고, 상기 학습용 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 프로세스를 수행한 상태에서, 테스트 장치가 적어도 하나의 테스트 이미지를 획득하는 단계;
(b) 상기 테스트 장치가 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득된 테스트용 입력 특징 맵에 대하여 상기 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 테스트용 전치 특징 맵을 생성하며, (ii) 상기 테스트용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 인셉션 특징 맵을 테스트용 제1 그룹으로서 생성하는 단계; 및
(c) 상기 테스트 장치가, 상기 테스트용 제1 그룹에 포함된 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 테스트용 출력 특징 맵을 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 9 항에 있어서,
상기 테스트용 제1 그룹에 포함된 상기 테스트용 인셉션 특징 맵은 사이즈가 동일하지만, 각각 서로 다른 특성을 가지는 것을 특징으로 하는 방법.
제 9 항에 있어서,
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (b) 단계는,
(b-1) 상기 테스트 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 제m 전치 특징 맵을 생성하는 단계;
(b-2) 상기 테스트 장치가, (i) 상기 테스트용 제k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 9 항에 있어서,
상기 (b) 단계에서,
상기 테스트 장치는 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 인셉션 특징 맵을 테스트용 제2 그룹으로서 생성하고,
상기 (c) 단계에서,
상기 테스트 장치는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 하는 방법.
제 12 항에 있어서
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (b) 단계는,
(b-1) 상기 테스트 장치가, 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 테스트용 제m 전치 특징 맵을 생성하는 단계;
(b-2) 상기 테스트 장치가, (i) 상기 테스트용 제 k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드의 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 단계; 및
(b-3) 상기 테스트 장치가, 상기 테스트 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 테스트용 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 테스트용 제m+1 내지 테스트용 제m+n 인셉션 특징 맵을 상기 테스트용 제2 그룹으로서 생성하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 12 항에 있어서
상기 (b) 단계에서,
상기 테스트 장치는, 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 맥스 풀링 특징 맵을 테스트용 제3 그룹으로서 생성하고,
상기 (c) 단계에서,
상기 테스트 장치는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵, 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제3 그룹의 상기 테스트용 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 하는 방법.
제1 내지 제n 컨벌루션 레이어를 포함하는, CNN 기반 이미지 인코딩을 위한 학습 장치에 있어서,
적어도 하나의 트레이닝 이미지를 입력 이미지로서 획득하기 위한 통신부; 및
(I) 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하며, (ii) 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 그에 대응되는 각각의 전치 특징 맵에 적어도 한 번 적용하여 적어도 하나의 인셉션(Inception) 특징 맵을 제1 그룹으로서 생성하는 프로세스, 및 (II) 상기 제1 그룹에 포함된 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 출력 특징 맵을 생성하는 프로세스를 수행하는 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 15 항에 있어서,
상기 제1 그룹에 포함된 상기 인셉션 특징 맵은 사이즈가 동일하지만, 각각 서로 다른 특성을 가지는 것을 특징으로 하는 장치.
제 15 항에 있어서,
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (I) 프로세스는,
(I-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 프로세스;
(I-2) (i) 상기 제k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 프로세스;
를 포함하는 것을 특징으로 하는 장치.
제 15 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서는 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 인셉션 특징 맵을 제2 그룹으로서 생성하고,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 제1 그룹의 상기 인셉션 특징 맵 및 상기 제2 그룹의 상기 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 하는 장치.
제 18 항에 있어서
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (I) 프로세스는,
(I-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 입력 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 제1 내지 제m 전치 특징 맵을 생성하는 프로세스;
(I-2) (i) 상기 제 k-1 특징 맵의 사이즈와 상기 제1 내지 상기 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 제1 내지 상기 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드의 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 제1 내지 제m 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 프로세스; 및
(I-3) 상기 입력 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 제m+1 내지 제m+n 인셉션 특징 맵을 상기 제2 그룹으로서 생성하는 프로세스;
를 포함하는 것을 특징으로 하는 장치.
제 18 항에 있어서
상기 (I) 프로세스에서,
상기 프로세서는, 상기 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 맥스 풀링 특징 맵을 제3 그룹으로서 생성하고,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 제1 그룹의 상기 인셉션 특징 맵, 상기 제2 그룹의 상기 인셉션 특징 맵 및 상기 제3 그룹의 상기 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 출력 특징 맵을 생성하는 것을 특징으로 하는 장치.
제 15 항에 있어서
상기 (I) 프로세스에서,
상기 프로세서는, 상기 제1 컨벌루션 레이어로 하여금 (i) 상기 입력 이미지에 대하여 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 전치 특징 맵을 생성하고, (ii) 상기 전치 특징 맵에 대해 스트라이드와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 인셉션 특징 맵을 상기 제1 그룹으로서 생성하는 것을 특징으로 하는 장치.
제 15 항에 있어서
상기 프로세서는,
(III) 상기 제n 컨벌루션 레이어로부터 출력된 상기 출력 특징 맵을 바탕으로 CNN 출력을 획득하고, 상기 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 프로세스;
를 더 수행하는 것을 특징으로 하는 장치.
CNN 기반 이미지 인코딩을 위한 테스트 장치에 있어서,
(i) 제1 내지 제n 컨벌루션 레이어를 포함하는 학습 장치가 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, 입력 이미지 또는 이전 컨벌루션 레이어로부터 획득된 학습용 입력 특징 맵에 대하여 전치 컨벌루션 연산(Transposed Convolution Operation)을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 학습용 전치 특징 맵을 생성하는 프로세스, (ii) 상기 학습 장치가 스트라이드(Stride)와 커널 크기를 달리 하여 컨벌루션 연산을 그에 대응하는 상기 학습용 전치 특징 맵에 대하여 적어도 한 번 적용하여 적어도 하나의 학습용 인셉션 특징 맵(Inception Feature Maps For Training)을 학습용 제1 그룹으로서 생성하는 프로세스, (iii) 상기 학습 장치가 상기 학습용 제1 그룹에 포함된 상기 학습용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 학습용 출력 특징 맵을 생성하는 프로세스 및 (iv) 상기 학습 장치가 상기 학습용 출력 특징 맵을 바탕으로 학습용 CNN 출력을 획득하고, 상기 학습용 CNN 출력과 이에 대응하는 GT를 참조로 획득한 세그멘테이션 로스의 백프로파게이션(Backpropagation)을 수행하는 프로세스를 수행한 상태에서, 적어도 하나의 테스트 이미지를 획득하는 통신부; 및
(I) 상기 컨벌루션 레이어의 적어도 일부 각각으로 하여금, (i) 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득된 상기 테스트용 입력 특징 맵에 대하여 상기 전치 컨벌루션 연산을 적어도 한 번 적용하여 각각 다른 사이즈를 갖는 적어도 하나의 테스트용 전치 특징 맵을 생성하며, (ii) 상기 테스트용 전치 특징 맵에 대해 그에 대응하여 스트라이드(Stride)와 커널 크기를 달리 한 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 인셉션 특징 맵(Inception Feature Maps)을 테스트용 제1 그룹으로서 생성하는 프로세스; 및 (II) 상기 테스트용 제1 그룹에 포함된 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 이에 대응하는 테스트용 출력 특징 맵을 생성하는 프로세스;를 수행하는 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 23 항에 있어서,
상기 테스트용 제1 그룹에 포함된 상기 테스트용 인셉션 특징 맵은 사이즈가 동일하지만, 각각 서로 다른 특성을 가지는 것을 특징으로 하는 장치.
제 23 항에 있어서,
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (I) 프로세스는,
(I-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어에서 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 제m 전치 특징 맵을 생성하는 프로세스;
(I-2) (i) 상기 테스트용 제k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 프로세스;
를 포함하는 것을 특징으로 하는 장치.
제 23 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서는 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대하여 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 인셉션 특징 맵을 테스트용 제2 그룹으로서 생성하고,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 하는 장치.
제 26 항에 있어서
적어도 하나의 상기 컨벌루션 레이어가 제k 컨벌루션 레이어인 경우,
상기 (II) 프로세스는,
(II-1) 상기 제k 컨벌루션 레이어로 하여금, 상기 테스트 이미지 또는 제k-1 컨벌루션 레이어로부터 획득한 테스트용 제k-1 특징 맵에 대해, 제1 내지 제m 전치 컨벌루션 연산 - m은 2 이상의 자연수 - 을 적용하도록 하여 제1 내지 제m 사이즈를 갖는 테스트용 제1 내지 테스트용 제m 전치 특징 맵을 생성하는 프로세스;
(II-2) (i) 상기 테스트용 제 k-1 특징 맵의 사이즈와 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵 각각의 사이즈의 비율을 각각 참조로 하여 제1 내지 제m 스트라이드의 크기를 결정하고, (ii) 상기 테스트용 제1 내지 상기 테스트용 제m 전치 특징 맵에 대해, 상기 제1 내지 상기 제m 스트라이드의 크기 및 제1 내지 제m 커널 크기를 갖는 제1 내지 제m 컨벌루션 필터를 각각 적용하여, 테스트용 제1 내지 테스트용 제m 인셉션 특징 맵을 상기 테스트용 제1 그룹으로서 생성하는 프로세스; 및
(II-3) 상기 테스트 이미지 또는 상기 제k-1 컨벌루션 레이어로부터 획득한 상기 테스트용 제k-1 특징 맵에 대해, 제m+1 내지 제m+n 커널 크기를 갖는 제m+1 내지 제m+n 컨벌루션 필터를 적용하여 테스트용 제m+1 내지 테스트용 제m+n 인셉션 특징 맵을 상기 테스트용 제2 그룹으로서 생성하는 프로세스;
를 포함하는 것을 특징으로 하는 장치.
제 26 항에 있어서
상기 (I) 프로세스에서,
상기 프로세서는, 상기 테스트 이미지 또는 이전 컨벌루션 레이어로부터 획득한 상기 테스트용 입력 특징 맵에 대해, 서로 다른 사이즈의 맥스 풀링 (Max Pooling) 연산을 적어도 한 번 적용하여 적어도 하나의 테스트용 맥스 풀링 특징 맵을 테스트용 제3 그룹으로서 생성하고,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 테스트용 제1 그룹의 상기 테스트용 인셉션 특징 맵, 상기 테스트용 제2 그룹의 상기 테스트용 인셉션 특징 맵 및 상기 테스트용 제3 그룹의 상기 테스트용 맥스 풀링 특징 맵을 컨캐터네이팅하거나 요소별 합산(Element-Wise Adding)하여 상기 테스트용 출력 특징 맵을 생성하는 것을 특징으로 하는 장치.