KR20220085642A

KR20220085642A - 변형가능 컨벌루션 네트워크를 정적 계산 기법을 사용하여 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Info

Publication number: KR20220085642A
Application number: KR1020200175868A
Authority: KR
Inventors: 김상범; 장하영
Original assignee: 주식회사 써로마인드
Priority date: 2020-12-15
Filing date: 2020-12-15
Publication date: 2022-06-22
Also published as: KR102427634B1; WO2022131399A1

Abstract

변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법이 개시된다. 즉, (a) 학습 장치가, 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 단계; (c) 상기 학습 장치가, 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 단계; 및 (d) 상기 학습 장치가, 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

Description

변형가능 컨벌루션 네트워크를 정적 계산 기법을 사용하여 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치{LEARNING METHOD AND LEARNING DEVICE FOR BSDCN(BOUNDED STATIC DEFORMABLE CONVOLUTION NETWORK) DESIGNED BY OPTIMIZING DEFORMABLE CONVOLUTION NETWORK USING STATIC CALCULATION SCHEME, AND TESTING METHOD AND TESTING DEVICE USING THE SAME}

본 발명은 변형가능 컨벌루션 네트워크를 정적 계산 기법을 사용하여 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

2차원 컨벌루션 신경망은 이미지 분류를 비롯한 여러 컴퓨터 비전 하위 문제들에서 성공을 거두었다. 그러나 컨벌루션 신경망은 고정된 격자 안에 등장하는 패턴만을 인식할 수 있다는 한계를 가진다. 패턴인식 알고리즘이 다양한 종류의 비정형 물체를 올바르게 검출하고 분할하기 위해서는 다양한 형태의 패턴을 인식할 수 있으면서도 널리 적용될 수 있는 알고리즘의 개발이 꼭 필요하다.

변형가능 컨벌루션 신경망(Deformable Convolution Network, DCN)은 필터의 모양이 격자를 벗어나 변형될 수 있도록 하여 비정형 패턴에 대한 모델링 능력을 높인 모델이다. DCN은 일반적인 Convolution Neural Network(CNN) 백본을 대체하여 물체 검출(Object Detection)과 인스턴스 분할(Instance Segmentation) 등 다양한 컴퓨터 비전 하위 문제에 적용되어 높은 인식 성능을 보였다.

그러나 DCN을 사용하는 경우 현대적인 딥러닝 프레임워크가 제공하는 최적화와 추상화의 이점을 적극적으로 활용하지 못한다. DCN을 GPU와 같은 하드웨어 가속기 상에서 빠르게 실행하기 위해서는 Compute Unified Device Architecture(CUDA)와 같은 전용 저수준 프로그래밍 방식으로 모듈을 작성하고 전용 컴파일러를 사용하여 환경에 맞게 컴파일해야만 한다. 이는 DCN이 도입된 모델을 재현하고 엣지 디바이스와 같은 특수한 환경에서 사용하는 것을 어렵게 하며, 소프트웨어 패키징 시 저수준 의존성에 대한 추가적인 고려를 요구한다.

즉, DCN과 같이 높은 인식 성능을 보이면서도 여러 케이스에 범용적으로 적용될 수 있는 인공지능 이미지 처리 기법은 충분히 연구되지 않았다고 볼 수 있다.

본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.

또한 본 발명은 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)을 제공하는 것을 목적으로 한다.

또한 본 발명은 변형가능 컨벌루션 개념을 도입하되, 오프셋의 범위를 제한함으로써 필터의 과도한 변형에 따른 문제를 해소할 뿐만 아니라 연산량과 구현의 복잡도를 줄이는 것을 목적으로 한다.

또한 본 발명은 이미지 상의 각각의 위치에 대해 동일하게 학습된 변형 필터를 사용함으로써 필터 변형에 따른 연산량 증가와 학습 부담을 줄이는 것을 목적으로 한다.

또한 본 발명은 이미지 처리시의 각 단계별로 사용될 수 있는 오프셋의 범위를 제공함으로써 실제로 BSDCN을 사용해 이미지를 처리할 때 사용할 수 있는 최적화된 환경을 제공하는 것을 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법에 있어서, (a) 학습 장치가, 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 단계; (c) 상기 학습 장치가, 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 단계; 및 (d) 상기 학습 장치가, 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a) 단계는, (a1) 상기 학습 장치가, 상기 디포밍 유닛으로 하여금, 상기 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 단계; 및 (a2) 상기 학습 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류 및 상기 특정 원본 컨벌루션 파라미터를 참조하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 상기 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a1) 단계는, 상기 학습 장치가, 상기 디포밍 유닛으로 하여금, (i) 소정 오프셋 평면상의 상기 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 상기 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 상기 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a2) 단계는, 상기 학습 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 상기 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 상기 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 학습 장치가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 학습용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 학습용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 학습용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 학습용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 학습용 추론 정보를 생성하도록 하는 것을 특징으로 하는 방법이 개시된다.

본 발명의 다른 태양에 따르면, 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 테스트 방법에 있어서, (a) (1) 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (2) 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 프로세스; (3) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 프로세스; 및 (4) 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 장치가, 테스트 이미지가 입력되면, 상기 BSDCN에 포함된 상기 디포밍 유닛으로 하여금, (i) 상기 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 상기 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 상기 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 상기 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 단계; (b) 상기 테스트 장치가, 상기 BSDCN에 포함된 상기 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 테스트 이미지에 상기 디폼 컨벌루션 연산을 가하여 상기 테스트용 중간 피처 맵을 생성하도록 하는 단계; 및 (c) 상기 테스트 장치가, 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 테스트용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 테스트 이미지에 대응하는 테스트용 추론 정보를 생성하도록 하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a) 단계는, (a1) 상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, 상기 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 단계; 및 (a2) 상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류 및 상기 특정 원본 컨벌루션 파라미터를 참조하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 상기 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a1) 단계는, 상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, (i) 소정 오프셋 평면상의 상기 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 상기 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 상기 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a2) 단계는, 상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 상기 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 상기 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 테스트 장치가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 테스트용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 테스트용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 테스트용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 테스트용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 테스트용 추론 정보를 생성하도록 하는 것을 특징으로 하는 방법이 개시된다.

본 발명의 또다른 태양에 따르면, 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (II) 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 프로세스; (III) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 프로세스; 및 (IV) 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (I) 프로세스는, 상기 프로세서가, (I1) 상기 디포밍 유닛으로 하여금, 상기 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 프로세스; 및 (I2) 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류 및 상기 특정 원본 컨벌루션 파라미터를 참조하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 상기 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (I1) 프로세스는, 상기 프로세서가, 상기 디포밍 유닛으로 하여금, (i) 소정 오프셋 평면상의 상기 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 상기 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 상기 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (I2) 프로세스는, 상기 프로세서가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 상기 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 상기 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 프로세서가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 학습용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 학습용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 학습용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 학습용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 학습용 추론 정보를 생성하도록 하는 것을 특징으로 하는 장치가 개시된다.

본 발명의 또다른 태양에 따르면, 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 테스트 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) (1) 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (2) 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 프로세스; (3) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 프로세스; 및 (4) 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 이미지가 입력되면, 상기 BSDCN에 포함된 상기 디포밍 유닛으로 하여금, (i) 상기 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 상기 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 상기 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 상기 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (II) 상기 BSDCN에 포함된 상기 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 테스트 이미지에 상기 디폼 컨벌루션 연산을 가하여 상기 테스트용 중간 피처 맵을 생성하도록 하는 프로세스; 및 (III) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 테스트용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 테스트 이미지에 대응하는 테스트용 추론 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 프로세서가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 테스트용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 테스트용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 테스트용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 테스트용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 테스트용 추론 정보를 생성하도록 하는 것을 특징으로 하는 장치가 개시된다.

본 발명은 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)을 제공할 수 있는 효과가 있다.

또한 본 발명은 변형가능 컨벌루션 개념을 도입하되, 오프셋의 범위를 제한함으로써 필터의 과도한 변형에 따른 문제를 해소할 뿐만 아니라 연산량과 구현의 복잡도를 줄일 수 있는 효과가 있다.

또한 본 발명은 이미지 상의 각각의 위치에 대해 동일하게 학습된 변형 필터를 사용함으로써 필터 변형에 따른 연산량 증가와 학습 부담을 줄일 수 있는 효과가 있다.

또한 본 발명은 이미지 처리시의 각 단계별로 사용될 수 있는 오프셋의 범위를 제공함으로써 실제로 BSDCN을 사용해 이미지를 처리할 때 사용할 수 있는 최적화된 환경을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른, 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 구조를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 학습 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 디포밍 유닛이 디폼 컨벌루션 커널을 생성하는 방식을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 디포밍 유닛이 제1 내지 제4 특정 인터폴레이션 밸류를 계산하는 예시를 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른, 변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.

도 1을 참조하면, 학습 장치(100)는 BSDCN(200)을 포함할 수 있다. 이 때, BSDCN(200)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 또한, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 프로세서(120)는 메모리에 저장된 인스트럭션들을 수행하도록 됨으로써 추후 설명할 프로세스들을 수행하여 본 발명을 수행할 수 있다. 이와 같이 학습 장치(100)가 묘사되었다고 하여, 학습 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다. 이하 BSDCN(200)의 구조에 대해 도 2를 참조하여 살피도록 한다.

도 2는 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 구조를 나타낸 도면이다.

도 2를 참조하면, BSDCN(200)은 적어도 하나의 디포밍 유닛(210), 적어도 하나의 디폼 컨벌루션 레이어(220), 적어도 하나의 연산 레이어(230) 및 적어도 하나의 로스 레이어(240)를 포함할 수 있다. 도면에서 …로 표시된 부분은, 디폼 컨벌루션 레이어(220)와 유사한 컨벌루션 레이어가 복수 개 존재하여, 학습 이미지에 컨벌루션 스테이지별로 컨벌루션 연산이 적용될 수 있음을 나타낸 것이다. 이와 같은 뉴럴 네트워크의 구조는 통상의 기술자에게 널리 알려져 있는 것이므로 충분히 이해될 수 있을 것이다. 또한, 각 컨벌루션 스테이지에 복수 개의 컨벌루션 레이어가 포함될 수 있음 역시 통상의 기술자에게 이해될 수 있을 것이다. 일례로, 널리 쓰이는 이미지 처리 뉴럴넷인 Faster R-CNN에서 채택한 ResNet 구조의 경우, 첫 번째 스테이지의 컨벌루션 레이어만 단일하고, 그 이후 스테이지의 컨벌루션 레이어는 복수 개이다.

도 2를 다시 참조하면, 디폼 컨벌루션 레이어(220)가 디포밍 유닛(210)으로부터 디폼 컨벌루션 커널을 획득하여 학습 이미지에 디폼 컨벌루션 연산을 가하는 구조를 확인할 수 있다. 여기서 디포밍 유닛(210)은 원본 컨벌루션 커널 및 오프셋 파라미터를 참조하여 디폼 컨벌루션 커널을 생성할 수 있는데, 더욱 자세한 과정에 대해서는 추후 설명할 것이다. 또한, 디포밍 유닛(210)은, 각각의 컨벌루션 스테이지별로 존재할 수 있으며, 각각의 컨벌루션 스테이지는 오프셋 파라미터를 공유할 수 있다. 전술한 바와 같이, 각각의 컨벌루션 스테이지는 복수 개의 컨벌루션 레이어를 포함할 수 있고, 같은 컨벌루션 스테이지에 포함된 컨벌루션 레이어들은 오프셋 파라미터를 공유할 수 있다. 이에 대해서도 추후 더욱 자세히 설명될 것이다. 연산 레이어(230)는, 일반적으로 이미지 연산용 뉴럴 네트워크에서 컨벌루션 레이어 뒤에 사용되는 레이어들일 수 있다. 가령, Faster R-CNN을 기반으로 본 발명을 적용할 경우, 연산 레이어(230)는 ROI 풀링 레이어 및 FC 레이어들일 수 있다. 이상 본 발명의 BSDCN(200)의 구성에 대해 전반적으로 설명한 바, 이하 BSDCN(200)의 학습 방법에 대해 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 학습 방법을 나타낸 흐름도이다.

도 3을 참조하면, 학습 장치(100)는, 학습 이미지가 입력되면, 상기 BSDCN(200)에 포함된 디포밍 유닛(210)으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널(211) 및 (ii) 원본 컨벌루션 커널(211)의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 원본 컨벌루션 커널(211)에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널(213)을 생성하도록 할 수 있다(S01). 이후, 학습 장치(100)는, BSDCN(200)에 포함된 디폼 컨벌루션 레이어(220)로 하여금, 디폼 컨벌루션 커널(213)을 사용하여 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 할 수 있다(S02). 또한, 학습 장치(100)는, BSDCN(200)에 포함된 연산 레이어(230)로 하여금, 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 할 수 있다(S03). 마지막으로, 학습 장치(100)는, BSDCN(200)에 포함된 로스 레이어(240)로 하여금, 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 로스를 참조하여 백프로퍼게이션을 수행함으로써 오프셋 파라미터 및 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 할 수 있다(S04).

이하 각각의 단계에 대해 더욱 구체적으로 설명하도록 한다.

전술한 바와 같이, 디포밍 유닛(210)은, 적어도 하나의 원본 컨벌루션 커널 및 오프셋 파라미터를 이용해, 디폼 컨벌루션 레이어(220)가 사용할 디폼 컨벌루션 커널을 생성할 수 있다. 여기서 원본 컨벌루션 커널은, 일반적으로 이미지 처리용 뉴럴 네트워크에서 사용하는 것과 유사한 격자형의 커널일 수 있다. 디포밍 유닛(210)은, 이와 같은 원본 컨벌루션 커널을 오프셋 파라미터를 사용해 격자형이 아닌 비정형의 디폼 컨벌루션 커널로 변환할 수 있다. 이에 대한 일 예시를 살피기 위해 도 4를 참조하도록 한다.

도 4는 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 디포밍 유닛이 디폼 컨벌루션 커널을 생성하는 방식을 나타낸 도면이다.

도 4를 참조하면, 학습 장치(100)는, 디포밍 유닛(210)으로 하여금, 오프셋 파라미터 및 원본 컨벌루션 커널을 참조하여 디폼 컨벌루션 커널을 생성하도록 할 수 있다. 도면에서 확인할 수 있듯, 화살표로 표시된 오프셋 파라미터는, 원본 컨벌루션 커널이

의 크기일 때, 각각의 파라미터가 곱할 위치를 얼마만큼 옮길지를 나타내는 값일 수 있다. 예를 들어, 원본 컨벌루션 커널에서 가장 좌측 상단에 위치하는 원본 파라미터는 원래

좌표에 위치한 값과 곱해져야 한다고 가정하자. 이 때 이에 대응하는 오프셋 파라미터가

이라면, 해당 원본 파라미터는 그 둘을 더한

좌표에 위치한 값과 곱해지게 될 것이다. 이와 같은 방식으로 디폼 컨벌루션 커널이 생성될 수 있는데, 이는 전술한 종래 기술인 DCN과 관련된 논문에서도 개시하고 있는 사항이므로 더 이상의 설명은 생략하도록 한다.

이와 같이 생성된 디폼 컨벌루션 커널은, 디폼 컨벌루션 레이어(220)에 의해 입력된 학습 이미지와 연산되고, 이에 따라 학습용 중간 피처 맵이 생성될 수 있다. 여기서, 도 4를 다시 참조하면 디폼 컨벌루션 커널의 가로세로 크기가 각각

인 것으로 표시되어 있는데, 여기서

는 오프셋 설정값일 수 있다. 오프셋 설정값 S는 오프셋의 범위로서, 커널의 중심을 원점으로 보았을 때, 각 파라미터가 곱해질 위치가 원점을 기준으로 상하좌우

만큼의 범위까지 움직일 수 있다는 것을 의미한다. 따라서 디폼 컨벌루션 커널은 본디

의 크기인 원본 컨벌루션 커널에 비해 다소 확장된,

일 수 있다. 이와 같은 오프셋 설정값은 기설정된 것일 수 있다. 종래의 DCN의 경우 오프셋의 범위가 이와 같이 결정된 것이 없어서 커널의 크기가 제한이 없었던 바 연산 효율성 문제가 있었으나, 이와 같이 오프셋 설정값을 둠으로써 해당 문제를 해결할 수 있게 되었다.

또한, 본 발명의 경우, 오프셋 파라미터들이 해당 컨벌루션 커널이 적용될 수 있는 모든 위치에 공통된 것일 수 있다. 종래의 DCN의 경우, 컨벌루션 커널이 컨벌루션 연산을 하며 움직이는 위치마다 다른 오프셋이 존재하여, 이들을 따로 학습하고 연산하는 데에 많은 컴퓨팅 리소스가 소모되었다. 하지만 본 발명의 경우, 해당 컨벌루션 커널이 움직이는 모든 위치에 대해 동일한 오프셋을 사용하는데, 이는 종래의 DCN에 비해 성능이 크게 떨어지지 않으면서도 훨씬 적은 컴퓨팅 리소스를 사용하는 방식이라는 점에서 의의가 있다.

이하 본 발명의 BSDCN 구조를 Faster R-CNN과 같이 컨벌루션을 여러 번 반복하는 종래의 이미지 처리 뉴럴넷에 접목한 실시예에 대해 설명하도록 한다. 이 경우, 학습 장치(100)가, 디폼 컨벌루션 레이어(220)로 하여금, (i) (i-1) 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들(N은 2 이상의 정수임) 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널(K는 2 이상 N 이하의 정수임)및 (i-2) 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 학습용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 학습용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 학습용 중간 피처 맵을 생성하도록 하고, (ii) 연산 레이어(230)로 하여금, 제N 학습용 중간 피처 맵에 뉴럴 네트워크 연산을 가하여 학습용 추론 정보를 생성하도록 할 수 있다. 즉, 학습 이미지에 제1 내지 제N 원본 컨벌루션 커널들을 이용한 연산을 순차적으로 가함으로써 제1 내지 제K 학습용 중간 피처 맵을 생성한 후, 이를 연산 레이어(230)에 입력해 학습용 추론 정보를 생성할 수 있다는 것이다. 여기서 각각의 컨벌루션 스테이지별로 오프셋 설정값이 다르게 설정됨으로써, 각각의 컨벌루션 스테이지별로 오프셋의 범위가 달라질 수 있고, 추후 설명하겠지만 이와 같은 범위 설정은 성능에 영향을 주는 요소가 될 수 있다. 또한, 상기 설명에서 확인할 수 있듯, 오프셋 파라미터들은 각각의 컨벌루션 스테이지별로 동일할 수 있다.

이와 같은 과정을 통해 학습용 추론 정보가 생성되면, 학습 장치(100)는 로스 레이어(240)로 하여금 학습용 추론 정보 및 정답 추론 정보를 참조로 하여 로스를 생성한 후 백프로퍼게이션을 수행함으로써 오프셋 파라미터 및 원본 컨벌루션 파라미터를 학습하도록 할 수 있다. 이 경우 경사 하강법이 사용될 수 있으며, 이와 같은 학습의 프로세스 자체는 종래의 것이므로 이상의 설명은 생략하도록 한다.

다만 여기서, 전술한 오프셋 파라미터 관련 예시에서는 편의상 오프셋 파라미터가 정수로 도출된 경우를 가정하였는데, 딥 러닝 학습 방법의 특성상 오프셋 파라미터는 정수로 도출되지 않을 확률이 높다. 따라서 이와 같은 경우에 해당 원본 컨벌루션 파라미터가 어느 위치의 값과 곱해질지 및 이에 대응하는 디폼 컨벌루션 파라미터를 어떻게 결정할 수 있을지 설명하도록 한다.

즉, 학습 장치(100)가, 디포밍 유닛(210)으로 하여금, 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 할 수 있다. 이후, 학습 장치(100)가, 디포밍 유닛(210)으로 하여금, 제1 내지 제4 특정 인터폴레이션 밸류 및 특정 원본 컨벌루션 파라미터를 참조하여, 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 할 수 있다.

여기서 제1 내지 제4 특정 인터폴레이션 밸류는, 학습 장치(100)가, 디포밍 유닛(210)으로 하여금, (i) 소정 오프셋 평면상의 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 도출될 수 있다. 여기서, 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역은 특정 오프셋 좌표를 둘러싸는 격자점일 수 있다. 이에 대해 설명하기 위해 도 5를 참조하도록 한다.

도 5는 본 발명의 일 실시예에 따른, 변형가능 컨벌루션 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN의 디포밍 유닛이 제1 내지 제4 특정 인터폴레이션 밸류를 계산하는 예시를 나타낸 도면이다.

도 5를 참조하면, 특정 오프셋 파라미터가

인 경우에, 이에 대응하는 특정 오프셋 좌표

가 격자점

에 둘러싸인 것을 확인할 수 있다. 이 경우에는, 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역과 제1 내지 제4 특정 인터폴레이션 영역 간의 제1 내지 제4 공유 넓이들인 ①~④가 각각 0.3, 0.1, 0.15, 0.45로 계산될 수 있다. 일 실시예에 따르면, 이와 같은 값들이 제1 내지 제4 특정 인터폴레이션 밸류일 수 있다.

이와 같이 제1 내지 제4 특정 인터폴레이션 밸류가 계산되면, 학습 장치(100)는, 디포밍 유닛(200)으로 하여금, 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 할 수 있다. 만일 전술한 특정 오프셋 좌표

에 대응하는 특정 원본 컨벌루션 파라미터가 4라면,

에 각각 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터는, 이중선형 보간이 적용되어 각각 1.2, 0.4, 0.6, 1.8로 계산될 수 있다. 이와 같이 원본 컨벌루션 커널을 디폼 컨벌루션 커널로 변환하면, 각각의 원본 컨벌루션 파라미터가 곱해질 위치는 커널 중심으로부터 멀어지게 되고, 또한 해당 파라미터가 해당 위치의 격자점들에 분산될 수 있다.

이상 본 발명의 일 실시예에 따른 학습 방법에 대해 알아본 바, 이하 본 발명의 일 실시예에 따른 테스트 방법에 대해 설명하도록 한다. 여기서 테스트 방법을 수행하는 테스트 장치는, 학습 장치의 BSDCN(200)과 비교하였을 때, 로스 레이어(240)이 제외된 구성일 수 있다.

즉, 테스트 장치는, (1) 학습 이미지가 입력되면, BSDCN(200)에 포함된 디포밍 유닛(210)으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (2) BSDCN(200)에 포함된 디폼 컨벌루션 레이어(220)로 하여금, 디폼 컨벌루션 커널을 사용하여 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 프로세스; (3) BSDCN(200)에 포함된 연산 레이어(230)로 하여금, 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 프로세스; 및 (4) BSDCN(200)에 포함된 로스 레이어(240)로 하여금, 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 로스를 참조하여 백프로퍼게이션을 수행함으로써 오프셋 파라미터 및 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 이미지가 입력되면, BSDCN(200)에 포함된 디포밍 유닛(210)으로 하여금, (i) 원본 컨벌루션 커널 및 (ii) 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 오프셋 파라미터를 참조로 하여, 원본 컨벌루션 커널에 비해 확장 분산된 디폼(Deformed) 컨벌루션 커널을 생성하도록 할 수 있다.

또한, 테스트 장치가, BSDCN(200)에 포함된 디폼 컨벌루션 레이어(220)로 하여금, 디폼 컨벌루션 커널을 사용하여 테스트 이미지에 디폼 컨벌루션 연산을 가하여 테스트용 중간 피처 맵을 생성하도록 할 수 있다.

그리고, 테스트 장치가, BSDCN(200)에 포함된 연산 레이어(230)로 하여금, 테스트용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 테스트 이미지에 대응하는 테스트용 추론 정보를 생성하도록 할 수 있다.

이상의 디포밍 유닛(210), 디폼 컨벌루션 레이어(220) 및 연산 레이어(230)의 동작 방식은 학습 장치에서의 그것과 유사할 것이므로 더욱 자세한 설명은 생략하도록 한다.

이하 본 발명의 BSDCN 구조를 Faster R-CNN에 적용한 경우와 적용하지 않은 경우의 물체 검출 성능을 비교한 테스트 결과에 대해 설명하도록 한다.

상기 표를 참조하면, 본 발명의 BSDCN을 적용한 경우의 AP 값이 적용하지 않은 경우에 비해 모두 높음을 확인할 수 있으며, 이는 본 발명의 BSDCN 구조를 적용하는 것이 물체 검출에 더 유리함을 나타내는 것이라고 볼 수 있다. 또한, 표의 (7-7-7) 및 (5-5-7)의 각 값들은, ResNet의 3, 4 및 5단계에서의 오프셋 파라미터의 범위를 나타낸 것일 수 있다. 즉,

에서, 7은

가 3인 경우를 의미할 수 있다. DCN에 비해 매개변수가 훨씬 적어 연산량이 적음에도 불구하고 이와 같은 성능 향상을 이루어 낸 것은 고무적인 일이라 할 수 있다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기계로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 방법에 있어서,
(a) 학습 장치가, 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 단계;
(b) 상기 학습 장치가, 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 단계;
(c) 상기 학습 장치가, 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 단계; 및
(d) 상기 학습 장치가, 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (a) 단계는,
(a1) 상기 학습 장치가, 상기 디포밍 유닛으로 하여금, 상기 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 단계; 및
(a2) 상기 학습 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류 및 상기 특정 원본 컨벌루션 파라미터를 참조하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 상기 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 하는 단계
를 포함하는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 (a1) 단계는,
상기 학습 장치가, 상기 디포밍 유닛으로 하여금, (i) 소정 오프셋 평면상의 상기 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 상기 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 상기 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 (a2) 단계는,
상기 학습 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 상기 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 상기 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 학습 장치가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 학습용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 학습용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 학습용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 학습용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 학습용 추론 정보를 생성하도록 하는 것을 특징으로 하는 방법.
변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 테스트 방법에 있어서,
(a) (1) 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (2) 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 프로세스; (3) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 프로세스; 및 (4) 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 장치가, 테스트 이미지가 입력되면, 상기 BSDCN에 포함된 상기 디포밍 유닛으로 하여금, (i) 상기 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 상기 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 상기 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 상기 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 단계;
(b) 상기 테스트 장치가, 상기 BSDCN에 포함된 상기 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 테스트 이미지에 상기 디폼 컨벌루션 연산을 가하여 상기 테스트용 중간 피처 맵을 생성하도록 하는 단계; 및
(c) 상기 테스트 장치가, 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 테스트용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 테스트 이미지에 대응하는 테스트용 추론 정보를 생성하도록 하는 단계
를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서,
상기 (a) 단계는,
(a1) 상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, 상기 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 단계; 및
(a2) 상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류 및 상기 특정 원본 컨벌루션 파라미터를 참조하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 상기 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 하는 단계
를 포함하는 것을 특징으로 하는 방법.
제7항에 있어서,
상기 (a1) 단계는,
상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, (i) 소정 오프셋 평면상의 상기 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 상기 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 상기 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 것을 특징으로 하는 방법.
제7항에 있어서,
상기 (a2) 단계는,
상기 테스트 장치가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 상기 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 상기 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 하는 것을 특징으로 하는 방법.
제6항에 있어서,
상기 테스트 장치가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 테스트용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 테스트용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 테스트용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 테스트용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 테스트용 추론 정보를 생성하도록 하는 것을 특징으로 하는 방법.
변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 학습 장치에 있어서,
인스트럭션들을 저장하는 하나 이상의 메모리; 및
상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (II) 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 프로세스; (III) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 프로세스; 및 (IV) 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치.
제11항에 있어서,
상기 (I) 프로세스는,
상기 프로세서가,
(I1) 상기 디포밍 유닛으로 하여금, 상기 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 프로세스; 및
(I2) 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류 및 상기 특정 원본 컨벌루션 파라미터를 참조하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 상기 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 하는 프로세스
를 수행하는 것을 특징으로 하는 장치.
제12항에 있어서,
상기 (I1) 프로세스는,
상기 프로세서가, 상기 디포밍 유닛으로 하여금, (i) 소정 오프셋 평면상의 상기 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 상기 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 상기 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 것을 특징으로 하는 장치.
제12항에 있어서,
상기 (I2) 프로세스는,
상기 프로세서가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 상기 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 상기 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 하는 것을 특징으로 하는 장치.
제11항에 있어서,
상기 프로세서가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 학습용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 학습용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 학습용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 학습용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 학습용 추론 정보를 생성하도록 하는 것을 특징으로 하는 장치.
변형가능 컨벌루션(Deformable Convolution) 개념을 도입하여 비정형 패턴에 대한 모델링 능력을 높이면서도, 정적 계산 기법을 사용하여 일반적인 딥러닝 프레임워크의 고수준 API를 통해 구현될 수 있도록 함으로써 연산량을 줄이고 구현의 복합도를 최적화한 BSDCN(Bounded Static Deformable Convolution Network)의 테스트 장치에 있어서,
인스트럭션들을 저장하는 하나 이상의 메모리; 및
상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) (1) 학습 이미지가 입력되면, 상기 BSDCN에 포함된 디포밍(Deforming) 유닛으로 하여금, (i) 적어도 하나의 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 적어도 하나의 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 적어도 하나의 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (2) 상기 BSDCN에 포함된 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 학습 이미지에 적어도 하나의 디폼 컨벌루션 연산을 가하여 적어도 하나의 학습용 중간 피처 맵을 생성하도록 하는 프로세스; (3) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 학습용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 학습 이미지에 대응하는 학습용 추론 정보를 생성하도록 하는 프로세스; 및 (4) 상기 BSDCN에 포함된 로스 레이어로 하여금, 상기 학습용 추론 정보 및 정답(Ground-Truth) 추론 정보를 참조하여 로스를 생성하도록 한 후, 상기 로스를 참조하여 백프로퍼게이션을 수행함으로써 상기 오프셋 파라미터 및 상기 원본 컨벌루션 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 이미지가 입력되면, 상기 BSDCN에 포함된 상기 디포밍 유닛으로 하여금, (i) 상기 원본 컨벌루션 커널 및 (ii) 상기 원본 컨벌루션 커널의 각각의 상기 원본 컨벌루션 파라미터 중 적어도 일부에 대응하는 상기 오프셋 파라미터를 참조로 하여, 상기 원본 컨벌루션 커널에 비해 확장 분산된 상기 디폼(Deformed) 컨벌루션 커널을 생성하도록 하는 프로세스; (II) 상기 BSDCN에 포함된 상기 디폼 컨벌루션 레이어로 하여금, 상기 디폼 컨벌루션 커널을 사용하여 상기 테스트 이미지에 상기 디폼 컨벌루션 연산을 가하여 상기 테스트용 중간 피처 맵을 생성하도록 하는 프로세스; 및 (III) 상기 BSDCN에 포함된 연산 레이어로 하여금, 상기 테스트용 중간 피처 맵에 적어도 하나의 뉴럴 네트워크 연산을 가하여 상기 테스트 이미지에 대응하는 테스트용 추론 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치.
제16항에 있어서,
상기 (I) 프로세스는,
상기 프로세서가,
(I1) 상기 디포밍 유닛으로 하여금, 상기 원본 컨벌루션 파라미터들 중 하나인 특정 원본 컨벌루션 파라미터에 대응하는 특정 오프셋 파라미터를 참조로 하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 프로세스; 및
(I2) 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류 및 상기 특정 원본 컨벌루션 파라미터를 참조하여, 상기 특정 원본 컨벌루션 파라미터에 대응하는 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 함으로써 상기 디폼 컨벌루션 커널의 적어도 일부를 생성하도록 하는 프로세스
를 수행하는 것을 특징으로 하는 장치.
제17항에 있어서,
상기 (I1) 프로세스는,
상기 프로세서가, 상기 디포밍 유닛으로 하여금, (i) 소정 오프셋 평면상의 상기 특정 오프셋 파라미터에 대응하는 특정 오프셋 좌표를 중심으로 하는 단위 크기의 특정 오프셋 영역 및 (ii) 상기 특정 오프셋 좌표를 참조하여 결정된 각각의 제1 내지 제4 특정 인터폴레이션 영역 간의 각각의 제1 내지 제4 공유 넓이들을 계산함으로써 상기 제1 내지 제4 특정 인터폴레이션 밸류를 계산하도록 하는 것을 특징으로 하는 장치.
제17항에 있어서,
상기 (I2) 프로세스는,
상기 프로세서가, 상기 디포밍 유닛으로 하여금, 상기 제1 내지 제4 특정 인터폴레이션 밸류들을 참조로 하여 상기 특정 원본 컨벌루션 파라미터에 이중선형 보간을 실시함으로써 상기 제1 내지 제4 특정 디폼 컨벌루션 파라미터를 생성하도록 하는 것을 특징으로 하는 장치.
제16항에 있어서,
상기 프로세서가, 상기 디폼 컨벌루션 레이어로 하여금, (i) (i-1) 상기 원본 컨벌루션 커널들을 포함하는 제1 내지 제N 원본 컨벌루션 커널들 - N은 2 이상의 정수임 - 중 하나인, 제K 컨벌루션 스테이지에 대응하는 제K 원본 컨벌루션 커널 - K는 2 이상 N 이하의 정수임 - 및 (i-2) 상기 오프셋 파라미터들을 포함하는 제1 내지 제N 오프셋 파라미터들 중, 상기 제K 원본 컨벌루션 커널에 대응하는, 기설정된 제K 오프셋 설정값에 따라 그 범위가 결정된 제K 오프셋 파라미터를 참조하여, 상기 디폼 컨벌루션 커널들을 포함하는 제1 내지 제N 디폼 컨벌루션 커널들 중 하나인 제K 디폼 컨벌루션 커널을 사용하여, 제K-1 컨벌루션 스테이지로부터 생성된 제K-1 테스트용 중간 피처 맵에 적어도 하나의 제K 디폼 컨벌루션 연산을 가하여 제K 테스트용 중간 피처 맵을 생성하는 과정을 반복함으로써 제N 테스트용 중간 피처 맵을 생성하도록 하고, (ii) 상기 연산 레이어로 하여금, 상기 제N 테스트용 중간 피처 맵에 상기 뉴럴 네트워크 연산을 가하여 상기 테스트용 추론 정보를 생성하도록 하는 것을 특징으로 하는 장치.