KR102167344B1 - 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법 및 그 시스템 - Google Patents

Abstract

본 발명은 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법 및 그 시스템에 관한 것으로, 입력 계층, 출력 계층 및 복수의 숨겨진 계층을 갖는 신경망 설계 방법으로, 신경망 설계 시스템이 신경망에서 상기 계층들을 캐스케이드(cascade) 트레이닝하는 단계; 상기 신경망 설계 시스템이 상기 복수의 숨겨진 계층 중 가장 얕은 계층을 사전 학습된 계층으로부터 복사하는 단계; 상기 신경망 설계 시스템이 상기 복수의 숨겨진 계층 중 사전 학습된 계층으로부터 복사하지 않은 나머지 계층을 초기화하는 단계; 상기 신경망 설계 시스템이 상기 숨겨진 계층의 중간에 출력 분기(branch)를 추가하는 단계를 포함할 수 있다.

Description

초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법 및 그 시스템{THE METHOD AND SYSTEM FOR DESIGNING DEPTH CONTROLLABLE NEURAL NETWORKS FOR SUPER RESOLUTION RECONSTRUCTION}

본 발명은 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 상황이나 시스템 요구 사항에 적합하도록 신경망의 깊이 제어가 가능한 초고해상도 신경망 모델 설계 방법에 관한 것이다.

초고해상도 이미징 기술은 저해상도(LR: Low Resolution) 이미지에서 고해상도(HR: High Resolution) 이미지를 생성할 수 있다. 초고해상도(Super Resolution) 이미징 기술은 감시(surveillance) 및 안면/홍채 인식에서 의료 이미지 처리에 이르기까지 광범위한 적용 범위를 가질 수 있다. 뿐만 아니라, 초고해상도 이미징 기술은 이미지 및 비디오의 해상도를 직접 개선할 수 있다. 초고해상도 이미징을 수행하기 위해 많은 알고리즘/시스템이 제안되었다.

예를 들어, 딥 러닝(Deep Learning) 알고리즘은 강력한 추정 기능을 기반으로 초고해상도 작업에 상당한 개선을 가져 왔다. 신경망의 성능이 깊이를 증가시킴으로써 향상 될 수 있다는 공통적인 견해에도 불구하고, 증가로 인해 처리 시간이 증가하고 컴퓨팅 자원이 더 필요하다는 문제점이 있다. 그러나, 시스템에 따라서는 불확실성으로 인해 미리 최적의 모델을 정적으로 결정할 수 없을 수도 있다. 다양한 크기의 준비된 옵션 모델로부터 각 상태에 대해 모델을 동적으로 선택하는 것을 고려할 수 있지만, 이 방법은 준비할 모델의 수 및 모델 스위칭 오버 헤드에 비례하여 추가 메모리 자원이 필요하고, 스위치된 모델의 전체 매개 변수가 로드 되어야 하기 때문에 추가 오버 헤드가 발생할 수 있다는 점에서 실질적인 한계가 있다.

(KR) 공개특허 제 10-2018-0114488 호

본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 오버 헤드를 줄이면서, 상황에 따라 시스템 요구 사항이나 컴퓨팅 성능의 변동에 대비하여 신경망 모델을 설계하는 방법을 제안한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 신경망 설계 방법은 입력 계층, 출력 계층 및 복수의 숨겨진 계층을 갖는 신경망 설계 방법으로, 신경망 설계 시스템이 신경망에서 상기 계층들을 캐스케이드(cascade) 트레이닝하는 단계; 상기 신경망 설계 시스템이 상기 복수의 숨겨진 계층 중 가장 얕은 계층을 사전 학습된 계층으로부터 복사하는 단계; 상기 신경망 설계 시스템이 상기 복수의 숨겨진 계층 중 사전 학습된 계층으로부터 복사하지 않은 나머지 계층을 초기화하는 단계; 상기 신경망 설계 시스템이 상기 숨겨진 계층의 중간에 출력 분기(branch)를 추가하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 신경망 설계 방법은 상기 신경망 설계 시스템이 상기 출력 분기가 출력된 각 계층 지점에서 손실을 계산하는 단계; 상기 계산된 손실을 평균화하고, 평균화된 손실을 기초로 상기 계층들을 캐스케이드(cascade) 트레이닝하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 신경망 설계 방법은 상기 신경망 설계 시스템은 연속 건너 뛰기 연결(Continuous skip connection)를 통해 가중치를 업데이트하는 단계를 더 포함하고, 상기 연속 건너 뛰기 연결은 모든 출력 분기(branch)에 적용될 수 있다.

본 발명의 일 실시예에 따른 신경망 설계 방법은 상기 신경망 설계 시스템이 사전 학습된 얕은 계층이 수렴된 후, 가중치가 변하지 않도록 상기 얕은 계층을 고정시키는 스택 전송 학습(stacked transfer training)을 수행하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 신경망 설계 방법은 상기 스택 전송 학습에 의하여 고정된 계층보다 깊은 계층의 출력 분기에서, 각 출력 분기의 손실에 감쇠 계수(r)을 곱하는 역방향 평균 손실(inverse averaged loss)을 수행하는 단계를 더 포함하고, 상기 역방향 평균 손실에 기초하여 가중치를 업데이트할 수 있다.

본 발명의 일 실시예에 따른 신경망 설계 방법에서 상기 역방향 평균 손실(L_T(θ))은 하기 수학식으로 산출될 수 있다.

θ은 신경망의 파라미터, 즉 가중치의 집합을 의미하고, X는 입력데이터를 의미하며, Y는 목적데이터, 즉 지도학습을 위해 입력데이터와 쌍으로 존재하는 실측 데이터(ground truth)를 의미하며, r은 (0 < r < 1)을 만족하는 감쇠 계수, n은 전체 숨겨진 계층 중 스택 전송 학습에 의하여 고정된 계층을 제외한 계층 수를 의미한다.

본 발명의 일 실시예에 따른 신경망 설계 시스템은 프로세서 및 상기 프로세서에 연결된 메모리를 포함하고, 상기 메모리는 상기 프로세서를 통해 실행되며, 입력 계층, 출력 계층 및 복수의 숨겨진 계층을 갖는 신경망에서 상기 계층들을 캐스케이드(cascade) 트레이닝하는 오퍼레이션; 상기 복수의 숨겨진 계층 중 가장 얕은 계층을 사전 학습된 계층으로부터 복사하는 오퍼레이션; 상기 복수의 숨겨진 계층 중 사전 학습된 계층으로부터 복사하지 않은 나머지 계층을 초기화하는 오퍼레이션; 및 상기 숨겨진 계층의 중간에 출력 분기(branch)를 추가하는 오퍼레이션을 저장할 수 있다.

본 발명에 따른 신경망 설계 방법 및 시스템은 모델간에 가중치를 공유함으로써, 모델 설계에 있어 중복성을 제거하여 처리속도를 빠르게 향상시키고, 연산 리소스가 부족한 장치에서도 수행될 수 있다.

또한, 본 발명에 따른 신경망 설계 방법 및 시스템은 트레이닝을 위해 설계된 역 보조 손실을 고려함으로써, 깊이 제어가 가능한 초고해상도 네트워크(Depth Controllable Super-Resolution Network, DCSR)를 제안할 수 있다. 따라서, 고성능 장치에서 초래될 수 있는 자원 낭비 문제를 해결할 수 있다.

나아가, 본 발명은 다양한 스케일 팩터 및 깊이에 대하여 초고해상도 네트워크를 확장하여 시스템 요구 사항에 대한 전송 오버 헤드를 최적화 할 수 있다.

또한 본 발명은 하위 브랜치가 더 깊은 계층에 종속되지 않는 모듈형 특성을 가지고 있기 때문에, 필요에 따라 추가 네트워크 조각을 축적하여 성능을 최적화 할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 깊이 조절 가능한 신경망 설계 방법의 전체적인 구조를 나타낸다.
도 2는 다양한 깊이에 대한 본 발명에 따른 동기의 평가 결과를 나타낸다.
도 3는 본 발명의 일 실시예에 따른 역방향 보조 손실을 이용한 훈련 방법을 나타낸다.
도 4a는 본 발명의 일 실시예에 따른 연속 스킵 연결 방식을 나타내고, 도 4b는 본 발명의 다른 실시예에 따른 점진적인 스킵 연결 방식을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 신경망 설계 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 DCSR의 결과를 이미지로 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

트레이닝(training)은 훈련, 학습과 같은 의미로 사용될 수 있으며, 명세서 전체에서 훈련 또는 학습과 혼용될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 깊이 조절 가능한 신경망 설계 방법의 전체적인 구조를 나타낸다.

도 1을 참조하면, 출력 계층과 동일한 컨볼루션 층(convolutional layers)으로 구성되는 여러 출력 분기(output branches)가 포함되어 있으며, 각 출력 분기는 보간(interpolation)된 저해상도 이미지와 연결된다.

동기부여의 검증

본 발명에서는 더 깊은 신경 네트워크의 하위 레이어의 가중치와 더 얕은 네트워크의 가중치가 밀접하게 관련되어 있거나 밀접하게 관련되어 있으므로 공유할 수 있다는 가정을 할 수 있다. 이 동기 부여를 검증하기 위해 다른 더 얕은 네트워크에서 미리 배운 가중치로 더 깊은 네트워크의 하위 계층의 가중치를 미세 조정하는 것을 실험했다.

예를 들어, 6 개의 레이어 (입력 1 개, 출력 1 개, 숨겨진 레이어 4 개)를 가진 신경망의 경우, 가장 낮은 두 개의 레이어는 네 개의 레이어가 있는 네트워크에서 사전 학습된 두 개의 숨겨진 레이어에서 복사된다. 마찬가지로 깊이 8 네트워크의 경우 숨겨진 깊이 6의 레이어가 더 얕은 네트워크에서 전송된다. 나머지 레이어는 임의로 초기화된다. 이 방법을 깊이-미세 조정(depth-wise fine-tuning)이라고 한다.

도 2는 다양한 깊이에 대한 본 발명에 따른 동기의 평가 결과를 나타낸다.

도 2를 참조하면, 점선은 기준선의 결과를 나타내고 다른 하나는 깊이- 미세 조정 네트워크의 결과를 나타낸다.

더 얕은 신경망과 더 깊은 신경망 사이에 가중치를 공유 할 여지가 없다면, 수렴 속도는 초기화 된 신경망의 수렴 속도보다 같거나 느릴 것이다. 그러나, 모든 경우에 있어서, 도 2에 도시 된 바와 같이, 깊이 - 미세 조정 (depth-wise fine-tuning)에 의해 훈련된 네트워크는 더 빠르게 수렴하므로, “더 깊은 신경 네트워크의 하위 레이어의 가중치와 더 얕은 네트워크의 가중치가 밀접하게 관련되어 있거나 밀접하게 관련되어 있으므로 공유 할 수 있다”는 본 발명에 대한 동기가 입증될 수 있다.

본 발명은 수렴 속도뿐만 아니라 복원 성능도 향상시켰다. 이러한 개선은 특히 신경 네트워크를 사용할 때 눈에 띄게 나타나며 깊이 미세 조정(depth-wise fine-tuning)을 통해 트레이닝(training)의 안정성을 향상시킬 수 있다.

출력 지점 및 다중 규모 손실

본 발명은 Very deep super-resolution network(이하 VDSR이라고 지칭한다)의 숨겨진 계층의 중간에 출력 분기(branch)를 추가하는 방법을 제안하는데, 도 1은 본 발명의 전체 아키텍처를 보여준다.

이러한 출력 분기는 VDSR의 출력 레이어와 같은 3 × 3 × 64 × C 컨볼루션 필터로 구성된다. 여기서 c는 대상 이미지의 크기를 나타내며 다음과 같은 두 가지 기능이 있다. 첫째, 출력 분기는 중간 피쳐 맵을 원하는 타겟 이미지의 모양으로 변환된다. 둘째, 각 출력 지점은 전체 네트워크에서 공유 할 수 없는 가중치의 일부분을 구성해야 한다. 공통 트레이드 오프와 마찬가지로 출력 분기의 깊이가 증가함에 따라 언 바운드 가중치의 비율도 증가하므로 각 분기의 성능이 향상 될 수 있다. 그러나 이것은 또한 매개 변수의 수를 증가시킨다. 본 발명에서는 출력 분기(branch)를 단 하나의 층(layer)로 설정했다.

도 3는 본 발명의 일 실시예에 따른 역방향 보조 손실을 이용한 훈련 방법을 나타낸다.

도 3을 참조하면, 상술한 바와 같이, 각 지점에서 얻은 출력의 모양이 대상 이미지와 같기 때문에 각 지점의 손실을 계산하여 트레이닝(training)에 활용할 수 있다. 이것은 개념적으로 개시 네트워크(Inception network)의 보조 분류기와 다중 스케일 손실과 유사하다.

예를 들어, 보조 분류기는 네트워크가 깊어짐에 따라 하위 계층에서 그라데이션(gradation) 소실 문제를 완화하는 데 사용되며 각 보조 브랜치(branch)의 손실을 감쇠율 0.3n으로 곱한다.

여기서 n은 출력 레이어(layer)를 지칭한다. 제안된 본 발명의 일 실시예에 따른 깊이 제어가 가능한 초고해상도 네트워크(Depth Controllable Super-Resolution Network, 이하 DCSR이라 지칭함)의 각 출력 브랜치(branch)는 시작 네트워크와 다중 스케일 손실과는 달리, 각 브랜치에서 이미지를 출력하므로 손실을 평균화하는 것은 더 합리적일 수 있다. 그러나 평균 손실에는 여전히 본 발명에서 해결하고자 하는 과제에 대하여 몇 가지 문제가 있으므로 이러한 문제를 처리하는 방법은 역 보조 손실에 대한 설명에서 후술한다.

연속 건너 뛰기 연결(Continuous skip connection)

본 발명의 일 실시예에 따른 깊이 제어가 가능한 초고해상도 네트워크 (DCSR)는 다른 출력 분기가 있기 때문에 건너 뛰기 연결이 마지막 출력 계층에만 적용되는 경우 분기 중에 왜곡이 발생할 수 있다.

예를 들어, 마지막 출력 계층에서 손실이 있는 트레이닝의 경우, 가중치는 스킵 연결로 인한 입력 이미지와의 차이만을 반영하도록 훈련된다. 그러나 다른 출력 분기에서는 처음부터 출력 이미지를 얻도록 학습이 수행되므로 업데이트할 가중치가 마지막 계층보다 상대적으로 클 수 있다.

따라서 일관성을 유지하고 적절하게 가중치를 공유하려면 건너 뛰기 연결을 모든 지점에 적용해야 한다.

도 4a 및 도 4b는 본 발명에서 고려해야 할 두 가지 방법을 보여준다. 도 4a는 글로벌 스킵 연결이 출력 계층에서와 같이 모든 출력 분기에 적용되는 연속 건너 뛰기 연결 또는 연속 스킵 연결(contiguous skip connection)을 나타낸다. 도 4b는 이전 분기의 결과가 다음 분기의 결과에 점진적으로 추가되는, 점진적인 건너 뛰기 연결 또는 점진적인 스킵 연결(Progressive skip connection)을 나타낸다.

상기 수학식 (1) 및 수학식 (2)는 두 번째 출력 분기에서의 방정식을 나타내며, 여기서 X, Gcont(), Gprog(), On 및 Hn은 업 스케일 된 입력 이미지, 연속 스킵 연결 결과, 점진적 스킵 연결 결과, n 번째 출력 분기의 출력 및 n 번째 숨김 층이다.

신경 네트워크가 잘 훈련되었다고 가정하면, 이전의 분기 O1(H1(X)) + X의 결과는 X보다 ground-truth 이미지에 더 가깝다. 그러므로, 수학식 (2)의 이전 용어 O2(H2(H1(X))) 는 수학식 (2)보다 작은 차이를 계산할 수 있다는 장점이 있다. 그럼에도 불구하고 점진적 스킵 연결은 표 1에 표시된 것처럼 연속 스킵 연결보다 낮은 성능을 보였다.

이러한 결과는 점진적 스킵 연결(progressive skip connection)이 이전 분기에 종속되어 있기 때문에 더 얕은 분기에서의 트레이닝은 더 깊은 분기에 의하여 중단 될 수 있다. 따라서, 본 발명의 일 실시예에서는 연속 건너 뛰기 연결을 사용한다.

역 보조 손실

위에서 언급 한 바와 같이, 평균 손실은 여전히 개선되어야 하는 한계를 가지고 있는데, 이는 표 2에서 볼 수 있다. 평균 손실을 사용하여 훈련된 본 발명의 일 실시예에 따른 모델은 중간 분기(예컨대, 깊이 8 내지 11)에서 기준선과 작은 차이를 가져 비교할 만한 성능을 보이고, 더 깊은 분기(예컨대, 깊이 14 내지 20)에서는 기준선에 비하여 우수한 성능을 보였다.

그러나 얕은 분기 (깊이 4 ~ 6)에서는 기준선 (0.2dB 이상)에 비해 상당한 성능 저하가 발생했다.

처음 시작했을 때, 얕은 분기의 손실은 더 깊은 분기에서 트레이닝의 안정성을 향상시키는 데 도움이 되는 반면, 더 많은 부담을 갖는 얕은 분기의 수렴은 더 깊은 분기에 의해 방해 받을 수 있다. 따라서 전체 간격에 대해 기준선과 비교할만한 성능을 얻기 위해서는 더 얕은 지점을 명시적으로 트레이닝하는 또 다른 접근법이 필요하다.

본 발명의 다른 실시예는 이러한 목적을 위해 먼저 얕은 층을 트레이닝 시킨 다음, 초기화된 추가의 숨겨진 층과 지점을 순차적으로 훈련시키고 사전 훈련된 얕은 층을 고정시키는 스택-전송 트레이닝(stacked transfer training)을 실시할 수 있다.

이 방법은 더 얕은 지점이 완전히 수렴 된 후에 깊은 지점에서의 훈련이 진행되기 때문에 더 얕은 깊이에서 훈련 절차를 보다 명확하게 한다는 점에서 유리하다. 그러나 이 방법에서는 더 깊은 층과 가중치 공유를 고려할 수 없다는 점에서 한계가 있다.

따라서 네트워크가 깊어짐에 따라 성능 향상이 기대되기 어렵다 (표 2의 Stacked transfer (hard) 참조). 특히, 깊이 8에서 성능 향상이 거의 없음을 확인할 수 있다.

네트워크가 완전히 수렴하기 전에 먼저 더 얕은 지점에서 사전 트레이닝을 중지하는 것이 효과적 일 수 있다. 이렇게 조기에 사전 트레이닝을 멈추면, 가중치가 더 얕은 지점에 너무 가깝게 피팅되지 않도록 하면서, 더 깊은 가지가 가중치를 공유할 수 있는 여지를 둘 수 있다.

마지막으로 평균 손실과 스택-전송 트레이닝을 모두 활용하기 위해 역방향 평균 손실을 제안하고 그 방법을 도 3을 통해 나타낸다.

역방향 평균 손실은 더 얕은 지점에서 더 깊어지면서 감쇠 계수 r을 곱한다. 합계 손실을 감쇠 계수의 합으로 나눈 다음, 이 역 평균 손실을 사용하여 가중치를 업데이트한다. 아래 수학식 (3)은 역평균 손실을 나타내는 방정식이다.

평균 손실과는 달리, 역 평균 손실에서, 얕은 층의 손실은 층이 깊어짐에 따라 지수 함수 적으로 감소하기 때문에 뚜렷하게 나타날 수 있다. 더욱이, 이것은 더 깊은 브랜치의 가중치가 미리 워밍업되기 때문에 신경망이 공유 가중치를 통해 더 쉽게 수렴하도록 도와준다.

표 2에서 볼 수 있듯, 본 발명은 얕은 가지에서의 기준선과 비교할만한 성능을 얻을 수 있을 뿐만 아니라 깊은 가지에서의 기준선도 능가하는 결과를 나타낸다. 수학식 (3)은 감쇄 계수 r이 1에 가까워짐에 따라 평균 손실과 동일해지고, 0에 가까워짐에 따라 스택 전송 트레이닝과 동일하게 된다.

구현 세부 사항

공정한 비교를 위해 가능한 한 VDSR의 구조를 유지한다. 바이 큐빅 (Bicubic) 보간법에 의한 업 스케일 된 이미지가 입력으로 사용된다. 입력, 숨김 및 출력 계층은 w × h × c × 64, w × h × 64 × 64 및 w × h × 64 × c의 가중치로 구성되며, 여기서 w, h 및 c는 너비, 높이 및 타겟 이미지의 채널을 각각 나타낸다. 출력 계층와 동일하게, 출력 분기는 w x h x 64 x c 가중치를 갖는 단일 컨볼루션 층으로 구성된다. 본 발명에서는 4, 6, 8, 11, 14 및 17 번째 숨겨진 계층에 출력 분기를 추가했지만 위치와 간격은 자유롭게 구성 할 수 있다.

본 발명은 VDSR과 달리 Adam optimizer를 사용하였다. 학습률은 0.0001에서 시작하여 30에폭(epoch)에서 10 배 감소하였고, 50에폭 동안 128 배치 크기로 트레이닝이 수행되었다.

모든 소프트웨어 프로토 타입은 Python3을 사용하여 Tensorflow 프레임 워크에서 다시 구현되었다. 1405 MHz 메인 클럭과 12 GB 메모리를 사용하는 멀티 GPU 플랫폼 (NVIDIA Titan V GPU 2 개 장착)을 본 발명에 따른 트레이닝 및 테스트에 활용했다.

도 5는 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 예시적인 도면이고, 도 6은 본 발명의 일 실시예에 따른 신경망 설계 방법의 순서도이다. 도 5 및 도 6을 참조하여, 신경망 설계 시스템을 이용하여 본 발명에 따른 알고리즘이 수행되는 방법을 설명한다.

본 발명의 일 실시예에 따른 신경망 설계 시스템(100)는 적어도 하나의 프로세서(110)와 하나 이상의 메모리(120)를 포함할 수 있다. 메모리(120)는 비일시적 컴퓨터 판독가능한 매체일 수 있다.

적어도 하나의 프로세서(110)는, 하나 이상의 메모리(120)에 저장된 명령들을 실행할 때, 입력 계층, 출력 계층 및 복수의 숨겨진 계층을 갖는 신경망(Neural Network)를 훈련하는 다음 오퍼레이션들을 수행할 수 있다;

신경망에서 상기 계층들을 캐스케이드(cascade) 트레이닝하는 오퍼레이션(S101); 상기 복수의 숨겨진 계층 중 가장 얕은 계층을 사전 학습된 계층으로부터 복사하는 오퍼레이션(S102); 상기 복수의 숨겨진 계층 중 사전 학습된 계층으로부터 복사하지 않은 나머지 계층을 초기화하는 오퍼레이션(S103); 및 상기 숨겨진 계층의 중간에 출력 분기(branch)를 추가하는 오퍼레이션(S104); 출력 분기가 출력된 각 계층 지점에서 손실을 계산하는 오퍼레이션(S105); 상기 계산된 손실을 평균화하고, 평균화된 손실을 기초로 상기 계층들을 캐스케이드(cascade) 트레이닝하는 오퍼레이션(S106); 연속 건너 뛰기 연결(Continuous skip connection)를 통해 가중치를 업데이트하는 오퍼레이션; 사전 학습된 얕은 계층이 수렴된 후, 가중치가 변하지 않도록 상기 얕은 계층을 고정시키는 스택 전송 학습(stacked transfer training)을 수행하는 오퍼레이션; 및 상기 스택 전송 학습에 의하여 고정된 계층보다 깊은 계층의 출력 분기에서, 각 출력 분기의 손실에 감쇠 계수(r)을 곱하는 역방향 평균 손실(inverse averaged loss)을 수행하는 오퍼레이션을 포함할 수 있다.

본 발명의 일 실시예에 따른 신경망 설계 시스템(100)는 상기 연속 건너 뛰기 연결은 모든 출력 분기(branch)에 적용되고, 상기 역방향 평균 손실에 기초하여 가중치를 업데이트하는 것을 특징으로 할 수 있다.

한편, 하나 이상의 비일시적 컴퓨터 판독가능한 매체는 적어도 하나의 프로세서(110)가 상기 오퍼레이션들을 수행하도록 하는 명령어를 저장할 수 있다.

본 발명의 일 실시예에 따라 제안된 깊이 제어가 가능한 초고해상도 네트워크(DCSR)의 정량적 및 정성적 평가를 위하여 실험을 수행하였다.

정량적인 평가를 위한 척도로서 이미지 복원 분야에서 널리 사용되는 피크 신호 대 잡음비(PSNR)와 구조적 유사도(SSIM)를 사용하였으며, 두 측정 항목 모두 높은 점수는 더 나은 시각적 품질을 의미한다.

데이터 집합 및 평가 환경

기준선(Baseline)과 공정한 비교를 위해 VDSR 설정을 따랐다. 훈련을 위해 우리는 291 개의 이미지에서 40x40 크기로 스트라이드(stride) 크기 20의 패치를 추출하고 크기 조정 (x2, x3 및 x4), 회전 (90도, 180도, 270도 회전) 및 뒤집힌 이미지로 확대를 적용했다. bemchmark의 경우 5, 14, 100 이미지가 포함된 Set5, Set14 및 BSD100을 사용하고, 이전 섹션에 표시된 모든 결과는 Set5 데이터 세트에서 평가되었다.

양적 평가

정량적인 평가는 다음과 같이 3 단계로 수행되었다. 첫째, 1) 기준선에 대해 출력 분기를 사용하여 제안된 모델 구조에서 평균 손실과 역 보조 손실을 사용하여 결과를 비교한다. 둘째, 2) 보조 손실의 붕괴 계수를 0.3에서 0.7로 변화시킨 결과를 비교하여 그 효과를 확인한다. 셋째, 3) 평균 손실을 사용하고 출력 분기의 깊이를 증가시켜 미리 학습된 모델에 미세 조정을 포함하는 DCSR의 실험의 성능을 향상시키기 위한 추가 실험을 수행한다.

Baseline과의 비교

표 3은 다양한 방법으로 베이스 라인을 위한 제안된 방법의 실험 결과를 보여준다. 각 열은 척도, 테스트 데이터 세트 및 깊이로 PSRN 및 SSIM 점수를 나타낸다. 위에서 언급했듯이 구현베이스 라인의 경우 평가를 위해 각 깊이에 대한 공유되지 않은 VDSR 기반 모델을 학습했다. 평균 손실과 역 보조 손실 (0.5)은 평균 손실과 소멸 속도 0.5의 역 보조 손실을 각각 사용하여 훈련된 제안된 단일 모델의 각 깊이 별 해당 출력 분기 결과를 나타낸다. 특히, PSRN 점수에서 구현 기준선을 능가할 때 파란 색으로 표시되었고, PSNR 점수가 기준선과 비교하여 0.3dB 미만일 때 붉은 색으로 표시하였다. 각 접근법의 모든 결과는 다양한 요인 (즉, 척도, 깊이 및 데이터 세트)에 대한 트레이닝 없이 동일한 모델에서 평가되었다.

선술한 바와 같이, 평균 손실의 경우 본 발명은 깊이 8에서 11까지 baseline에 가까운 성능 (갭이 0.1 db 미만)을 달성했으며, 깊이 14에서 baseline보다 우수했다.

본 발명에서는 평균 손실 및 스택 전송 학습 방법의 단점을 보완하는 목적으로, 역 보조 손실을 설계하고 더 깊은 층을 감쇠시키면서 더 얕은 층을 훈련하기 위해 더 낮은 층에 감쇠 계수를 곱하여 이들의 장점을 활용했다.

실제로 본 발명에서는 단지 평균 손실로 훈련된 경우에 비해 얕은 층에서 평균 개선을 0.3dB로 달성 할 수 있었다. 깊은 층에서 성능이 어느 정도 저하되었지만 여전히 기준선보다 뛰어난 성능을 보였다. 그러므로 본 발명에서는 역방향 보조 손실을 적용하는 것이 적합하다.

이러한 결과는 다른 모든 데이터 세트 및 스케일에서 동일하게 적용되므로 제안된 방법이 VDSR과 동일한 범위의 스케일에 대한 확장성을 유지하면서 본 발명의 목표에 대한 일반적인 방법으로 사용 가능하다는 것을 확인할 수 있다.

역 평균 손실 계수의 효과

공식적으로, 역 평균 손실의 감쇠 계수가 1에 가까워 질수록 평균 손실과 같아지지만 0에 가까울 때의 적층 전 사용 학습과 동일하게 된다. 표 4는 이 계수 변화가 결과에 미치는 영향을 분석하기 위해 0.3으로부터 0.7까지 계수를 증가시킴으로써 비교 실험의 결과를 보여준다.

분석을 용이하게 하기 위해 표 4에서 각 계수의 최상의 성능을 파란색으로 표시했으며 최저 성능은 빨간색으로 표시했으며, 특히 구현 기준선을 능가했을 때 굵게 표시하였다.

흥미롭게도, 결과는 더 얕은 층에서의 성능이 향상되고 계수의 값이 증가함에 따라 더 깊은 층에서의 성능이 감소하는 경향을 나타낸다. 이 결과를 통해 역 보조 손실이 실제 결과에 중요한 역할을 하고, 필요에 따라 깊고 얕은 계층의 성능에 대한 절충(trade-off)을 조정할 수 있다.

본 발명의 일 실시예에서는 예를 들어 계수로 0.5를 사용한다.

성능 향상을 위한 추가 실험

추가 부담을 줄이면서 성능을 향상시킬 여지가 남아 있으므로 이를 위해 몇 가지 추가 실험을 시도하였다.

고려할만한 가치가 있는 한 가지 방법은 평균 손실을 가진 사전 훈련된 모델을 바탕으로 역 보조 손실이 있는 미세 조정 네트워크(fine-tuned network)를 사용하는 것이다. 표 4 (a)의 결과로 미세 조정이 없는 모델에 비해 가장 얕은 층 (깊이 4)에서 약간의 감소(0.01dB)가 발생하였지만, 다른 모든 깊이에서는 성능이 향상 되었다(0.03dB).

이 결과는 본 발명에서와 같이 모든 계층의 가중치 학습을 고려한 사전 학습된 모델을 사용하면 후속 학습을 보다 안정적으로 만들 수 있으므로 계층에서 공유 할 수 있는 가중치가 있다는 것을 의미한다.

네트워크가 안정적으로 수렴될 수 있다면 네트워크가 깊어 질수록 성능이 향상된다는 상식처럼 성능 향상을 위해 출력 분기 깊이를 늘리는 것도 중요하다.

표 4 (b)는 출력 분기가 1에서 2로 증가했을 때의 결과를 보여준다. 결과적으로 모든 깊이에서 성능 향상이 달성되었으며, 특히 가장 깊은 계층의 경우 0.06dB의 이득으로 용지 기준보다 성능이 향상되었다. 그러나 출력 분기 계층을 늘리면 모델의 전체 매개 변수 수가 증가한다는 것을 의미한다.

정성 평가

두 가지 측면으로 다음과 같이 본 발명의 일 실시예에 따른 DCSR의 질적 평가를 수행했다. 첫째, 1) 제안 된 모델이 저해상도 이미지를 시각적으로 그럴듯하게 올릴 수 있는지 여부와 둘째, 2) 제안된 모델이 레이어의 깊이가 깊어짐에 따라 시각적 품질이 점진적으로 개선되는 트레이드 오프 요소를 갖는지 여부를 평가하였다.

본 연구진은 초고해상도 작업 평가에 널리 사용되는 3 개의 이미지인, 비비, 모나크 나비 및 PPT3 패치에 대해 각 깊이 (0, 4, 8, 20)가 다른 분기를 사용하여 업 스케일링을 수행했다.

심도 0에 대해서는 바이 큐빅 보간법과 정확히 동일하였다. 이미지가 패치에 의해 이미지가 잘린 경우에, 페이지 공간의 제한으로 인해 원래의 패치 크기보다 작다. 따라서 먼저 스케일링 팩터가 x3 인 원 영상으로부터 bicubic 보간법으로 다운 스케일링된 저해상도 영상을 얻은 다음, 해당 스케일링 계수를 갖는 DCSR을 이용하여 상향 스케일링한다.

도 7은 본 발명의 일 실시예에 따른 DCSR의 결과를 이미지로 나타낸다. 예상대로, 가장 얕은 깊이의 출력 분기는 바이 큐빅 보간보다 명시적으로 높은 성능을 나타내었고 계층이 깊어 질수록 품질이 점차적으로 향상되었다. 그러나 성능 개선 정도는 얕은 층과는 다르지만 층이 깊어짐에 따라 그 차이는 목적에 따라 손상 될 수 있다. 그러므로 실제적인 관점에서, 계산 자원이 충분하지 않을 때 최대 11 개의 계층만을 사용하는 것이 합리적 일 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

1. 입력 계층, 출력 계층 및 복수의 숨겨진 계층을 갖는 신경망 설계 방법에 있어서,
   신경망 설계 시스템이 신경망에서 상기 계층들을 캐스케이드(cascade) 트레이닝하는 단계;
   상기 신경망 설계 시스템이 상기 복수의 숨겨진 계층 중 가장 얕은 계층을 상기 캐스케이드 트레이닝에 의해 사전 학습된 계층으로부터 복사하는 단계;
   상기 신경망 설계 시스템이 상기 복수의 숨겨진 계층 중 사전 학습된 계층으로부터 복사하지 않은 나머지 계층을 초기화하는 단계; 및
   상기 신경망 설계 시스템이 상기 숨겨진 계층의 중간에 출력 분기(branch)를 추가하는 단계를 포함하고,
   상기 신경망 설계 시스템은 상기 출력 분기가 출력된 각 계층 지점에서 손실을 계산하는 단계;
   상기 계산된 손실을 평균화하고, 평균화된 손실을 기초로 상기 계층들을 캐스케이드(cascade) 트레이닝하는 단계를 포함하는 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 신경망 설계 시스템은 연속 건너 뛰기 연결(Continuous skip connection)를 통해 가중치를 업데이트하는 단계를 더 포함하고,
   상기 연속 건너 뛰기 연결은 모든 출력 분기(branch)에 적용되는 것인 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법.
4. 제 1 항에 있어서,
   상기 출력 분기를 추가하는 단계 이후에, 상기 신경망 설계 시스템이 사전 학습된 얕은 계층이 수렴된 후, 가중치가 변하지 않도록 상기 얕은 계층을 고정시키는 스택 전송 학습(stacked transfer training)을 수행하는 단계를 포함하는 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법.
5. 제 4 항에 있어서,
   상기 스택 전송 학습에 의하여 고정된 계층보다 깊은 계층의 출력 분기에서, 각 출력 분기의 손실에 감쇠 계수(r)을 곱하는 역방향 평균 손실(inverse averaged loss)을 수행하는 단계를 더 포함하고,
   상기 역방향 평균 손실에 기초하여 가중치를 업데이트하는 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법.
6. 제 5 항에 있어서,
   상기 역방향 평균 손실(L_T(θ))은 하기 수학식으로 산출되는 것인 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법.
   

   

   
   θ은 신경망의 파라미터를 의미하고, X는 입력데이터를 의미하며, Y는 목적데이터를 의미하며, r은 (0 < r < 1)을 만족하는 감쇠 계수, n은 전체 숨겨진 계층 중 스택 전송 학습에 의하여 고정된 계층을 제외한 계층 수를 의미함.
7. 입력 계층, 출력 계층 및 복수의 숨겨진 계층을 갖는 신경망 설계 시스템에 있어서,
   프로세서; 및
   상기 프로세서에 연결된 메모리를 포함하고,
   상기 메모리는 상기 프로세서를 통해 실행되며,
   신경망에서 상기 계층들을 캐스케이드(cascade) 트레이닝하는 오퍼레이션;
   상기 복수의 숨겨진 계층 중 가장 얕은 계층을 상기 캐스케이드 트레이닝에 의해 사전 학습된 계층으로부터 복사하는 오퍼레이션;
   상기 복수의 숨겨진 계층 중 사전 학습된 계층으로부터 복사하지 않은 나머지 계층을 초기화하는 오퍼레이션;
   상기 숨겨진 계층의 중간에 출력 분기(branch)를 추가하는 오퍼레이션;
   상기 출력 분기가 출력된 각 계층 지점에서 손실을 계산하는 오퍼레이션; 및
   상기 계산된 손실을 평균화하고, 평균화된 손실을 기초로 상기 계층들을 캐스케이드(cascade) 트레이닝하는 오퍼레이션을 저장하는,
   초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 시스템.
   

Images