WO2023008672A1

WO2023008672A1 - 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치

Info

Publication number: WO2023008672A1
Application number: PCT/KR2022/002345
Authority: WO
Inventors: 김태홍; 장현철; 이상훈; 임동진; 김경선
Original assignee: Korea Institute of Oriental Medicine KIOM; NHN Diquest Inc
Current assignee: Korea Institute of Oriental Medicine KIOM; NHN Diquest Inc
Priority date: 2021-07-30
Filing date: 2022-02-17
Publication date: 2023-02-02
Anticipated expiration: 2024-01-30

Abstract

유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른, 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법은, 입력 이미지에 대해 딥 러닝 모델에 의한 학습 과정에서 발생되는 모델의 예측값과, 라벨(Label) 데이터의 정답값을 이용하여, CM(Confusion Matrix)을 작성하는 단계; 상기 CM으로부터, 상기 예측값에 따른 클래스와 상기 정답값에 따른 클래스 간 차이 대한 비율인 CR(Confusion Rate)을 정의하는 단계; 및 상기 CR을, 규정된 손실 함수에 가중시켜, 상기 딥 러닝 모델에 의한 상기 학습 과정을 보정하는 단계를 포함 할 수 있다.

Description

유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치

본 발명은, 학습 모델의 종류나 데이터셋의 크기와 무관한 혼동 이미지셋(시각적으로 유사한 특징을 가진 클래스)을 이용한 분류 성능 향상 기법을 제공하는, 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치에 관한 것이다.

딥 러닝을 활용한 컴퓨터 비전 연구는, 여전히 대규모의 학습 데이터와 컴퓨팅 파워가 필수적이며, 최적의 네트워크 구조를 도출하기 위해 많은 시행착오가 수반된다.

본 발명에서는, 네트워크 최적화나 데이터를 보강하는 것과 무관하게, 데이터 자체의 특성 만을 고려한 CR(Confusion Rate) 기반의 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치를 제공한다.

본 발명의 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치는, 유사한 이미지 데이터를 정확히 분류하기 위해 CR을 산출하고, 이를 손실 함수의 가중치에 반영 함으로써, 딥 러닝 모델의 성능을 향상 시킬 수 있다.

본 발명의 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치는, 네트워크 최적화 결과와 독립적으로 이미지 분류 성능의 향상을 가져올 수 있으며, 클래스 간의 유사성을 고려해 유사도가 높은 이미지 식별에 적합 할 수 있다.

본 발명에 따른 평가 결과, HanDB에서는 0.22%, Animal-10N에서는 3.38%의 성능향상을 보였다.

본 발명은 Noisy Labeled 데이터를 활용한 인공지능 연구에 기반이 될 것을 기대한다.

최근 지속적으로 주목받고 있는 딥 러닝 알고리즘은, 이미지 분류에서 더 나아가 음성 인식, 번역, 객체 탐지 문제와 같이 다양한 영역으로 확장 적용되고 있으며, 기존 알고리즘 대비 뛰어난 성능을 보이며, 많은 연구가 수행되고 있다.

특히, 이미지넷으로 잘 알려진 1,000개의 이미지 분류 문제를 겨루는 알고리즘 대회인 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서는, 합성곱 신경망 모델들의 정확도가 사람의 정확도를 뛰어넘으며, 5% 이하의 낮은 오류율을 보이고 있으며, Resnet의 경우 3.6%의 인식 오류율을 보였다.

합성곱 신경망의 성능 향상은, 주로 네트워크 구조를 변경하거나 데이터를 보강하며 이루어진다. 그러나, 다수의 학습 데이터가 필수적인 딥 러닝 알고리즘은, 여전히 다양한 데이터 자체의 문제, 특히 데이터 내 클래스 불균형 문제, 학습 데이터의 오류(Noisy Labeled Data), 시각적으로 매우 유사한 특징을 가진 혼동 이미지 데이터 등은 이미지 분류 모델의 성능 향상을 위해 극복해야 하는 문제로 남아 있다.

최근 딥 러닝 연구는, 향상된 컴퓨팅 자원과 알고리즘을 기반으로 다수의 레이어를 구성하는 것이 가능해짐으로서, 보다 복잡도가 높은 모델을 활용하여 다양한 문제를 해결하고 있다.

도 1은 일반적인 딥 러닝 모델의 구현 과정을 설명하기 위한 도이다.

도 1에 도시한 바와 같이, 딥 러닝 모델은 학습 데이터 에러가 높은지를 판단한다.

학습 데이터 에러가 높다고 판단되면, 딥 러닝 모델은 학습을 조금 더 진행하여, 새로운 모델 구조를 찾아본다.

학습 데이터 에러가 높지 않다고 판단되면, 딥 러닝 모델은 검증 데이터 에러가 높은지를 판단한다.

검증 데이터 에러가 높다고 판단되면, 딥 러닝 모델은 데이터를 더 구하고, 정규화를 추가하여, 새로운 모델 구조를 찾아본다.

검증 데이터 에러가 높지 않다고 판단되면, 딥 러닝 모델은 모델을 완성한다.

도 1은, 딥 러닝 모델의 구현 과정을 나타낸 것으로, 일반적으로 딥 러닝 모델은, 학습을 수행하면서 학습 데이터의 오류가 높다면, 모델 학습을 더 진행하거나, 새로운 모델 구조를 고안해야 한다.

학습된 모델이 검증 데이터에서 에러가 높다면, 학습데이터에 과적합되었을 가능성이 높으므로, 딥 러닝 모델에서는, 학습데이터를 추가하거나 정규화 과정을 추가하게 된다.

도 1의 과정을 통해 모델을 구현한 딥 러닝 모델은, 일반적으로 성능 향상을 위해 깊은 구조를 갖게 되고, 깊은 구조의 딥 러닝 네트워크는, 적게는 수백만 개부터 많게는 수천만 개에 이르는 파라미터를 갖고 있으며, 이러한 네트워크를 과적합 없이 안정적으로 학습하기 위해 많은 양의 데이터를 필요로 한다.

많은 양의 데이터를 손쉽게 확보하기 위해서는, 주로 전통적인 데이터 확장 기법이 사용되며, 이미지를 회전 반전 또는 확대시켜 변환하면 데이터가 확장되는 효과가 있다.

최근에는 GAN(Generative Adversarial Network) 모델을 이용하여 데이터를 새롭게 생성하는 방법을 동시에 적용하고 있다. 그러나, GAN을 이용한 데이터 확장 기법은, 데이터를 새롭게 생성하기 위해 별도의 네트워크가 필요하며, 학습 시간이 늘어나는 문제점을 갖고 있다. 또한, 전통적인 데이터 확장 기법은, 시각적으로 유사한 클래스 간의 관계를 고려하기 어렵다는 문제점을 갖고 있다.

종래 기술에서는, 시각적으로 매우 유사한 클래스의 분류 성능 향상을 위해 계층 구조의 딥 러닝 모델을 만드는 방법을 시도하였다. 또한, 다른 종래 기술에서는, 한글 손글씨 데이터셋 중 하나인 SERI95a를 사용하였으며, 딥 러닝 모델로부터 상호 혼동 쌍을 추출하고, 추출된 정보를 이용하여 계층적 딥 러닝 구조를 설계하여 실험을 진행하였다.

또 다른 종래 기술에서는, 한글 손글씨 데이터셋 중 하나인 PE92 데이터셋을 사용했으며, SOM(Self-Organizing Map)을 이용하여 사전에 유사 클래스들을 클러스터링 하였다. 클러스터링된 클래스들은, 개별적으로 딥 러닝 모델을 만들고, 학습에 이용하였다.

네트워크 구조를 변경 하는 방법은, 시각적으로 매우 유사 클래스 분류 성능 향상에 유의미한 결과를 보였으나, 두 개 이상의 모델을 학습시켜야 하는 한계가 있다.

이러한 문제를 해결하기 위해 개선된 종래 기술에서는 데이터 확장 기법이나 모델의 구조를 변경시키지 않고 시각적으로 유사한 클래스의 분류 성능을 높이는 Pairwise Learning을 제안하였다. Pairwise Learning은 두 이미지 사이의 관계를 KL-Divergence 등을 통해 새롭게 정의하고, 정의된 관계를 Pairwise Confusion Loss 라는 새로운 학습 가중치로 손실 함수를 대치하여 모델의 학습에 사용하여 유사 클래스들을 구분할 수 있도록 하는 기법이다.

Pairwise Learning은 유사한 이미지의 관계를 데이터로부터 찾는 데이터 중심적인 방법으로, 두 클래스가 갖는 이미지가 실제로 유사하더라도 딥 러닝 모델은 두 이미지가 유사하다고 판단하지 않을 수 있다.

따라서, 데이터 확장 기법이나 모델의 구조를 변경시키지 않고 손실 함수를 조절하는 방법을 사용하고, 데이터셋에 사용하는 딥 러닝 모델을 이용하여 모델로부터 두 이미지의 유사 관계를 찾아 손실 함수에 가중치를 더해 모델의 학습을 보정하는 새로운 모델의 등장이 절실히 요구되고 있다.

본 발명의 실시예는, 네트워크 최적화나 데이터를 보강하는 것과 무관하게, 데이터 자체의 특성 만을 고려한 CR(Confusion Rate) 기반의 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명의 실시예는, 유사한 이미지 데이터를 정확히 분류하기 위해 CR을 산출하고, 이를 손실 함수의 가중치에 반영 함으로써, 딥 러닝 모델의 성능을 향상 시키는 것을 다른 목적으로 한다.

또한, 본 발명의 실시예는, 네트워크 최적화 결과와 독립적으로 이미지 분류 성능의 향상을 가져올 수 있으며, 클래스 간의 유사성을 고려해 유사도가 높은 이미지 식별에 적합한, 딥 러닝 성능 향상 방법 및 장치를 제공하는 것을 다른 목적으로 한다.

본 발명의 일실시예에 따른, 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법은, 입력 이미지에 대해 딥 러닝 모델에 의한 학습 과정에서 발생되는 모델의 예측값과, 라벨(Label) 데이터의 정답값을 이용하여, CM(Confusion Matrix)을 작성하는 단계; 상기 CM으로부터, 상기 예측값에 따른 클래스와 상기 정답값에 따른 클래스 간 차이 대한 비율인 CR(Confusion Rate)을 정의하는 단계; 및 상기 CR을, 규정된 손실 함수에 가중시켜, 상기 딥 러닝 모델에 의한 상기 학습 과정을 보정하는 단계를 포함할 수 있다.

또한, 본 발명의 실시예에 따른, 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치는, 입력 이미지에 대해 딥 러닝 모델에 의한 학습 과정에서 발생되는 모델의 예측값과, 라벨 데이터의 정답값을 이용하여, CM(Confusion Matrix)을 작성하는 작성부; 상기 CM으로부터, 상기 예측값에 따른 클래스와 상기 정답값에 따른 클래스 간 차이 대한 비율인 CR(Confusion Rate)을 정의하는 정의부; 및 상기 CR을, 규정된 손실 함수에 가중시켜, 상기 딥 러닝 모델에 의한 상기 학습 과정을 보정하는 보정부를 포함하여 구성할 수 있다.

본 발명의 일실시예에 따르면, 네트워크 최적화나 데이터를 보강하는 것과 무관하게, 데이터 자체의 특성 만을 고려한 CR(Confusion Rate) 기반의 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법 및 장치를 제공 할 수 있다.

또한, 본 발명의 일실시예에 따르면, 유사한 이미지 데이터를 정확히 분류하기 위해 CR을 산출하고, 이를 손실 함수의 가중치에 반영 함으로써, 딥 러닝 모델의 성능을 향상 시킬 수 있다.

또한, 본 발명의 일실시예에 따르면, 네트워크 최적화 결과와 독립적으로 이미지 분류 성능의 향상을 가져올 수 있으며, 클래스 간의 유사성을 고려해 유사도가 높은 이미지 식별에 적합한, 딥 러닝 성능 향상 방법 및 장치를 제공 할 수 있다.

도 2는 본 발명의 일실시예에 따른 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치의 구성을 도시한 블록도이다.

도 3은 HanDB와 Animal-10N 데이터셋 및 버섯과 한약재의 유사 이미지 샘플을 예시한 도이다.

도 4는 본 발명에 따른 프로세스의 개념도 이다.

도 5는 Confusion Matrix를 예시하는 도이다.

도 6는 Resnet18 Animal-10N 정확도 변화를 설명하기 위한 도이다.

도 7은 Animal-10N 데이터셋 기존 모델과 제안 모델 학습 및 검증 변화를 설명하기 위한 도이다.

도 8은 VGG13 네트워크에서 k값 변화에 따른 정확도 변화를 설명하기 위한 도이다.

도 9는 HanDB 데이터셋 기존 모델과 제안 모델 학습 및 검증 변화를 설명하기 위한 도이다.

도 10은 본 발명의 일실시예에 따른, 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법을 도시한 흐름도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 2를 참조하면, 본 발명의 일실시예에 따른, 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치(이하, '딥 러닝 성능 향상 장치'로 약칭함, 200)는 작성부(210), 정의부(220), 및 보정부(230)를 포함하여 구성할 수 있다.

우선, 작성부(210)는 입력 이미지에 대해 딥 러닝 모델에 의한 학습 과정에서 발생되는 모델의 예측값과, 라벨 데이터의 정답값을 이용하여, CM(Confusion Matrix)을 작성한다. 즉, 작성부(210)는 입력 이미지와 관련하여, 학습 중인 딥 러닝 모델로부터 출력되는 예측값과, 실제 객체에 관한 정답값을 파라메타로 하는 행렬을 CM으로서 작성하는 역할을 할 수 있다.

여기서, CM(오차행렬)은 학습된 분류 모델이 예측을 수행하면서 얼마나 헷갈리고 있는지를 보여주는 지표로서, 이진 분류의 예측 오류가 얼마인지와 더불어 어떠한 유형의 예측 오류가 발생하고 있는지를 함께 나타내는 지표 일 수 있다.

CM은 행렬 내에서 실제 레이블 클래스 값과 예측 레이블 클래스 값이 어떠한 유형을 가지고 매핑되는지를 나타낸다. CM의 1사분면을 TP(예측값과 실제값이 모두 Positive), CM의 2사분면을 FP(예측값이 Positive 실제값이 Negative), CM의 3사분면을 TN(예측값과 실제값이 모두 Negative), CM의 4사분면을 FN(예측값이 Negative, 실제값이 Positive)이라 하면, 해당 CM의 정확도는 (TP+TN)/(TP+TN+FP+FN)으로 계산할 수 있다.

CM 작성에 있어, 작성부(210)는, 상기 예측값을 행으로 하고, 상기 정답값을 열로 하는 행렬을, 상기 CM으로서 작성 할 수 있다. 즉, 작성부(210)는 입력 이미지에 대한 다수의 클래스를, 예측값과 정답값 별로 선정하고, 선정된 다수의 클래스 각각을, 행과 열로 나누어 할당하여 CM을 작성 할 수 있다.

정의부(220)는 상기 CM으로부터, 상기 예측값에 따른 클래스와 상기 정답값에 따른 클래스 간 차이 대한 비율인 CR(Confusion Rate)을 정의한다. 즉, 정의부(220)는 CM에 근거하여, 혼동 비율을 추출하는 역할을 할 수 있다.

일실시예에서, 정의부(220)는, 수식 (1)을 만족하여, 상기 CR을 정의 할 수 있다.

여기서, 상기 i와 j는 상기 딥 러닝 모델에 의한 상기 학습 과정에서 클래스에 부여된 인덱스일 수 있다.

또한, 정의부(220)는, 상기 CR_ij와 상기 CR_ji가, 각각 '0.5'일 때, 상기 예측값에 따른 클래스와, 상기 정답값에 따른 클래스 간에 가장 많이 혼동되는 것으로 정의 할 수 있다.

예컨대, 도 5와 같은 CM을 참조하여, 정답값(Ture label)이 '침팬지(i)'이고 예측값(Predicted label)이 '오랑우탕(j)'일 경우의 CM_{침팬지,오랑우탕} '306'과, 정답값이 '오랑우탄'이고 예측값이 '침팬지'일 경우의 CM_{오라우탕,오랑우탕} '317' 을 이용하는 경우, 정의부(220)는 CR_{침팬지,오랑우탕} 을 약 0.491(=306/(306+317))로 계산 할 수 있다.

유사하게, 정의부(220)는 CR_{오랑우탕,침팬지} 을 약 0.488(=3976/(3976+4146))로 계산 할 수 있다.

이를 통해, 정의부(220)는 계산된 CR_{침팬지,오랑우탕} 와 CR_{오랑우탕,침팬지} 가 모두 0.5에 가장 가깝게 근접 함에 따라, 침팬지와 오랑우탕 사이에 가장 많이 혼동되고 것으로 정의 할 수 있다.

보정부(230)는 상기 CR을, 규정된 손실 함수에 가중시켜, 상기 딥 러닝 모델에 의한 상기 학습 과정을 보정한다. 즉, 보정부(230)는 입력 이미지와 라벨 데이터와의 유사 관계를 찾아 손실 함수에 가중치를 더해 모델의 학습을 보정하는 역할을 할 수 있다.

보정부(230)는, 수식 (2)를 만족하여, 상기 규정된 손실 함수에 상기 CR에 관한 정보 엔트로피를 가중시킬 수 있다.

여기서, L은 손실 함수이고, k는 상수 값 일 수 있다.

상술한 예시에서, CR_{침팬지,오랑우탕} 0.491, CR_{오랑우탕,침팬지} 0.488 이 계산됨에 따라, 보정부(230)는 정보 엔트로피 (0.491, 0.488)에 대해 엔트로피 계산(예, 섀넌 엔트로피 연산식 등)하고, 이를 손실 함수에 가중 반영하여, 딥 러닝 모델의 학습 과정을 보정 할 수 있다.

본 발명에서는 학습 모델의 종류나 데이터셋의 크기와 무관한 혼동 이미지셋(시각적으로 유사한 특징을 가진 클래스)을 이용한 분류 성능 향상 기법을 제안한다.

본 발명은 딥 러닝 모델의 학습 과정에서 발생하는 모델의 예측값과 데이터의 정답값의 차이를 이용하여 CM(Confusion Matrix)을 만들고, CM으로부터 두 클래스 간 차이 대한 비율 CR(Confusion Rate)을 새롭게 정의한다. CR 값은 손실 함수에 가중치를 더해 모델의 학습을 보정한다.

도 3에는, 유사 이미지 샘플로서, 이미지 내의 형태가 유사한 한글 관련 데이터셋, 고양이와 쥐 관련 데이터셋, 버섯 관련 데이터셋, 한약재 관련 데이터셋이 예시되고 있다.

본 발명에 있어서의 평가를 위해서는, 도 3과 같이 유사한 이미지를 다수 포함하고 있는 데이터셋을 선정할 필요가 있다.

특정 데이터셋에 과적합되는 문제를 회피하기 위해서는, 데이터 특성이 이질적인 한글 필기체와 동물이미지 데이터셋인 HanDB와 Animal-10N 데이터를 활용하여 실험을 수행한다.

HanDB는 SERI95a와 PE92를 합친 데이터셋으로 한글의 특성으로 인하여 (강, 감), (귀, 키, 커) 등과 같은 유사글자가 많이 나타나며, 2,350개의 클래스가 학습데이터 665,890장, 검증 데이터 75,186장으로 구성될 수 있다.

Animal-10N 데이터셋은 (고양이, 시라소니), (재규어, 치타) 등과 같이 유사한 동물들 10종의 사진을 모은 데이터셋으로, 학습데이터 50,000장과 검증데이터 5,000 장으로 이루어져 있다. 각각의 데이터는 본 발명의 목적에 맞게 잘 알려진 Resnet34, Resnet18, VGG13 모델을 네트워크 구조 변화 없이 제안 방법 만을 적용하여 비교 평가를 수행한다.

딥 러닝 모델은 모델이 완전히 학습되기 전에는 모델의 예측값이 일관되지 않는 변화를 보인다.

또한, 딥 러닝 모델은 학습데이터의 정답을 암기하는 경향을 갖고 있으며 전체 학습 데이터셋의 정답을 모두 암기하기에 충분한 저장 공간을 갖고 있다.

본 발명에서는 이러한 딥 러닝의 특성을 이용하여, 모델이 학습 데이터를 완전히 암기하기 전 단계의 예측값과 정답값을 이용하여 CM(Confusion Matrix)을 만든 뒤 CR을 산출하여 학습에 이용 할 수 있다.

CR은 수식 (1)을 만족하여 산출될 수 있다.

CM의 행과 열은 각각 예측값과 정답값을 의미하며, 수식 (1)에서의 i와 j는 학습할 때 클래스에 부여된 인덱스(예, 번호 등)를 뜻 한다.

도 4는 본 발명에 따른 프로세스의 개념도 이다.

도 4에 도시한 바와 같이, 딥 러닝 모델은 input으로 입력 이미지를 받아, 학습하여 예측값 y^를 출력할 수 있다.

딥 러닝 성능 향상 장치(200)는 예측값 y^와 실제 이미지의 정답값 y를 이용하여 CM을 작성할 수 있다.

딥 러닝 성능 향상 장치(200)는 CM에 근거하여 Equation 1을 만족하는 CR을 정의 할 수 있다.

딥 러닝 성능 향상 장치(200)는 정의된 CR(CR_ij, CR_ji)를 이용하여 결과(Results)를 출력할 수 있다.

딥 러닝 성능 향상 장치(200)는 정의된 CR을 손실함수에 반영하는 Equation 2를 만족하여, 딥 러닝 모델의 학습 과정을 보정(Backpropagation) 할 수 있다.

도 4는 본 발명의 전체적인 프로세스를 나타낸 것으로, 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치(200)는 먼저 입력 이미지에 대한 모델의 예측값 y^와 정답 값 y를 이용하여 CM을 만든다.

그 후, 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치(200)는 만들어진 CM으로부터 수식 (1)을 이용하여 CR_ij, CR_ji을 산출한 뒤 기존의 손실 함수에 가중치를 더해 역전파를 진행한다. 산출된 CR_ij, CR_ji 값은 각각 0.5일 때 두 클래스 간에 가장 많이 서로를 혼동하고 있는 경우이다.

도 5는 Confusion Matrix를 예시하는 도이다.

딥 러닝 성능 향상 장치(200)는 예측값을 행으로 하고, 정답값을 열로 하는 Confusion Matrix를 작성할 수 있다.

도 5에는, 예측값에 관한 Predicted label이 행으로 배열되고, 정답값에 관한 Ture label이 열로 배열되는 Confusion Matrix가 예시되고 있다.

Confusion Matrix에서, 예측값과 정답값으로 이루어진 좌표의 위치값은, CR의 연산시 사용될 수 있다. 예컨대, 정답값 '침팬지'와 예측값 '오랑우탕'의 CM_{침팬지,오랑우탕} '306'와, 정답값 '오랑우탄'과 예측값 '침팬지'의 CM_{오라우탕,오랑우탕} '317' 은 CR_{침팬지,오랑우탕} 을 정의하는 데에 사용될 수 있다.

도 5의 Confusion Matrix에서는, 예를 들어, 오랑우탄과 침팬지의 경우, 서로 잘못 예측한 623장의 이미지 중, 317장은 오랑우탄을 침팬지로 잘못 예측한 것이고, 306장은 침팬지를 오랑우탄으로 잘못 예측한 것이다.

즉, 오랑우탄이나 침팬지의 이미지가 들어올 때에는, 50%의 확률로 한번은 오랑우탄으로, 한번은 침팬지로 예측하고 있다는 의미로, 이들 오랑우탄이나 침팬지의 이미지는 서로를 가장 많이 혼동하는 상태로 볼 수 있다.

따라서, 수식 (1)에 의해 두 CR_ij, CR_ji의 값이 0.5일 때, 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치(200)는 수식 (2)와 같이, 최대값을 산출하는 정보 엔트로피를 적용하여 Loss 에 가중치를 더해준다.

k는 상수 값으로, 정보 엔트로피를 통해 구한 Loss를 얼마만큼 반영할 것인지 정하게 된다.

본 발명에서는 Optimizer로 SGD를 사용하였으며, Learning rate 0.01, Momentum 0.9와 Batch Size는 512로 설정한다.

HanDB에서는 이미지를 60x60으로 변환한 후, GrayScale과 Zero Padding을 적용하여 1x64x64로 학습을 진행하였고, Animal-10N에서는 3x64x64의 크기로 학습을 진행한다.

표 1은 CR 기반의 Loss 보정 알고리즘이다.

표 1에서와 같이, Loss 보정 알고리즘에는, 수식 (2)를 포함하고 있어, CR을 규정된 손실 함수에 가중시킴으로써, 딥 러닝 모델에 의한 학습 과정이 보정되도록 한다.

본 발명에서는, 이질적인 두 종류의 데이터셋을 실험에 사용한다.

HanDB는, 한글 필기체 데이터셋으로 한글의 특성에 따라 다수의 유사 이미지를 포함하고 있으며, 총 2,350개의 클래스, 학습데이터 665,890장, 검증데이터 75,186 장으로 이루어져 있다.

Animal-10N 데이터셋은, 총 10개의 클래스로 학습데이터 50,000 장과 검증데이터 5,000장으로 구성되어 있으며, 이미지 유사도가 높은 동물 10종의 사진을 모은 데이터셋이다.

또한, 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치(200)는, 네트워크 구조 변경 없이 동일한 조건에서 실험을 진행하기 위해 Optimizer와 Batch_Size 등 모든 하이퍼 파라미터를 고정하고 학습을 진행하였으며, Animal-10N은 Resnet18, Resnet34, VGG13 모델을 100 epochs 반복하고 HanDB는 50 epochs 반복한다.

유사 이미지 분류를 위한 딥 러닝 성능 향상 장치(200)는 먼저 수식 (2)에서 k값에 따른 학습 변화를 알아보기 위해, VGG13 네트워크와 Animal-10N 데이터셋으로 실험을 진행한다.

도 6는 Resnet18 Animal-10N 정확도 변화를 설명하기 위한 도이다.

도 6에 도시한 바와 같이, 딥 러닝 성능 향상 장치(200)는 딥 러닝 모델의 학습 과정을 본 발명에 따른 방식으로 보정하여, Confusion Matrix에서의, 예측값과 정답값으로 이루어진 좌표의 위치값을 조정 함으로써, Resnet18 Animal-10N 정확도를, 개선, 향상시킬 수 있다.

도 7에 도시한 바와 같이, 딥 러닝 성능 향상 장치(200)는 딥 러닝 모델의 학습 과정을 본 발명에 따른 방식으로 보정 함으로써, VGG13, Resnet18, Resnet34과 연관된 Animal-10N 데이터셋 모델을 보다 개선, 향상시킬 수 있다.

도 8에서는, 수식 (2)와 관련하여, 상수 값인 k를 정해진 수(3, 10, 15)로 증가 시키면서, 정확도가 어떻게 변화하는지를 보여준다.

k가 증가 함에 따라, 정보 엔트로피를 통해 구한 Loss는 해당 수 만큼 반영하게 된다.

k의 값이 3일 때 정확도 변화의 결과는 가장 좋았으며, k의 값이 커질수록 과적합 등의 이유로 성능은 감소 할 수 있다.

따라서, 이후 모든 실험은 k를 3으로 고정하고 실험을 진행하였다.

본 발명에 따른 방법이 다양한 네트워크에서도 활용 가능함을 보이기 위해 VGG13, Resnet18, Resnet34에 Animal-10N 데이터셋을 적용한 결과, 도 7의 결과와 같이 모든 네트워크에서 성능향상을 보였으며, VGG13에서 1.68%, Resnet18에서 3.38%, Resnet34에서 2.24%의 성능 향상을 확인할 수 있었다.

표 2는 Resnet18에서의 정확도 변화(%)를 정리한 것이다.

표 2에 정리한 바와 같이, 딥 러닝 성능 향상 장치(200)는 침팬지에 대해, 기존 87.87에서 90.16으로 정확도를 향상 시킬 수 있다.

도 9에 도시한 바와 같이, 딥 러닝 성능 향상 장치(200)는 딥 러닝 모델의 학습 과정을 본 발명에 따른 방식으로 보정 함으로써, VGG13, Resnet18, Resnet34과 연관된 HanDB 데이터셋 기존 모델을 보다 개선, 향상시킬 수 있다.

그러나 Resnet18에서 정확도 변화를 확인한 결과 3.38%의 성능 향상에도 불구하고 표 2에서와 같이 오랑우탄의 정확도가 떨어졌으며, 도 6에서와 같이 코요테와 늑대의 CR값이 0.53에서 0.5로 상승하는 모습을 확인할 수 있다.

본 발명에서는 제안 방법이 도메인이 다른 데이터셋에도 효과가 있음을 확인하기 위해, HanDB 데이터셋에 VGG13, Resnet18, Resnet34 모델을 적용하여 실험을 진행하였다.

표 3은 Animal-10N에서의, 제안 모델에 정확도(%)를 정리한 것이다.

표 3과 같이 실험 결과 모델의 정확도 향상은 Resnet34 모델에 대해 Animal-10N에서와는 달리 HanDB 에서는 98.40% 에서 98.50% 로 유의미한 성능 향상을 보이지 못하였는데, 도 9에서 HanDB는 Animal-10N에서와 달리 학습 초기에 Loss가 0으로 빠르게 수렴하는 모습을 볼 수 있었다.

제안 방법은 2 epoch부터 매 epoch 마다 모델의 예측값을 기반으로 CM을 만들고 CR을 산출하여 학습에 이용하게 되는데, HanDB 에서와 같이 모델의 학습이 빠르게 수렴한다면 CM은 대각행렬 모양을 띄게 되고 결국 CR의 값은 0이 될 것이다.

이는 기존의 손실 함수에 아무런 가중치를 추가하지 않은 것과 같기 때문에 실질적 보정효과를 가져올 수 없는 결과를 보여준다.

본 발명에서는 네트워크의 최적화나 데이터를 보강하는 과정을 거칠 필요 없이, 모델과 데이터 자체의 특성 만을 고려한 CR을 이용하여 딥 러닝 모델의 성능을 향상 하도록 하는 방법을 제공한다.

CR은 딥 러닝 모델 학습 과정에서 산출되며 Pairwise Learning 방법 처럼 기존의 손실 함수에 가중치로 추가하여 모델의 학습에 이용한다.

딥 러닝 성능 향상 장치(200)는, 다양한 네트워크에 적용하여, 네트워크의 구조 변화나 추가적인 데이터 보강 없이, 모든 네트워크에서 유사 이미지 분류 성능을 향상시킬 수 있다. 예컨대, Animal-10N의 경우에는 최대 3.38%의 성능향상을 보였으며, HanDB에서는 0.22%의 성능향상을 보일 수 있다.

이하, 도 10에서는 본 발명의 실시예들에 따른 딥 러닝 성능 향상 장치(200)의 작업 흐름을 상세히 설명한다.

본 실시예에 따른 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법은 딥 러닝 성능 향상 장치(200)에 의해 수행될 수 있다.

우선, 딥 러닝 성능 향상 장치(200)는, 입력 이미지에 대해 딥 러닝 모델에 의한 학습 과정에서 발생되는 모델의 예측값과, 라벨 데이터의 정답값을 이용하여, CM(Confusion Matrix)을 작성한다(1010). 단계(1010)는 입력 이미지와 관련하여, 학습 중인 딥 러닝 모델로부터 출력되는 예측값과, 실제 객체에 관한 정답값을 파라메타로 하는 행렬을 CM으로서 작성하는 과정일 수 있다.

CM 작성에 있어, 딥 러닝 성능 향상 장치(200)는, 상기 예측값을 행으로 하고, 상기 정답값을 열로 하는 행렬을, 상기 CM으로서 작성 할 수 있다. 즉, 딥 러닝 성능 향상 장치(200)는 입력 이미지에 대한 다수의 클래스를, 예측값과 정답값 별로 선정하고, 선정된 다수의 클래스 각각을, 행과 열로 나누어 할당하여 CM을 작성 할 수 있다.

또한, 딥 러닝 성능 향상 장치(200)는, 상기 CM으로부터, 상기 예측값에 따른 클래스와 상기 정답값에 따른 클래스 간 차이 대한 비율인 CR(Confusion Rate)을 정의한다(1020). 단계(1020)는 CM에 근거하여, 혼동 비율을 추출하는 과정일 수 있다.

일실시예에서, 딥 러닝 성능 향상 장치(200)는, 수식 (1)을 만족하여, 상기 CR을 정의 할 수 있다.

또한, 딥 러닝 성능 향상 장치(200)는, 상기 CR_ij와 상기 CR_ji가, 각각 '0.5'일 때, 상기 예측값에 따른 클래스와, 상기 정답값에 따른 클래스 간에 가장 많이 혼동되는 것으로 정의 할 수 있다.

예컨대, 도 5와 같은 CM을 참조하여, 정답값(Ture label)이 '침팬지(i)'이고 예측값(Predicted label)이 '오랑우탕(j)'일 경우의 CM_{침팬지,오랑우탕} '306'과, 정답값이 '오랑우탄'이고 예측값이 '침팬지'일 경우의 CM_{오라우탕,오랑우탕} '317' 을 이용하는 경우, 딥 러닝 성능 향상 장치(200)는 CR_{침팬지,오랑우탕} 을 약 0.491(=306/(306+317))로 계산 할 수 있다.

유사하게, 딥 러닝 성능 향상 장치(200)는 CR_{오랑우탕,침팬지} 을 약 0.488(=3976/(3976+4146))로 계산 할 수 있다.

이를 통해, 딥 러닝 성능 향상 장치(200)는 계산된 CR_{침팬지,오랑우탕} 와 CR_{오랑우탕,침팬지} 가 모두 0.5에 가장 가깝게 근접 함에 따라, 침팬지와 오랑우탕 사이에 가장 많이 혼동되고 것으로 정의 할 수 있다.

계속해서, 딥 러닝 성능 향상 장치(200)는, 상기 CR을, 규정된 손실 함수에 가중시켜, 상기 딥 러닝 모델에 의한 상기 학습 과정을 보정한다(1030). 단계(1030)는 입력 이미지와 라벨 데이터와의 유사 관계를 찾아 손실 함수에 가중치를 더해 모델의 학습을 보정하는 과정일 수 있다.

딥 러닝 성능 향상 장치(200)는, 수식 (2)를 만족하여, 상기 규정된 손실 함수에 상기 CR에 관한 정보 엔트로피를 가중시킬 수 있다.

여기서, L은 손실 함수이고, k는 상수 값 일 수 있다.

상술한 예시에서, CR_{침팬지,오랑우탕} 0.491, CR_{오랑우탕,침팬지} 0.488 이 계산됨에 따라, 딥 러닝 성능 향상 장치(200)는 정보 엔트로피 (0.491, 0.488)에 대해 엔트로피 계산(예, 섀넌 엔트로피 연산식 등)하고, 이를 손실 함수에 가중 반영하여, 딥 러닝 모델의 학습 과정을 보정 할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

입력 이미지에 대해 딥 러닝 모델에 의한 학습 과정에서 발생되는 모델의 예측값과, 라벨(Label) 데이터의 정답값을 이용하여, CM(Confusion Matrix)을 작성하는 단계;

상기 CM으로부터, 상기 예측값에 따른 클래스와 상기 정답값에 따른 클래스 간 차이 대한 비율인 CR(Confusion Rate)을 정의하는 단계; 및

상기 CR을, 규정된 손실 함수에 가중시켜, 상기 딥 러닝 모델에 의한 상기 학습 과정을 보정하는 단계

를 포함하는 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법.
제1항에 있어서,

상기 CM을 작성하는 단계는,

상기 예측값을 행으로 하고, 상기 정답값을 열로 하는 행렬을, 상기 CM으로서 작성하는 단계

를 포함하는 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법.
제1항에 있어서,

상기 CR을 정의하는 단계는,

수식 (1)을 만족하여, 상기 CR을 정의하는 단계

를 포함하고,

상기 수식 (1)은,

인

- 상기 i와 j는 상기 딥 러닝 모델에 의한 상기 학습 과정에서 클래스에 부여된 인덱스임 -

유사 이미지 분류를 위한 딥 러닝 성능 향상 방법.
제3항에 있어서,

상기 CR을 정의하는 단계는,

상기 CR_ij와 상기 CR_ji가, 각각 '0.5'일 때, 상기 예측값에 따른 클래스와, 상기 정답값에 따른 클래스 간에 가장 많이 혼동되는 것으로 정의하는 단계

를 더 포함하는 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법.
제3항에 있어서,

상기 학습 과정을 보정하는 단계는,

수식 (2)를 만족하여, 상기 규정된 손실 함수에 상기 CR에 관한 정보 엔트로피를 가중시키는 단계

를 포함하고,

상기 수식 (2)는,

인,

-상기 L은 손실 함수이고, 상기 k는 상수 값임-

를 더 포함하는 유사 이미지 분류를 위한 딥 러닝 성능 향상 방법.
입력 이미지에 대해 딥 러닝 모델에 의한 학습 과정에서 발생되는 모델의 예측값과, 라벨 데이터의 정답값을 이용하여, CM(Confusion Matrix)을 작성하는 작성부;

상기 CM으로부터, 상기 예측값에 따른 클래스와 상기 정답값에 따른 클래스 간 차이 대한 비율인 CR(Confusion Rate)을 정의하는 정의부; 및

상기 CR을, 규정된 손실 함수에 가중시켜, 상기 딥 러닝 모델에 의한 상기 학습 과정을 보정하는 보정부

를 포함하는 유사 이미지 분류를 위한 딥 러닝 성능 향상 장치.
제6항에 있어서,

상기 작성부는,

상기 예측값을 행으로 하고, 상기 정답값을 열로 하는 행렬을, 상기 CM으로서 작성하는

유사 이미지 분류를 위한 딥 러닝 성능 향상 장치.
제6항에 있어서,

상기 정의부는,

수식 (1)을 만족하여, 상기 CR을 정의하고,

상기 수식 (1)은,

인

- 상기 i와 j는 상기 딥 러닝 모델에 의한 상기 학습 과정에서 클래스에 부여된 인덱스임 -

유사 이미지 분류를 위한 딥 러닝 성능 향상 장치.
제8항에 있어서,

상기 정의부는,

상기 CR_ij와 상기 CR_ji가, 각각 '0.5'일 때, 상기 예측값에 따른 클래스와, 상기 정답값에 따른 클래스 간에 가장 많이 혼동되는 것으로 정의하는

유사 이미지 분류를 위한 딥 러닝 성능 향상 장치.
제8항에 있어서,

상기 보정부는,

수식 (2)를 만족하여, 상기 규정된 손실 함수에 상기 CR에 관한 정보 엔트로피를 가중시키고,

상기 수식 (2)는,

인,

-상기 L은 손실 함수이고, 상기 k는 상수 값임-

유사 이미지 분류를 위한 딥 러닝 성능 향상 장치.
제1항 내지 제5항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.