KR20220009662A - 신경망 모델 학습 방법 및 이를 제공하는 장치 - Google Patents

Abstract

신경망 모델 학습 방법 및 이를 제공하는 장치가 개시된다.
본 발명의 실시예에 따른 신경망 모델 학습 방법 및 이를 제공하는 장치는 신경망 모델을 생성하는 단계 및 훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계를 포함하되, 상기 훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계에서 계층간 관련성 전파에 의해 산출된 관련성 점수를 반영한 관련성 히트맵과 입력된 훈련 데이터의 픽셀 값 분포 간의 손실 함수를 산출하여 학습함으로써, 훈련 시간이 단축되며, 메모리 및 계산 자원이 축소되고 적대적 공격에도 강건한, 저비용, 고성능 및 고신뢰성의 신경망 모델을 제공할 수 있다.

Description

신경망 모델 학습 방법 및 이를 제공하는 장치{METHOD FOR TRAINING ROBUST NEURAL NETWORK AND APPARATUS PROVIDING THE SAME}

본 발명은 신경망 모델 학습 방법 및 이를 제공하는 장치에 관한 것으로, 적대적 공격(Adversarial Attack)에 강건한 신경망 모델을 제공하는 신경망 모델 학습 방법 및 이를 제공하는 장치에 관한 것이다.

신경망 모델은 오늘날 컴퓨터 비전, 자연어 처리, 음성 합성 등 다양한 영역에서 사용되고 있어, 데이터의 예측 안정성 증가를 위한 개발이 지속적으로 진행되고 있다.

그러나, 이러한 신경망 모델은, 신경망 훈련 과정에서의 비신뢰적인 공격에 따른 데이터 불안정성에 의해 여전히 신뢰성이 떨어지는 단점이 있다. 예를 들어, 신경망 훈련 과정에서의 비신뢰적인 공격으로는 적대적 공격(Adversarial Attack)이 있을 수 있다.

적대적 공격은 이미지 판별을 위한 신경망 모델에서 공격자가 의도적으로 입력 값을 조작시켜, 육안으로 구분할 수 없는 미세한 차이를 갖는 이미지를 통해 전혀 다른 결과를 도출하게 한다.

이에, 적대적 공격에 강건한 신경망 모델을 학습하기 위해, 종래에는 적대적 훈련(Adversarial Training) 기법, 적대적 공격 감지(Adversarial Attack Detection) 기법 및 방어적인 증류(Defensive Distillation) 기법의 방법으로 신경망 모델을 학습하고 있다.

그러나, 적대적 훈련(Adversarial Training) 기법은 적대적 공격 기법이 달라짐에 따라 재학습을 수행해야하며, 신경망이 과적합되기 쉬운 단점이 있고, 적대적 공격 감지(Adversarial Attack Detection) 기법은 별도의 신경망이 추가로 요구되므로써 추가 훈련 시간과 메모리 및 계산 자원이 요구되는 단점이 있으며, 방어적인 증류(Defensive Distillation) 기법은 신경망의 훈련 시간이 늘어난다는 단점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 저비용, 고성능 및 고신뢰성의 신경망 모델 학습 방법을 제공하는 데 있다.

또한, 상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 저비용, 고성능 및 고신뢰성의 신경망 모델 제공 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 신경망 모델 학습 방법은, 신경망 모델을 생성하는 단계 및 훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계를 포함하되, 훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계는 피드포워드(Feed Forword)를 수행하여 상기 훈련 데이터를 클래스 별로 분류하는 단계, 상기 클래스 별로 산출된 확률 값을 바탕으로 계층간 관련성 전파를 수행하여, 입력층에 존재하는 뉴런들의 관련성 점수를 산출하는 단계, 상기 관련성 점수를 기초로 관련성 히트맵을 생성하는 단계 및 상기 관련성 히트맵 및 상기 훈련 데이터의 픽셀 값을 이용하여 손실 함수를 산출하는 단계를 포함한다.

본 발명의 실시예에 따른 신경망 모델 학습 방법 및 이를 제공하는 장치는 신경망 모델을 생성하는 단계 및 훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계를 포함하되, 훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계에서는 피드포워드(Feed Forword)를 수행하여 상기 훈련 데이터를 클래스 별로 분류하는 단계, 상기 클래스 별로 산출된 확률 값을 바탕으로 계층간 관련성 전파를 수행하여, 입력층에 존재하는 뉴런들의 관련성 점수를 산출하는 단계, 상기 관련성 점수를 기초로 관련성 히트맵을 생성하는 단계 및 상기 관련성 히트맵 및 상기 훈련 데이터의 픽셀 값을 이용하여 손실 함수를 산출하는 단계를 포함함으로써, 훈련 시간이 단축되며, 메모리 및 계산 자원이 축소되고 적대적 공격에도 강건한, 저비용, 고성능 및 고신뢰성의 신경망 모델을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 신경망 모델 제공 장치에 의해 제공되는 신경망 모델의 개념도이다.
도 2는 본 발명의 실시예에 따른 신경망 모델 제공 장치의 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 신경망 모델 동작 방법의 순서도이다.
도 4는 본 발명의 실시예에 따른 신경망 모델 학습 방법의 순서도이다.
도 5는 종래의 신경망 모델 학습 방법 중 적대적 훈련(Adversarial Training) 기법을 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에 따른 신경망 모델이 학습되는 방법을 설명하기 위한 이미지이다.
도 7은 종래의 신경망 모델 학습 방법 중 적대적 공격 감지(Adversarial Attack Detection) 기법을 설명하기 위한 개념도이다.
도 8은 종래의 신경망 모델 학습 방법 중 방어적인 증류(Defensive Distillation) 기법을 설명하기 위한 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 신경망 모델 제공 장치에 의해 제공되는 신경망 모델의 개념도이다.

도 1을 참조하면, 신경망 모델 제공 장치는 계층간 관련성 전파을 손실 함수로 사용하여, 적대적 공격(Adversarial Attack)에 강건한 신경망 모델을 제공할 수 있다.

하기 도 2에서는 신경망 모델 제공 장치에 대해 구성별로 보다 자세히 설명하겠다.

도 2는 본 발명의 실시예에 따른 신경망 모델 제공 장치의 블록 구성도이다.

도 2를 참조하면, 신경망 모델 제공 장치(1000)는 적어도 하나의 명령을 저장하는 메모리(100) 및 상기 메모리의 적어도 하나의 명령을 실행하는 프로세서(200)를 포함할 수 있다.

또한, 신경망 모델 제공 장치(1000)는 상기 프로세서(200)를 통해 실행되는 네트워크와 연결되어 통신을 수행하는 송수신 장치(300), 입력 인터페이스 장치(400), 출력 인터페이스 장치(500), 저장 장치(600) 등을 더 포함할 수 있다.

실시예에 따르면, 신경망 모델 제공 장치(1000)에 포함된 각각의 구성 요소들(100, 200, 300, 400, 500, 600)은 버스(bus, 700)에 의해 연결되어 서로 통신을 수행할 수 있다.

신경망 모델 제공 장치(1000)의 상기 구성들(100, 200, 300, 400, 500, 600, 700) 중, 메모리(100) 및 저장 장치(600)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(100) 및 저장 장치(600)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.

메모리(100)는 후술될 프로세서(200)에 의해 실행될 적어도 하나의 명령을 포함할 수 있다. 실시예에 따르면, 적어도 하나의 명령은, 입력 데이터를 입력하도록 하는 명령, 사전 학습된 신경망 모델을 이용하여, 입력 데이터에 대응하는 출력 데이터를 획득하도록 하는 명령을 포함할 수 있다.

프로세서(200)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.

프로세서(200)는 앞서 설명한 바와 같이, 메모리(100)에 저장된 적어도 하나의 프로그램 명령(program command)을 실행할 수 있다. 적어도 하나의 명령을 수행하는 프로세서(200)의 특징은 후술될 신경망 모델의 학습 방법의 설명시 보다 구체적으로 설명하겠다.

이상, 본 발명의 실시예에 따른 신경망 모델 제공 장치를 설명하였다. 이하에서는, 상기 신경망 모델 제공 장치의 프로세서 동작에 의한 신경망 모델 수행 방법에 대해 설명하겠다.

도 3은 본 발명의 실시예에 따른 신경망 모델 동작 방법의 순서도이다.

도 3을 참조하면, 신경망 모델 학습 장치(1000) 내 프로세서(200)는 입력 데이터를 입력할 수 있다(S1000).

이후, 프로세서(200)는 신경망 모델을 이용하여, 상기 입력 데이터에 대응하는 출력 데이터를 획득할 수 있다(S5000).

여기서, 신경망 모델은 신경망 모델 학습 장치(1000)의 최초 동작 시 프로세서(200)에 의해 생성되어 사전 학습되거나 또는 외부로부터 획득하여 저장된 사전 학습된 모델일 수 있다

하기에서는 신경망 모델 학습 장치(1000)의 프로세서(200) 동작에 의해 생성되어 사전 학습되는 신경망 모델의 학습 방법에 대해 보다 자세히 설명하겠다.

도 4는 본 발명의 실시예에 따른 신경망 모델 학습 방법의 순서도이다.

도 4을 참조하면, 신경망 모델 학습 장치(1000) 내 프로세서(200)는 신경망 모델을 생성할 수 있다(S100).

이후, 프로세서(200)는 생성된 신경망 모델의 학습을 위한 데이터를 준비할 수 있다(S300).

보다 구체적으로 설명하면, 프로세서(200)는 적대적 공격(Adversarial Attack)이 적용되지 않은 정상 데이터 셋(data set)을 신경망 모델의 학습을 위한 훈련 데이터로 준비할 수 있다. 실시예에 따르면, 훈련 데이터는 정상 데이터 셋(data set)을 사용할 수 있다.

도 5는 종래의 신경망 모델 학습 방법 중 적대적 훈련(Adversarial Training) 기법을 설명하기 위한 개념도이다.

도 5를 참조하면, 종래의 신경망 모델 학습 방법 중 적대적 훈련 기법은 적대적 공격으로 생성되어 노이즈가 추가된 데이터를 훈련 데이터 셋에 추가하여 신경망 모델을 학습시키는 방법이다. 이에, 종래의 적대적 훈련 기법은 주로 학습이 끝난 신경망 모델을 미세 조정할 때에 한정적으로 사용되며, 적대적 공격 기법이 달라짐에 따라 재학습을 수행해야하므로 신경망이 과적합되기 쉬운 단점이 있다.

한편, 다시 도 4를 참조하면, 본 발명의 실시예에 따른 신경망 모델 학습 방법은, 앞서 설명한 바와 같이, 적대적 공격이 적용되지 않은 정상 데이터 셋을 훈련 데이터로 사용함으로써, 적대적 공격에 따른 재학습이 요구되지 않아, 신경망 과적합에 따른 오류가 방지된 고신뢰성의 신경망 모델 학습 방법을 제공할 수 있다.

프로세서(200)는 훈련 데이터를 생성된 신경망 모델에 입력하여 신경망 모델을 학습할 수 있다(S500).

이하에서는 훈련 데이터를 이용하여 신경망 모델이 학습되는 방법을 보다 구체적으로 설명하겠다.

도 6은 본 발명의 실시예에 따른 신경망 모델이 학습되는 방법을 설명하기 위한 이미지이다.

도 4 및 도 6을 참조하면, 신경망 모델은 입력된 훈련 데이터를 이용하여 피드포워드(Feed Forword)를 수행할 수 있다(S510).

여기서, 피드포워드(Feed Forword)는, 적어도 하나의 입력층(Input layer)과 은닉층(Hidden layer), 그리고, 출력층(Output layer)으로 구성되어 각각의 층 사이에 가중치가 존재하는 신경망 모델에 있어서, 이전 층에서 출력된 가중치를 다음 층의 입력 노드 값에 반영하는 동작일 수 있다.

신경망 모델은 피드포워드(Feed Forward)를 수행함으로써, 입력된 훈련 데이터에 대한 클래스(class)를 분류할 수 있다.

이후, 신경망 모델은 각각의 클래스 별로 확률 값을 산출하여, 산출된 확률 예측 값을 토대로 출력 계층부터 입력 계층까지 계층간 관련성 전파를 수행할 수 있다(S520).

이때, 신경망 모델은 계층간 관련성 전파를 수행하며, 입력층(Input layer)에 존재하는 뉴런들의 관련성 점수를 산출할 수 있다(S530).

보다 구체적으로 설명하면, 관련성 점수들은 H X W X C 인자들의 행렬 형태로 제공되며, 정규화 할 수 있다. 여기서, H는 입력 데이터의 높이, W는 입력 데이터의 너비, C는 입력 데이터의 채널 수를 의미할 수 있다.

신경망 모델은 정규화된 관련성 점수를 이미지로 변환할 수 있다. 보다 구체적으로 설명하면, 신경망 모델은 정규화된 관련성 점수에 RGB 최대 값인 255를 곱하여, 이미지화 할 수 있다.

이후, 신경망 모델은, 하기 [수학식 1]과 같이, D_input과, 가중치 α를 반영한 R_RGB를 합하여 관련성 히트맵(R_heatmap)을 생성할 수 있다(S540). 이에 따라, 신경망 모델이 입력된 훈련 데이터의 어느 부분에 높은 가중치를 부여했는지 확인할 수 있다.

신경망 모델은 손실 함수를 산출할 수 있다(S550). 여기서, 손실 함수는 신경망의 성능을 나타내는 지표일 수 있다.

보다 구체적으로 설명하면, 신경망 모델은 손실 함수를 산출하기 위해, 관련성 히트맵 및 입력된 훈련 데이터의 픽셀 값 분포 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)를 산출할 수 있다.

또한, 실측 값에 대한 신경망 예측값의 오차를 교차 엔트로피(Cross entropy)로 산출할 수 있다.

이후, 신경망 모델은 산출된 쿨백-라이블러 발산(Kullback-Leibler divergence)의 손실(Loss)과 교차 엔트로피(Cross entropy)의 손실(Loss)을 더하여 손실 함수를 산출할 수 있다.

여기서, 손실 함수 산출을 위한 쿨백-라이블러 발산(Kullback-Leibler divergence) 및 실측 값에 대한 신경망 예측값의 오차를 산출하기 위한 교차 엔트로피(Cross entropy)는 개시된 바에 국한되지 않고, 종래의 인공 신경망에서 사용되는 손실 함수로 대체 가능할 수 있다. 예를 들어, 쿨백-라이블러 발산(Kullback-Leibler divergence)은 두 데이터 간의 차이를 측정하는 적어도 하나의 계산법으로 대체될 수 있다.

도 7은 종래의 신경망 모델 학습 방법 중 적대적 공격 감지(Adversarial Attack Detection) 기법을 설명하기 위한 개념도이다.

도 7을 참조하면, 종래의 신경망 모델 학습 방법 중 적대적 공격 감지 기법은 정상 데이터 및 적대적 공격에 의해 생성된 데이터가 혼합된 입력 데이터가 주어질 경우, 별도의 신경망을 통해, 해당 입력 데이터가 정상 데이터인지 또는 적대적 공격에 의해 생성된 데이터인지를 구별하여, 적대적 공격이 탐지되지 않은 데이터에 한해서는 추론 신경망의 입력으로 주어지고, 적대적 공격이 탐지된 데이터에 대해서는 사용자에게 별도의 알람을 보내어 신경망 모델을 학습시키는 방법이다.

도 8은 종래의 신경망 모델 학습 방법 중 방어적인 증류(Defensive Distillation) 기법을 설명하기 위한 개념도이다.

도 8을 참조하면, 종래의 신경망 모델 학습 방법 중 방어적인 증류 기법은 구조적으로 동일한 신경망(initial network, distilled network)를 준비하고, 초기 신경망(initial network)에서는 정상 데이터와 실측값을 통해 신경망을 학습하며, 증류된 신경망(distilled network)에서는 초기 신경망(initial network)에서 얻은 soft target을 사용하여 신경망 모델을 학습시키는 방법이다.

도 7 및 도 8에 따른 종래의 신경망 모델 학습 방법인 적대적 공격 감지 기법 및 방어적인 증류 기법은 정밀한 신경망 모델 훈련을 위해 별도의 신경망이 추가로 요구되므로, 추가 훈련 시간과 메모리 및 계산 자원이 요구되는 단점이 있다.

한편, 본 발명의 실시예에 따른 신경망 모델은 훈련 데이터를 바탕으로 관련성 히트맵 및 손실 함수를 산출하여 훈련함으로써, 별도의 신경망 없이도 고정밀한 신경망 모델 훈련이 가능할 수 있다.

이상, 본 발명의 실시예에 따른 신경망 모델 학습 방법 및 이를 제공하는 장치에 대해 설명하였다.

본 발명의 실시예에 따른 신경망 모델 학습 방법 및 이를 제공하는 장치는 계층간 관련성 전파에 의해 산출된 관련성 점수를 반영한 관련성 히트맵과 입력된 훈련 데이터의 픽셀 값 분포 간의 손실 함수를 산출함으로써, 훈련 시간이 단축되며, 메모리 및 계산 자원이 축소되고 적대적 공격에도 강건한, 저비용, 고성능 및 고신뢰성의 신경망 모델을 제공할 수 있다.

본 발명의 실시예들에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1000: 신경망 모델 제공 장치 100: 메모리
200: 프로세서 300: 송수신 장치
400: 입력 인터페이스 장치 500: 출력 인터페이스 장치
600: 저장 장치 700: 버스(BUS)

Claims (1)

1. 신경망 모델을 생성하는 단계; 및
   훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계를 포함하되,
   상기 훈련 데이터를 입력하여 상기 신경망 모델을 학습하는 단계는,
   피드포워드(Feed Forword)를 수행하여 상기 훈련 데이터를 클래스 별로 분류하는 단계;
   상기 클래스 별로 산출된 확률 값을 바탕으로 계층간 관련성 전파를 수행하여, 입력층에 존재하는 뉴런들의 관련성 점수를 산출하는 단계;
   상기 관련성 점수를 기초로 관련성 히트맵을 생성하는 단계; 및
   상기 관련성 히트맵 및 상기 훈련 데이터의 픽셀 값을 이용하여 손실 함수를 산출하는 단계를 포함하는, 신경망 모델 학습 방법.

Images