KR102442891B1 - 인공 신경망의 웨이트 갱신 시스템 및 방법 - Google Patents

Abstract

실시예의 인공 신경망의 웨이트 갱신 시스템은 랜덤 노이즈 데이터를 발생시키는 데이터 발생부와, 제1 웨이트 값에 상기 복수의 랜덤 노이즈 데이터를 반영하여 복수개의 제2 웨이트 값을 생성하고, 상기 복수개의 제2 웨이트 값으로 학습시켜 각각의 행동 패턴을 예측하는 행동 패턴 예측부와, 상기 예측 행동 패턴을 상기 실제 행동 패턴과 비교하여 유사도를 판단하고, 상기 실제 행동 패턴과 가장 유사한 상기 예측 행동 패턴의 상기 제2 웨이트 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 웨이트 갱신부를 포함할 수 있다.
실시예는 미분 과정을 통해 가중치를 학습시키는 구조를 제거함으로써, 학습의 양을 감소시킬 수 있는 효과가 있다.

Description

인공 신경망의 웨이트 갱신 시스템 및 방법{SYSTEM AND METHOD FOR UPDATING WEIGHT OF ARTIFICIAL NEURAL NETWORKS}

실시예는 가

일반적으로, 인공 신경망은 규모(깊이)가 클수록 성능이 향상된다. 반면, 인공 신경망의 규모에 비례해서 모델 학습에 필요한 연산 및 요구되는 메모지 자원의 양이 증가한다. 따라서, 사용할 시스템에 적합한 규모의 신경망 모델을 선택하는 것이 중요한 문제로 대두되고 있다.

도 1은 일반적인 인공 신경망 구조를 나타낸 도면이다.

도 1에 도시된 바와 같이, 일반적인 인공 신경망은 입력층과 은닉층과 출력층으로 이루어져 있으며, 입력층과 은닉층, 은닉층과 출력층을 연결하는 웨이트 값을 조절하여 학습을 진행하게 된다.

종래에는 초기 웨이트 값을 임의의 수로 설정하거나 초기 웨이트 값에 노이즈를 추가하여 웨이트 값을 결정하여 최적의 모델을 결정하게 된다. 여기서, 초기 웨이트 값에 노이즈를 추가하게 되면 불필요한 탐색을 줄여 최적의 모델을 보다 빠르게 찾아낼 수 있는 효과가 있다.

하지만, 종래 인공 신경망은 미분 과정을 통해 가중치를 학습시키기 때문에 학습의 양이 방대하고 가중치를 학습시키는데 걸리는 시간이 상당히 소요되어 성능을 저하시키는 문제점이 발생된다.

상술한 문제점을 해결하기 위해 실시예는 가중치를 최적화시키는 성능을 향상시키기 위한 인공 신경망의 웨이트 갱신 시스템 및 방법을 제공하는 것을 그 목적으로 한다.

실시예의 인공 신경망의 웨이트 갱신 시스템은 랜덤 노이즈 데이터를 발생시키는 데이터 발생부와, 제1 웨이트 값에 상기 복수의 랜덤 노이즈 데이터를 반영하여 복수개의 제2 웨이트 값을 생성하고, 상기 복수개의 제2 웨이트 값으로 학습시켜 각각의 행동 패턴을 예측하는 행동 패턴 예측부와, 상기 예측 행동 패턴을 상기 실제 행동 패턴과 비교하여 유사도를 판단하고, 상기 실제 행동 패턴과 가장 유사한 상기 예측 행동 패턴의 상기 제2 웨이트 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 웨이트 갱신부를 포함할 수 있다.

상기 웨이트 갱신부는 상기 제2 웨이트 값을 일정 비율로 축소하고, 상기 축소된 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신할 수 있다.

상기 웨이트 갱신부는 상기 제2 웨이트 값을 1/1,000 내지 1/100,000 의 값으로 축소하여 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신할 수 있다.

상기 예측 행동 패턴과 상기 실제 행동 패턴은 확률 분포 함수에 의해 유사도를 판단할 수 있다.

또한, 실시예의 인공 신경망의 웨이트 갱신 방법은 복수의 랜덤 노이즈 데이터를 생성하는 단계와, 제1 웨이트 값에 상기 복수의 랜덤 노이즈 데이터를 반영하여 복수개의 제2 웨이트 값을 생성하는 단계와, 상기 복수개의 제2 웨이트 값으로 학습시켜 각각의 행동 패턴을 예측하는 단계와, 상기 예측 행동 패턴을 상기 실제 행동 패턴과 비교하여 유사도를 판단하고, 상기 실제 행동 패턴과 가장 유사한 상기 예측 행동 패턴의 상기 제2 웨이트 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 단계를 포함할 수 있다.

상기 제1 웨이트 값을 갱신하는 단계는 상기 제2 웨이트 값을 일정 비율로 축소하고, 상기 축소된 값을 상기 제1 웨이트 값에 더할 수 있다.

상기 제1 웨이트 값을 갱신하는 단계는 상기 제2 웨이트 값을 1/1,000 내지 1/100,000 의 값으로 축소하여 상기 제1 웨이트 값에 더할 수 있다.

상기 예측 행동 패턴과 상기 실제 행동 패턴은 확률 분포 함수에 의해 유사도를 판단할 수 있다.

실시예는 미분 과정을 통해 가중치를 학습시키는 구조를 제거함으로써, 학습의 양을 감소시킬 수 있는 효과가 있다.

또한, 실시예는 학습의 양을 감소시킴으로써, 학습시키는 데 걸리는 시간을 효과적으로 단축시킬 수 있다.

도 1은 일반적인 인공 신경망 구조를 나타낸 도면이다.
도 2는 실시예에 따른 인공 신경망의 웨이트 갱신 시스템을 나타낸 블럭도이다.
도 3은 실시예에 따른 인공 신경망의 웨이트 갱신 방법을 나타낸 순서도이다.
도 4 및 도 5는 인공 신경망의 웨이트 갱신 시스템의 실험 결과를 나타낸 그래프이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.

도 2는 실시예에 따른 인공 신경망의 웨이트 갱신 시스템을 나타낸 블럭도이고, 도 3은 실시예에 따른 인공 신경망의 웨이트 갱신 방법을 나타낸 순서도이고, 도 4 및 도 5는 인공 신경망의 웨이트 갱신 시스템의 실험 결과를 나타낸 그래프이다.

도 2에 도시된 바와 같이, 실시예에 따른 인공 신경망의 웨이트 갱신 시스템(AILSRS, Adversarial Imitation Learning through Sim-ple Random Search)은 랜덤 데이터 발생부(100)와, 행동 패턴 예측부(200), 웨이트 갱신부(300)를 포함할 수 있다.

랜덤 데이터 발생부(100)는 복수의 랜덤 노이즈 데이터를 발생시킬 수 있다. 랜덤 노이즈 데이터는 P X N 매트릭스 구조를 포함할 수 있다. 실시예에서는 편의상 3개의 랜덤 노이즈 데이터를 발생시켰으나, 최적의 웨이트를 선정하기 위해 더 많은 랜덤 노이즈 데이터를 발생시키는 것이 효과적이다.

행동 패턴 예측부(200)는 랜덤 노이즈 데이터를 제1 웨이트 값에 반영하여 제2 웨이트 값을 생성할 수 있다. 행동 패턴 예측부(200)는 제1 웨이트 값에 복수의 랜덤 데이터를 더하여 제2 웨이트 값을 생성할 수 있다. 예컨대, 제1 웨이트 값이 1이고, 랜덤 노이즈 데이터가 [0.5, 0.2, 0.1]일 경우, 제2 웨이트 값은 [1.5, 1.2, 1.1]일 수 있다. 이와 다르게, 행동 패턴 예측부(200)는 제1 웨이트 값에 복수의 랜덤 데이터를 뺄샘하여 제2 웨이트 값을 더 생성할 수 있다. 이 경우, 제2 웨이트 값은 6개가 될 수 있다.

행동 패턴 예측부(200)는 제2 웨이트 값으로 학습시켜 행동 패턴을 예측할 수 있다. 행동 패턴 예측부(200)는 인공 신경망 모델일 수 있다. 행동 패턴 예측부(200)는 실제 적용할 산업의 데이터를 포함할 수 있다. 예컨대, 차량 제어, 로봇 제어, 영상 제어 등 다양한 산업의 데이터를 포함할 수 있다.

행동 패턴 예측부(200)는 제2 웨이트 값에 따른 예측 행동 패턴을 수집할 수 있다. 행동 패턴 예측부(200)는 예컨대, 3개의 예측 행동 패턴을 수집할 수 있다.

웨이트 갱신부(300)는 예측 행동 패턴(S,SampleDate)과 실제 행동 패턴(E,ExpertData)과 비교하여 유사도를 판단할 수 있다. 웨이트 갱신부(300)는 확률 분포 함수에 의해 예측 행동 패턴(S)과 실제 행동 패턴(E)과 비교하여 유사도를 판단할 수 있다. 확률 분포 함수는 이산 확률 분포 또는 연속 확률 분포를 포함할 수 있다. 이러한 확률 분포 함수는 이미 알려진 방식이므로 그 자세한 설명은 생략한다.

웨이트 갱신부(300)는 실제 행동 패턴(E)과 가장 유사한 예측 행동 패턴(S)을 선택하고, 이에 따른 제2 웨이트 값을 선정하게 된다.

웨이트 갱신부(300)는 선정된 제2 웨이트 값과 제1 웨이트 값에 의해 제1 웨이트 값을 갱신하게 된다. 웨이트 갱신부(300)는 제2 웨이트 값을 제1 웨이트 값에 더하여 제1 웨이트 값을 갱신하게 된다.

제1 웨이트 값은 제2 웨이트 값에 학습률(Learning rate)을 반영하여 더하게 된다. 예컨대, 학습률은 0.001 내지 0.00001을 포함할 수 있다. 따라서, 최적의 제2 웨이트 값이 1.2일 경우, 0.00012를 제1 웨이트 값에 더 할 수 있다. 이로 인해 갱신된 제1 웨이트 값은 1.00012일 수 있다.

실제로 최적의 제1 웨이트 값은 1.00012가 아니지만 제1 웨이트 값을 갱신하면서 최적의 제1 웨이트 값을 따라 근접하도록 갱신하게 된다.

이후, 랜덤 데이터 발생기(100)는 새로운 랜덤 노이즈 데이터를 발생시키고, 갱신된 제1 웨이트 값에 랜던 노이즈 데이터를 더해 제2 웨이트 값을 재 선정하게 된다. 재선정된 제2 웨이트 값은 행동 패턴 예측부를 통해 실제 행동 패턴과 가장 유사한 예측 행동 패턴을 선정하고, 이에 따른 웨이트 값을 선정하게 된다. 이러한 웨이트 값은 제1 웨이트 값에 적용하여 최적의 제1 웨이트 값을 따라 근접하게 된다.

종래에는 초기 웨이트 값을 임의의 수로 설정하거나 초기 웨이트 값에 노이즈를 추가하고, 미분 과정을 통해 가중치를 학습시키기 때문에 학습의 양이 방대하고 가중치를 학습시키는데 걸리는 시간이 상당히 소요되어 성능을 저하되었다.

실시예는 랜덤 노이즈 데이터를 미분 과정을 통해 학습시키는 것을 제거함으로써, 성능을 향상시켰다.

도 3을 참조하면, 실시예에 따른 인공 신경망의 웨이트 갱신 방법은 복수의 랜덤 노이즈 데이터를 생성하는 단계(S110)와, 제1 웨이트 값에 상기 복수의 랜덤 노이즈 데이터를 반영하여 복수개의 제2 웨이트 값을 생성하는 단계(S120)와, 상기 복수개의 제2 웨이트 값으로 학습시켜 각각의 행동 패턴을 예측하는 단계(S130)와, 상기 예측 행동 패턴을 상기 실제 행동 패턴과 비교하여 유사도를 판단하고, 상기 실제 행동 패턴과 가장 유사한 상기 예측 행동 패턴의 상기 제2 웨이트 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 단계(S140)를 포함할 수 있다.

인공 신경망의 웨이트 갱신 방법은 아래의 알고리즘에 의해 수행될 수 있다.

복수의 랜덤 노이즈 데이터를 생성하는 단계(S110)는 라인 2에서 수행될 수 있다. 랜덤 노이즈 데이터는 무작위로 발생될 수 있다. 랜덤 노이즈 데이터는 P X N 매트릭스 구조를 포함할 수 있다.

제1 웨이트 값에 상기 복수의 랜덤 노이즈 데이터를 반영하여 복수개의 제2 웨이트 값을 생성하는 단계(S120)는 라인 3 내지 라인 6에서 수행될 수 있다.

제1 웨이트 값은 랜덤 노이즈 데이터를 더하거나 빼는 과정을 거쳐 제2 웨이트 값을 생성할 수 있다.

상기 복수개의 제2 웨이트 값으로 학습시켜 각각의 행동 패턴을 예측하는 단계(S130)는 라인 7 내지 라인 9에서 수행될 수 있다.

상기 예측 행동 패턴을 상기 실제 행동 패턴과 비교하여 유사도를 판단하고, 상기 실제 행동 패턴과 가장 유사한 상기 예측 행동 패턴의 상기 제2 웨이트 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 단계는 라인 10 내지 라인 14에서 수행될 수 있다.

제1 웨이트 값을 갱신하는 단계(S140)는 제2 웨이트 값을 일정 비율로 축소하고, 축소된 값을 제1 웨이트 값에 더할 수 있다. 예컨대, 제2 웨이트 값을 1/1,000 내지 1/100,000의 값으로 축소하여 제1 웨이트 값에 더할 수 있다.

또한, 예측 행동 패턴과 실제 행동 패턴은 확룰 분포 함수에 의해 유사도를 판단할 수 있다. 확률 분포 함수는 이산 확률 분포 또는 연속 확률 분포를 포함할 수 있다.

도 4에 도시된 바와 같이, 실시예에 따른 인공 신경망의 웨이트 갱신 시스템과 종래 웨이트 갱신 시스템은 HalfCehhtah-v2, Hopper-v2, Walker-v2, Swimmer-v2에서 실험을 수행하였다.

실시예에 따른 인공 신경망의 웨이트 갱신 시스템과 웨이트 값에 노이즈를 추가하여 웨이트 값을 결정하는 종래 기술과 같이 설정된 궤적에 따라 효과적으로 훈련이 수행됨을 알 수 있다.

즉, 실시예에 따른 인공 신경망의 웨이트 갱신 시스템의 최적의 모델을 찾아주면서도 학습의 양이 줄어들고, 학습 시간이 줄어듬을 알 수 있다.

도 5는 실시예에 따른 인공 신경망의 웨이트 갱신 시스템은 랜덤 노이즈 데이터의 수에 따른 훈련 곡선을 나타낸다. 이러한 훈련은 HalfCehhtah-v2, Hopper-v2, Walker-v2, Swimmer-v2에서 실험을 수행하였다.

도 5에 도시된 바와 같이, 랜덤 노이즈 데이터의 수가 많을수록 설정된 궤적에 보다 접근하여 훈련이 수행됨을 알 수 있다. 따라서, 랜덤 노이즈 데이터의 수를 늘리게 되면 보다 빠르게 최적의 웨이트 값을 찾을 수 있게 된다.

100: 랜덤 데이터 발생부
200: 행동 패턴 예측부
300: 웨이트 갱신부

Claims (8)

1. 랜덤 노이즈 데이터를 발생시키는 데이터 발생부;
   제1 웨이트 값에 상기 복수의 랜덤 노이즈 데이터를 반영하여 복수개의 제2 웨이트 값을 생성하고, 상기 복수개의 제2 웨이트 값으로 학습시켜 각각의 행동 패턴을 예측하는 행동 패턴 예측부; 및
   상기 예측 행동 패턴을 실제 행동 패턴과 비교하여 유사도를 판단하고, 상기 실제 행동 패턴과 가장 유사한 상기 예측 행동 패턴의 상기 제2 웨이트 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 웨이트 갱신부;
   를 포함하고,
   상기 웨이트 갱신부는 상기 제2 웨이트 값을 일정 비율로 축소하고, 상기 축소된 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 인공 신경망의 웨이트 갱신 시스템.
2. 삭제
3. 제1항에 있어서,
   상기 웨이트 갱신부는 상기 제2 웨이트 값을 1/1,000 내지 1/100,000 의 값으로 축소하여 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 인공 신경망의 웨이트 갱신 시스템.
4. 제1항에 있어서,
   상기 예측 행동 패턴과 상기 실제 행동 패턴은 확률 분포 함수에 의해 유사도를 판단하는 인공 신경망의 웨이트 갱신 시스템.
5. 복수의 랜덤 노이즈 데이터를 생성하는 단계;
   제1 웨이트 값에 상기 복수의 랜덤 노이즈 데이터를 반영하여 복수개의 제2 웨이트 값을 생성하는 단계;
   상기 복수개의 제2 웨이트 값으로 학습시켜 각각의 행동 패턴을 예측하는 단계; 및
   상기 예측 행동 패턴을 실제 행동 패턴과 비교하여 유사도를 판단하고, 상기 실제 행동 패턴과 가장 유사한 상기 예측 행동 패턴의 상기 제2 웨이트 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 단계;를 포함하고,
   상기 제1 웨이트 값을 갱신하는 단계는 상기 제2 웨이트 값을 일정 비율로 축소하고, 상기 축소된 값을 상기 제1 웨이트 값에 더하여 상기 제1 웨이트 값을 갱신하는 인공 신경망의 웨이트 갱신 방법.
6. 삭제
7. 제5항에 있어서,
   상기 제1 웨이트 값을 갱신하는 단계는 상기 제2 웨이트 값을 1/1,000 내지 1/100,000 의 값으로 축소하여 상기 제1 웨이트 값에 더하는 인공 신경망의 웨이트 갱신 방법.
8. 제5항에 있어서,
   상기 예측 행동 패턴과 상기 실제 행동 패턴은 확률 분포 함수에 의해 유사도를 판단하는 인공 신경망의 웨이트 갱신 방법.

Images