KR20230114148A - 시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법 - Google Patents

시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20230114148A
KR20230114148A KR1020220030290A KR20220030290A KR20230114148A KR 20230114148 A KR20230114148 A KR 20230114148A KR 1020220030290 A KR1020220030290 A KR 1020220030290A KR 20220030290 A KR20220030290 A KR 20220030290A KR 20230114148 A KR20230114148 A KR 20230114148A
Authority
KR
South Korea
Prior art keywords
learning
membrane potential
membrane
threshold value
image
Prior art date
Application number
KR1020220030290A
Other languages
English (en)
Inventor
박종선
최성현
유동우
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to US18/099,628 priority Critical patent/US20230237318A1/en
Publication of KR20230114148A publication Critical patent/KR20230114148A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법에 관한 것이다. 본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법은 현재 학습 과정 동안의 타임스텝 별 제1 및 제2 막전위를 측정하는 막전위 측정 단계, 상기 타임스텝 별 상기 제1 및 제2 막전위에 기초하여 상기 제1 및 제2 막전위의 분포 데이터를 추출하는 분포 데이터 추출 단계, 상기 제1 및 제2 막전위의 분포 데이터에 기초하여 다음 학습 과정에서 사용될 임계값을 계산하는 임계값 계산 단계, 이전 학습 과정에서 계산된 상기 임계값에 기초하여, 학습 기여도가 없는 이미지를 분류하는 이미지 분류 단계, 및 상기 타임스텝에서 상기 제1 및 제2 막전위의 차이가 상기 임계값보다 큰 경우, 상기 이미지에 상기 학습 기여도가 없다고 판단하여 상기 타임스텝에서의 학습을 종료하는 학습 조기 종료 단계를 포함할 수 있다.

Description

시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법{TRAINING ACCELERATION TECHNIQUES FOR TEMPORAL CODING-BASED SPIKING NEURAL NETWORK AND OPERATION METHOD THEREOF}
본 발명은 시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법에 관한 것이다.
스파이킹 뉴럴 네트워크는 0과 1의 spike 단위로 정보를 입력받고, 전달하므로 하드웨어 구현에 있어 저전력의 장점이 있다. 또한 temporal coding의 도입으로 추론 과정의 spike 수가 감소해 추론 과정의 에너지를 크게 감소시켰다. 하지만 뉴럴 네트워크의 학습은 매우 많은 수의 학습 이미지에 대해 추론, 역전파, 가중치 업데이트의 학습 과정이 반복되기 때문에 에너지 소모와 시간이 매우 크다는 문제점이 있다.
본 발명은 학습 이미지의 네트워크 기여도를 판단하여 학습 기여도가 없는 이미지 학습의 조기 종료를 통해 학습 에너지와 시간을 감소시킬 수 있는 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법을 제공하는 것에 목적이 있다.
본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법은 현재 학습 과정 동안의 타임스텝 별 제1 및 제2 막전위를 측정하는 막전위 측정 단계, 상기 타임스텝 별 상기 제1 및 제2 막전위에 기초하여 상기 제1 및 제2 막전위의 분포 데이터를 추출하는 분포 데이터 추출 단계, 상기 제1 및 제2 막전위의 분포 데이터에 기초하여 다음 학습 과정에서 사용될 임계값을 계산하는 임계값 계산 단계, 이전 학습 과정에서 계산된 상기 임계값에 기초하여, 학습 기여도가 없는 이미지를 분류하는 이미지 분류 단계, 및 상기 타임스텝에서 상기 제1 및 제2 막전위의 차이가 상기 임계값보다 큰 경우, 상기 이미지에 상기 학습 기여도가 없다고 판단하여 상기 타임스텝에서의 학습을 종료하는 학습 조기 종료 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 막전위는 정답 뉴런의 막전위이고, 상기 제2 막전위는 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위일 수 있다.
본 발명의 일 실시예에 있어서, 상기 임계값 계산 단계는 수학식 1에 기초하여 상기 임계값을 계산하고, 상기 수학식 1은 a=m+2σ이고, 상기 a는 상기 임계값이고, 상기 m은 상기 학습 기여도가 있는 이미지의 막전위 차 분포의 평균이며, 상기 σ는 상기 학습 기여도가 있는 이미지의 막전위 차 분포의 편차일 수 있다.
본 발명의 일 실시예에 있어서, 상기 이미지 분류 단계는 수학식 2에 기초하여 상기 학습 기여도가 없는 이미지와 상기 학습 기여도가 있는 이미지의 경계를 설정하고, 상기 수학식 2는 y=x-a이고, 상기 a는 상기 이전 학습 과정에서 계산된 임계값이고, 상기 x는 상기 정답 뉴런의 막전위이고, 상기 y는 상기 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위일 수 있다.
본 발명의 일 실시예에 있어서, 상기 학습 조기 종료 단계는 상기 수학식 2로부터 변형된 수학식 3에 기초하여 상기 학습 기여도가 없는 이미지를 판단하고, 상기 수학식 3은 x-y≥a이고, 상기 a는 상기 이전 학습 과정에서 계산된 임계값이고, 상기 x는 상기 정답 뉴런의 막전위이고, 상기 y는 상기 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위일 수 있다.
본 발명의 일 실시예에 있어서, 상기 학습 조기 종료 단계는 상기 타임스텝 별 상기 제1 및 제2 막전위, 및 상기 임계값을 상기 수학식 3에 대입하여 상기 수학식 3이 성립될 경우에 학습 기여도가 없는 이미지로 판단하여 상기 타임스텝에서의 학습을 종료하고, 상기 타임스텝 별 상기 제1 및 제2 막전위, 및 상기 임계값을 상기 수학식 3에 대입하여 상기 수학식 3이 성립되지 않을 경우에 학습 기여도가 있는 이미지로 판단하여 학습을 진행할 수 있다.
본 발명의 일 실시예에 있어서, 상기 타임스텝은 제1 내지 제8 타임스텝을 포함할 수 있다.
본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 스파이킹 뉴럴 네트워크의 입력 스파이크 신호가 입력되는 입력 레이어 모듈, 상기 입력 스파이크 신호를 입력받는 히든 레이어 모듈, 상기 히든 레이어 모듈로부터 입력 스파이크 신호를 전달받고, 학습 기여도가 없는 이미지를 판단하며, 상기 학습 기여도의 유무를 판단하기 위한 임계값을 계산하는 출력 레이어 모듈, 및 상기 출력 레이어 모듈이 판단한 상기 학습 기여도의 유무에 기초하여 학습 과정을 종료하는 글로벌 컨트롤러를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 히든 레이어 모듈은, 상기 입력 레이어 모듈로부터 입력 스파이크 신호를 전달받고, 입력 스파이크에 기초하여 복수 개의 뉴런들의 막전위를 계산하는 막전위 업데이트 모듈, 상기 입력 스파이크 신호의 입력에 기초하여 상기 입력 스파이크들의 가중치들을 상기 막전위에 더하는 가중치 업데이트 모듈, 상기 복수 개의 뉴런들의 막전위를 저장하는 막전위 버퍼, 및 상기 복수 개의 뉴런들의 스파이크 발생 시간을 저장하는 스파이크 시간 버퍼를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출력 레이어 모듈은, 상기 히든 레이어 모듈로부터 상기 입력 스파이크 신호를 전달받는 스파이크 버퍼, 상기 스파이크 버퍼로부터 입력 스파이크 신호를 전달받고, 입력 스파이크에 기초하여 복수 개의 뉴런들의 막전위를 계산하는 막전위 업데이트 모듈, 상기 입력 스파이크 신호의 입력에 기초하여 상기 입력 스파이크들의 가중치들을 상기 막전위에 더하는 가중치 업데이트 모듈, 상기 복수 개의 뉴런들의 막전위를 저장하는 막전위 버퍼, 상기 복수 개의 뉴런들의 스파이크 발생 시간을 저장하는 스파이크 시간 버퍼, 학습 과정 중 순전파 과정이 모두 끝난 후의 상기 복수 개의 뉴런들의 스파이크 발생 시간과 목표하는 정답 신호와의 차이를 계산하는 에러 계산부, 상기 순전파 과정에서 각 타임스텝의 연산이 끝났을 때, 상기 학습 기여도가 없는 이미지를 판단하는 조기 판단부, 및 상기 순전파 과정이 모두 끝난 후에 다음 학습에서 사용될 임계값을 계산하는 임계값 계산부를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 조기 판단부는 타임스텝에서 제1 및 제2 막전위의 차이가 상기 임계값보다 큰 경우, 상기 이미지에 상기 학습 기여도가 없다고 판단하여 상기 타임스텝에서의 학습을 종료할 수 있다.
본 발명의 일 실시예에 있어서, 상기 임계값 계산부는 상기 복수 개의 뉴런들의 막전위 중 제1 및 제2 막전위의 분포 데이터에 기초하여 다음 학습 과정에서 사용될 상기 임계값을 계산할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 막전위는 정답 뉴런의 막전위이고, 상기 제2 막전위는 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위일 수 있다.
본 발명의 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법은 학습 이미지의 네트워크 기여도를 판단하여 학습 기여도가 없는 이미지 학습의 조기 종료를 통해 학습 에너지와 시간을 감소시킬 수 있다.
도 1은 학습 과정에 따른 학습 기여도가 없는 이미지의 비율을 보여주는 그래프이다.
도 2는 본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법을 보여주는 순서도이다.
도 3a 및 도 3b는 학습 과정의 타임스텝에 따른 출력 뉴런의 막전위 값을 보여주는 도이다.
도 4는 본 발명의 일 실시예에 따른 임계값을 계산하는 방법을 보여주는 도이다.
도 5는 본 발명의 일 실시예에 따른 학습 기여도가 없는 이미지를 판단하여 학습을 조기 종료하는 방법을 보여주는 도이다.
도 6은 본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치를 보여주는 도이다.
이하, 본 출원의 기술적 사상을 본 출원의 기술분야에서 통상의 지식을 가진자가 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 출원의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 학습 과정에 따른 학습 기여도가 없는 이미지의 비율을 보여주는 그래프이다.
도 1을 참조하면, 복수 개의 데이터셋들을 이용하여 학습 과정에 따른 학습 기여도가 없는 이미지의 비율을 측정할 수 있다. 이때, x축은 학습 과정이고, y축은 복수 개의 데이터셋들 별로 학습 데이터 중 학습에 기여하지 않는 이미지의 비율일 수 있다. 복수 개의 데이터셋들은 MNIST, Fashion-MNIST, 및 ETH-80일 수 있다.
MNIST 데이터셋의 경우, 학습 세트의 크기가 60000개이고, 학습 과정에 따른 학습 기여도가 없는 이미지의 비율이 0.5라면 30000개의 학습 기여도가 없는 이미지가 존재할 수 있다.
Fashion-MNIST 데이터셋의 경우, 학습 세트의 크기가 60000개이고, 학습 과정에 따른 학습 기여도가 없는 이미지의 비율이 0.5라면 30000개의 학습 기여도가 없는 이미지가 존재할 수 있다.
ETH-80 데이터셋의 경우, 전체 3280개의 이미지로 이루어져 있다. 예를 들어, 이 중 80%인 2624개의 이미지가 학습 세트로 사용될 수 있고, 20%인 656개의 이미자가 추론 세트로 사용될 수 있다.
상술한 바와 같이, 종래의 기술에 기반한 스파이킹 뉴럴 네트워크의 학습 과정은 기여도가 없는 이미지의 비율이 크고, 학습이 진행됨에 따라 기여도가 없는 이미지의 양이 더욱 증가하는 것을 알 수 있다. 이와 같이, 학습 과정 중 기여도가 없는 이미지의 양이 증가할 경우 에너지 소모량이 증가하고 연산 시간이 오래 걸린다는 문제점이 있다.
도 2는 본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법을 보여주는 순서도이다.
S10 단계에서, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 막전위를 측정할 수 있다. 예를 들어, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 현재 학습 과정 동안의 타임스텝 별 제1 및 제2 막전위를 측정할 수 있다.
이때, 제1 막전위는 정답 뉴런의 막전위이고, 제2 막전위는 복수 개의 막전위 중 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위일 수 있다.
S20 단계에서, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 분포 데이터를 추출할 수 있다. 예를 들어, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 타임스텝 별 제1 및 제2 막전위에 기초하여 제1 및 제2 막전위의 분포 데이터를 추출할 수 있다. 예를 들어, 분포 데이터는 가우시안 분포 형태 및 산점도 형태 중 적어도 하나의 형태일 수 있다.
S30 단계에서, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 임계값을 계산할 수 있다. 예를 들어, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 현재의 제1 및 제2 막전위의 분포 데이터에 기초하여, 다음 학습 과정에서 사용될 임계값을 계산할 수 있다. 이때, 임계값은 수학식 1에 기초하여 계산될 수 있으며, 이와 관련하여 구체적인 내용은 도 4에서 후술될 것이다.
S40 단계에서, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 이미지를 분류할 수 있다. 예를 들어, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 이전 학습 과정에서 계산된 임계값에 기초하여 학습 기여도가 없는 이미지와 학습 기여도가 있는 이미지를 분류할 수 있다. 예를 들어, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 학습 기여도가 없는 이미지와 학습 기여도가 있는 이미지의 경계를 설정할 수 있다.
S50 단계에서, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 학습을 조기 종료할 수 있다. 예를 들어, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 타임스텝에서 제1 및 제2 막전위의 차이가 임계값보다 큰 경우, 해당 이미지는 학습 기여도가 없는 이미지라고 판단하여 해당 타임스텝에서 학습을 종료할 수 있다.
상술한 바와 같이, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 현재의 학습 과정에서 제1 및 제2 막전위와 이전 학습 과정에서 임계값에 기초하여, 학습 기여도가 없는 이미지의 학습을 조기 종료할 수 있다. 이에 따라, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 학습 기여도가 없는 이미지에 대한 학습을 종료시킴으로써, 정확도 감소 없이 연산량과 연산시간을 감소시킬 수 있다.
도 3a 및 도 3b는 학습 과정의 타임스텝에 따른 출력 뉴런의 막전위 값을 보여주는 도이다. 타임스텝은 제1 내지 제8 타임스텝을 포함할 수 있으며, 아래에서는 설명의 편의를 위해 제1 내지 제5 타임스텝에 대해 설명될 것이다.
도 3a는 학습 기여도가 없는 이미지의 학습 과정 동안의 제1 막전위와 제2 막전위를 비교한 것을 보여주는 도이다.
도 3a를 참조하면, 학습 기여도가 없는 이미지의 경우, 타임스텝에 따라 정답 뉴런의 막전위인 제1 막전위(Vans)와 정답 뉴런의 막전위를 제외한 나머지 뉴런들의 막전위 중 최대값의 막전위인 제2 막전위(Vres,max)의 차이가 커지는 것을 확인할 수 있었다.
좀 더 자세하게, 학습 기여도가 없는 이미지의 경우에는 제1 타임스텝에서보다 제2 타임스텝에서의 제1 막전위와 제2 막전위의 차이가 더 크게 나타나는 것을 확인할 수 있었다. 제2 타임스텝에서보다 제5 타임스텝에서의 제1 막전위와 제2 막전위의 차이가 더 크게 나타나는 것을 확인할 수 있었다. 즉, 기여도가 없는 이미지의 경우에 학습이 진행될수록 제1 막전위가 제2 막전위보다 큰 값을 갖는 분포 보였다.
도 3b를 참조하면, 학습 기여도가 있는 이미지의 경우, 타임스텝에 따라 정답 뉴런의 막전위인 제1 막전위(Vans)와 정답 뉴런의 막전위를 제외한 나머지 뉴런들의 막전위 중 최대값의 막전위인 제2 막전위(Vres,max)의 차이가 거의 없는 것을 확인할 수 있었다.
좀 더 자세하게, 기여도가 있는 이미지의 경우에는 제1 내지 제5 타임스텝에서 제1 및 제2 막전위의 차이가 없는 것을 확인할 수 있었다. 즉, 기여도가 있는 이미지의 경우에 제1 막전위와 제2 막전위의 값이 거의 동일한 분포를 보였다.
상술한 바와 같이, 제1 막전위와 제2 막전위의 차이에 기초하여 학습 기여도가 없는 이미지를 분류할 수 있다.
도 4는 본 발명의 일 실시예에 따른 임계값을 계산하는 방법을 보여주는 도이다.
도 4를 참조하면, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 학습 과정 동안 학습 기여도가 있는 이미지(NZL images)와 학습 기여도가 없는 이미지(ZL images)를 가우시안의 형태로 나타낼 수 있다.
예를 들어, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 학습 기여도가 있는 이미지(NZL images)와 학습 기여도가 없는 이미지(ZL images)를 x축이 막전위의 갭이고, y축이 해당 막전위 갭을 갖는 이미지의 개수인 가우시안의 형태로 나타낼 수 있다.
스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 가우시안 형태로 나타낸 데이터에 기초하여, 타임스텝에 따라 막전위의 갭과 해당 막전위 갭을 갖는 이미지의 개수에 기초하여 임계값(threshold)을 계산할 수 있다. 이때, 막전위의 갭은 정답 뉴런 막전위와 나머지 뉴런 막전위 중 최대값의 차일 수 있다.
임계값은 수학식 1에 기초하여 계산될 수 있다. 수학식 1은 아래와 같다.
(수학식 1)
이때, a는 임계값이고, m은 학습 기여도가 있는 이미지의 막전위 차 분포의 평균이며, σ는 학습 기여도가 있는 이미지의 막전위 차 분포의 편차일 수 있다.
임계값은 경험적으로 찾지 않고 타임스텝과 학습과정 별로 계산됨에 따라, 데이터넷과 네트워크에 무관하게 자동적으로 계산할 수 있다.
도 5는 본 발명의 일 실시예에 따른 학습 기여도가 없는 이미지를 판단하여 학습을 조기 종료하는 방법을 보여주는 도이다.
도 5를 참조하면, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 학습 기여도가 없는 이미지 및 학습 기여도가 있는 이미지의 분포를 x축이 정답 뉴런의 막전위(Vans)이고, y축이 정답 뉴런을 제외한 뉴런들의 막전위 중 최대값의 막전위(Vres,max)인 산점도의 형태로 나타낼 수 있다.
스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 산점도 형태로 나타낸 데이터에 기초하여, 타임스텝에 따라 학습 과정의 한 학습의 횟수동안 학습 이미지들에서 제1 및 제2 막전위의 관계를 판단할 수 있다.
스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 수학식 2에 기초하여, 학습 기여도가 없는 이미지와 학습 기여도가 있는 이미지의 경계를 설정할 수 있다.
수학식 2는 y=x-a일 수 있다.
이때, a는 이전 학습 과정에서 계산된 임계값이고, x는 정답 뉴런의 막전위인 제1 막전위이고, y는 복수 개의 막전위 중 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위인 제2 막전위일 수 있다.
스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 수학식 2를 변환하여 생성된 수학식 3에 기초하여, 학습 기여도가 없는 이미지에 대해 학습을 종료할 수 있다.
수학식 3은 x-y≥a일 수 있다.
이때, a는 이전 학습 과정에서 계산된 임계값이고, x는 정답 뉴런의 막전위인 제1 막전위이고, y는 복수 개의 막전위 중 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위인 제2 막전위일 수 있다.
스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 수학식 3이 성립될 경우에 학습 기여도가 없는 이미지로 판단하여 진행 중인 학습을 종료할 수 있다. 반면, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 수학식 3이 성립되지 않을 경우에 학습 기여도가 있는 이미지로 판단하여 학습을 진행할 수 있다.
즉, 제1 막전위와 제2 막전위의 차이가 임계값보다 큰 경우(선의 우측 부분)에 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치는 이미지의 학습 기여도가 없음을 판단하고 학습을 종료할 수 있다.
도 6은 본 발명의 일 실시예에 따른 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치를 보여주는 도이다.
도 6을 참조하면, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치(10)는 입력 레이어 모듈(200), 히든 레이어 모듈(300), 출력 레이어 모듈(400), 및 글로벌 컨트롤러(500)를 포함할 수 있다.
입력 레이어 모듈(200)은 스파이킹 뉴럴 네트워크의 입력 스파이크 신호가 입력될 수 있다.
히든 레이어 모듈(300)은 입력 레이어 모듈(200)로부터 입력 스파이크 신호를 입력받을 수 있다. 이때, 히든 레이어 모듈(300)은 막전위 업데이트 모듈(310), 가중치 업데이트 모듈(320), 막전위 버퍼(330), 및 스파이크 시간 버퍼(340)를 포함할 수 있다.
막전위 업데이트 모듈(310)은 입력 레이어 모듈(200)로부터 입력 스파이크 신호를 전달받고, 입력 스파이크에 기초하여 복수 개의 뉴런들의 막전위를 계산할 수 있다.
막전위 업데이트 모듈(310)은 학습 가중치 저장부(311) 및 추론 가중치 저장부(312)를 포함할 수 있다.
학습 가중치 저장부(311)는 학습 과정에서 가중치 업데이트 모듈(320)로부터 가중치를 입력받아, 막전위를 업데이트 할 수 있다.
추론 가중치 저장부(312)는 추론 과정에서 가중치 업데이트 모듈(320)로부터 가중치를 입력받아, 막전위를 업데이트 할 수 있다.
가중치 업데이트 모듈(320)은 입력 스파이크 신호의 입력에 기초하여 입력 스파이크들의 가중치들을 막전위에 더할 수 있다. 가중치 업데이트 모듈(320)은 가중치 정보에 대해 학습 가중치 저장부(311) 및 추론 가중치 저장부(312)로 전송할 수 있다. 또한, 가중치 업데이트 모듈(320)은 가중치 정보를 출력 레이어 모듈(400)의 가중치 업데이트 모듈(430)로 전송할 수 있다.
막전위 버퍼(330)는 복수 개의 뉴런들의 막전위를 저장할 수 있다. 막전위 버퍼는 막전위 업데이트 모듈(310)로 막전위 값을 전송하거나 전송받을 수 있다. 또한, 막전위 버퍼(330)는 스파이크 시간 버퍼(340)로 막전위에 대한 정보를 전송할 수 있다.
스파이크 시간 버퍼(340)는 복수 개의 뉴런들의 스파이크 발생 시간을 저장할 수 있다.
출력 레이어 모듈(400)은 히든 레이어 모듈(300)로부터 입력 스파이크 신호를 전달받고, 학습 기여도가 없는 이미지를 판단하며, 학습 기여도의 유무를 판단하기 위한 임계값을 계산할 수 있다. 이때, 출력 레이어 모듈(400)은 스파이크 버퍼(410), 막전위 업데이트 모듈(420), 가중치 업데이트 모듈(430), 막전위 버퍼(440), 조기 판단부(450), 임계값 계산부(460), 스파이크 시간 버퍼(470), 및 에러 계산부(480)를 포함할 수 있다.
스파이크 버퍼(410)는 히든 레이어 모듈(300)의 막전위 업데이트 모듈로부터 입력 스파이크 신호를 전달받을 수 있다. 스파이크 버퍼(410)는 입력 스파이크 신호를 막전위 업데이트 모듈(420)로 전송할 수 있다.
막전위 업데이트 모듈(420)은 히든 레이어 모듈(300)로부터 입력 스파이크 신호를 전달받고, 입력 스파이크에 기초하여 복수 개의 뉴런들의 막전위를 계산할 수 있다.
막전위 업데이트 모듈(420)은 학습 가중치 저장부(421) 및 추론 가중치 저장부(422)를 포함할 수 있다.
학습 가중치 저장부(421)는 학습 과정에서 가중치 업데이트 모듈(430)로부터 가중치를 입력받아, 막전위를 업데이트 할 수 있다.
추론 가중치 저장부(422)는 추론 과정에서 가중치 업데이트 모듈(430)로부터 가중치를 입력받아, 막전위를 업데이트 할 수 있다.
가중치 업데이트 모듈(430)은 입력 스파이크 신호의 입력에 기초하여 입력 스파이크들의 가중치들을 막전위에 더할 수 있다. 가중치 업데이트 모듈(430)은 가중치 정보에 대해 학습 가중치 저장부(421) 및 추론 가중치 저장부(422)로 전송할 수 있다. 또한, 가중치 업데이트 모듈(430)은 가중치 정보를 히든 레이어 모듈(300)의 가중치 업데이트 모듈(320)로 전송할 수 있다.
막전위 버퍼(440)는 복수 개의 뉴런들의 막전위를 저장할 수 있다. 막전위 버퍼(440)는 막전위 업데이트 모듈(420)로 막전위 값을 전송하거나 전송받을 수 있다. 또한, 막전위 버퍼(440)는 스파이크 시간 버퍼(470) 및 조기 판단부(450)로 막전위에 대한 정보를 전송할 수 있다.
조기 판단부(450)는 순전파 과정에서 각 타임스텝의 연산이 끝났을 때, 학습 기여도가 없는 이미지를 판단할 수 있다. 조기 판단부(450)는 판단 결과를 글로벌 컨트롤러(500)로 전송할 수 있다.
예를 들어, 조기 판단부(450)는 타임스텝에서 제1 및 제2 막전위의 차이가 임계값보다 큰 경우, 이미지에 학습 기여도가 없다고 판단하여 타임스텝에서의 학습을 종료할 수 있다. 이때, 제1 막전위는 정답 뉴런의 막전위이고, 제2 막전위는 복수 개의 막전위 중 정답 뉴런의 막전위를 제외한 막전위 중 가장 큰 막전위일 수 있다.
임계값 계산부(460)는 순전파 과정이 모두 끝난 후에 다음 학습에서 사용될 임계값을 계산할 수 있다. 또한, 임계값 계산부(460)는 이전 학습에서 계산된 임계값을 조기 판단부(450)로 전송할 수 있다.
스파이크 시간 버퍼(470)는 복수 개의 뉴런들의 스파이크 발생 시간을 저장할 수 있다. 스파이크 시간 버퍼(470)는 스파이크 발생 시간을 에러 계산부(480)로 전송할 수 있다.
에러 계산부(480)는 순전파 과정이 모두 끝난 후의 복수 개의 뉴런들의 스파이크 발생 시간과 목표하는 정답 신호와의 차이를 계산하여 에러 여부를 계산할 수 있다. 에러 계산부는 계산 결과를 가중치 업데이트 모듈(430)로 전송할 수 있다.
글로벌 컨트롤러(500)는 출력 레이어 모듈(400)의 조기 판단부(450)가 판단한 학습 기여도의 유무에 기초하여 학습 과정을 종료할 수 있다. 예를 들어, 조기 판단부(450)에서 학습 기여도가 없는 이미지라고 판단했다면, 글로벌 컨트롤러(500)는 학습 과정을 종료할 수 있다.
본 명세서와 도면에 개시된 실시 예들은 본 개시의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
10 : 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치
200 : 입력 레이어 모듈
300 : 히든 레이어 모듈
310, 420 : 막전위 업데이트 모듈
311, 421 : 학습 가중치 저장부
312, 422 : 추론 가중치 저장부
320, 430 : 가중치 업데이트 모듈
330, 440 : 막전위 버퍼
340, 470 : 스파이크 시간 버퍼
400 : 출력 레이어 모듈
410 : 스파이크 버퍼
450 : 조기 판단부
460 : 임계값 계산부
480 : 에러 계산부
500 : 글로벌 컨트롤러

Claims (13)

  1. 현재 학습 과정 동안의 타임스텝 별 제1 및 제2 막전위를 측정하는 막전위 측정 단계;
    상기 타임스텝 별 상기 제1 및 제2 막전위에 기초하여 상기 제1 및 제2 막전위의 분포 데이터를 추출하는 분포 데이터 추출 단계;
    상기 제1 및 제2 막전위의 분포 데이터에 기초하여 다음 학습 과정에서 사용될 임계값을 계산하는 임계값 계산 단계;
    이전 학습 과정에서 계산된 상기 임계값에 기초하여, 학습 기여도가 없는 이미지를 분류하는 이미지 분류 단계; 및
    상기 타임스텝에서 상기 제1 및 제2 막전위의 차이가 상기 임계값보다 큰 경우, 상기 이미지에 상기 학습 기여도가 없다고 판단하여 상기 타임스텝에서의 학습을 종료하는 학습 조기 종료 단계를 포함하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법.
  2. 제1항에 있어서,
    상기 제1 막전위는 정답 뉴런의 막전위이고, 상기 제2 막전위는 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위인, 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법.
  3. 제2항에 있어서,
    상기 임계값 계산 단계는 수학식 1에 기초하여 상기 임계값을 계산하고,
    상기 수학식 1은 a=m+2σ이고,
    상기 a는 상기 임계값이고, 상기 m은 상기 학습 기여도가 있는 이미지의 막전위 차 분포의 평균이며, 상기 σ는 상기 학습 기여도가 있는 이미지의 막전위 차 분포의 편차인, 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법.
  4. 제2항에 있어서,
    상기 이미지 분류 단계는 수학식 2에 기초하여 상기 학습 기여도가 없는 이미지와 상기 학습 기여도가 있는 이미지의 경계를 설정하고,
    상기 수학식 2는 y=x-a이고,
    상기 a는 상기 이전 학습 과정에서 계산된 임계값이고, 상기 x는 상기 정답 뉴런의 막전위이고, 상기 y는 상기 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위인, 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법.
  5. 제4항에 있어서,
    상기 학습 조기 종료 단계는 상기 수학식 2로부터 변형된 수학식 3에 기초하여 상기 학습 기여도가 없는 이미지를 판단하고,
    상기 수학식 3은 x-y≥a이고,
    상기 a는 상기 이전 학습 과정에서 계산된 임계값이고, 상기 x는 상기 정답 뉴런의 막전위이고, 상기 y는 상기 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위인, 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법.
  6. 제5항에 있어서,
    상기 학습 조기 종료 단계는 상기 타임스텝 별 상기 제1 및 제2 막전위, 및 상기 임계값을 상기 수학식 3에 대입하여 상기 수학식 3이 성립될 경우에 학습 기여도가 없는 이미지로 판단하여 상기 타임스텝에서의 학습을 종료하고,
    상기 타임스텝 별 상기 제1 및 제2 막전위, 및 상기 임계값을 상기 수학식 3에 대입하여 상기 수학식 3이 성립되지 않을 경우에 학습 기여도가 있는 이미지로 판단하여 학습을 진행하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법.
  7. 제1항에 있어서,
    상기 타임스텝은 제1 내지 제8 타임스텝을 포함하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 방법.
  8. 스파이킹 뉴럴 네트워크의 입력 스파이크 신호가 입력되는 입력 레이어 모듈;
    상기 입력 스파이크 신호를 입력받는 히든 레이어 모듈;
    상기 히든 레이어 모듈로부터 입력 스파이크 신호를 전달받고, 학습 기여도가 없는 이미지를 판단하며, 상기 학습 기여도의 유무를 판단하기 위한 임계값을 계산하는 출력 레이어 모듈; 및
    상기 출력 레이어 모듈이 판단한 상기 학습 기여도의 유무에 기초하여 학습 과정을 종료하는 글로벌 컨트롤러를 포함하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치.
  9. 제8항에 있어서,
    상기 히든 레이어 모듈은,
    상기 입력 레이어 모듈로부터 입력 스파이크 신호를 전달받고, 입력 스파이크에 기초하여 복수 개의 뉴런들의 막전위를 계산하는 막전위 업데이트 모듈;
    상기 입력 스파이크 신호의 입력에 기초하여 상기 입력 스파이크들의 가중치들을 상기 막전위에 더하는 가중치 업데이트 모듈;
    상기 복수 개의 뉴런들의 막전위를 저장하는 막전위 버퍼; 및
    상기 복수 개의 뉴런들의 스파이크 발생 시간을 저장하는 스파이크 시간 버퍼를 포함하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치.
  10. 제8항에 있어서,
    상기 출력 레이어 모듈은,
    상기 히든 레이어 모듈로부터 상기 입력 스파이크 신호를 전달받는 스파이크 버퍼;
    상기 스파이크 버퍼로부터 입력 스파이크 신호를 전달받고, 입력 스파이크에 기초하여 복수 개의 뉴런들의 막전위를 계산하는 막전위 업데이트 모듈;
    상기 입력 스파이크 신호의 입력에 기초하여 상기 입력 스파이크들의 가중치들을 상기 막전위에 더하는 가중치 업데이트 모듈;
    상기 복수 개의 뉴런들의 막전위를 저장하는 막전위 버퍼;
    상기 복수 개의 뉴런들의 스파이크 발생 시간을 저장하는 스파이크 시간 버퍼;
    학습 과정 중 순전파 과정이 모두 끝난 후의 상기 복수 개의 뉴런들의 스파이크 발생 시간과 목표하는 정답 신호와의 차이를 계산하는 에러 계산부;
    상기 순전파 과정에서 각 타임스텝의 연산이 끝났을 때, 상기 학습 기여도가 없는 이미지를 판단하는 조기 판단부; 및
    상기 순전파 과정이 모두 끝난 후에 다음 학습에서 사용될 임계값을 계산하는 임계값 계산부를 포함하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치.
  11. 제10항에 있어서,
    상기 조기 판단부는 타임스텝에서 제1 및 제2 막전위의 차이가 상기 임계값보다 큰 경우, 상기 이미지에 상기 학습 기여도가 없다고 판단하여 상기 타임스텝에서의 학습을 종료하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치.
  12. 제10항에 있어서,
    상기 임계값 계산부는 상기 복수 개의 뉴런들의 막전위 중 제1 및 제2 막전위의 분포 데이터에 기초하여 다음 학습 과정에서 사용될 상기 임계값을 계산하는, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치.
  13. 제12항에 있어서,
    상기 제1 막전위는 정답 뉴런의 막전위이고, 상기 제2 막전위는 복수 개의 막전위 중 상기 정답 뉴런의 막전위 값을 제외한 막전위 중 가장 큰 막전위인, 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치.
KR1020220030290A 2022-01-24 2022-03-10 시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법 KR20230114148A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/099,628 US20230237318A1 (en) 2022-01-24 2023-01-20 Supervised training accelerator for temporal coding-based spiking neural network and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220009750 2022-01-24
KR1020220009750 2022-01-24

Publications (1)

Publication Number Publication Date
KR20230114148A true KR20230114148A (ko) 2023-08-01

Family

ID=87561513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220030290A KR20230114148A (ko) 2022-01-24 2022-03-10 시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR20230114148A (ko)

Similar Documents

Publication Publication Date Title
US11911702B2 (en) AI parameter configuration method and apparatus for racing AI model, AI parameter configuration device, and storage medium
CN113408743B (zh) 联邦模型的生成方法、装置、电子设备和存储介质
WO2022148272A1 (zh) 脉冲神经网络训练方法、数据处理方法、电子设备和介质
CN112508126B (zh) 深度学习模型训练方法、装置、电子设备及可读存储介质
CN108665065B (zh) 任务数据的处理方法、装置、设备和存储介质
US20240005171A1 (en) Relearning system and relearning method
CN111222553A (zh) 机器学习模型的训练数据处理方法、装置和计算机设备
US11640534B2 (en) Threshold triggered back propagation of an artificial neural network
CN113642652A (zh) 生成融合模型的方法、装置和设备
CN113807452B (zh) 一种基于注意力机制的业务过程异常检测方法
GB2622755A (en) Evaluating output sequences using an auto-regressive language model neural network
CN117372843A (zh) 基于首脉冲编码的图片分类模型训练方法、图片分类方法
KR20230114148A (ko) 시간적 코딩 기반 스파이킹 뉴럴 네트워크의 지도 학습 가속 장치 및 그 동작방법
CN117235371A (zh) 视频推荐方法、模型训练方法及装置
CN115906921B (zh) 深度学习模型的训练方法、目标对象检测方法和装置
US20230237318A1 (en) Supervised training accelerator for temporal coding-based spiking neural network and operation method thereof
US20230237317A1 (en) Early determination training accelerator based on timestep splitting of spiking neural network and operation method thereof
CN115965823A (zh) 一种基于Focal损失函数的在线困难样本挖掘方法及系统
CN116259057A (zh) 基于联盟博弈解决联邦学习中数据异质性问题的方法
KR20230114149A (ko) 스파이킹 뉴럴 네트워크의 타임스텝 세분화 기반의 조기 판단 학습 장치 및 그 동작방법
CN114444606A (zh) 模型训练和数据分类方法及装置
US20240095581A1 (en) Processing method, processing system, and processing program
CN111753251A (zh) 候选选择的方法和执行候选选择的加速器
CN118334492B (zh) 边缘检测模型训练方法、边缘检测方法、设备及存储介质
US12020409B2 (en) Blur correction system