KR102464612B1 - 심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법 - Google Patents

심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법 Download PDF

Info

Publication number
KR102464612B1
KR102464612B1 KR1020200096920A KR20200096920A KR102464612B1 KR 102464612 B1 KR102464612 B1 KR 102464612B1 KR 1020200096920 A KR1020200096920 A KR 1020200096920A KR 20200096920 A KR20200096920 A KR 20200096920A KR 102464612 B1 KR102464612 B1 KR 102464612B1
Authority
KR
South Korea
Prior art keywords
neural network
deep neural
random number
layer
learning
Prior art date
Application number
KR1020200096920A
Other languages
English (en)
Other versions
KR20220016681A (ko
Inventor
유회준
김영우
강상훈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200096920A priority Critical patent/KR102464612B1/ko
Publication of KR20220016681A publication Critical patent/KR20220016681A/ko
Application granted granted Critical
Publication of KR102464612B1 publication Critical patent/KR102464612B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 심층신경망 학습 장치 및 그 방법은 가중치를 기반으로 한 난수 생성기를 활용함으로써, 심층신경망 학습장치의 크기를 소형화할 수 있으며, 에너지 소모를 줄일 수 있는 장점이 있다. 또한, 본 발명의 심층신경망 학습장치 및 그 방법은 저전력 및 낮은 면적의 난수 생성기를 포함하고, 상기 난수 생성기에 의해 가중치의 하위비트를 이용한 가우시안 난수를 생성함으로써, 보안성이 향상된 저젼력 및 소형의 심층신경망 학습장치를 구현할 수 있는 장점이 있다. 또한, 본 발명의 심층신경망 학습장치 및 그 방법은 (n-1)층의 심층신경망 학습과정과 n층의 심층신경망 학습에 필요한 난수생성과정을 병렬로 처리함으로써, 심층신경망 학습장치의 연산시간을 단축시킬 수 있는 장점이 있다. 이로 인해, 본 발명은 온-칩 러닝 및 실시간 재학습이 가능하며, 모바일 기기에서도 동작 가능한 장점이 있다.

Description

심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법{APPARATUS AND METHOD FOR TRAINING DEEP NEURAL NETWORK WITH DEEP NEURAL NETWORK WEIGHT-BASED RANDOM NUMBER GENERATOR}
본 발명은 심층신경망(Deep Neural Network) 학습 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 심층신경망 가중치를 기반으로 한 난수생성기를 활용하여 추가적인 에너지 소모 및 면적 소모가 없고 속도가 빠른 고보안성 심층신경망 학습장치 및 그 방법에 관한 것이다.
기계 학습 기술의 한 가지 종류인 심층신경망(Deep Neural Network, 이하 ‘’이라 칭함)은 입력층(input layer)과 출력층(output layer) 사이에 다수의 은닉층(hidden layer)을 포함하는 인공신경망(Artificial Neural Network, ANN)을 말한다.
이러한 심층신경망을 학습시키는 기술인 딥-러닝(deep learning) 기술은 음성인식, 물체인식, 자율주행, 로봇제어 등 다양한 분야에 응용되고 있으며, 많은 연산을 필요로 하는 딥-러닝(deep learning) 기술의 특성상, 딥-러닝 하드웨어(deep learning hardware)의 연산 속도를 향상시키기 위한 다양한 연구가 진행되고 있다.
그런데, 연산 속도 향상에 초점을 맞춘 딥-러닝(deep learning) 하드웨어들은 보안성이 낮은 특징이 있다. 즉, 연산 속도를 향상시킨 딥-러닝(deep learning) 하드웨어들은 심층신경망 연산을 교란시킬 수 있는 공격에 취약한 특징이 있다.
따라서, 이러한 공격을 방어하고 심층신경망의 보안성을 극대화하기 위해, 심층신경망 중간층(즉, 은닉층)에 난수를 적용하는 방법이 제시되고 있다. 즉, 추론(Feed-forward, FF) 과정, 오류 전사(Error Propagation, EP) 과정, 가중치 갱신(Weight Gradient Update, WG) 과정을 포함하는 역전사(Back-Propagation, BP) 알고리즘에서 가중치 갱신 시 난수를 적용하는 방법이 제시되고 있다.
이와 같이 심층신경망 학습시 난수를 적용하기 위해 종래에는 다음의 방법들을 사용하였다. 즉, 종래에는 하드웨어 외부에서 생성된 난수를 이용하는 방법(방법1), 아날로그 회로를 이용한 진성 난수 생성기를 하드웨어 내부에 집적하는 방법(방법 2), 디지털 회로를 이용한 난수 생성기를 하드웨어 내부에 집적하는 방법(방법 3)을 사용하였다.
먼저, 상기 (방법 1)은 하드웨어 외부에서 난수를 미리 생성하여 저장한 후, 하드웨어가 심층신경망 연산(즉, 학습)을 할 때마다 외부에 저장된 난수를 하드웨어에 공급하여, 하드웨어 내부에 저장되어 있는 심층신경망 중간 결과값과 외부로부터 공급된 난수를 더하는 일련의 처리 과정을 포함한다. 이 때, 상기 (방법 1)은 심층신경망에 존재하는 중간 결과값 별로 각각에 대응하는 난수를 모두 공급해야 하기 때문에, 하드웨어가 중간 결과값과 이에 대응하는 난수들을 함께 저장하고 있는, 수백 MB 이상의 크기를 갖는 외부 메모리에 접근하여 데이터를 가지고 와야 한다. 따라서, 상기 (방법 1)은 하드웨어의 전력 소모를 증가시킨다는 단점이 있다.
또한, 상기 (방법 2)는 아날로그 회로로 구현된 진성 난수 생성기를 설계하여 하드웨어 내부에 집적해야 하며, 상기 아날로그 회로를 통해 얻어진 아날로그 진성 난수를 디지털로 변환하는 과정을 포함한다. 따라서 상기 (방법 2)는 난수 발생 아날로그 회로 및 별도의 아날로그-디지털 전환기가 더 추가되어야 하며, 이로 인해, 상기 아날로그-디지털 전환기를 배치 및 동작시키기 위한 추가적인 면적 및 전력 소모가 발생한다는 단점이 있다. 또한, 디지털 설계방법을 통해 설계한 딥-러닝(deep-learning) 하드웨어에, 아날로그 회로들을 첨가하는 설계방법, 즉 혼합형 설계 방법을 통해 하드웨어를 설계해야 하기 때문에, 설계 난이도가 증가한다는 문제점이 있다.
한편, 상기 (방법 3)은 디지털 회로로 구현된 난수 생성기로 부터 발생된 난수가 예측 가능한 순열로 이루어져 있어 공격에 취약할 여지가 있다. 따라서 상기 (방법 3)은 디지털 난수 생성기로부터 예측이 어려운 난수를 발생시키기 위해, 많은 디지털 회로를 필요로 한다. 이로 인해, 상기 (방법 3)은 추가적인 전력소모 및 면적 소모가 발생한다는 단점이 있다.
따라서 상기의 방법들을 이용하여 심층신경망 중간층에 난수를 추가하는 것은 심층신경망 학습장치의 성능을 저해하는 문제가 있다. 즉, 딥-러닝(deep learning) 하드웨어의 보안성을 높이기 위해 심층신경망 중간층에 난수를 더하는 기존의 방법들은 저전력 및 소형으로 구현된 심층신경망 학습장치에 적용하기에 부적합하다.
대한민국 공개특허공보 공개번호 제10-2019-0099927호
따라서 본 발명은 심층신경망 가중치를 기반으로 한 난수 생성기를 활용함으로써, 에너지 소모 및 면적 소모가 적고 보안성이 높은 심층신경망 학습장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 추가의 전력 소모나 면적 소모 없이 기존의 가중치 값의 하위비트를 이용한 난수를 생성함으로써, 보안성이 향상된 저전력 및 소형의 심층신경망 학습장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 (n-1)층의 심층신경망 학습과정과 n층의 심층신경망 학습에 필요한 가중치 갱신 과정을 병렬로 처리함으로써, 연산시간을 단축시킨 심층신경망 학습장치 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 심층신경망 학습 장치는,
Figure 112020081423138-pat00001
(이 때,
Figure 112020081423138-pat00002
은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습장치에 있어서, 미리 설정된 심층신경망 학습 알고리즘에 의거하여, 입력데이터에 대한 학습을 실시하는 심층신경망 학습 프로세서; 심층신경망 학습을 위해 상기 레이어들 각각에 적용될 다수의 가중치값들을 저장하되, 초기에는 각각의 레이어별로 미리 설정된 초기 가중치값들을 저장하고, 학습과정에서 상기 가중치값들을 갱신하여 저장하는 가중치 메모리; 상기 가중치 메모리에 저장된 레이어별 가중치값을 이용하여 대응된 레이어의 난수를 생성하는 난수 생성기; 상기 레이어들 각각에서 학습결과로 생성되는 중간 결과값을 저장하는 중간값 메모리; 및 상기 난수 생성기에서 생성된 난수와, 상기 중간값 메모리에 저장된 중간 결과값을 더하여 중간 결과값을 갱신하는 덧셈기를 포함하되, 상기 덧셈기는
Figure 112020081423138-pat00003
(이 때,
Figure 112020081423138-pat00004
은
Figure 112020081423138-pat00005
인 자연수임)번째 레이어의 난수와,
Figure 112020081423138-pat00006
번째 레이어의 중간 결과값을 이용하여 상기
Figure 112020081423138-pat00007
번째 레이어의 중간 결과값을 갱신하고, 상기 심층신경망 학습 프로세서는
Figure 112020081423138-pat00008
번째 레이어의 학습시, 상기 덧셈기로부터 전달된, 갱신된
Figure 112020081423138-pat00009
번째 레이어의 중간 결과값과 상기 가중치 메모리로부터 전달된,
Figure 112020081423138-pat00010
번째 레이어의 가중치값을 이용하는 것을 특징으로 한다.
바람직하게, 상기 난수 생성기는 상기 가중치 메모리에 레이어별로 저장된 다수의 가중치값들 각각으로부터 소정의 연속된 하위비트만을 추출하여 진성 난수를 생성하는 하위비트 추출기를 포함할 수 있다.
바람직하게, 상기 난수 생성기는 상기 하위비트 추출기에서 생성된 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성하는 덧셈기 트리를 더 포함할 수 있다.
바람직하게, 상기 난수 생성기는 상기 덧셈기 트리에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환시키는 표준편차 변환기를 더 포함할 수 있다.
바람직하게, 상기 난수 생성기는 상기 심층신경망 학습 프로세서가
Figure 112020081423138-pat00011
층을 학습할 때,
Figure 112020081423138-pat00012
층의 난수를 생성하는 과정을 동시에 수행할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 심층신경망 학습 방법은
Figure 112020081423138-pat00013
(이 때,
Figure 112020081423138-pat00014
은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습방법에 있어서, 심층신경망 학습을 위해 상기 레이어별로 적용될 다수의 가중치값들을 미리 설정하여 가중치 메모리에 저장하는 가중치 초기화 단계; 상기 초기화된 레이어별 가중치를 이용하여 레이어들을 학습하는 제1 심층신경망 학습단계; 상기 제1 심층신경망 학습단계의 학습결과로 상기 레이어들 각각에서 생성된 중간 결과값을 중간 결과값 메모리에 저장하는 제1 중간결과값 저장단계; 상기 제1 심층신경망 학습단계의 학습결과로 갱신된 레이어별 가중치값들을 상기 가중치 메모리에 반영하는 제1 가중치 갱신단계; 상기 가중치 메모리에 저장된 레이어별 가중치값들 각각으로부터 대응된 레이어의 난수를 생성하는 난수 생성단계; 상기 레이어별 난수 및 상기 중간 결과값 메모리에 저장된 중간 결과값을 이용하여 상기 은닉층을 구성하는 레이어들을 갱신하는 은닉층 갱신단계; 상기 갱신된 은닉층을 이용하여 심층신경망을 학습하는 제2 심층신경망 학습단계; 상기 제2 심층신경망 학습단계의 학습결과로 상기 레이어들 각각에서 생성된 중간 결과값을 상기 중간 결과값 메모리에 저장하는 제2 중간결과값 저장단계; 및 상기 제2 심층신경망 학습단계의 학습결과로 갱신된 가중치값들을 상기 가중치 메모리에 반영하는 제2 가중치 갱신단계를 포함하고, 상기 심층신경망 학습과정이 종료될 때까지, 상기 난수 생성단계, 상기 은닉층 갱신단계, 상기 제2 심층신경망 학습단계, 상기 제2 중간결과값 저장단계, 및 상기 제2 가중치 갱신단계를 반복하는 것을 특징으로 한다.
바람직하게, 상기 난수 생성단계는 상기 가중치 메모리에 저장된 레이어별 가중치값들 각각으로부터 진성 난수성을 보이는 소정의 하위비트만을 추출하여 다수의 진성 난수를 생성하는 진성난수 생성단계; 및 상기 진성난수 생성단계에서 생성된 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성하는 가우시안 난수 생성단계를 포함할 수 있다.
바람직하게, 상기 난수 생성단계는 상기 가우시안 난수 생성단계에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환시키는 표준편차 변환단계를 더 포함할 수 있다.
바람직하게, 상기 은닉층 갱신단계는
Figure 112020081423138-pat00015
(이 때,
Figure 112020081423138-pat00016
은
Figure 112020081423138-pat00017
인 자연수임)번째 레이어의 난수와,
Figure 112020081423138-pat00018
번째 레이어의 중간 결과값을 이용하여, 상기
Figure 112020081423138-pat00019
번째 레이어를 갱신할 수 있다.
바람직하게, 상기 제2 심층신경망 학습단계는
Figure 112020081423138-pat00020
번째 레이어의 학습시, 갱신된
Figure 112020081423138-pat00021
번째 레이어의 중간 결과값과 상기 가중치 메모리로부터 전달된,
Figure 112020081423138-pat00022
번째 레이어의 가중치값을 이용할 수 있다.
바람직하게,
Figure 112020081423138-pat00023
번째 레이어를 학습하는 상기 제2 심층신경망 학습단계와,
Figure 112020081423138-pat00024
번째 레이어의 난수를 생성하는 상기 난수 생성단계를 동시에 수행할 수 있다.
본 발명의 심층신경망 학습장치 및 그 방법은 가중치를 기반으로 한 난수 생성기를 활용함으로써, 심층신경망 학습장치의 크기를 소형화할 수 있으며, 에너지 소모를 줄일 수 있는 장점이 있다. 또한, 본 발명의 심층신경망 학습장치 및 그 방법은 저전력 및 낮은 면적의 난수 생성기를 포함하고, 상기 난수 생성기에 의해 가중치의 하위비트를 이용한 가우시안 난수를 생성함으로써, 보안성이 향상된 저젼력 및 소형의 심층신경망 학습장치를 구현할 수 있는 장점이 있다. 또한, 본 발명의 심층신경망 학습장치 및 그 방법은 (n-1)층의 심층신경망 학습과정과 n층의 심층신경망 학습에 필요한 난수생성과정을 병렬로 처리함으로써, 심층신경망 학습장치의 연산시간을 단축시킬 수 있는 장점이 있다. 이로 인해, 본 발명은 온-칩 러닝 및 실시간 재학습이 가능하며, 모바일 기기에서도 동작 가능한 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 심층신경망 학습장치에 대한 개략적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 난수 생성기에 대한 개략적인 블록도이다.
도 3은 심층신경망이 고정 소수점 체계를 사용할 경우 학습 횟수에 따라 난수성이 발생하는 비트 위치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 심층신경망 학습 시 단일층 학습 소요시간을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 심층신경망 학습 방법에 대한 처리 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 난수 생성 과정에 대한 처리 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 심층신경망 학습장치에 대한 개략적인 블록도이다. 도 1을 참고하면, 본 발명의 일 실시 예에 따른 심층신경망 학습장치(100)는,
Figure 112020081423138-pat00025
(이 때,
Figure 112020081423138-pat00026
은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 장치로서, 심층 신경망 학습 프로세서(110)와, 가중치 메모리(120)와, 난수 생성기(130)와, 중간값 메모리(140)와, 덧셈기(150)를 포함한다.
심층 신경망 학습 프로세서(110)는 미리 설정된 심층신경망 학습 알고리즘(예컨대, Feed-Forward(FF), Backpropagation, Recurrent Neural(RN) 등)에 의거하여 입력데이터에 대한 학습을 실시한다.
가중치 메모리(120)는 심층신경망 학습을 위해 상기 레이어들 각각에 적용될 다수의 가중치값들을 저장한다. 이 때, 가중치 메모리(120)는 32비트의 가중치값을 저장하되, 동작 초기에는 각각의 레이어별로 미리 설정된 초기 가중치값들을 저장하고, 학습과정에서 상기 가중치값들에 대한 갱신이 이루어지면 상기 갱신된 가중치를 저장할 수 있다.
난수 생성기(130)는 가중치 메모리(120)에 저장된 레이어별 가중치값을 이용하여 대응된 레이어의 난수를 생성한다. 이 때, 난수는 심층신경망 연산을 교란시키는 공격을 방어하기 위해 레이어별 중간 결과값에 반영되는 되는 값이다. 심층신경망 학습장치(100)는 상기 난수를 이용하여 레이어별 중간 결과값을 갱신시키고, 이로 인해 심층신경망 연산을 교란시키는 공격을 방어할 수 있다. 이를 위해, 난수 생성기(130)는 가우시안 난수를 생성하여 출력할 수 있다. 난수 생성기(130)에 대한 보다 구체적인 구성 및 동작에 대하여는 도 2를 참고하여 후술할 것이다.
중간값 메모리(140)는 상기 레이어들 각각에서 학습결과로 생성되는 중간 결과값을 저장한다.
덧셈기(150)는 중간값 메모리(140)에 저장된 중간 결과값을 갱신한다. 즉, 덧셈기(150)는 난수 생성기(130)에서 생성된 가우시안 난수와, 중간값 메모리(140)에 저장된 중간 결과값을 더하여 중간 결과값을 갱신한다. 이를 위해, 덧셈기(150)는
Figure 112020081423138-pat00027
(이 때,
Figure 112020081423138-pat00028
은
Figure 112020081423138-pat00029
인 자연수임)번째 레이어의 난수와,
Figure 112020081423138-pat00030
번째 레이어의 중간 결과값을 이용하여 상기
Figure 112020081423138-pat00031
번째 레이어의 중간 결과값을 갱신할 수 있다. 다시 말해, 던셈기(150)는
Figure 112020081423138-pat00032
(이 때,
Figure 112020081423138-pat00033
은
Figure 112020081423138-pat00034
인 자연수임)번째 레이어의 난수와,
Figure 112020081423138-pat00035
번째 레이어의 중간 결과값을 이용하여
Figure 112020081423138-pat00036
번째 레이어를 갱신할 수 있다. 한편, 덧셈기(150)는 이와 같이 갱신된 중간 결과값을 심층신경망 학습 프로세서(110)로 전달한다.
심층신경망 학습 프로세서(110)는 덧셈기(150)를 통해 갱신된 중간 결과값과, 가중치 메모리(120)로부터 전달된 가중치값을 이용하여 학습을 실시하되, 갱신된
Figure 112020081423138-pat00037
번째 레이어의 중간 결과값을 덧셈기(150)로부터 전달받고,
Figure 112020081423138-pat00038
번째 레이어의 가중치값을 가중치 메모리(120)로부터 전달받아
Figure 112020081423138-pat00039
번째 레이어를 학습한다. 그리고 심층신경망 학습 프로세서(110)는 상기 학습 과정에서 생성된
Figure 112020081423138-pat00040
번째 레이어의 중간 결과값을 중간값 메모리(140)에 저장하고, 갱신된 가중치값을 가중치 메모리(120)에 저장한다. 한편, 사전에 정의된 학습 횟수가 지나면, 심층신경망 학습 프로세서(110)는, 학습을 종료하고 최종 심층신경망 가중치를 가중치 메모리(120)에 저장한다.
도 2는 본 발명의 일 실시 예에 따른 난수 생성기에 대한 개략적인 블록도이다. 도 1 및 도 2를 참조하면, 난수 생성기(130)는 하위비트 추출기(131)와, 다수의 덧셈기 트리(132)와, 다수의 표준편차 변환기(133)를 포함한다.
하위비트 추출기(131)는 가중치 메모리(120)에 레이어별로 저장된 다수의 가중치값들 각각으로부터 진성 난수성을 보이는 소정의 하위비트만을 추출하여 다수의 진성 난수를 생성한다. 이는 고정 소수점 체계를 사용하는 심층신경망의 경우, 학습 단계와 관계없이 가중치값의 특정 비트부터는 진성 난수성을 보이기 때문이다. 이와 같이 학습 횟수에 따라 난수성이 발생하는 비트 위치를 설명하기 위한 도면이 도 3에 예시되어 있다. 도 3의 (a)는 심층신경망이 동적 고정 소수점 체계를 사용할 경우 학습 횟수에 따라 난수성이 발생하는 비트의 위치를 예시하고, 도 3의 (b)는 심층신경망이 일반 고정 소수점 체계를 사용할 경우 학습 횟수에 따라 난수성이 발생하는 비트의 위치를 예시한다. 먼저, 도 3의 (a)를 참조하면, 심층신경망이 동적 고정 소수점 체계를 사용할 경우, 학습 횟수와 관계없이 가중치 32비트 중 16번째 비트부터 그 하위비트를 추출할 경우 그 수치는 진성 난수성을 보임을 알 수 있다. 한편, 도 3의 (b)를 참조하면, 심층신경망이 동적 고정 소수점 체계를 사용할 경우, 학습 횟수와 관계없이 가중치 32비트 중 17번째 비트부터 그 하위비트를 추출할 경우 그 수치는 진성 난수성을 보임을 알 수 있다. 즉, 32비트의 가중치 중 하위 17비트들은 가중치가 속해있는 심층신경망 층에 상관없이 진성 난수의 효과를 보임을 알 수 있다.
따라서 가중치 메모리(120)에 32비트의 가중치값이 저장된 경우, 하위비트 추출기(131)는, 도 2에 예시된 바와 같이, 다수의 32비트들을 입력받아 하위 17비트들을 추출할 수 있다.
또한, 도 2를 참조하면, 덧셈기 트리(132)는 하위비트 추출기(131)에서 생성된 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성한다. 도 2의 예에서는, 난수 생성기(130)에 포함된 다수의 덧셈기 트리(132)들 각각이 하위비트 추출기(131)에서 출력된 다수의 17비트의 수들 중 4개씩을 더함으로써, 하나의 가우시안 난수를 생성하는 예를 나타내고 있다. 이는 가우시안 난수가 여러 개의 진성 난수를 더함으로써 구할 수 있기 때문이다.
표준편차 변환기(133)는 덧셈기 트리(132)와 1:1로 대응되며, 덧셈기 트리(132) 각각에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환한다. 이는 학습하고자 하는 심층신경망의 종류 및 현재 연산이 이루어지고 있는 층의 특징에 따라 가우시안 난수의 편차가 달라지는데, 이를 조절하기 위함이다.
이와 같이, 본 발명의 난수 생성기(130)는 심층신경망의 가중치값을 활용하여 가우시안 난수를 생성함으로써, 난수를 공급받기 위해, 외부 메모리에 근접하지 않아도 되고, 별도의 난수 생성기를 집적할 필요가 없으므로 추가적인 에너지나 면적을 소모하지 않아도 된다.
한편, 특정 층의 난수를 생성하기 위해, 난수 생성기(130)는 해당 층의 중간값 메모리(140) 접근, 가중치 메모리(120) 접근, 가중치 하위비트 추출, 가우시안 난수 생성, 중간 결과값과 난수의 덧셈과 같은 일련의 과정을 수행하여야 되는데, 상기 과정들을 심층신경망 학습 프로세서(110)가 이전 층의 심층신경망 학습을 진행할 때, 병렬로 처리함으로써, 학습시간을 단축시킬 수 있다.
예를 들어, 심층신경망 학습 프로세서(110)가
Figure 112020081423138-pat00041
층을 학습할 때, 난수 생성기(130)는
Figure 112020081423138-pat00042
층의 난수를 생성하는 과정을 병렬로(즉, 동시에) 수행함으로써, 학습 시간을 단축시킬 수 있다. 이와 같이 처리 방식에 의해 학습시간이 단축되는 예를 도 4에 예시하였다. 도 4는 본 발명의 일 실시 예에 따른 심층신경망 학습 시 단일층 학습 소요시간을 설명하기 위한 도면으로서, 도 4의 (a)는 학습과정과 난수 생성과정을 병렬처리 하지 않은 경우의 단일층 학습 소요시간(T1)을 예시하고, 도 4의 (b)는 학습과정과 난수 생성과정을 병렬처리 한 경우의 단일층 학습 소요시간(T2)을 예시한다. 도 4의 (a) 및 도 4의 (b)를 참조하면, 병렬처리를 수행하지 않은 경우, 단일층 학습 소요시간(T1)이 수학식 1과 같이 이전층 인공신경망 학습시간(t1), 심층신경망 중간값 메모리(140) 접근시간(t2), 심층신경망 가중치 메모리(120) 접근시간(t3), 가중치하위비트 추출시간(t4), 가우시안 난수 생성시간(t5), 중간 결과값 및 가우시간 난수 덧셈 시간(t6)을 모두 더한 시간이었으나, 병렬처리를 수행한 경우, 단일층 학습 소요시간(T2)이 수학식 2와 같이 이전층 인공신경망 학습시간(t1)으로 단축됨을 알 수 있다. 즉, 심층신경망 중간값 메모리(140) 접근시간(t2), 심층신경망 가중치 메모리(120) 접근시간(t3), 가중치하위비트 추출시간(t4), 가우시안 난수 생성시간(t5), 증간값 및 가우시간 난수 덧셈 시간(t6)을 단축할 수 있는 것이다.
Figure 112020081423138-pat00043
Figure 112020081423138-pat00044
이 때, T1은 병렬처리를 하지 않은 경우의 단일층 학습 소요시간, t1은 이전층 인공신경망 학습시간, t2는 심층신경망 중간값 메모리(140) 접근시간, t3은 심층신경망 가중치 메모리 접근시간, t4는 가중치하위비트 추출시간, t5는 가우시안 난수 생성시간, t6은 중간 결과값 및 가우시간 난수 덧셈 시간이다.
도 5는 본 발명의 일 실시 예에 따른 심층신경망 학습 방법에 대한 처리 흐름도이다. 도 1 및 도 5를 참조하면,
Figure 112020081423138-pat00045
(이 때,
Figure 112020081423138-pat00046
은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 본 발명의 심층신경망 학습방법은 다음과 같다.
먼저, 단계 S110에서는, 가중치를 초기화한다. 즉, 단계 S110에서, 심층신경망 학습장치(100)는 심층신경망 학습을 위해 상기 레이어별로 적용될 다수의 가중치값들을 미리 설정하여 가중치 메모리(120)에 저장한다.
단계 S120에서는, 상기 초기화된 레이어별 가중치를 이용하여 레이어들을 학습한다. 즉, 단계 S120에서, 심층신경망 학습 프로세서(110)는 가중치 메모리(120)에 저장된 초기 가중치값을 이용하여 각 레이어들을 1차 학습한다.
단계 S130에서는, 단계 S120의 1차 학습결과로 상기 레이어들 각각에서 생성된 중간 결과값을 중간 결과값 메모리(140)에 저장한다. 즉, 단계 S130에서, 심층신경망 학습 프로세서(110)는 상기 1차 학습결과로 생성된 레이어별 중간 결과값들을 중간 결과값 메모리(140)에 저장한다.
단계 S140에서는, 단계 120의 1차 학습결과로 상기 레이들 각각에서 갱신된 가중치값을 가중치 메모리(120)에 반영한다. 즉, 단계 S140에서, 심층신경망 학습 프로세서(110)는 상기 1차 학습 결과로 갱신된 레이어별 가중치값들을 가중치 메모리(120)에 저장한다.
단계 S150에서는, 난수를 생성한다. 즉, 단계 S150에서, 난수 생성기(130)는 가중치 메모리(120)에 저장된 레이어별 가중치값들 각각으로부터 대응된 레이어의 난수를 생성한다. 이 때, 난수 생성을 위한 구체적인 처리 과정은 도 6을 참조하여 후술할 것이다.
단계 S160에서는, 은닉층을 갱신한다. 즉, 단계 S160에서는, 덧셈기(150)가 레이어별 난수 및 중간값 메모리(140)에 저장된 중간 결과값을 이용하여 상기 은닉층을 구성하는 레이어(예컨대, 중간층)들을 갱신한다. 예를 들어, 단계 S160은
Figure 112020081423138-pat00047
(이 때,
Figure 112020081423138-pat00048
은
Figure 112020081423138-pat00049
인 자연수임)번째 레이어의 난수와,
Figure 112020081423138-pat00050
번째 레이어의 중간 결과값을 합산하여,
Figure 112020081423138-pat00051
번째 레이어를 갱신할 수 있다.
단계 S170에서는, 상기 갱신된 은닉층을 이용하여 심층신경망을 학습한다. 예를 들어, 단계 S170에서, 심층 신경망 학습 프로세서(110)는
Figure 112020081423138-pat00052
번째 레이어의 학습시, 갱신된
Figure 112020081423138-pat00053
번째 레이어의 중간 결과값과 가중치 메모리(120)로부터 전달된,
Figure 112020081423138-pat00054
번째 레이어의 가중치값을 이용할 수 있다.
단계 S180에서는, 심층 신경망 학습 프로세서(110)가 단계 S170을 통해 레이어들 각각에서 생성된 중간 결과값을 중간값 메모리(140)에 저장한다. 예를 들어,
Figure 112020081423138-pat00055
번째 레이어를 학습한 경우, 심층 신경망 학습 프로세서(110)는
Figure 112020081423138-pat00056
번째 레이어의 중간 결과값을 중간값 메모리(140)에 저장할 수 있다.
단계 S190에서는, 심층 신경망 학습 프로세서(110)가 단계 S170을 통해 레이어들 각각에서 갱신된 가중치값들을 가중치 메모리(120)에 반영한다. 예를 들어,
Figure 112020081423138-pat00057
번째 레이어를 학습한 경우, 심층 신경망 학습 프로세서(110)는
Figure 112020081423138-pat00058
번째 레이어의 가중치값을 가중치 메모리(120)에 저장할 수 있다.
이 때, 상기 단계 S110 내지 단계 S140은 최초에 한 번씩만 수행되고, 이후에는, 상기 심층신경망 학습과정이 종료될 때까지(S195), 즉 사전에 정의된 학습횟수가 지날 때까지, 단계 S150 내지 단계 S190를 반복 수행한다.
한편,
Figure 112020081423138-pat00059
번째 레이어를 학습하는 단계 S170와,
Figure 112020081423138-pat00060
번째 레이어의 난수를 생성하는 단계 S150는 동시에 수행할 수 있다. 이는 도 1 및 도 4를 참조하여 설명한 바와 같이 학습시간을 단축시키기 위함이다.
도 6은 본 발명의 일 실시 예에 따른 난수 생성 과정에 대한 처리 흐름도이다. 도 1, 도 2 및 도 6을 참조하면, 본 발명의 일 실시 예에 따른 난수 생성 과정(S150)은 다음과 같다.
먼저, 단계 S151에서는, 진성 난수를 생성한다. 즉, 단계 S151에서, 하위비트 추출기(131)는 가중치 메모리(120)에 레이어별로 저장된 다수의 가중치값들 각각으로부터 진성 난수성을 보이는 소정의 하위비트만을 추출하여 다수의 진성 난수를 생성한다. 이 때, 상기 진성 난수를 생성하는 구체적인 처리 과정의 예는 도 1 내지 도 3을 참조한 설명에서 언급한 바와 같다.
단계 S153에서는, 상기 진성 난수를 이용하여 가우시안 난수를 생성한다. 즉, 단계 S153에서, 덧셈기 트리(132)는 단계 S151에서 생성한 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성한다. 예를 들어, 덧셈기 트리(132)는 하위비트 추출기(131)에서 출력된 다수의 17비트의 수들 중 4개씩을 더함으로써, 하나의 가우시안 난수를 생성할 수 있다. 이는 가우시안 난수가 여러 개의 진성 난수를 더함으로써 구할 수 있기 때문이다.
단계 S155에서는, 상기 생성된 가우시안 난수의 표준편차를 변환한다. 즉, 단계 S155에서, 표준편차 변환기는 상기 단계 S153에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환시킨다. 이는 학습하고자 하는 심층신경망의 종류 및 현재 연산이 이루어지고 있는 층의 특징에 따라 가우시안 난수의 편차가 달라지는데, 이를 조절하기 위함이다.
이상에서 설명한 바와 같은 본 발명의 고보안성 심층신경망 학습 프로세서는 심층신경망 가중치를 활용한 가우시안 난수생성기와 심층신경망 학습 프로세서로 구성되어 있어 심층신경망의 보안성을 높이고 전력 소모를 줄일 수 있으며, 파이프 라이닝 방법을 통해 연산시간을 줄일 수 있다.
이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.
100: 심층신경망 학습 장치 110: 심층신경망 학습 프로세서
120: 가중치 메모리 130: 난수 생성기
131: 하위비트 추출기 132: 덧셈기 트리
133: 표준편차 변환기 140: 중간값 메모리
150: 덧셈기

Claims (11)

  1. Figure 112020081423138-pat00061
    (이 때,
    Figure 112020081423138-pat00062
    은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습장치에 있어서,
    미리 설정된 심층신경망 학습 알고리즘에 의거하여, 입력데이터에 대한 학습을 실시하는 심층신경망 학습 프로세서;
    심층신경망 학습을 위해 상기 레이어들 각각에 적용될 다수의 가중치값들을 저장하되, 초기에는 각각의 레이어별로 미리 설정된 초기 가중치값들을 저장하고, 학습과정에서 상기 가중치값들을 갱신하여 저장하는 가중치 메모리;
    상기 가중치 메모리에 저장된 레이어별 가중치값을 이용하여 대응된 레이어의 난수를 생성하는 난수 생성기;
    상기 레이어들 각각에서 학습결과로 생성되는 중간 결과값을 저장하는 중간값 메모리; 및
    상기 난수 생성기에서 생성된 난수와, 상기 중간값 메모리에 저장된 중간 결과값을 더하여 중간 결과값을 갱신하는 덧셈기를 포함하되,
    상기 덧셈기는
    Figure 112020081423138-pat00063
    (이 때,
    Figure 112020081423138-pat00064
    은
    Figure 112020081423138-pat00065
    인 자연수임)번째 레이어의 난수와,
    Figure 112020081423138-pat00066
    번째 레이어의 중간 결과값을 이용하여 상기
    Figure 112020081423138-pat00067
    번째 레이어의 중간 결과값을 갱신하고,
    상기 심층신경망 학습 프로세서는
    Figure 112020081423138-pat00068
    번째 레이어의 학습시, 상기 덧셈기로부터 전달된, 갱신된
    Figure 112020081423138-pat00069
    번째 레이어의 중간 결과값과 상기 가중치 메모리로부터 전달된,
    Figure 112020081423138-pat00070
    번째 레이어의 가중치값을 이용하는 것을 특징으로 하는 심층신경망 학습장치.
  2. 제1항에 있어서, 상기 난수 생성기는
    상기 가중치 메모리에 레이어별로 저장된 다수의 가중치값들 각각으로부터 소정의 연속된 하위비트만을 추출하여 진성 난수를 생성하는 하위비트 추출기를 포함하는 것을 특징으로 하는 심층신경망 학습장치.
  3. 제2항에 있어서, 상기 난수 생성기는
    상기 하위비트 추출기에서 생성된 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성하는 덧셈기 트리를 더 포함하는 것을 특징으로 하는 심층신경망 학습장치.
  4. 제3항에 있어서, 상기 난수 생성기는
    상기 덧셈기 트리에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환시키는 표준편차 변환기를 더 포함하는 것을 특징으로 하는 심층신경망 학습장치.
  5. 제1항에 있어서, 상기 난수 생성기는
    상기 심층신경망 학습 프로세서가
    Figure 112020081423138-pat00071
    층을 학습할 때,
    Figure 112020081423138-pat00072
    층의 난수를 생성하는 과정을 동시에 수행하는 것을 특징으로 하는 심층신경망 학습 장치.
  6. Figure 112020081423138-pat00073
    (이 때,
    Figure 112020081423138-pat00074
    은 자연수임)개의 레이어들로 구성된 은닉층을 포함하는 심층신경망을 학습하는 심층신경망 학습방법에 있어서,
    심층신경망 학습을 위해 상기 레이어별로 적용될 다수의 가중치값들을 미리 설정하여 가중치 메모리에 저장하는 가중치 초기화 단계;
    상기 초기화된 레이어별 가중치를 이용하여 레이어들을 학습하는 제1 심층신경망 학습단계;
    상기 제1 심층신경망 학습단계의 학습결과로 상기 레이어들 각각에서 생성된 중간 결과값을 중간 결과값 메모리에 저장하는 제1 중간결과값 저장단계;
    상기 제1 심층신경망 학습단계의 학습결과로 갱신된 레이어별 가중치값들을 상기 가중치 메모리에 반영하는 제1 가중치 갱신단계;
    상기 가중치 메모리에 저장된 레이어별 가중치값들 각각으로부터 대응된 레이어의 난수를 생성하는 난수 생성단계;
    상기 레이어별 난수 및 상기 중간 결과값 메모리에 저장된 중간 결과값을 이용하여 상기 은닉층을 구성하는 레이어들을 갱신하는 은닉층 갱신단계;
    상기 갱신된 은닉층을 이용하여 심층신경망을 학습하는 제2 심층신경망 학습단계;
    상기 제2 심층신경망 학습단계의 학습결과로 상기 레이어들 각각에서 생성된 중간 결과값을 상기 중간 결과값 메모리에 저장하는 제2 중간결과값 저장단계; 및
    상기 제2 심층신경망 학습단계의 학습결과로 갱신된 가중치값들을 상기 가중치 메모리에 반영하는 제2 가중치 갱신단계를 포함하고,
    상기 심층신경망 학습과정이 종료될 때까지,
    상기 난수 생성단계, 상기 은닉층 갱신단계, 상기 제2 심층신경망 학습단계, 상기 제2 중간결과값 저장단계, 및 상기 제2 가중치 갱신단계를 반복하는 것을 특징으로 하는 심층신경망 학습방법.
  7. 제6항에 있어서, 상기 난수 생성단계는
    상기 가중치 메모리에 저장된 레이어별 가중치값들 각각으로부터 진성 난수성을 보이는 소정의 하위비트만을 추출하여 다수의 진성 난수를 생성하는 진성난수 생성단계; 및
    상기 진성난수 생성단계에서 생성된 다수의 진성 난수들 중 소정개씩을 더하여 가우시안 난수를 생성하는 가우시안 난수 생성단계를 포함하는 것을 특징으로 하는 심층신경망 학습방법.
  8. 제7항에 있어서, 상기 난수 생성단계는
    상기 가우시안 난수 생성단계에서 생성된 가우시안 난수를 시프트(shift) 연산함으로써, 상기 가우시안 난수의 크기를 변환시키는 표준편차 변환단계를 더 포함하는 것을 특징으로 하는 심층신경망 학습방법.
  9. 제6항에 있어서, 상기 은닉층 갱신단계는
    Figure 112020081423138-pat00075
    (이 때,
    Figure 112020081423138-pat00076
    은
    Figure 112020081423138-pat00077
    인 자연수임)번째 레이어의 난수와,
    Figure 112020081423138-pat00078
    번째 레이어의 중간 결과값을 이용하여, 상기
    Figure 112020081423138-pat00079
    번째 레이어를 갱신하는 것을 특징으로 하는 심층신경망 학습방법.
  10. 제6항에 있어서, 상기 제2 심층신경망 학습단계는
    Figure 112020081423138-pat00080
    번째 레이어의 학습시, 갱신된
    Figure 112020081423138-pat00081
    번째 레이어의 중간 결과값과 상기 가중치 메모리로부터 전달된,
    Figure 112020081423138-pat00082
    번째 레이어의 가중치값을 이용하는 것을 특징으로 하는 심층신경망 학습방법.
  11. 제6항에 있어서,
    Figure 112020081423138-pat00083
    번째 레이어를 학습하는 상기 제2 심층신경망 학습단계와,
    Figure 112020081423138-pat00084
    번째 레이어의 난수를 생성하는 상기 난수 생성단계를 동시에 수행하는 것을 특징으로 하는 심층신경망 학습방법.
KR1020200096920A 2020-08-03 2020-08-03 심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법 KR102464612B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200096920A KR102464612B1 (ko) 2020-08-03 2020-08-03 심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200096920A KR102464612B1 (ko) 2020-08-03 2020-08-03 심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220016681A KR20220016681A (ko) 2022-02-10
KR102464612B1 true KR102464612B1 (ko) 2022-11-08

Family

ID=80253816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200096920A KR102464612B1 (ko) 2020-08-03 2020-08-03 심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102464612B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028089A1 (en) 2017-08-01 2019-02-07 Twosense, Inc. DEEP LEARNING FOR INVISIBLE MULTIFACTOR AUTHENTICATION BASED ON BEHAVIOR

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028089A1 (en) 2017-08-01 2019-02-07 Twosense, Inc. DEEP LEARNING FOR INVISIBLE MULTIFACTOR AUTHENTICATION BASED ON BEHAVIOR

Also Published As

Publication number Publication date
KR20220016681A (ko) 2022-02-10

Similar Documents

Publication Publication Date Title
CN110222349B (zh) 一种深度动态上下文词语表示的方法及计算机
Huang et al. Can threshold networks be trained directly?
Jing et al. Designing unimodular sequence with low peak of sidelobe level of local ambiguity function
CN107527090A (zh) 应用于稀疏神经网络的处理器和处理方法
CN112787971B (zh) 侧信道攻击模型的构建方法、密码攻击设备及计算机存储介质
JP2017033385A (ja) 機械学習装置
Kazemy et al. Master–slave synchronization of neural networks subject to mixed-type communication attacks
Fan et al. Vibration Images‐Driven Fault Diagnosis Based on CNN and Transfer Learning of Rolling Bearing under Strong Noise
CN112733458B (zh) 一种基于自适应变分模态分解的工程结构信号处理方法
CN113282707B (zh) 基于Transformer模型的数据预测方法、装置、服务器及存储介质
CN114297079B (zh) 基于时间卷积网络的xss模糊测试用例生成方法
US9841949B2 (en) Apparatus and method for stabilizing output sequence of real random number generator
CN114897144A (zh) 基于复值神经网络的复值时序信号预测方法
Xiyuan et al. A Review of FPGA‐Based Custom Computing Architecture for Convolutional Neural Network Inference
KR102464612B1 (ko) 심층신경망 가중치 기반 난수 생성기를 활용한 심층신경망 학습 장치 및 그 방법
Zhang et al. Turning wingbeat sounds into spectrum images for acoustic insect classification
US11095672B2 (en) Method for evaluating domain name and server using the same
Yu Convolutional neural network attack on cryptographic circuits
CN115242539B (zh) 基于特征融合的电网信息系统网络攻击检测方法及装置
KR20210048396A (ko) 이진 신경망 생성 방법 및 장치
CN115409078A (zh) 一种基于集成重建机制的对抗样本攻击的防御方法
KR102412872B1 (ko) 프로세싱 엘리먼트, 이의 동작 방법, 및 이를 포함하는 가속기
Jiang Spoken Digit Classification through Neural Networks with Combined Regularization
Qu et al. Enhancing Transformer with Horizontal and Vertical Guiding Mechanisms for Neural Language Modeling
Verma et al. Clustered Network Adaptation Methodology for the Resource Constrained Platform

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant