KR102607993B1 - 양자화를 이용한 뉴럴 네트워크 연산 방법 및 장치 - Google Patents
양자화를 이용한 뉴럴 네트워크 연산 방법 및 장치 Download PDFInfo
- Publication number
- KR102607993B1 KR102607993B1 KR1020210031354A KR20210031354A KR102607993B1 KR 102607993 B1 KR102607993 B1 KR 102607993B1 KR 1020210031354 A KR1020210031354 A KR 1020210031354A KR 20210031354 A KR20210031354 A KR 20210031354A KR 102607993 B1 KR102607993 B1 KR 102607993B1
- Authority
- KR
- South Korea
- Prior art keywords
- quantization
- neural network
- subset
- loss
- weight
- Prior art date
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 250
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 230000015654 memory Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002071 nanotube Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 101100009348 Mus musculus Depp1 gene Proteins 0.000 description 1
- 101100009350 Rattus norvegicus Depp gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005442 molecular electronic Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Cosmetics (AREA)
- Image Analysis (AREA)
Abstract
양자화를 이용한 뉴럴 네트워크 연산 장치 및 방법이 개시된다. 일 실시예에 따른 뉴럴 네트워크 연산 방법은, 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신하는 단계와, 상기 비트폭에 기초하여 상기 후보 집합으로부터 양자화 포인트의 부분집합을 추출하는 단계와, 상기 가중치 및 상기 부분집합에 기초하여 양자화 손실을 계산하는 단계와, 상기 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성하는 단계를 포함한다.
Description
아래 실시예들은 뉴럴 네트워크 연산 장치 및 방법에 관한 것이다.
딥러닝 분야에서 연산량을 줄이면서 전력 효율성을 향상시키는 방법으로 양자화 기술이 연구되고 있다. 양자화는 DNN(Deep Neural Network)의 연산 복잡도를 크게 감소시킬 수 있는 효과적인 최적화 방법이다.
DNN의 양자화(quantization)는 두가지 측면에서 연구되고 있다. 첫 번째는 뉴럴 네트워크 모델의 크기(예: 가중치(weight)의 비트 폭(bitwidth)을 줄이기 위한 연구이고, 두 번째는 딥러닝 프로세서(DPU(Deep learning Proceesor Unit))의 효율성 향상을 위한 것이다.
첫 번째는 DNN 압축이라고 부를 수도 있는데, 가중치만 양자화를 하고 활성화값(activation)은 양자화를 하지 않아도 되기 때문에, DPU에 바로 적용하기는 어려울 수 있다.
두 번째 것은 DPU에 바로 적용할 수 있게 하기 위한 것으로서, 주로 비용이 큰 곱셈기의 정밀도를 줄이는 것에 초점이 맞추어져 있다.
일 실시예에 따른 뉴럴 네트워크 연산 방법은, 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신하는 단계와, 상기 비트폭에 기초하여 상기 후보 집합으로부터 양자화 포인트의 부분집합을 추출하는 단계와, 상기 가중치 및 상기 부분집합에 기초하여 양자화 손실을 계산하는 단계와, 상기 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성하는 단계를 포함한다.
상기 뉴럴 네트워크 연산 방법은 로그 스케일 양자화(log-scale quantization)에 기초하여 상기 후보 집합을 생성하는 단계를 더 포함할 수 있다.
상기 후보 집합을 생성하는 단계는, 상기 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득하는 단계와, 상기 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득하는 단계와, 상기 제1 양자화 포인트 및 상기 제2 양자화 포인트의 합에 기초하여 상기 후보 집합을 생성하는 단계를 포함할 수 있다.
상기 부분집합을 추출하는 단계는, 상기 비트폭에 기초하여 상기 부분집합의 원소의 개수를 결정하는 단계와, 상기 후보 집합으로부터 상기 원소의 개수에 대응하는 부분집합을 추출하는 단계를 포함할 수 있다.
상기 양자화 손실을 계산하는 단계는, 상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는 단계를 포함할 수 있다.
상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는 단계는, 상기 가중치와 상기 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 상기 양자화 손실로 계산하는 단계를 포함할 수 있다.
상기 타겟 부분집합을 생성하는 단계는, 상기 양자화 손실이 최소가 되는 부분집합을 상기 타겟 부분집합으로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 뉴럴 네트워크 연산 장치는, 뉴럴 네트워크의 가중치 및 상기 가중치를 양자화하기 위하여 양자화 포인트의 후보 집합으로부터 추출된 양자화 포인트의 타겟 부분집합을 저장하는 메모리와, 상기 가중치에 기초하여 상기 타겟 부분집합으로부터 타겟 양자화 포인트를 선택하는 디코더(decoder)와, 상기 타겟 양자화 포인트에 기초하여 곱셈을 수행하는 시프터(shifter)와, 상기 시프터의 출력을 누적하는 누산기(accumulator)를 포함한다.
상기 타겟 부분집합은 상기 가중치 및 상기 후보 집합으로부터 추출된 양자화 포인트의 부분집합에 대한 양자화 손실에 기초하여 생성될 수 있다.
상기 시프터는, 상기 타겟 양자화 포인트에 포함된 제1 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제1 시프터와, 상기 타겟 양자화 포인트에 포함된 제2 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제2 시프터를 포함할 수 있다.
상기 디코더는, 상기 가중치를 셀렉터로 이용하여 상기 타겟 양자화 포인트를 멀티플렉싱하는 멀티플렉서를 포함할 수 있다.
상기 타겟 양자화 포인트는, 복수의 MAC(Multiply-Accumulate) 연산기 사이에서 공유될 수 있다.
다른 실시예에 따른 뉴럴 네트워크 연산 장치는, 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신하는 수신기와, 상기 비트폭에 기초하여 상기 후보 집합으로부터 양자화 포인트의 부분집합을 추출하고, 상기 가중치 및 상기 부분집합에 기초하여 양자화 손실을 계산하고, 상기 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성하는 프로세서를 포함한다.
상기 프로세서는, 로그 스케일 양자화(log-scale quantization)에 기초하여 상기 후보 집합을 생성할 수 있다.
상기 프로세서는, 상기 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득하고, 상기 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득하고, 상기 제1 양자화 포인트 및 상기 제2 양자화 포인트의 합에 기초하여 상기 후보 집합을 생성할 수 있다.
상기 프로세서는, 상기 비트폭에 기초하여 상기 부분집합의 원소의 개수를 결정하고, 기 후보 집합으로부터 상기 원소의 개수에 대응하는 부분집합을 추출할 수 있다.
상기 프로세서는, 상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산할 수 있다.
상기 프로세서는, 상기 가중치와 상기 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 상기 양자화 손실로 계산할 수 있다.
상기 프로세서는, 상기 양자화 손실이 최소가 되는 부분집합을 상기 타겟 부분집합으로 결정할 수 있다.
도 1은 일 실시예에 따른 뉴럴 네트워크 연산 장치의 개략적인 블록도를 나타낸다.
도 2a는 뉴럴 네트워크 연산 장치가 양자화 포인트의 타겟 부분집합을 생성하는 과정을 나타낸다.
도 2b는 도 2a의 과정을 구현한 의사 코드(pseudo code)의 예를 나타낸다.
도 3은 양자화 포인트 집합의 예를 나타낸다.
도 4는 타겟 부분집합을 이용하여 뉴럴 네트워크 연산을 수행하는 과정을 나타낸다.
도 5는 도 4에 도시된 디코더의 동작을 나타낸다.
도 6은 도 1에 도시된 뉴럴 네트워크 연산 장치를 이용한 가속기의 예를 나타낸다.
도 7은 도 1에 도시된 뉴럴 네트워크 연산 장치를 이용한 스마트폰의 예를 나타낸다.
도 8은 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 순서를 나타낸다.
도 2a는 뉴럴 네트워크 연산 장치가 양자화 포인트의 타겟 부분집합을 생성하는 과정을 나타낸다.
도 2b는 도 2a의 과정을 구현한 의사 코드(pseudo code)의 예를 나타낸다.
도 3은 양자화 포인트 집합의 예를 나타낸다.
도 4는 타겟 부분집합을 이용하여 뉴럴 네트워크 연산을 수행하는 과정을 나타낸다.
도 5는 도 4에 도시된 디코더의 동작을 나타낸다.
도 6은 도 1에 도시된 뉴럴 네트워크 연산 장치를 이용한 가속기의 예를 나타낸다.
도 7은 도 1에 도시된 뉴럴 네트워크 연산 장치를 이용한 스마트폰의 예를 나타낸다.
도 8은 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 순서를 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 뉴럴 네트워크 연산 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 뉴럴 네트워크 연산 장치(10)는 데이터를 수신하여 뉴럴 네트워크 연산을 수행함으로써 뉴럴 네트워크 연산 결과를 생성할 수 있다.
뉴럴 네트워크(또는 인공 신경망)는 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력으로부터 예측하고자 하는 결과를 추론할 수 있다.
뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다. 뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있다.
뉴럴 네트워크 연산 장치(10)는 뉴럴 네트워크 연산을 수행할 수 있다. 뉴럴 네트워크 연산 장치(10)는 뉴럴 네트워크에 대한 양자화를 수행할 수 있다. 예를 들어, 뉴럴 네트워크 연산 장치(10)는 뉴럴 네트워크를 구성하는 가중치(또는, 모델 파라미터)에 대한 양자화를 수행할 수 있다.
뉴럴 네트워크 연산 장치(10)는 양자화된 뉴럴 네트워크에 기초하여 뉴럴 네트워크 연산을 수행할 수 있다.
뉴럴 네트워크 연산 장치(10)는 양자화 포인트의 후보 집합으로부터 추출된 부분집합을 이용하여 양자화 포인트의 타겟 부분집합을 생성하여 뉴럴 네트워크를 양자화시킬 수 있다.
뉴럴 네트워크 연산 장치(10)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(integrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 예를 들어, 뉴럴 네트워크 연산 장치(10)는 애플리케이션 프로세서(application processor)로 구현될 수 있다.
또한, 뉴럴 네트워크 연산 장치(10)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.
뉴럴 네트워크 연산 장치(10)는 수신기(100), 프로세서(200) 및 메모리(300)를 포함한다. 뉴럴 네트워크 연산 장치(10)는 별도의 연산기를 더 포함할 수 있다. 뉴럴 네트워크 연산 장치(10)는 디코더(decoder), 시프터(shifter) 및 누산기(accumulato)를 포함할 수 있다.
수신기(100)는 수신 인터페이스를 포함할 수 있다. 수신기(100)는 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신할 수 있다. 수신기(100)는 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 프로세서(200)로 출력할 수 있다.
프로세서(200)는 메모리(300)에 저장된 데이터를 처리할 수 있다. 프로세서(200)는 메모리(300)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(200)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
"프로세서(200)"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(200)는 양자화 포인트의 타겟 부분집합을 생성하고, 생성된 타겟 부분 집합에 기초하여 뉴럴 네트워크 연산을 수행할 수 있다.
프로세서(200)는 수신기(100)로부터 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신할 수 있다.
양자화 포인트는 입력값(예: 가중치)을 근사하기 위한 미리 정의된 값들의 유한한 집합을 의미할 수 있다. 양자화 포인트의 수는 정밀도(precision) 또는 비트폭에 의해 제한될 수 있다. 비트폭은 데이터(예: 가중치)를 표현하는데 요구되는 이진 디지트(binary digit)의 길이를 의미할 수 있다.
프로세서(200)는 로그 스케일 양자화(log-scale quantization)에 기초하여 후보 집합을 생성할 수 있다. 프로세서(200)는 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득할 수 있다. 프로세서(200)는 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득할 수 있다. 프로세서(200)는 제1 양자화 포인트 및 제2 양자화 포인트의 합에 기초하여 후보 집합을 생성할 수 있다. 후보 집합을 생성하는 과정은 도 2a 를 참조하여 자세하게 설명한다.
프로세서(200)는 비트폭에 기초하여 후보 집합으로부터 양자화 포인트의 부분집합을 추출할 수 있다. 프로세서(200)는 비트폭에 기초하여 부분집합의 원소의 개수를 결정할 수 있다. 프로세서(200)는 후보 집합으로부터 결정된 원소의 개수에 대응하는 부분집합을 추출할 수 있다.
프로세서(200)는 가중치 및 추출한 부분집합에 기초하여 양자화 손실을 계산할 수 있다. 프로세서(200)는 가중치와 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 양자화 손실을 계산할 수 있다. 프로세서(200)는 가중치와 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 양자화 손실로 계산할 수 있다.
프로세서(200)는 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성할 수 있다. 프로세서(200)는 양자화 손실이 최소가 되는 부분집합을 타겟 부분집합으로 결정할 수 있다.
뉴럴 네트워크 연산 장치(10)는 디코더, 시프터 및 누산기를 이용하여 뉴럴 네트워크 연산을 수행할 수 있다.
디코더는 가중치에 기초하여 타겟 부분집합으로부터 타겟 양자화 포인트를 선택할 수 있다. 디코더는 가중치를 셀렉터로 이용하여 타겟 양자화 포인트를 멀티플렉싱하는 멀티플렉서를 포함할 수 있다.
시프터는 타겟 양자화 포인트에 기초하여 곱셈을 수행할 수 있다. 시프터는 타겟 양자화 포인트에 포함된 제1 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제1 시프터 및 타겟 양자화 포인트에 포함된 제2 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제2 시프터를 포함할 수 있다.
타겟 양자화 포인트는 복수의 MAC(Multiply-Accumulate) 연산기 사이에서 공유될 수 있다.
누산기는 시프터의 출력을 누적할 수 있다. 누산기는 누적된 출력을 메모리(300)에 저장할 수 있다.
메모리(300)는 뉴럴 네트워크 연산을 위한 데이터를 저장할 수 있다. 뉴럴 네트워크의 가중치 및 가중치를 양자화하기 위하여 양자화 포인트의 후보 집합으로부터 추출된 양자화 포인트의 타겟 부분집합을 저장할 수 있다.
메모리(300)는 프로세서(200)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(300)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
연산기는 뉴럴 네트워크 연산을 수행할 수 있다. 연산기는 가속기를 포함할 수 있다. 가속기는 뉴럴 네트워크 어플리케이션을 가속하기 위해 설계된 특수한 하드웨어 또는 컴퓨터 시스템을 의미할 수 있다. 예를 들어, 디코더, 시프터 및 누산기는 연산기 내에 구현될 수 있다.
연산기는 가속기를 포함할 수 있다. 가속기는 GPU(Graphics Processing Unit), NPU(Neural Processing Unit), FPGA(Field Programmable Gate Array), ASIC(Application Specific Integrated Circuit) 또는 AP(Application Processor)를 포함할 수 있다. 또한, 가속기는 가상 머신(Virtual Machine)와 같이 소프트웨어 컴퓨팅 환경으로 구현될 수도 있다. 예를 들어, 연산기는 적어도 하나의 MAC(Multiply Accumulator) 연산기를 포함할 수 있다. 실시예에 따라 연산기는 뉴럴 네트워크 연산 장치(10)에 포함되지 않고, 외부에 위치할 수도 있다.
도 2a는 뉴럴 네트워크 연산 장치가 양자화 포인트의 타겟 부분집합을 생성하는 과정을 나타내고, 도 2b는 도 2a의 과정을 구현한 의사 코드(pseudo code)의 예를 나타내고, 도 3은 양자화 포인트 집합의 예를 나타낸다.
도 2a 내지 도 2b를 참조하면, 수신기(100)는 수신 인터페이스를 포함할 수 있다. 수신기(100)는 뉴럴 네트워크의 가중치(210), 양자화 포인트의 후보 집합(220) 및 가중치를 표현하기 위한 비트폭(230)을 수신할 수 있다. 뉴럴 네트워크의 가중치(210)는 미리 학습된 가중치 행렬을 포함할 수 있다.
프로세서(200)는 양자화기(quantizer)를 이용하여 양자화 포인트의 후보 집합을 생성할 수 있다.
시뮬레이션된 양자화기 Q는 실수를 정의역과 공역으로 갖고, 양자화와 역양자화(dequantizer)를 이어서 수행함으로써 양자화의 효과를 시뮬레이션하는 함수를 의미할 수 있다. 시뮬레이션된 양자화기 Q의 동작은 수학식 1 과 같이 나타낼 수 있다.
프로세서(200)는 시뮬레이션된 양자화 함수의 범위가 되도록 양자화 포인트의 집합(Quantization Point Set(QPS))을 정의할 수 있다. 모든 양자화 방식은 입력을 양자화 포인트의 집합에서 가장 가까운 원소로 매핑하는 동작으로 해석될 수 있다. 많은 양자화 방식들 간의 차이는 QPS를 정의하는 방식일 수 있다. 도 3의 예시는 QPS의 예를 나타낼 수 있다.
프로세서(200)는 통합된 양자화기(unified quantizaer)를 수학식 2와 같이 정의할 수 있다.
선형 및 로그 스케일(log-scale) 양자화 방식에 대한 QPS는 수학식 3 및 수학식 4와 같이 정의 될 수 있다.
여기서, s는 스케일링 파라미터(scaling parameter)이고, 2N은 양자화 포인트의 수를 의미할 수 있다. 또한, k 비트 양자화에 대하여 N=2k-1일 수 있다. 이 때, 입력은 0을 중심으로 대칭일 수 있다.
프로세서(200)는 로그 스케일 양자화(log-scale quantization)에 기초하여 후보 집합(220)을 생성할 수 있다. 프로세서(200)는 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득할 수 있다. 프로세서(200)는 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득할 수 있다. 프로세서(200)는 제1 양자화 포인트 및 제2 양자화 포인트의 합에 기초하여 후보 집합을 생성할 수 있다.
즉, 프로세서(200)는 로그 스케일 양자화의 정확도를 향상시키기 위해서 2 단어(예: 제1 양자화 포인트 및 제2 양자화 포인트)를 사용한 양자화를 수행할 수 있다. 프로세서(200)는 수학식 5와 같은 QPS를 이용하여 2 단어 양자화를 수행할 수 있다.
프로세서(200)는 부분집합 양자화(subset quantization)을 수행할 수 있다. 프로세서(200)는 고정된 집합을 정의하는 것이 아니라 카디널리티(cardinality)가 2N인 더 큰 집합의 임의의 부분집합(arbitrary subset of a larger set)을 SQ로 정의할 수 있다. 여기서, 더 큰 집합은 후보 집합(candidate set) SC로 지칭될 수 있고, 후보 집합에 기초한 QPS는 수학식 6과 같이 나타낼 수 있다.
여기서, 부분집합 양자화에서의 비트 정밀도(bit-precision)는 QPS의 카디널리티만을 제한하고, 후보 집합의 카디널리티는 제한하지 않을 수 있다. 수학식 6은 프로세서(200)가 이용하는 양자화기의 QPS를 유일하게 정의하는 것이 아니고, SC의 임의의 부분집합이 QPS가 될 수 있다. 따라서, 프로세서(200)는 각 레이어(layer) 또는 채널(channel)에 적합하게 QPS를 조정할 수 있다.
프로세서(200)는 비트폭에 기초하여 후보 집합으로부터 양자화 포인트의 부분집합을 추출할 수 있다. 프로세서(200)는 비트폭에 기초하여 부분집합의 원소의 개수를 결정할 수 있다. 프로세서(200)는 후보 집합으로부터 결정된 원소의 개수에 대응하는 부분집합을 추출할 수 있다.
프로세서(200)는 분석 양자화(analytic quantization)을 이용하여 양자화를 수행할 수 있다. 후보 집합에 대하여 프로세서(200)는 2 개 단어(two word) 로그 스케일 양자화 방식을 이용함으로써 하드웨어 비용을 절감하고 표현력을 증가시킬 수 있다. 2 개 단어 로그 스케일 양자화 방식에서 를 만족할 수 있다.
프로세서(200)는 양자화 파라미터를 결정하기 위해서 2 개의 단계를 수행할 수 있다. 프로세서(200)는 고정된 파라미터(예: α)에 의해 후보 집합을 결정한 이후에도, 후보 집합을 선택하여 양자화 포인트 집합을 생성할 수 있다.
다시 말해, 프로세서(200)는 파라미터를 결정한 이후에 결정된 파라미터에 기초하여 부분집합을 선택할 수 있다. 선택된 양자화 포인트들이 변화하는 범위를 조절하기 위해 스케일 파라미터가 사용될 수 있다.
분석 양자화에 있어서, 선형 양자화 및 로그 스케일 양자화에 따른 QPS는 다음과 같이 나타낼 수 있다.
부분집합 양자화에 있어서, 프로세서(200)는 아래의 순서를 이용하여 스케일링 파라미터 α를 획득할 수 있다.
여기서, choose 연산은 미분이 불가능할 수 있다. 프로세서(200)는 choose 연산자를 검색 연산으로 이용하여, 분석 양자화를 이용하여 스케일링 파라미터를 결정할 수 있다.
SC가 아무런 파라미터를 가지지 않을 경우, 프로세서(200)는 스케일링 파라미터 α를 임의의 부분집합 S 또는 SC에 곱함으로써 가장 큰 양자화 포인트를 1(또는, 다른 임의의 값)으로 스케일링 할 수 있다.
상술한 스케일링 동작을 일반화하기 위해서, 프로세서(200)는 스케일링된 버전인 α·S를 갖는 주어진 양자화 포인트의 집합 S 및 에 대하여 최적의 스케일링 파라미터 α를 결정하기 위해 함수 f를 정의할 수 있다.
프로세서(200)는 양자화 손실을 계산하기 위한 손실 함수를 이용하거나 가중치와 QPS 사이의 양자화 오차의 기대값을 이용함으로써 도 2의 알고리즘에서 최적의 QPS를 획득할 수 있다. 최적의 QPS는 양자화 오차가 최소가 되는 QPS를 의미할 수 있다.
QPS 탐색의 목적은 각각의 레이어에 대한 양자화 손실을 최소화하는 것일 수 있다. 프로세서(200)는 양자화 손실을 양자화 가중치의 L2(예: L2-norm) 또는 L4(예: L4-norm) 오차를 이용하여 계산할 수 있다.
도 2b의 알고리즘은 학습이나 추론 과정을 포함하지 않기 때문에 의 복잡도를 가질 수 있어 매우 빠르게 동작할 수 있다.
프로세서(200)는 비트폭이 k인 경우에 후보 집합으로부터 2k 개 만큼의 원소의 개수를 갖는 부분집합을 추출할 수 있다. 다시 말해, 프로세서(200)는 2개의 로그 단어(logarithmic word)의 합으로 표현될 수 있는 모든 값들 중에 2k 개를 뽑아 양자화 포인트의 부분집합을 생성할 수 있다. 도 2a의 예시에서, 모든 가능한 집합들(240)은 추출된 부분집합의 모든 경우의 수를 의미할 수 있다.
프로세서(200)는 가중치 및 추출한 부분집합에 기초하여 양자화 손실(250)을 계산할 수 있다. 프로세서(200)는 가중치와 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 양자화 손실(250)을 계산할 수 있다. 프로세서(200)는 가중치와 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 양자화 손실(250)로 계산할 수 있다.
프로세서(200)는 추출한 모든 부분집합에 대하여 양자화 손실을 계산할 수 있다. 예를 들어, L4 오차를 이용할 경우, 프로세서(200)는 가중치의 참값과, 가장 가까운 양자화된 가중치의 차이를 네제곱 한 것들의 합을 이용하여 양자화 손실을 계산할 수 있다.
프로세서(200)는 모든 부분집합에 대하여 양자화 손실을 계산한 뒤에, 양자화 손실이 가장 작은 부분집합을 타겟 부분집합으로 결정할 수 있다. 양자화 손실을 계산하기 위한 손실 함수는 뉴럴 네트워크에 따라 다르게 정의될 수 있다.
도 2b의 예시에서, 프로세서(200)는 계산한 양자화 손실 lcurr(또는, lnew)를 lmin(또는, lprev)과 비교할 수 있다(260). 프로세서(200)는 lcurr이 작을 경우 lmin에 lcurr를 대입할 수 있다(270).
프로세서(200)는 인덱스 i가 마지막인지 여부를 판단할 수 있다(280). i가 마지막인 경우, 프로세서(200)는 알고리즘을 종료할 수 있다. 마지막이 아닌 경우, 프로세서(200)는 i에 1을 추가할 수 있다(290). 프로세서(200)는 250 부터 290의 과정을 반복적으로 수행할 수 있다.
프로세서(200)는 도 2a 및 도 2b와 같은 알고리즘을 수행함으로써 양자화 손실이 최소가 되는 부분집합을 탐색할 수 있다.
도 4는 타겟 부분집합을 이용하여 뉴럴 네트워크 연산을 수행하는 과정을 나타내고, 도 5는 도 4에 도시된 디코더의 동작을 나타낸다.
도 4 및 도 5를 참조하면, 뉴럴 네트워크 연산 장치(예: 도 1의 뉴럴 네트워크 연산 장치(10))는 디코더(410), 시프터(430 또는 450) 및 누산기(470)를 포함할 수 있다.
뉴럴 네트워크 연산 장치(10)는 디코더(410), 시프터(430 또는 450) 및 누산기(470)를 이용하여 뉴럴 네트워크 연산을 수행할 수 있다.
프로세서(예: 도 1의 프로세서(200))는 위에서 설명한 방식으로 어플리케이션 또는 뉴럴 네트워크의 레이어에 양자화 손실(loss) 을 최소화 할 수 있는 타겟 부분집합을 생성할 수 있다.
프로세서(200)는 가중치(예: 미리 학습된 가중치) 값들을 가장 가까운 양자화 포인트로 인코딩(encoding)할 수 있다. 양자화 포인트의 후보는 로그 단어 2개의 합으로 표현할 수 있는 모든 수를 포함할 수 있다. 프로세서(200)는 모든 수 중에서 에 2^(비트폭) 개수만큼 추출함으로써 양자화 포인트의 부분집합을 생성할 수 있다.
프로세서(200)는 다양한 손실함수를 정의할 수 있다. 예를 들어, 프로세서(200)는 L4 손실을 이용하여 양자화 손실을 정의할 수 있다.
뉴럴 네트워크 연산 장치(10)는 메모리(300)에 저장된 뉴럴 네트워크의 가중치 및 가중치를 양자화하기 위하여 양자화 포인트의 후보 집합으로부터 추출된 양자화 포인트의 타겟 부분집합을 이용하여 뉴럴 네트워크 연산을 수행할 수 있다.
디코더(410)는 가중치에 기초하여 타겟 부분집합으로부터 타겟 양자화 포인트를 선택할 수 있다. 디코더(410)는 가중치를 셀렉터로 이용하여 타겟 양자화 포인트를 멀티플렉싱하는 멀티플렉서(530)를 포함할 수 있다.
시프터(430 또는 450) 는 타겟 양자화 포인트에 기초하여 곱셈을 수행할 수 있다. 시프터(430 또는 450) 는 타겟 양자화 포인트에 포함된 제1 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제1 시프터(430) 및 타겟 양자화 포인트에 포함된 제2 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제2 시프터(450)를 포함할 수 있다.
타겟 양자화 포인트는 복수의 MAC(Multiply-Accumulate) 연산기 사이에서 공유될 수 있다.
누산기(470)는 시프터의 출력을 누적할 수 있다. 누산기는 누적된 출력을 메모리(300)에 저장할 수 있다.
뉴럴 네트워크 연산 장치(10)는 도 4의 예시와 같이, 가중치(W)와 고정 소수점 수(X) 간의 연산을 수행할 수 있다. X는 선형적인 값을 가질 수 있다. 가중치는 상술한 타겟 양자화 부분집합에 기초하여 양자화될 수 있다. 산술 유닛(arithmetic unit)은 후보 집합에 의해 결정될 수 있다.
예를 들어, 2 단어 로그 스케일 양자화 방식을 이용할 경우에, 두 개의 시프터(430 및 450)의 출력단에 하나의 덧셈기(adder)가 결합될 수 있다.
도 5의 예시와 같이 2 개의 비트폭을 이용할 경우, 양자화 포인트의 타겟 부분집합은 4 종류의 선택된 양자화 포인트들(511, 513, 515, 517)을 가질 수 있다. 도 5의 예시에서 선택된 양자화 포인트들(511, 513, 515, 517) 각각은 2 개의 양자화된 가중치를 포함할 수 있다. 양자화 포인트들의 개수와 양자화 포인트가 포함하는 양자화된 가중치는 비트폭에 따라 상이할 수 있다.
도 5의 예시는 3 비트 부분집합 양자화의 경우를 나타낼 수 있다. 3 비트는 부호 비트를 포함하므로, 4 개의 선택된 양자화 포인트들(511, 513, 515, 517)을 포함할 수 있다.
이에 따라, 멀티플렉서(530)는 4 개의 입력을 가질 수 있다. 멀티플렉서에서 출력되는 가중치는 각각 2 비트를 가질 수 있다.
프로세서(200)가 위에서 설명한 방식대로 생성한 타겟 양자화 포인트(511, 513, 515 및 517)는 복수의 MAC(Multiply-Accumulate) 연산기 사이에서 공유될 수 있다. 타겟 양자화 포인트는 어플리케이션 또는 뉴럴 네트워크의 레이어 마다 개별적으로 최적화 될 수 있다. 즉, 어플리케이션 또는 뉴럴 네트워크의 레이어들은 서로 다른 최적화된 양자화 포인트의 타겟 부분집합을 가질 수 있다.
각각의 MAC은 디코더(410)를 통해 적은 비트폭으로 표현된 가중치를 두 개의 로그 단어로 디코딩하여 곱셈(또는 시프트) 및 누산을 수행할 수 있다. 양자화된 상태에서의 연산은 상대적으로 높은 정밀도를 요구하는 고정소수점 곱셈기에 비해 적은 비용이 소모될 수 있다.
디코더(410)는 미리 저장된 양자화 포인트의 타겟 부분집합을 공유된 메모리(예: 레지스터)에 저장해 두었다가 가중치를 셀렉터(selector)로 하여 멀티플렉싱 하는 방식으로 동작할 수 있다.
상술한 연산 방식을 이용하여 뉴럴 네트워크 연산 장치(10)는 균일(uniform) 양자화 또는 정형화된 비균일(non-uniform) 양자화에 비해 모델 크기를 획기적으로 줄일 수 있으며 (~3-bit) 연산기도 고정 소수점 곱셈기에 비해 가볍게 연산하도록 만들 수 있다.
도 6은 도 1에 도시된 뉴럴 네트워크 연산 장치를 이용한 가속기의 예를 나타내고, 도 7은 도 1에 도시된 뉴럴 네트워크 연산 장치를 이용한 스마트폰의 예를 나타낸다.
도 6 및 도 7을 참조하면, 뉴럴 네트워크 연산 장치(10)는 가속기(630) 또는 임의의 전자 장치(예: 스마트폰(700)) 내에 포함될 수 있다. 뉴럴 네트워크 연산 장치(10)는 다양한 가속기 구조에서의 연산기를 대체할 수 있다.
도 6의 예시적인 가속기(630)는 오프칩 DRAM(610)과 데이터를 주고 받을 수 있다. 뉴럴 네트워크 연산 장치(10)는 도 6의 예시와 같이 컨볼루션 뉴럴 네트워크 가속기(630)의 PE(Processing Element)(650)를 대체할 수 있다. 즉, 하나의 PE(650)는 디코더(651), 시프터(653), 시프터(655) 및 누산기(657)를 포함할 수 있다. 디코더(651), 시프터(653), 시프터(655) 및 누산기(657)의 동작은 위에서 설명한 것과 동일하다.
뉴럴 네트워크 연산 장치(10)는 본래의 고정소수점 16-bit 곱셈기보다 비용이 적을 뿐만 아니라, 뉴럴 네트워크 모델의 크기와 가중치 값 하나의 비트폭이 3 내지 4 비트 수준으로 매우 작기 때문에 대부분의 면적과 에너지를 소비하는 버퍼 메모리 크기 또한 줄일 수 있다.
뉴럴 네트워크 연산 장치(10)는 스마트폰(700)에 내장될 수 있다. 도 7의 예시에서, 스마트폰(700)은 카메라(710), 호스트 프로세서(730) 및 뉴럴 네트워크 연산 장치(10)를 포함할 수 있다. 뉴럴 네트워크 연산 장치(10)는 메모리(300) 및 연산기(750)를 포함할 수 있다. 연산기(750)는 디코더(651), 시프터(653), 시프터(655) 및 누산기(657)를 포함할 수 있다.
스마트폰(700)은 에너지 제약이 있기 때문에 많은 양의 고정밀도 연산을 감당하기 어려울 수 있지만, 뉴럴 네트워크 연산 장치(10)는 연산 비용 및 메모리 접근량을 획기적으로 감소시킴으로써 스마트폰(700)과 같은 모바일 기기에서 유용하게 적용될 수 있다.
뉴럴 네트워크 연산 장치(10)는 행렬 곱셈기로 동작할 수 있고, 16 비트 정밀도 대비 약 4배이상 크기가 줄어든 모델이 상대적으로 용량이 작은 모바일 메모리(300)에 저장될 수 있다.
도 8은 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 순서를 나타낸다.
도 8을 참조하면, 수신기(예: 도 1의 수신기(100))는 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신할 수 있다(810).
프로세서(예: 도 1의 프로세서(200))는 로그 스케일 양자화(log-scale quantization)에 기초하여 후보 집합을 생성할 수 있다. 프로세서(200)는 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득할 수 있다. 프로세서(200)는 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득할 수 있다. 프로세서(200)는 제1 양자화 포인트 및 제2 양자화 포인트의 합에 기초하여 후보 집합을 생성할 수 있다.
프로세서(200)는 비트폭에 기초하여 후보 집합으로부터 양자화 포인트의 부분집합을 추출할 수 있다(830). 프로세서(200)는 비트폭에 기초하여 부분집합의 원소의 개수를 결정할 수 있다. 프로세서(200)는 후보 집합으로부터 결정된 원소의 개수에 대응하는 부분집합을 추출할 수 있다.
프로세서(200)는 가중치 및 추출한 부분집합에 기초하여 양자화 손실을 계산할 수 있다(850). 프로세서(200)는 가중치와 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 양자화 손실을 계산할 수 있다. 프로세서(200)는 가중치와 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 양자화 손실로 계산할 수 있다.
프로세서(200)는 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성할 수 있다(870). 프로세서(200)는 양자화 손실이 최소가 되는 부분집합을 타겟 부분집합으로 결정할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (20)
- 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신하는 단계;
상기 비트폭에 기초하여 상기 후보 집합으로부터 양자화 포인트의 부분집합을 추출하는 단계;
상기 가중치 및 상기 부분집합에 기초하여 양자화 손실을 계산하는 단계; 및
상기 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성하는 단계
를 포함하는, 뉴럴 네트워크 연산 방법.
- 제1항에 있어서,
로그 스케일 양자화(log-scale quantization)에 기초하여 상기 후보 집합을 생성하는 단계
를 더 포함하는 뉴럴 네트워크 연산 방법.
- 제2항에 있어서,
상기 후보 집합을 생성하는 단계는,
상기 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득하는 단계;
상기 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득하는 단계; 및
상기 제1 양자화 포인트 및 상기 제2 양자화 포인트의 합에 기초하여 상기 후보 집합을 생성하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
- 제1항에 있어서,
상기 부분집합을 추출하는 단계는,
상기 비트폭에 기초하여 상기 부분집합의 원소의 개수를 결정하는 단계; 및
상기 후보 집합으로부터 상기 원소의 개수에 대응하는 부분집합을 추출하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
- 제1항에 있어서,
상기 양자화 손실을 계산하는 단계는,
상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
- 제5항에 있어서,
상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는 단계는,
상기 가중치와 상기 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 상기 양자화 손실로 계산하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
- 제1항에 있어서,
상기 타겟 부분집합을 생성하는 단계는,
상기 양자화 손실이 최소가 되는 부분집합을 상기 타겟 부분집합으로 결정하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
- 하드웨어와 결합되어 제1항 내지 제7항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
- 뉴럴 네트워크의 가중치 및 상기 가중치를 양자화하기 위하여 양자화 포인트의 후보 집합으로부터 추출된 양자화 포인트의 타겟 부분집합을 저장하는 메모리;
상기 가중치에 기초하여 상기 타겟 부분집합으로부터 타겟 양자화 포인트를 선택하는 디코더(decoder);
상기 타겟 양자화 포인트에 기초하여 곱셈을 수행하는 시프터(shifter); 및
상기 시프터의 출력을 누적하는 누산기(accumulator)
를 포함하는 뉴럴 네트워크 연산 장치.
- 제9항에 있어서,
상기 타겟 부분집합은 상기 가중치 및 상기 후보 집합으로부터 추출된 양자화 포인트의 부분집합에 대한 양자화 손실에 기초하여 생성되는
뉴럴 네트워크 연산 장치.
- 제9항에 있어서,
상기 시프터는
상기 타겟 양자화 포인트에 포함된 제1 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제1 시프터; 및
상기 타겟 양자화 포인트에 포함된 제2 양자화 포인트에 기초하여 입력 데이터에 대한 곱셈을 수행하는 제2 시프터
를 포함하는 뉴럴 네트워크 연산 장치.
- 제9항에 있어서,
상기 디코더는,
상기 가중치를 셀렉터로 이용하여 상기 타겟 양자화 포인트를 멀티플렉싱하는 멀티플렉서
를 포함하는 뉴럴 네트워크 연산 장치.
- 제9항에 있어서,
상기 타겟 양자화 포인트는,
복수의 MAC(Multiply-Accumulate) 연산기 사이에서 공유되는
뉴럴 네트워크 연산 장치.
- 뉴럴 네트워크의 가중치(weight), 양자화 포인트(quantization point)의 후보 집합(candidate set) 및 상기 가중치를 표현(represent)하기 위한 비트폭(bitwidth)을 수신하는 수신기; 및
상기 비트폭에 기초하여 상기 후보 집합으로부터 양자화 포인트의 부분집합을 추출하고,
상기 가중치 및 상기 부분집합에 기초하여 양자화 손실을 계산하고,
상기 양자화 손실에 기초하여 양자화 포인트의 타겟 부분집합을 생성하는 프로세서
를 포함하는 뉴럴 네트워크 연산 장치.
- 제14항에 있어서,
상기 프로세서는,
로그 스케일 양자화(log-scale quantization)에 기초하여 상기 후보 집합을 생성하는
뉴럴 네트워크 연산 장치.
- 제15항에 있어서,
상기 프로세서는,
상기 로그 스케일 양자화에 기초하여 제1 양자화 포인트를 획득하고,
상기 로그 스케일 양자화에 기초하여 제2 양자화 포인트를 획득하고,
상기 제1 양자화 포인트 및 상기 제2 양자화 포인트의 합에 기초하여 상기 후보 집합을 생성하는
뉴럴 네트워크 연산 장치.
- 제14항에 있어서,
상기 프로세서는,
상기 비트폭에 기초하여 상기 부분집합의 원소의 개수를 결정하고,
상기 후보 집합으로부터 상기 원소의 개수에 대응하는 부분집합을 추출하는
뉴럴 네트워크 연산 장치.
- 제14항에 있어서,
상기 프로세서는,
상기 가중치와 상기 부분집합에 포함된 양자화 포인트에 의해 양자화된 가중치에 기초하여 상기 양자화 손실을 계산하는
뉴럴 네트워크 연산 장치.
- 제18항에 있어서,
상기 프로세서는,
상기 가중치와 상기 양자화된 가중치의 차이에 대한 L2 손실 또는 L4 손실을 상기 양자화 손실로 계산하는
뉴럴 네트워크 연산 장치.
- 제14항에 있어서,
상기 프로세서는,
상기 양자화 손실이 최소가 되는 부분집합을 상기 타겟 부분집합으로 결정하는
뉴럴 네트워크 연산 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/368,470 US20220284262A1 (en) | 2021-03-04 | 2021-07-06 | Neural network operation apparatus and quantization method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210028636 | 2021-03-04 | ||
| KR1020210028636 | 2021-03-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220125112A KR20220125112A (ko) | 2022-09-14 |
| KR102607993B1 true KR102607993B1 (ko) | 2023-12-01 |
Family
ID=83279161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210031354A KR102607993B1 (ko) | 2021-03-04 | 2021-03-10 | 양자화를 이용한 뉴럴 네트워크 연산 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102607993B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102622420B1 (ko) * | 2022-12-28 | 2024-01-08 | 리벨리온 주식회사 | 뉴럴 프로세싱 장치 및 그의 다이나믹 프리퀀시 스케일링 방법 |
| KR20240120352A (ko) * | 2023-01-31 | 2024-08-07 | 삼성전자주식회사 | 곱셈기와 누적기를 이용한 양자화를 수행하는 전자 장치 및 그 제어 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11348009B2 (en) * | 2018-09-24 | 2022-05-31 | Samsung Electronics Co., Ltd. | Non-uniform quantization of pre-trained deep neural network |
| KR20200086581A (ko) * | 2019-01-09 | 2020-07-17 | 삼성전자주식회사 | 뉴럴 네트워크 양자화를 위한 방법 및 장치 |
| KR20200139071A (ko) * | 2019-06-03 | 2020-12-11 | 삼성전자주식회사 | 뉴럴 네트워크에서 파라미터를 양자화하는 방법 및 장치 |
-
2021
- 2021-03-10 KR KR1020210031354A patent/KR102607993B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220125112A (ko) | 2022-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112955907B (zh) | 用于量化训练的长短期记忆神经网络的方法和系统 | |
| CN106951962B (zh) | 用于神经网络的复合运算单元、方法和电子设备 | |
| KR102607993B1 (ko) | 양자화를 이용한 뉴럴 네트워크 연산 방법 및 장치 | |
| JP7536574B2 (ja) | 演算デバイス、計算機システム、及び演算方法 | |
| Boukli Hacene et al. | Budget restricted incremental learning with pre-trained convolutional neural networks and binary associative memories | |
| US20220284262A1 (en) | Neural network operation apparatus and quantization method | |
| KR20230053404A (ko) | 뉴럴 네트워크를 이용한 초분광 이미지 분류 방법 및 장치 | |
| Bacchus et al. | Accuracy, training time and hardware efficiency trade-offs for quantized neural networks on fpgas | |
| CN112598123A (zh) | 神经网络的权值的量化方法、量化装置及存储介质 | |
| US20220172028A1 (en) | Method and apparatus with neural network operation and keyword spotting | |
| Reddy et al. | Quantization aware approximate multiplier and hardware accelerator for edge computing of deep learning applications | |
| US20220245433A1 (en) | Sparse convolutional neural network | |
| US20230153571A1 (en) | Quantization method of neural network and apparatus for performing the same | |
| De Silva et al. | Towards a better 16-bit number representation for training neural networks | |
| KR102479793B1 (ko) | 연합 학습을 이용한 뉴럴 네트워크 학습 방법 및 장치 | |
| KR102547997B1 (ko) | 효율적인 메모리 접근 방식을 이용한 뉴럴 네트워크 연산 가속 방법 및 장치 | |
| US20220284299A1 (en) | Method and apparatus with neural network operation using sparsification | |
| KR102614909B1 (ko) | 희소화를 이용한 뉴럴 네트워크 연산 방법 및 장치 | |
| KR20220056633A (ko) | 기계 독해 방법 및 장치 | |
| US20240143274A1 (en) | Neural network operation apparatus and method | |
| KR102626850B1 (ko) | 뉴럴 네트워크 기반 에너지 하베스팅 방법 및 시스템 | |
| KR20230063519A (ko) | 뉴럴 네트워크 연산 장치 및 방법 | |
| KR102675414B1 (ko) | 뉴럴 네트워크 연산 방법 및 장치 | |
| KR20230138372A (ko) | 뉴럴 네트워크 연산 장치 및 방법 | |
| KR20230068864A (ko) | 뉴럴 네트워크 연산 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |