KR20200086581A - 뉴럴 네트워크 양자화를 위한 방법 및 장치 - Google Patents

뉴럴 네트워크 양자화를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200086581A
KR20200086581A KR1020190002986A KR20190002986A KR20200086581A KR 20200086581 A KR20200086581 A KR 20200086581A KR 1020190002986 A KR1020190002986 A KR 1020190002986A KR 20190002986 A KR20190002986 A KR 20190002986A KR 20200086581 A KR20200086581 A KR 20200086581A
Authority
KR
South Korea
Prior art keywords
layers
neural network
bit precision
quantized
processor
Prior art date
Application number
KR1020190002986A
Other languages
English (en)
Inventor
이원조
이승원
이준행
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190002986A priority Critical patent/KR20200086581A/ko
Priority to CN201910922232.5A priority patent/CN111428852A/zh
Priority to EP19210968.4A priority patent/EP3680826A1/en
Priority to US16/738,338 priority patent/US11625577B2/en
Priority to JP2020002058A priority patent/JP7329455B2/ja
Publication of KR20200086581A publication Critical patent/KR20200086581A/ko
Priority to US18/116,553 priority patent/US11934939B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

뉴럴 네트워크 양자화를 위한 방법 및 장치는, 뉴럴 네트워크의 학습을 반복적으로 수행하고, 뉴럴 네트워크에 포함된 레이어들 각각의 웨이트 통계량을 분석하고, 분석된 통계량에 기초하여 낮은 비트 정밀도로 양자화될 레이어들을 결정하고, 결정된 레이어들을 낮은 비트 정밀도로 양자화함으로써 양자화된 뉴럴 네트워크를 생성한다.

Description

뉴럴 네트워크 양자화를 위한 방법 및 장치 {Method and apparatus for neural network quantization}
뉴럴 네트워크 양자화를 위한 방법 및 장치에 관하고, 구체적으로 뉴럴 네트워크의 일부 선택된 레이어들에 대한 정밀도를 하위-비트(lower-bit)로 조정하는 방법 및 장치에 관한다.
뉴럴 네트워크(neural network)는 생물학적 뇌를 모델링한 컴퓨터 과학적 아키텍쳐(computational architecture)를 참조한다. 최근 뉴럴 네트워크(neural network) 기술이 발전함에 따라, 다양한 종류의 전자 시스템에서 뉴럴 네트워크를 활용하여 입력 데이터를 분석하고 유효한 정보를 추출하는 연구가 활발히 진행되고 있다. 뉴럴 네트워크를 처리하는 장치는 복잡한 입력 데이터에 대한 많은 양의 연산을 필요로 한다. 따라서, 뉴럴 네트워크를 이용하여 대량의 입력 데이터를 실시간으로 분석하여, 원하는 정보를 추출하기 위해서는 뉴럴 네트워크에 관한 연산을 효율적으로 처리할 수 있는 기술이 요구된다.
뉴럴 네트워크 양자화를 위한 방법 및 장치를 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 따르면, 뉴럴 네트워크 양자화를 위한 방법은, 제 1 비트 정밀도의 제 1 뉴럴 네트워크에 대하여, 복수의 사이클들의 순방향(feedforward) 및 역전파(backpropagation) 학습을 반복적으로 수행하는 단계; 상기 제 1 뉴럴 네트워크에 포함된 레이어들 각각에 대하여, 미리 설정된 초기 웨이트 및 각 사이클의 상기 역전파 학습에 의해 결정된 갱신 웨이트 간의 웨이트 차이들(weight differences)을 획득하는 단계; 상기 레이어들 각각에 대한 상기 웨이트 차이들의 통계량을 분석하는 단계; 상기 분석된 통계량에 기초하여, 상기 레이어들 중 상기 제 1 비트 정밀도보다 낮은 제 2 비트 정밀도로 양자화될 하나 이상의 레이어들을 결정하는 단계; 및 상기 레이어들 중 상기 결정된 레이어들을 상기 제 2 비트 정밀도로 양자화함으로써, 양자화된 레이어들을 포함하는 제 2 뉴럴 네트워크를 생성하는 단계를 포함한다.
다른 측면에 따르면, 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 기록매체를 포함할 수 있다.
또 다른 측면에 따르면, 뉴럴 네트워크 양자화를 위한 장치는, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 뉴럴 네트워크 양자화를 수행하는 프로세서를 포함하고, 상기 프로세서는, 제 1 비트 정밀도의 제 1 뉴럴 네트워크에 대하여, 복수의 사이클들의 순방향(feedforward) 및 역전파(backpropagation) 학습을 반복적으로 수행하고, 상기 제 1 뉴럴 네트워크에 포함된 레이어들 각각에 대하여, 미리 설정된 초기 웨이트 및 각 사이클의 상기 역전파 학습에 의해 결정된 갱신 웨이트 간의 웨이트 차이들(weight differences)을 획득하고, 상기 레이어들 각각에 대한 상기 웨이트 차이들의 통계량을 분석하고, 상기 분석된 통계량에 기초하여, 상기 레이어들 중 상기 제 1 비트 정밀도보다 낮은 제 2 비트 정밀도로 양자화될 하나 이상의 레이어들을 결정하고, 상기 레이어들 중 상기 결정된 레이어들을 상기 제 2 비트 정밀도로 양자화함으로써, 양자화된 레이어들을 포함하는 제 2 뉴럴 네트워크를 생성한다.
도 1은 일 실시예에 따른 뉴럴 네트워크의 아키텍처를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 뉴럴 네트워크에서 수행되는 연산을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 뉴럴 네트워크 양자화 장치의 하드웨어 구성을 도시한 블록도이다.
도 4는 일 실시예에 따른 미리 훈련된 뉴럴 네트워크를 양자화하여 하드웨어 가속기에 채용하는 것을 설명하기 위한 도면이다.
도 5는 부동 소수점과 고정 소수점을 설명하기 위한 도면이다.
도 6은 고정 소수점에서 프랙션 길이와 정확도 간의 관계를 설명하기 위한 도면이다.
도 7은 일 실시예에 따라 뉴럴 네트워크를 학습하는 것을 설명하기 위한 도면이다.
도 8a는 일 실시예에 따라 뉴럴 네트워크의 역전파 학습에 의해 갱신된 웨이트들을 설명하기 위한 도면이다.
도 8b는 일 실시예에 따른 레이어 별 웨이트 차이(weight difference)를 설명하기 위한 도면이다.
도 8c는 일 실시예에 따른 레이어들 각각에 대한 웨이트 차이들의 통계량을 분석한 결과를 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 웨이트 차이 통계량에 기초하여 레이어들을 정렬하는 것을 설명하기 위한 도면이다.
도 10은 일 실시예에 따라 정렬된 레이어들 중에서 하위-비트 정밀도로 양자화할 레이어들을 선택하는 것을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라 하위-비트 정밀도로 양자화될 레이어들을 판단하는 방법을 설명하기 위한 흐름도이다.
도 12는 다른 실시예에 따라 하위-비트 정밀도로 양자화될 레이어들을 판단하는 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따라 부동 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로부터 고정 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로 양자화하는 것을 설명하기 위한 도면이다.
도 14는 다른 실시예에 따라 부동 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로부터 고정 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로 양자화하는 것을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 양자화된 뉴럴 네트워크를 설명하기 위한 도면이다.
도 16은 일 실시예에 따라 하위-비트 정밀도로 양자화된 레이어 개수와 정확도 손실 간의 상관관계를 예시적으로 설명하기 위한 그래프이다.
도 17은 일 실시예에 따라 하위-비트 정밀도로 양자화된 레이어를 판단하기 위한 기준으로서 웨이트 차이 통계량을 이용하는 경우와 다른 방식들을 이용하는 경우를 비교하여 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 전자 시스템을 나타내는 블록도이다.
도 19는 일 실시예에 따른 뉴럴 네트워크 양자화를 위한 방법의 흐름도이다.
실시예들에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 상세히 설명한다. 그러나 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 예에 한정되지 않는다.
도 1은 일 실시예에 따른 뉴럴 네트워크의 아키텍처를 설명하기 위한 도면이다.
도 1을 참고하면, 뉴럴 네트워크(1)는 딥 뉴럴 네트워크(Deep Neural Network, DNN) 또는 n-계층 뉴럴 네트워크(n-layers neural networks)의 아키텍처일 수 있다. DNN 또는 n-계층 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(Convolutional Neural Networks, CNN), 리커런트 뉴럴 네트워크(Recurrent Neural Networks, RNN), Deep Belief Networks, Restricted Boltzman Machines 등에 해당될 수 있다. 예를 들어, 뉴럴 네트워크(1)는 컨볼루션 뉴럴 네트워크(CNN)로 구현될 수 있으나, 이에 제한되지 않는다. 도 1에서는 컨볼루션 뉴럴 네트워크 중 일부의 레이어들이 도시되었지만, 컨볼루션 뉴럴 네트워크는, 컨볼루션 레이어, 풀링 레이어(pooling layer), 풀리 커넥티드(fully connected) 레이어 등을 포함할 수 있다.
컨볼루션 레이어에서, 제 1 피처 맵(feature map 1, FM1)은 입력 피처 맵에 해당될 수 있고, 제 2 피처 맵(FM2)는 출력 피처 맵에 해당될 수 있다. 피처 맵은 입력 데이터의 다양한 특징이 표현된 데이터 세트를 의미할 수 있다. 피처 맵들(FM1, FM2)은 2차원 매트릭스 또는 3차원 매트릭스일 수 있고, 각각의 액티베이션(activation) 파라미터들을 갖는다. 피처 맵들(FM1, FM2)은 너비(W)(또는 칼럼이라고 함), 높이(H)(또는 로우라고 함) 및 깊이(D)를 가진다. 이때, 깊이(D)는 채널들의 개수로 지칭될 수 있다.
컨볼루션 레이어에서, 제 1 피처 맵(FM1) 및 웨이트 맵(WM)에 대한 컨볼루션 연산이 수행될 수 있고, 그 결과 제 2 피처 맵(FM2)이 생성될 수 있다. 웨이트 맵(WM)은 제 1 피처 맵(FM1)을 필터링할 수 있으며, 필터 또는 커널(kernel)로 지칭된다. 웨이트 맵(WM)의 깊이, 즉 채널 개수는 제 1 피처 맵(FM1)의 깊이, 즉 채널 개수와 동일하다. 웨이트 맵(WM)은 제1 피처 맵(FM1)을 슬라이딩 윈도로 하여 횡단하는 방식으로 시프트된다. 각 시프트 동안, 웨이트 맵(WM)에 포함되는 웨이트들 각각이 제 1 피처 맵(FM1)과 중첩된 영역에서의 모든 피처 값과 곱해지고 더해질 수 있다. 제 1 피처 맵(FM1)과 웨이트 맵(WM)이 컨볼루션됨에 따라, 제 2 피처 맵(FM2)의 하나의 채널이 생성될 수 있다. 도 1에는 하나의 웨이트 맵(WM)이 표시되었으나, 실질적으로는 복수의 웨이트 맵들이 제 1 피처 맵(FM1)과 컨볼루션 되어, 제 2 피처 맵(FM2)의 복수의 채널들이 생성될 수 있다.
한편, 컨벌루션 레이어의 제 2 피처 맵(FM2)은 다음 레이어의 입력 피처 맵이 될 수 있다. 예를 들어, 제 2 피처 맵(FM2)는 풀링(pooling) 레이어의 입력 피처 맵이 될 수 있다.
도 2는 일 실시예에 따른 뉴럴 네트워크에서 수행되는 연산을 설명하기 위한 도면이다.
도 2를 참조하면, 뉴럴 네트워크(2)는 입력 레이어, 하나 이상의 히든 레이어들 및 출력 레이어를 포함하는 구조를 가지며, 수신되는 입력 데이터(예를 들어, I1 및 I2)를 기초로 연산을 수행하고, 수행 결과를 기초로 출력 데이터(예를 들어, O1 및 O2)를 생성할 수 있다.
뉴럴 네트워크(2)는 앞서 설명된 바와 같이, 2개 이상의 히든 레이어들을 포함하는 DNN 또는 n-계층 뉴럴 네트워크일 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 뉴럴 네트워크(2)는 입력 레이어(Layer 1), 2개의 히든 레이어들(Layer 2 및 Layer 3) 및 출력 레이어(Layer 4)를 포함하는 DNN일 수 있다. 뉴럴 네트워크(2)가 DNN 아키텍처로 구현된 경우 유효한 정보를 처리할 수 있는 보다 많은 레이어들을 포함할 수 있으므로, 뉴럴 네트워크(2)는 싱글 레이어를 갖는 뉴럴 네트워크보다 복잡한 데이터 집합들을 처리할 수 있다. 한편, 뉴럴 네트워크(2)는 4개의 레이어들을 포함하는 것으로 도시되어 있으나, 이는 예시에 불과할 뿐 뉴럴 네트워크(2)는 더 적거나 많은 레이어들을 포함하거나, 더 적거나 많은 채널들을 포함할 수 있다. 즉, 뉴럴 네트워크(2)는 도 2에 도시된 것과는 다른, 다양한 구조의 레이어들을 포함할 수 있다.
뉴럴 네트워크(2)에 포함된 레이어들 각각은 복수의 채널들을 포함할 수 있다. 채널은 뉴런(neuron), 프로세싱 엘리먼트(Processing element, PE), 유닛(unit) 또는 이와 유사한 용어들로 알려진, 복수의 인공 노드(artificial node)들에 해당될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, Layer 1은 2개의 채널들(노드들), Layer 2 및 Layer 3 각각은 3개의 채널들을 포함할 수 있다. 다만, 이는 예시에 불과할 뿐 뉴럴 네트워크(2)에 포함된 레이어들 각각은 다양한 개수의 채널들(노드들)을 포함할 수 있다.
뉴럴 네트워크(2)의 레이어들 각각에 포함된 채널들은 서로 연결되어 데이터를 처리할 수 있다. 예를 들어, 하나의 채널은 다른 채널들로부터 데이터를 수신하여 연산할 수 있고, 연산 결과를 또 다른 채널들로 출력할 수 있다.
채널들 각각의 입력 및 출력 각각은 입력 액티베이션 및 출력 액티베이션이라고 지칭될 수 있다. 즉, 액티베이션은 한 채널의 출력임과 동시에, 다음 레이어에 포함된 채널들의 입력에 해당되는 파라미터일 수 있다. 한편, 채널들 각각은 이전 레이어에 포함된 채널들로부터 수신된 액티베이션들 및 웨이트들에 기초하여 자신의 액티베이션을 결정할 수 있다. 웨이트는 각 채널에서의 출력 액티베이션을 계산하기 위해 이용되는 파라미터로서, 채널들 간의 연결관계에 할당되는 값일 수 있다.
채널들 각각은 입력을 수신하여 출력 액티베이션을 출력하는 연산 유닛(computational unit) 또는 프로세싱 엘리먼트(processing element)에 의해 처리될 수 있고, 채널들 각각의 입력-출력은 매핑될 수 있다. 예를 들어, σ는 액티베이션 함수(activation function)이고,
Figure pat00001
는 (i-1) 번째 레이어에 포함된 k 번째 채널로부터 i 번째 레이어에 포함된 j번째 채널로의 웨이트며,
Figure pat00002
는 i 번째 레이어에 포함된 j 번째 채널의 바이어스(bias)이고,
Figure pat00003
는 i 번째 레이어의 j 번째 채널의 액티베이션이라고 할 때, 액티베이션
Figure pat00004
는 다음과 같은 수학식 1을 이용하여 계산될 수 있다.
Figure pat00005
도 2에 도시된 바와 같이, 2번째 레이어(Layer 2)의 첫 번째 채널(CH 1)의 액티베이션은
Figure pat00006
로 표현될 수 있다. 또한,
Figure pat00007
은 수학식 1에 따라
Figure pat00008
의 값을 가질 수 있다. 다만, 앞서 설명한 수학식 1은 뉴럴 네트워크(2)에서 데이터를 처리하기 위해 이용되는 액티베이션 및 웨이트를 설명하기 위한 예시일 뿐, 이에 제한되지 않는다. 액티베이션은 이전 레이어로부터 수신된 액티베이션들의 합(sum)에 액티베이션 함수를 적용한 값을 Rectified Linear Unit (ReLU)을 통과시킴으로써 획득된 값일 수 있다.
앞서 설명한 것과 같이, 뉴럴 네트워크(2)에서는 수많은 데이터 집합들이 상호 연결된 복수의 채널들 간에 교환되고, 레이어를 지나면서 수많은 연산 과정을 거친다. 따라서, 복잡한 입력 데이터를 처리하는데 필요한 연산량을 감소시키면서도 정확도 손실을 최소화할 수 있는 기술이 요구된다.
도 3은 일 실시예에 따른 뉴럴 네트워크 양자화 장치의 하드웨어 구성을 도시한 블록도이다.
도 3을 참고하면, 뉴럴 네트워크 양자화 장치(10)는 프로세서(110) 및 메모리(120)를 포함한다. 도 3에 도시된 뉴럴 네트워크 양자화 장치(10)에는 본 실시예들와 관련된 구성요소들만이 도시되어 있다. 따라서, 뉴럴 네트워크 양자화 장치(10)에는 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.
뉴럴 네트워크 양자화 장치(10)는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 학습(learn)(또는 훈련(train))하거나, 부동 소수점(floating point) 타입의 뉴럴 네트워크를 고정 소수점(fixed point) 타입의 뉴럴 네트워크로 양자화하거나, 또는 뉴럴 네트워크를 재훈련(retrain)하는 기능들과 같은 다양한 프로세싱 기능들을 갖는 컴퓨팅 디바이스에 해당된다. 예를 들어, 뉴럴 네트워크 양자화 장치(10)는 PC(personal computer), 서버 디바이스, 모바일 디바이스 등이나, 뉴럴 네트워크를 이용한 음성 인식, 영상 인식 등을 수행하는 자율주행 자동차, 로보틱스, 스마트폰, 태블릿 디바이스, AR(Augmented Reality) 디바이스, IoT(Internet of Things) 디바이스 등에 구비된 장치일 수 있으나, 이에 제한되지 않고 다양한 종류의 디바이스들에 구비될 수 있다.
프로세서(110)는 뉴럴 네트워크 양자화 장치(10)를 제어하기 위한 전반적인 기능을 수행하는 역할을 한다. 예를 들어, 프로세서(110)는 뉴럴 네트워크 양자화 장치(10) 내의 메모리(120)에 저장된 프로그램들을 실행함으로써, 뉴럴 네트워크 양자화 장치(10)를 전반적으로 제어한다. 프로세서(110)는 뉴럴 네트워크 양자화 장치(10) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
메모리(120)는 뉴럴 네트워크 양자화 장치(10) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(120)는 뉴럴 네트워크 양자화 장치(10)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(120)는 뉴럴 네트워크 양자화 장치(10)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(120)는 DRAM일 수 있으나, 이에 한정되는 것은 아니다. 메모리(120)는 휘발성 메모리(volatile memory) 또는 불휘발성 메모리(nonvolatile memory) 중 적어도 하나를 포함할 수 있다. 불휘발성 메모리는 ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FRAM (Ferroelectric RAM) 등을 포함한다. 휘발성 메모리는 DRAM (Dynamic RAM), SRAM (Static RAM), SDRAM (Synchronous DRAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FeRAM (Ferroelectric RAM) 등을 포함한다. 실시예에 있어서, 메모리(120)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 중 적어도 하나를 포함할 수 있다.
프로세서(110)는 주어진 초기 뉴럴 네트워크를 반복적으로 학습(훈련)시킴으로써, 학습된 뉴럴 네트워크를 생성할 수 있다. 이때, 초기 뉴럴 네트워크는 뉴럴 네트워크의 처리 정확도 확보 차원에서 부동 소수점 타입의 파라미터들, 예를 들어 32비트 부동 소수점 정밀도(32bit floating point precision)의 파라미터들을 가질 수 있다. 여기서, 파라미터들은 예를 들어 뉴럴 네트워크의 입/출력 액티베이션들, 웨이트들, 바이어스들 등 뉴럴 네트워크에 입/출력되는 다양한 종류의 뉴럴 네트워크 데이터를 포함할 수 있다. 뉴럴 네트워크의 반복적인 훈련이 진행됨에 따라, 뉴럴 네트워크의 부동 소수점 파라미터들은 주어진 입력에 대해 보다 정확한 출력을 연산하기 위해 조정되거나(tuned) 갱신될(updated) 수 있다. 다만, 이에 제한되지 않고, 뉴럴 네트워크의 학습은 이하에서 설명될 뉴럴네트워크 양자화가 수행된 이후에, 양자화된 뉴럴 네트워크를 이용하여 수행될 수도 있다.
부동 소수점은 고정 소수점에 비해 상대적으로 많은 연산량과 많은 메모리 액세스 빈도가 요구된다. 따라서, 비교적 처리 성능이 낮은 스마트폰, 태블릿, 웨어러블 디바이스 등과 같은 모바일 디바이스, 임베디드(embedded) 디바이스 등에서는 부동 소수점 타입의 파라미터들을 갖는 뉴럴 네트워크의 처리가 원활하지 않을 수 있다. 결국, 이와 같은 디바이스들에서 연산량을 충분히 감소시키면서 허용 가능한 정확도 손실(accuracy loss) 내에서 뉴럴 네트워크를 구동시키기 위해서는, 뉴럴 네트워크에서 처리되는 부동 소수점 타입의 파라미터들은 양자화되는 것이 바람직하다. 여기서, 양자화는 부동 소수점 타입의 파라미터를, 고정 소수점 타입의 파라미터로 변환하는 것을 의미한다. 따라서, 실시예들에서 뉴럴 네트워크에 포함된 어느 레이어를 양자화한다는 의미는, 해당 레이어의 파라미터를 양자화하는 것을 의미할 수 있다.
한편, 다른 실시예에 따르면, 뉴럴 네트워크 양자화 장치(10)는 뉴럴 네트워크가 채용될(deployed) 다른 디바이스(예를 들어, 모바일 디바이스, 임베디드 디바이스 등)의 처리 성능을 고려하여, 학습된 뉴럴 네트워크의 파라미터들을 소정 비트 정밀도의 고정 소수점 타입으로 변환하는 양자화를 수행하고, 뉴럴 네트워크 양자화 장치(10)는 양자화된 뉴럴 네트워크를 채용될 다른 디바이스에 전달할 수 있다. 뉴럴 네트워크가 채용될 다른 디바이스는, 구체적인 예시로 뉴럴 네트워크를 이용한 음성 인식, 영상 인식 등을 수행하는 자율주행 자동차, 로보틱스, 스마트폰, 태블릿 디바이스, AR(Augmented Reality) 디바이스, IoT(Internet of Things) 디바이스 등일 수 있으나, 이에 제한되지 않는다.
프로세서(110)는 메모리(120)에 저장된 뉴럴 네트워크 데이터를 획득하고, 획득된 뉴럴 네트워크 데이터를 이용하여 반복적 학습을 수행할 수 있다. 뉴럴 네트워크의 학습은, 훈련-세트(train set) 데이터를 입력으로 하여 먼저 반복적으로 훈련되고, 이어서 테스트-세트(test set) 데이터로 다시 반복적으로 훈련된 것일 수 있으나, 반드시 이에 제한되지 않는다. 훈련-세트 데이터는 뉴럴 네트워크를 훈련시키기 위한 입력 데이터이고, 테스트 세트 데이터는 훈련-세트 데이터와 겹치지 않는 입력 데이터로서, 훈련-세트 데이터로 훈련된 뉴럴 네트워크의 성능을 측정하면서 훈련시키기 위한 데이터이다.
프로세서(110)에 의해 뉴럴 네트워크의 각 레이어가 고정 소수점 타입으로 양자화되는 알고리즘에 대해서는, 이하 해당 도면들을 참고하여 구체적으로 설명하도록 한다.
한편, 메모리(120)는 예를 들어, 학습되지 않은 초기 뉴럴 네트워크 데이터, 학습 과정에서 생성된 뉴럴 네트워크 데이터, 모든 학습이 완료된 뉴럴 네트워크 데이터, 양자화된 뉴럴 네트워크 데이터 등 프로세서(110)에 의해 처리될 또는 처리된 뉴럴 네트워크 관련 데이터 세트를 저장할 수 있고, 또한 프로세서(110)에 의해 실행될 뉴럴 네트워크의 학습 알고리즘, 양자화 알고리즘 등에 관련된 다양한 프로그램들을 저장할 수 있다.
도 4는 일 실시예에 따른 학습된 뉴럴 네트워크를 양자화하여 하드웨어 가속기에 채용하는 것을 설명하기 위한 도면이다.
도 4를 참고하면, 앞서 다른 실시예에 대해 설명된 바와 같이, PC, 서버 등과 같은 뉴럴 네트워크 양자화 장치(도 3의 10)에서 프로세서(도 3의 110)는 부동 소수점 타입(예를 들어, 32비트 부동 소수점 타입)의 뉴럴 네트워크(410)를 학습한다. 학습된 뉴럴 네트워크(410) 자체는 부동 소수점 타입의 파라미터들로 인하여 저전력 또는 저성능의 하드웨어 가속기에서 효율적으로 처리되지 않을 수 있으므로, 뉴럴 네트워크 양자화 장치(10)의 프로세서(110)는 부동 소수점 타입의 뉴럴 네트워크(410)를 고정 소수점 타입(예를 들어, 16비트 이하의 고정 소수점 타입)의 뉴럴 네트워크(420)로 양자화한다. 하드웨어 가속기는 뉴럴 네트워크(420)의 구동을 위한 전용 하드웨어로서, 비교적 저전력 또는 저성능으로 구현되기 때문에 부동 소수점 연산 보다는 고정 소수점 연산에 보다 적합하게 구현될 수 있다. 하드웨어 가속기는 예를 들어, 뉴럴 네트워크 구동을 위한 전용 모듈인 NPU(neural processing unit), TPU(Tensor Processing Unit), Neural Engine 등에 해당될 수 있으나, 이에 제한되지 않는다.
양자화된 뉴럴 네트워크(420)를 구동하는 하드웨어 가속기는, 뉴럴 네트워크 양자화 장치(10)와는 별도의 독립적인 디바이스에 구현될 수 있다. 하지만, 이에 제한되지 않고, 하드웨어 가속기는 뉴럴 네트워크 양자화 장치(10)와 동일한 장치 내에도 구현될 수 있다.
도 5는 부동 소수점과 고정 소수점을 설명하기 위한 도면이다.
도 5의 부동 소수점 예시(510)를 참고하면, 부동 소수점 값은
Figure pat00009
의 형식으로 표현될 수 있고, 여기서 a는 가수부(fraction part), b는 지수부(exponent)에 해당된다. 부동 소수점 값은 1비트의 부호 비트, 8비트들의 지수부 비트들 및 23비트들의 가수부 비트들을 포함하는 32비트들로 표현될 수 있다.
다음으로, 고정 소수점 예시(520)를 참고하면, 고정 소수점은 “Qm.n”으로 표현될 수 있다. (m, n은 자연수) 여기서, “m”은 지수부를 나타내는 비트들의 개수, “n”은 가수부를 나타내는 비트들의 개수이다. 따라서, 고정 소수점의 비트 폭(bit width)은 부호 1 비트, 지수부 m 비트 및 가수부 n 비트를 합하여 1+m+n이다. 고정 소수점 비트들 중 가수부를 나타내는 비트들은 n 비트들이므로, 프랙션 길이(fractional length)는 n이다. 예를 들어, “Q3.4”는 부호 1 비트, 지수부 3 비트들 및 가수부 4 비트들을 갖는 총 8비트들의 고정 소수점 값이고, “Q1.30”는 부호 1 비트, 지수부 1 비트 및 가수부 30 비트들을 갖는 총 32비트들의 고정 소수점 값이고, “Q15.16”은 부호 1 비트, 지수부 15 비트들 및 가수부 16 비트들을 갖는 총 32비트들의 고정 소수점 값이다.
도 6은 고정 소수점에서 프랙션 길이와 정확도 간의 관계를 설명하기 위한 도면이다.
도 6을 참고하면, 고정 소수점에 할당된 총 비트 폭은 3비트들인 것으로 가정하여, 프랙션 길이가 0인 Q2.0의 고정 소수점 표현(610)과 프랙션 길이가 1인 Q1.1의 고정 소수점 표현(620)의 비교가 설명되어 있다.
Q2.0은 지수부가 2비트들 가수부가 0비트 이므로, -4부터 3까지의 고정 소수점 값들이 표현될 수 있고, 표현 가능한 고정 소수점 값들 간의 간격은 1이다. 그리고, Q1.1은 지수부가 1비트 가수부가 1비트 이므로, -4부터 3까지의 고정 소수점 값들이 표현될 수 있고, 표현 가능한 고정 소수점 값들 간의 간격은 0.5이다.
비교하여 보면, Q2.0의 고정 소수점 표현(610)과 Q1.1의 고정 소수점 표현(620)은 동일한 3비트들이 할당되었으나, Q2.0은 보다 넓은 범위의 고정 소수점 값들의 표현이 가능한 대신에 고정 소수점 값들 간의 간격이 넓으므로 정확도는 낮다. 상대적으로, Q1.1은 보다 좁은 범위의 고정 소수점 값들의 표현이 가능한 대신에 고정 소수점 값들 간의 간격이 좁으므로 정확도는 높다. 결국, 고정 소수점 값의 정확도는, 프랙션 길이, 즉 프랙션 비트들의 할당 개수에 의존한다는 점을 알 수 있다.
도 7은 일 실시예에 따라 뉴럴 네트워크를 학습하는 것을 설명하기 위한 도면이다.
도 7을 참고하면, 뉴럴 네트워크(710)는 입력 레이어, N개(N은 자연수)의 레이어들(레이어 1, 레이어 2, ..., 레이어 N-1 및 레이어 N) 및 출력 레이어를 포함할 수 있다. 여기서, N개의 레이어들 각각에 대해서는 해당 레이어에 대응하는 웨이트가 할당되어 있다. 즉, 레이어 1에는 웨이트 1(W1)이 할당되고, 레이어 2에는 웨이트 2(W2)가 할당되고, ..., 레이어 N-1에는 웨이트 N-1(WN - 1)이 할당되고, 레이어 N에는 웨이트 N(WN)이 할당될 수 있다. 앞서 도 2 등에서는, 레이어에는 복수의 채널들이 구비될 수 있는 것으로 설명되었다. 도 7에서 설명된 각 레이어에 할당된 웨이트는 각 레이어에 포함된 하나 이상의 채널들의 웨이트들을 대표하는 값에 해당할 수 있다.
한편, 본 명세서의 실시예들에서 뉴럴 네트워크의 레이어들의 식별 번호는 해당 도면 내에서 개개의 레이어들을 구별하기 위한 수단으로서, 본 명세서의 실시예들은 레이어 식별 번호에 의해 제한 해석되지 않는다. 따라서, 서로 다른 도면들에서 동일한 식별 번호로 표시되어 있는 레이어라 할지라도, 이는 설명의 편의를 위하여 표시된 것일 뿐, 동일한 레이어를 지칭하거나 또는 다른 레이어를 지칭할 수 있다.
프로세서(도 3의 110)는 뉴럴 네트워크(710)에 대하여 복수의 사이클들(예를 들어, K 사이클)(K는 자연수)의 순방향(feedforward) 학습 및 역전파(backpropagation) 학습을 반복적으로 수행한다.
뉴럴 네트워크(710)는 순방향 학습을 통해 뉴럴 네트워크(710)의 인식 정확도 또는 인식률(recognition rate)을 구할 수 있고, 역전파(backpropagation) 학습을 통해 뉴럴 네트워크(710)의 오차를 각 레이어에 전파할 수 있다. 여기서, 뉴럴 네트워크(710)의 오차는 각 레이어에 포함된 바이어스들, 웨이트들 등에 대한 오차를 의미할 수 있다. 따라서, 반복적인 사이클들(사이클 1 내지 사이클 K)의 순방향 및 역전파 학습을 통해 레이어들의 오차들이 보정될 수 있으므로, 뉴럴 네트워크(710)의 인식 정확도 또는 인식률이 상승될 수 있다.
본 실시예에 따른 뉴럴 네트워크 양자화는 이와 같이 학습된 뉴럴 네트워크(710)의 레이어들(즉, 레이어들의 파라미터들)을 낮은 정밀도로 양자화하는 것이다. 예를 들어, 뉴럴 네트워크(710)가 32비트 정밀도의 부동 소수점을 갖는 모델인 경우, 학습된 뉴럴 네트워크도 32비트 정밀도의 부동 소수점을 갖는 모델에 해당한다. 뉴럴 네트워크 채용을 위하여, 32비트 정밀도의 부동 소수점을 갖는 뉴럴 네트워크(710)는 16비트, 8비트 또는 그 이하 비트 수의 고정 소수점을 갖는 뉴럴 네트워크로 양자화될 필요가 있다. 이때, 뉴럴 네트워크가 양자화된다 할지라도, 정확도 손실을 최소화하면서 보다 효율적으로 동작할 수 있어야 한다. 이하에서는 뉴럴 네트워크 양자화 프로세스에서 뉴럴 네트워크 내 수 많은 레이어들에 대한 양자화가 수행되는 방법에 대해 구체적으로 설명하도록 한다.
도 8a는 일 실시예에 따라 뉴럴 네트워크의 역전파 학습에 의해 갱신된 웨이트들을 설명하기 위한 도면이다. 도 8a를 참고하면, 레이어 별 초기 웨이트에 관한 표(810)와 역전파 학습에 의해 갱신된, 레이어 별 갱신 웨이트에 관한 표(820)가 도시되어 있다.
도 7과 연계하여 설명하면, 학습 전 초기 뉴럴 네트워크(도 7의 710)는 레이어 1 내지 레이어 N을 포함한다. 표(810)에 따르면, 레이어 1은 웨이트 1(W1)을 갖고, 레이어 2는 웨이트 2(W2)를 갖고, ..., 레이어 N-1은 웨이트 N-1(WN - 1)을 갖고, 레이어 N은 웨이트 N(WN)을 갖는다.
프로세서(도 3의 110)가 뉴럴 네트워크(710)를 복수의 사이클들만큼 반복적으로 학습하고, 그 결과 프로세서(110)는 각 사이클의 역전파 학습에 의한 갱신 웨이트를 결정한다.
표(820)에 따르면, 사이클 1의 역전파 학습이 수행된 결과, 레이어 1의 갱신 웨이트는 W1[1]로 결정되고, 레이어 2의 갱신 웨이트는 W2[2]로 결정되고, ..., 레이어 N-1의 웨이트는 WN -1[1]로 결정되고, 레이어 N의 웨이트는 WN[1]로 결정된다. 마찬가지로, 프로세서(110)는 나머지 각 사이클에서의 역전파 학습이 수행된 결과, 각 레이어의 갱신 웨이트들을 결정한다.
도 8b는 일 실시예에 따른 레이어 별 웨이트 차이(weight difference)를 설명하기 위한 도면이다.
웨이트 차이(Wdiff)는, 학습 전 뉴럴 네트워크의 각 레이어마다 미리 설정된 초기 웨이트 및 각 레이어마다 각 사이클에서의 역전파 학습에 의해 결정된 갱신 웨이트 간의 차이 값을 의미한다.
구체적으로 도 8b를 참고하면, 웨이트 차이(weight difference, Wdiff)에 관한 표(830)가 도시되어 있다. 예를 들어, 레이어 1에 대해 설명하면, 사이클 1의 학습이 수행된 경우, 레이어 1의 갱신 웨이트 W1[1]와 레이어 1의 초기 웨이트 W1의 차이가 레이어 1의 사이클 1의 학습 결과로 획득된 웨이트 차이에 해당한다. 마찬가지로, 프로세서(도 3의 110)는 나머지 레이어들 및 나머지 사이클들에서의 웨이트 차이들을 획득한다.
도 8c는 일 실시예에 따른 레이어들 각각에 대한 웨이트 차이들의 통계량을 분석한 결과를 설명하기 위한 도면이다.
뉴럴 네트워크 양자화에 있어서, 레이어의 웨이트 차이(Wdiff)의 통계량을 나타내는 값이 작을수록 더 낮은 비트 정밀도(lower-bit precision)로 양자화할 수 있다. 여기서, 레이어의 웨이트 차이(Wdiff)의 통계량은 레이어 별 전체 사이클들에서의 웨이트 차이들의 평균제곱(mean square)을 포함하나, 이에 제한되지 않고 평균, 분산, 표준편차 등과 같은 다른 종류의 통계량일 수 있다.
도 8c를 참고하면, 각 레이어 별 웨이트 차이(Wdiff)의 통계량을 분석하는 것에 대해 도시되어 있다. 구체적으로 레이어 1에 대해 설명하면, 프로세서(110)는 사이클 1에서의 웨이트 차이의 제곱((W1[1]-W1)2), 사이클 2에서의 웨이트 차이의 제곱((W1[2]-W1)2), ..., 사이클 K에서의 웨이트 차이의 제곱((W1[K]-W1)2)의 평균을 계산함으로써, 레이어 1의 웨이트 차이에 대한 통계량(즉, 평균제곱)인 Wdiff _m.s._layer 1을 구한다. 마찬가지로, 프로세서(110)는 다른 사이클들의 웨이트 차이에 대한 통계량들(즉, 평균제곱)을 구한다.
이와 같은 레이어 별 웨이트 차이 통계량은, 뉴럴 네트워크 양자화에 있어서 어느 레이어를 하위-비트 정밀도(lower-bit precision)로 양자화할 것인지를 판단 및 선택하는데 이용될 수 있다.
도 9는 일 실시예에 따라 웨이트 차이 통계량에 기초하여 레이어들을 정렬하는 것을 설명하기 위한 도면이다.
도 9를 참고하면, 프로세서(도 3의 110)는 하위-비트 정밀도(lower-bit precision)로 양자화할 레이어들을 판단하기 위하여, 각 레이어에 대응하는 웨이트 차이 통계량(예를 들어, 평균제곱)의 크기 순서대로 뉴럴 네트워크의 레이어들을 정렬할 수 있다. 즉, 프로세서(110)는 도 8c에와 같이 분석된 각 레이어 별 웨이트 차이 통계량인 Wdiff _m.s._layer 1, Wdiff _m.s._layer 2, ..., Wdiff _m.s._layer N의 크기들에 기초하여 레이어들을 크기 순서대로 정렬할 수 있다. 여기서, 정렬 방식은 오름차순 및 내림차순 중 어느 것이어도 무방하다.
도 9에서는 N개(N은 자연수)의 레이어들이 웨이트 차이 통계량(예를 들어, 평균제곱)의 크기 순서대로 오름 차순으로 정렬된 것이 도시되어 있으나, 각 레이어의 식별 번호는 설명의 편의를 위해 임의로 표시된 것일 뿐, 본 실시예는 이에 제한되지 않는다.
한편, 프로세서(110)는 하위-비트 정밀도(lower-bit precision)로 양자화될 레이어 선택을 위하여 도 9에서 설명된 바와 같이 레이어들을 먼저 정렬할 수 있으나, 이에 제한되지 않고 프로세서(110)는 레이어 정렬 없이 웨이트 차이 통계량(예를 들어, 평균제곱)을 기준으로 특정 조건을 만족하는 레이어들을 선별할 수도 있다.
도 10은 일 실시예에 따라 정렬된 레이어들 중에서 하위-비트 정밀도로 양자화할 레이어들을 선택하는 것을 설명하기 위한 도면이다.
도 10을 참고하면, 프로세서(도 3의 110)는 정렬된 전체 레이어들 중에서 분석된 웨이트 차이 통계량의 크기가 상대적으로 작은 레이어들(레이어 100, 레이어 90, ..., 레이어 40)을 양자화될 하나 이상의 레이어들로 결정한다. 여기서, 웨이트 차이 통계량의 크기가 상대적으로 작은 레이어들을 선택하는 방법에 대해서는 도 11 내지 도 12에서 구체적으로 설명하도록 한다.
한편, 프로세서(110)는 분석된 통계량의 크기가 가장 작은 레이어(레이어 100)에 대해서는 양자화될 하나 이상의 레이어들로 결정하지 않을 수 있다. 이는, 분석된 통계량의 크기가 가장 작은 레이어(레이어 100)가 하위-비트 정밀도(lower-bit precision)로 양자화될 경우에는, 표현 가능한 클래스 개수가 감소될 수 있기 때문이다. 하지만, 이에 제한되지 않고 프로세서(110)는 분석된 통계량의 크기가 가장 작은 레이어(레이어 100)를 포함하여 양자화할 수도 있다.
도 10에서 정렬된 레이어들 모두는 양자화된 뉴럴 네트워크의 레이어들에 해당할 수 있다. 이때, 하위-비트 정밀도로 양자화된 레이어들은 'A 비트 정밀도'(A는 자연수)로 양자화된 레이어들일 수 있고, 나머지 레이어들은 'B 비트 정밀도'(B는 자연수)로 양자화된 레이어들일 수 있다. 여기서, A 비트 정밀도는 B 비트 정밀도보다 낮은 정밀도이다. 즉, 본 실시예들에서 하위-비트 정밀도로 양자화된 레이어들은 양자화된 전체 레이어들 중에서 가장 낮은 정밀도를 갖는 레이어들에 해당할 수 있으나, 이에 제한되지 않는다.
레이어의 양자화는 앞서 설명된 바와 같이, 레이어에 포함된 파라미터들(바이어스들, 웨이트들 등)의 양자화로서, 고정 소수점 파라미터의 프랙션 길이를 결정하거나 또는 변경하는 것을 의미할 수 있다.
이하에서는 전체 레이어들(또는 정렬된 전체 레이어들) 중에서 하위-비트 정밀도로 양자화될 레이어들을 판단 및 선택하는 방법에 대해 설명하도록 한다.
도 11은 일 실시예에 따라 하위-비트 정밀도로 양자화될 레이어들을 판단하는 방법을 설명하기 위한 흐름도이다.
1101 단계에서, 프로세서(도 3의 110)는 도 8a 내지 도 8c에서와 같이 분석된 웨이트 차이 통계량(예를 들어, 평균 제곱)에 기초하여 뉴럴 네트워크의 레이어들을 정렬한다. 즉, 프로세서(110)는 웨이트 차이 통계량(예를 들어, 평균 제곱)의 크기 순서대로 레이어들을 오름차순 또는 내림차순으로 정렬할 수 있다.
1102 단계에서, 프로세서(110)는 정렬된 전체 레이어들 중 하위 통계량을 갖는 절반의 레이어들을 하위-비트 정밀도(lower-bit precision)로 양자화될 후보 레이어들로 선택한다.
1103 단계에서, 프로세서(110)는 선택된 후보 레이어들이 양자화되었을 때, 양자화된 뉴럴 네트워크의 정확도 손실(accuracy loss)이 소정 임계값 이하인지 여부를 판단한다. 만약, 정확도 손실이 소정 임계값 이하인 경우, 프로세서(110)는 1105 단계를 수행한다. 하지만, 정확도 손실이 소정 임계값보다 큰 경우, 프로세서(110)는 1104 단계를 수행한다.
1104 단계에서, 선택된 후보 레이어들이 양자화되었을 때 양자화된 뉴럴 네트워크의 정확도 손실이 소정 임계값보다 크므로, 프로세서(110)는 하위-비트 정밀도로 양자화될 후보 레이어들의 개수를 다시 판단할 필요가 있다. 따라서, 프로세서(110)는 1103 단계에서 선택된 후보 레이어들을 전체 레이어들로 갱신한다. 이에 따라, 1102 단계에서 프로세서(110)는 갱신된(이전 1102 단계에서의 절반) 전체 레이어들 중에서 다시 후보 레이어들의 개수를 판단할 수 있다.
1105 단계에서, 선택된 후보 레이어들이 양자화되었을 때 양자화된 뉴럴 네트워크의 정확도 손실이 소정 임계값 이하이므로, 프로세서(110)는 선택된 후보 레이어들을 하위-비트 정밀도로 양자화될 레이어들로 결정한다.
1106 단계에서, 프로세서(110)는 결정된 레이어들을 하위-비트 정밀도로 양자화함으로써, 양자화된 뉴럴 네트워크를 생성한다.
도 11을 참고하면, 하위-비트 정밀도로 양자화될 레이어들을 판단하는 일 실시예로서, 이진 탐색(binary search) 알고리즘에 대해 설명되어 있다. 즉, 일 실시예에 따르면, 프로세서(도 3의 110)는 이진 탐색 알고리즘을 이용하여, 정렬된 레이어들 중에서 몇 개의 레이어들이 A 비트(lower-bit) 정밀도로 양자화된 레이어들을 포함하는 뉴럴 네트워크의 정확도 손실(accuracy loss)이 A 비트 정밀도로 양자화되지 않은 레이어들을 포함하는 뉴럴 네트워크와 비교하여 소정 임계값 이내가 되는지 여부를 탐색함으로써, 양자화될 하나 이상의 레이어들을 결정할 수 있다.
한편, 비록 도 11에는 도시되지 않았지만, 1103 단계에서 정확도 손실이 소정 임계값보다 큰 경우라 할지라도, 후보 레이어들의 개수가 사용자에 의해 미리 정의된 소정 개수(예를 들어, 5개) 이하인지 여부를 판단하는 단계가 옵션적으로(optional) 추가될 수도 있다. 이와 같은 옵션적 단계가 추가되었다면, 프로세서(110)는 정확도 손실이 소정 임계값보다 큰 경우라 할지라도, 후보 레이어들의 개수가 사용자에 의해 미리 정의된 소정 개수(예를 들어, 5개) 이하인 것으로 판단된 경우, 1105 단계를 수행할 수 있다.
도 12는 다른 실시예에 따라 하위-비트 정밀도로 양자화될 레이어들을 판단하는 방법을 설명하기 위한 흐름도이다.
1201 단계에서, 프로세서(도 3의 110)는 하위-비트 정밀도로 양자화할 레이어 개수를 미리 설정한다.
1202 단계에서, 프로세서(도 3의 110)는 도 8a 내지 도 8c에서와 같이 분석된 웨이트 차이 통계량(예를 들어, 평균 제곱)에 기초하여 뉴럴 네트워크의 레이어들을 정렬한다. 즉, 프로세서(110)는 웨이트 차이 통계량(예를 들어, 평균 제곱)의 크기 순서대로 레이어들을 오름차순 또는 내림차순으로 정렬할 수 있다.
1203 단계에서, 프로세서(110)는 정렬된 전체 레이어들 중 하위 통계량을 갖는 미리 설정된 소정 개수의 레이어들을 양자화될 레이어들로 결정한다.
1204 단계에서, 프로세서(110)는 결정된 레이어들을 하위-비트 정밀도로 양자화함으로써, 양자화된 뉴럴 네트워크를 생성한다.
도 12를 참고하면, 도 11의 이진 탐색 알고리즘을 이용한 방법과 달리, 프로세서(도 3의 110)는 정렬된 레이어들 중에서 분석된 통계량의 크기가 작은 순서대로 미리 설정된 소정 개수의 레이어들을 하위-비트 정밀도로 양자화될 하나 이상의 레이어들로 결정한다.
도 11 및 도 12에서는 도 8a 내지 8c에서 설명된 레이어 별 웨이트 차이 통계량(예를 들어, 평균제곱)에 기초하여 하위-비트 정밀도로 양자화될 레이어들을 선택하는 방법의 실시예들에 대해 설명되었다. 하지만, 본 실시예들은 이에 제한되지 않고, 웨이트 차이 통계량을 다르게 변형된 방식으로 이용하여 하위 통계량을 갖는 레이어들을 선택함으로써 하위-비트 정밀도로 양자화될 레이어들을 결정하는 방법도 본 실시예에 적용될 수 있다.
도 13은 일 실시예에 따라 부동 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로부터 고정 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로 양자화하는 것을 설명하기 위한 도면이다.
도 13을 참고하면, 뉴럴 네트워크(1301)는 32비트 부동 소수점 파라미터들의 N개의 레이어들을 포함한다. 프로세서(도 3의 110)는 뉴럴 네트워크(1301)의 순방향 및 역전파 학습을 통해 레이어 별 웨이트 차이 통계량을 분석하고 분석된 웨이트 차이 통계량에 기초하여 레이어들 중 32비트 정밀도보다 낮은 'A 비트 정밀도'로 양자화될 하나 이상의 레이어들(1315)을 결정하는 프로세스(1310)를 수행한다. 이에 따라, 뉴럴 네트워크(1301)의 전체 레이어들 중 결정된 일부 레이어들(1315)은 A 비트 정밀도로 양자화된다.
프로세서(110)는 뉴럴 네트워크(1301)의 전체 레이어들 중 A 비트 정밀도로 양자화되는 것으로 결정되지 않은 나머지 레이어들(1325)을 32비트 정밀도보다는 낮고 A 비트 정밀도보다는 높은 'B 비트 정밀도'의 고정 소수점 파라미터들의 레이어들로 양자화하는 프로세서(1320)를 수행한다.
프로세서(110)는 뉴럴 네트워크(1301)의 전체 레이어들에 대한 양자화될 비트 정밀도가 결정된 경우, 각 레이어를 해당 비트 정밀도로 양자화하는 프로세스(1330)를 수행함으로써, 양자화된 뉴럴 네트워크(1302)를 생성한다. 양자화된 뉴럴 네트워크(1302)는 A 비트 정밀도의 고정 소수점 파라미터들을 갖는 레이어들(1315)과 B 비트 정밀도의 고정 소수점 파라미터들을 갖는 레이어들(1325)을 포함한다.
도 14는 다른 실시예에 따라 부동 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로부터 고정 소수점 파라미터들의 레이어들을 포함하는 뉴럴 네트워크로 양자화하는 것을 설명하기 위한 도면이다.
도 14를 참고하면, 뉴럴 네트워크(1401)는 32비트 부동 소수점 파라미터들의 N개의 레이어들을 포함한다. 뉴럴 네트워크(1402)는 뉴럴 네트워크(1401)로부터 양자화된, 8비트 고정 소수점 파라미터들의 N개의 레이어들을 갖는 뉴럴 네트워크이다.
프로세서(도 3의 110)는 8비트 정밀도로 양자화된 뉴럴 네트워크(1402)의 순방향 및 역전파 학습을 통해 레이어 별 웨이트 차이 통계량을 분석하고 분석된 웨이트 차이 통계량에 기초하여 레이어들 중 8비트 정밀도보다 낮은 'A 비트 정밀도'로 양자화될 하나 이상의 레이어들(1410)을 결정한다. 이에 따라, 뉴럴 네트워크(1402)의 전체 레이어들 중 결정된 일부 레이어들(1410)은 A 비트 정밀도로 양자화된다.
최종적으로, 뉴럴 네트워크(1401)는 A 비트 정밀도의 고정 소수점 파라미터들을 갖는 레이어들(1410)과 8비트 정밀도의 고정 소수점 파라미터들을 갖는 나머지 레이어들을 포함하는 뉴럴 네트워크로 양자화된다.
한편, 도 13 및 도 14에서 설명된 뉴럴 네트워크의 비트 정밀도 수치(32비트, 8비트)는 설명의 편의를 위하여 예로 든 것일 뿐, 실시예들은 이에 제한되지 않는다.
도 15는 일 실시예에 따른 양자화된 뉴럴 네트워크를 설명하기 위한 도면이다.
도 15를 참고하면, 양자화된 뉴럴 네트워크(1501)는 4비트 정밀도(lower-bit precision)를 갖는 레이어들과 8비트 정밀도를 갖는 레이어들을 포함한다. 여기서, 4비트 정밀도를 갖는 레이어들은 하위-비트 정밀도를 갖는 레이어들로서, 앞서 도면들에서 설명된 순방향 및 역전파 학습을 통해 레이어 별 웨이트 차이 통계량을 분석하고 분석된 웨이트 차이 통계량에 기초하여 결정된 레이어들에 해당한다. 4비트 정밀도를 갖는 레이어들의 개수는 앞서 설명된 바와 같이, 뉴럴 네트워크(1501)의 정확도 손실을 최소화하기 위하여 결정될 수 있다.
한편, 도 15에 도시된 식별 번호들은 설명의 편의를 위해 임의로 정의된 것일 뿐, 실시예들은 이에 제한되지 않는다.
도 16은 일 실시예에 따라 하위-비트 정밀도로 양자화된 레이어 개수와 정확도 손실 간의 상관관계를 예시적으로 설명하기 위한 그래프이다. 정확도 손실은 뉴럴 네트워크의 인식률(recognition rate)에 대한 것일 수 있다.
도 16을 참고하면, 인셉션 v3(Inception v3)에 대한 시뮬레이션 결과로서, 인셉션 v3에서 웨이트를 갖는 모든 레이어들 중 하위 웨이트 차이 통계량(평균제곱)을 갖는 일부 레이어들을 하위-비트 정밀도로 양자화하였을 경우에 대한 정확도 손실의 상관관계가 도시되어 있다. 구체적으로, 하위 웨이트 차이 통계량(평균제곱)을 갖는 일부 레이어들은 4비트 정밀도로 양자화되고, 나머지 레이어들은 8비트 정밀도를 갖는다.
하위-비트 정밀도로 양자화될 레이어 개수가 증가할수록 정확도 손실은 증가하는 것을 알 수 있다. 이는 당연히 양자화된 레이어 개수가 많을수록 더 많은 파라미터들의 데이터 손실이 커지기 때문이라 볼 수 있다. 하지만, 8비트 정밀도를 갖는 전체 95개의 레이어들 중에서 25개 레이어들만이 하위-비트(4비트) 정밀도로 추가적으로 양자화되었을 경우에는, 그렇지 않은 경우보다 정확도 손실이 1% 수준에 불과하다. 따라서, 이와 같은 경우, 정확도 손실은 1% 수준에 불과하지만 프로세서(110)의 뉴럴 네트워크에 대한 연산량이 감소하면서 처리 속도가 보다 효과적으로 증가할 수 있는 이점이 있을 수 있다. 그러므로, 정확도 손실을 감내할 수 있는 수준에서 일부 레이어들을 하위-비트 정밀도로 양자화한다면, 뉴럴 네트워크의 높은 인식 정확도(또는 인식률)를 확보하면서 뉴럴 네트워크가 채용될 디바이스에서의 효율적인 연산량 및 처리 속도를 보장할 수 있게 될 수 있다.
도 17은 일 실시예에 따라 하위-비트 정밀도로 양자화된 레이어를 판단하기 위한 기준으로서 웨이트 차이 통계량을 이용하는 경우와 다른 방식들을 이용하는 경우를 비교하여 설명하기 위한 도면이다.
도 17을 참고하면, 하위-비트 정밀도로 양자화된 레이어를 판단하기 위한 기준으로서, 웨이트 범위(weight range)를 이용하는 경우(1701), 정확도(accuracy)를 이용하는 경우(1702) 및 웨이트 차이들의 평균제곱(mean square)을 이용하는 경우(1703)를 비교한 결과가 도시되어 있다.
웨이트 범위를 이용하는 경우(1701)는 레이어 별 웨이트 범위를 오름차순으로 정렬한 후, 웨이트 범위가 작은 일부 레이어들을 하위-비트(4비트) 정밀도로 양자화하는 방식이다. 하지만, 도 17에 도시된 바와 같이, 다른 경우들(1702 및 1703)과 비교하여 웨이트 범위를 이용하는 경우(1701)는 정확도 손실이 월등하게 크다는 것을 알 수 있다. 이는 웨이트 범위가 작을수록 표현될 웨이트 값이 적어지므로 낮은 비트 정밀도로 표현이 가능하나, 웨이트 범위가 작다 할지라도 웨이트의 최대 값이 크다면 해당 웨이트를 표현하기 위한 정수 비트(integer bit)가 커져야 하기 때문이다.
다음으로, 정확도를 이용하는 경우(1702)는 뉴럴 네트워크의 각 레이어를 하나씩 하위-비트(4비트) 정밀도로 양자화하고, 그 때의 인식 정확도(또는 인식률)을 계산하고, 정확도 손실이 낮은 순서대로 하위-비트 정밀도로 양자화될 레이어들을 결정하는 방식이다. 도 17에 도시된 바와 같이, 정확도를 이용하는 경우(1702)에 대한 정확도 손실은 웨이트 차이들의 평균제곱을 이용하는 경우(1703)와 비슷하다. 하지만, 그렇다 할지라도, 정확도를 이용하는 경우(1702)는 뉴럴 네트워크에 포함된 모든 레이어들을 차례로 양자화하면서 정확도 손실을 일일이 계산하여야 하므로, 처리 시간이 매우 많이 소요된다는 문제가 있다.
위의 경우들(1701 및 1702)과 달리, 웨이트 차이들의 평균제곱을 이용하는 경우(1703)는 정확도 손실이 크지 않으면서 보다 빠른 처리 속도 및 적은 연산량으로 하위-비트 정밀도로 양자화될 레이어 개수를 판단할 수 있다.
도 18은 일 실시예에 따른 전자 시스템을 나타내는 블록도이다.
도 18을 참고하면, 전자 시스템(1800)은 뉴럴 네트워크를 기초로 입력 데이터를 실시간으로 분석하여 유효한 정보를 추출하고, 추출된 정보를 기초로 상황 판단을 하거나 또는 전자 시스템(1800)이 탑재되는 전자 디바이스의 구성들을 제어할 수 있다. 예컨대 전자 시스템(1800)은 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 로봇 장치, 스마트 TV, 스마트폰, 의료 디바이스, 모바일 디바이스, 영상 표시 디바이스, 계측 디바이스, IoT 디바이스 등에 적용될 수 있으며, 이 외에도 다양한 종류의 전자 디바이스들 중 적어도 하나에 탑재될 수 있다.
전자 시스템(1800)은 프로세서(1810), RAM(1820), 뉴럴 네트워크 장치(1830), 메모리(1840), 센서 모듈(1850) 및 통신 모듈(1860)을 포함할 수 있다. 전자 시스템(1800)은 입출력 모듈, 보안 모듈, 전력 제어 장치 등을 더 포함할 수 있다. 전자 시스템(1800)의 하드웨어 구성들 중 일부는 적어도 하나의 반도체 칩에 탑재될 수 있다. 뉴럴 네트워크 장치(1830)는 앞서 설명된 뉴럴 네트워크 전용 하드웨어 가속기 자체 또는 이를 포함하는 장치일 수 있다.
프로세서(1810)는 전자 시스템(1800)의 전반적인 동작을 제어한다. 프로세서(1810)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 프로세서(1810)는 메모리(1840)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 일 실시예에 있어서, 프로세서(1810)는 메모리(1840)에 저장된 프로그램들을 실행함으로써, 뉴럴 네트워크 장치(1830)의 기능을 제어할 수 있다. 프로세서(1810)는 CPU, GPU, AP 등으로 구현될 수 있다.
RAM(1820)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대 메모리(1840)에 저장된 프로그램들 및/또는 데이터는 프로세서(1810)의 제어 또는 부팅 코드에 따라 RAM(1820)에 일시적으로 저장될 수 있다. RAM(1820)은 DRAM(Dynamic RAM) 또는 SRAM(Static RAM) 등의 메모리로 구현될 수 있다.
뉴럴 네트워크 장치(1830)는 뉴럴 네트워크에 대한 학습을 수행하거나, 수신되는 입력 데이터를 기초로 뉴럴 네트워크의 연산을 수행하고, 수행 결과를 기초로 정보 신호를 생성할 수 있다. 뉴럴 네트워크는 Convolutional Neural Networks(CNN), Recurrent Neural Networks(RNN), Deep Belief Networks, Restricted Boltzman Machines 등을 포함할 수 있으나 이에 제한되지 않는다.
구체적으로, 뉴럴 네트워크 장치(1830)는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 학습(learn)(또는 훈련(train))하거나, 부동 소수점(floating point) 타입의 뉴럴 네트워크를 고정 소수점(fixed point) 타입의 뉴럴 네트워크로 양자화하거나, 또는 뉴럴 네트워크를 재훈련(retrain)하는 기능들과 같은 다양한 프로세싱 기능들을 갖는다. 즉, 뉴럴 네트워크 장치(1830)는 뉴럴 네트워크를 학습하면서 앞서 설명된 고정 소수점 타입으로 양자화된 뉴럴 네트워크를 이용하여 처리를 수행하는 하드웨어로서, 앞서 설명된 뉴럴 네트워크 전용 하드웨어 가속기에 해당될 수 있다.
정보 신호는 음성 인식 신호, 사물 인식 신호, 영상 인식 신호, 생체 정보 인식 신호 등과 같은 다양한 종류의 인식 신호 중 하나를 포함할 수 있다. 예를 들어, 뉴럴 네트워크 장치(1830)는 비디오 스트림에 포함되는 프레임 데이터를 입력 데이터로서 수신하고, 프레임 데이터로부터 프레임 데이터가 나타내는 이미지에 포함된 사물에 대한 인식 신호를 생성할 수 있다. 그러나, 이에 제한되는 것은 아니며, 전자 시스템(1800)이 탑재된 전자 장치의 종류 또는 기능에 따라 뉴럴 네트워크 장치(1830)는 다양한 종류의 입력 데이터를 수신할 수 있고, 입력 데이터에 따른 인식 신호를 생성할 수 있다.
메모리(1840)는 데이터를 저장하기 위한 저장 장소로서, OS(Operating System), 각종 프로그램들, 및 각종 데이터를 저장할 수 있다. 실시예에 있어서, 메모리(1840)는 뉴럴 네트워크 장치(1830)의 연산 수행 과정에서 생성되는 중간 결과들, 예컨대 출력 피처 맵을 출력 피처 리스트 또는 출력 피처 매트릭스 형태로 저장할 수 있다. 실시예에 있어서, 메모리(1840)에는 압축된 출력 피처 맵이 저장될 수 있다. 또한, 메모리(1840)는 뉴럴 네트워크 장치(1830)에서 이용되는 양자화된 뉴럴 네트워크 데이터, 예컨대, 파라미터들, 웨이트 맵 또는 웨이트 리스트를 저장할 수 있다.
메모리(1840)는 DRAM일 수 있으나, 이에 한정되는 것은 아니다. 메모리(1840)는 휘발성 메모리 또는 불휘발성 메모리 중 적어도 하나를 포함할 수 있다. 불휘발성 메모리는 ROM, PROM, EPROM, EEPROM, 플래시 메모리, PRAM, MRAM, RRAM, FRAM 등을 포함한다. 휘발성 메모리는 DRAM, SRAM, SDRAM, PRAM, MRAM, RRAM, FeRAM 등을 포함한다. 실시예에 있어서, 메모리(1840)는 HDD, SSD, CF, SD, Micro-SD, Mini-SD, xD 또는 Memory Stick 중 적어도 하나를 포함할 수 있다.
센서 모듈(1850)은 전자 시스템(1800)이 탑재되는 전자 장치 주변의 정보를 수집할 수 있다. 센서 모듈(1850)은 전자 장치의 외부로부터 신호(예컨대 영상 신호, 음성 신호, 자기 신호, 생체 신호, 터치 신호 등)를 센싱 또는 수신하고, 센싱 또는 수신된 신호를 데이터로 변환할 수 있다. 이를 위해, 센서 모듈(1850)은 센싱 장치, 예컨대 마이크, 촬상 장치, 이미지 센서, 라이더(LIDAR; light detection and ranging) 센서, 초음파 센서, 적외선 센서, 바이오 센서, 및 터치 센서 등 다양한 종류의 센싱 장치 중 적어도 하나를 포함할 수 있다.
센서 모듈(1850)은 변환된 데이터를 뉴럴 네트워크 장치(1830)에 입력 데이터로서 제공할 수 있다. 예를 들어, 센서 모듈(1850)은 이미지 센서를 포함할 수 있으며, 전자 장치의 외부 환경을 촬영하여 비디오 스트림을 생성하고, 비디오 스트림의 연속하는 데이터 프레임을 뉴럴 네트워크 장치(1830)에 입력 데이터로서 순서대로 제공할 수 있다. 그러나 이에 제한되는 것은 아니며 센서 모듈(1850)은 다양한 종류의 데이터를 뉴럴 네트워크 장치(1830)에 제공할 수 있다.
통신 모듈(1860)은 외부 장치와 통신할 수 있는 다양한 유선 또는 무선 인터페이스를 구비할 수 있다. 예컨대 통신 모듈(1860)은 유선 근거리통신망(Local Area Network; LAN), Wi-fi(Wireless Fidelity)와 같은 무선 근거리 통신망 (Wireless Local Area Network; WLAN), 블루투스(Bluetooth)와 같은 무선 개인 통신망(Wireless Personal Area Network; WPAN), 무선 USB (Wireless Universal Serial Bus), Zigbee, NFC (Near Field Communication), RFID (Radio-frequency identification), PLC(Power Line communication), 또는 3G (3rd Generation), 4G (4th Generation), LTE (Long Term Evolution) 등 이동 통신망(mobile cellular network)에 접속 가능한 통신 인터페이스 등을 포함할 수 있다.
다른 실시예에 있어서, 통신 모듈(1860)은 외부로부터 양자화된 뉴럴 네트워크에 관한 데이터를 수신할 수 있다. 여기서, 외부는 도 3의 뉴럴 네트워크 양자화 장치(10)와 같이 방대한 양의 데이터를 기초로 훈련을 수행하고, 훈련된 뉴럴 네트워크를 고정 소수점 타입으로 양자화하고, 양자화된 뉴럴 네트워크 데이터를 전자 시스템(1800)에 제공하는 디바이스일 수 있다. 수신된 양자화된 뉴럴 네트워크 데이터는 메모리(1840)에 저장될 수 있다.
도 19는 일 실시예에 따른 뉴럴 네트워크 양자화를 위한 방법의 흐름도이다. 도 19에 도시된, 뉴럴 네트워크 양자화 방법은, 앞서 설명된 도면들에서 설명된 실시예들에 관련되므로, 이하 생략된 내용이라 할지라도, 앞서 도면들에서 설명된 내용들은 도 19의 방법에도 적용될 수 있다.
1901 단계에서, 프로세서(110)는 제 1 비트 정밀도의 제 1 뉴럴 네트워크에 대하여, 복수의 사이클들의 순방향(feedforward) 및 역전파(backpropagation) 학습을 반복적으로 수행한다.
1902 단계에서, 프로세서(110)는 제 1 뉴럴 네트워크에 포함된 레이어들 각각에 대하여, 미리 설정된 초기 웨이트 및 각 사이클의 역전파 학습에 의해 결정된 갱신 웨이트 간의 웨이트 차이들(weight differences)을 획득한다.
1903 단계에서, 프로세서(110)는 레이어들 각각에 대한 웨이트 차이들의 통계량을 분석한다.
1904 단계에서, 프로세서(110)는 분석된 통계량에 기초하여, 레이어들 중 제 1 비트 정밀도보다 낮은 제 2 비트 정밀도로 양자화될 하나 이상의 레이어들을 결정한다.
1905 단계에서, 프로세서(110)는 레이어들 중 결정된 레이어들을 제 2 비트 정밀도로 양자화함으로써, 양자화된 레이어들을 포함하는 제 2 뉴럴 네트워크를 생성한다.
한편, 상술한 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예들에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 실시예가 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 실시예에 포함된 것으로 해석되어야 할 것이다.

Claims (19)

  1. 뉴럴 네트워크 양자화를 위한 방법에 있어서,
    제 1 비트 정밀도의 제 1 뉴럴 네트워크에 대하여, 복수의 사이클들의 순방향(feedforward) 및 역전파(backpropagation) 학습을 반복적으로 수행하는 단계;
    상기 제 1 뉴럴 네트워크에 포함된 레이어들 각각에 대하여, 미리 설정된 초기 웨이트 및 각 사이클의 상기 역전파 학습에 의해 결정된 갱신 웨이트 간의 웨이트 차이들(weight differences)을 획득하는 단계;
    상기 레이어들 각각에 대한 상기 웨이트 차이들의 통계량을 분석하는 단계;
    상기 분석된 통계량에 기초하여, 상기 레이어들 중 상기 제 1 비트 정밀도보다 낮은 제 2 비트 정밀도로 양자화될 하나 이상의 레이어들을 결정하는 단계; 및
    상기 레이어들 중 상기 결정된 레이어들을 상기 제 2 비트 정밀도로 양자화함으로써, 양자화된 레이어들을 포함하는 제 2 뉴럴 네트워크를 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 통계량은
    상기 레이어들 각각에 대한, 상기 웨이트 차이들의 평균제곱(mean square)을 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 분석된 통계량의 크기의 순서대로 상기 레이어들을 정렬(sort)하는 단계를 더 포함하고,
    상기 결정하는 단계는
    상기 정렬된 레이어들 중에서 상기 분석된 통계량의 크기가 상대적으로 작은 레이어들을 상기 양자화될 하나 이상의 레이어들로 결정하는, 방법.
  4. 제 3 항에 있어서,
    상기 결정하는 단계는
    이진 탐색(binary search) 알고리즘을 이용하여, 상기 정렬된 레이어들 중에서 몇 개의 레이어들이 상기 제 2 비트 정밀도로 양자화되었을 때 상기 제 2 뉴럴 네트워크의 정확도 손실(accuracy loss)이 상기 제 1 뉴럴 네트워크와 비교하여 소정 임계값 이내가 되는지 여부를 탐색함으로써, 상기 양자화될 하나 이상의 레이어들을 결정하는, 방법.
  5. 제 4 항에 있어서,
    상기 정확도 손실은
    뉴럴 네트워크의 인식률(recognition rate)에 대한 것인, 방법
  6. 제 3 항에 있어서,
    상기 결정하는 단계는
    상기 정렬된 레이어들 중에서 상기 분석된 통계량의 크기가 작은 순서대로 미리 설정된 소정 개수의 레이어들을 상기 양자화될 하나 이상의 레이어들로 결정하는, 방법.
  7. 제 3 항에 있어서,
    상기 결정하는 단계는
    상기 정렬된 레이어들 중에서 상기 분석된 통계량의 크기가 가장 작은 레이어에 대해서는 상기 양자화될 하나 이상의 레이어들로 결정하지 않는, 방법.
  8. 제 1 항에 있어서,
    상기 제 1 뉴럴 네트워크는
    상기 제 1 비트 정밀도보다 높은 제 3 비트 정밀도의 부동 소수점(floating point) 파라미터들의 레이어들을 갖는 제 3 뉴럴 네트워크로부터 양자화된, 상기 제 1 비트 정밀도의 고정 소수점(fixed point) 파라미터들의 레이어들을 갖는 뉴럴 네트워크에 해당하고,
    상기 양자화된 제 2 뉴럴 네트워크는
    상기 레이어들 중에서 상기 결정된 레이어들은 상기 제 2 비트 정밀도의 고정 소수점 파라미터들을 갖고, 나머지 레이어들은 상기 제 1 비트 정밀도의 상기 고정 소수점 파라미터들을 갖는, 방법.
  9. 제 1 항에 있어서,
    상기 제 1 뉴럴 네트워크가 상기 제 1 비트 정밀도의 부동 소수점 파라미터들의 레이어들을 갖는 뉴럴 네트워크에 해당하는 경우, 상기 레이어들 중 상기 결정되지 않은 나머지 레이어들을 상기 제 1 비트 정밀도보다는 낮고 상기 제 2 비트 정밀도보다는 높은 제 4 비트 정밀도의 고정 소수점 파라미터들의 레이어들로 양자화하는 단계를 더 포함하고,
    상기 양자화된 제 2 뉴럴 네트워크는
    상기 레이어들 중에서 상기 결정된 레이어들은 상기 제 2 비트 정밀도의 고정 소수점 파라미터들을 갖고, 상기 나머지 레이어들은 상기 제 4 비트 정밀도의 고정 소수점 파라미터들을 갖는, 방법.
  10. 제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 뉴럴 네트워크 양자화를 위한 장치에 있어서,
    적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 뉴럴 네트워크 양자화를 수행하는 프로세서를 포함하고,
    상기 프로세서는,
    제 1 비트 정밀도의 제 1 뉴럴 네트워크에 대하여, 복수의 사이클들의 순방향(feedforward) 및 역전파(backpropagation) 학습을 반복적으로 수행하고,
    상기 제 1 뉴럴 네트워크에 포함된 레이어들 각각에 대하여, 미리 설정된 초기 웨이트 및 각 사이클의 상기 역전파 학습에 의해 결정된 갱신 웨이트 간의 웨이트 차이들(weight differences)을 획득하고,
    상기 레이어들 각각에 대한 상기 웨이트 차이들의 통계량을 분석하고,
    상기 분석된 통계량에 기초하여, 상기 레이어들 중 상기 제 1 비트 정밀도보다 낮은 제 2 비트 정밀도로 양자화될 하나 이상의 레이어들을 결정하고,
    상기 레이어들 중 상기 결정된 레이어들을 상기 제 2 비트 정밀도로 양자화함으로써, 양자화된 레이어들을 포함하는 제 2 뉴럴 네트워크를 생성하는, 장치.
  12. 제 11 항에 있어서,
    상기 통계량은
    상기 레이어들 각각에 대한, 상기 웨이트 차이들의 평균제곱(mean square)을 포함하는, 장치.
  13. 제 11 항에 있어서,
    상기 프로세서는
    상기 분석된 통계량의 크기의 순서대로 상기 레이어들을 정렬(sort)하고,
    상기 정렬된 레이어들 중에서 상기 분석된 통계량의 크기가 상대적으로 작은 레이어들을 상기 양자화될 하나 이상의 레이어들로 결정하는, 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는
    이진 탐색(binary search) 알고리즘을 이용하여, 상기 정렬된 레이어들 중에서 몇 개의 레이어들이 상기 제 2 비트 정밀도로 양자화되었을 때 상기 제 2 뉴럴 네트워크의 정확도 손실(accuracy loss)이 상기 제 1 뉴럴 네트워크와 비교하여 소정 임계값 이내가 되는지 여부를 탐색함으로써, 상기 양자화될 하나 이상의 레이어들을 결정하는, 장치.
  15. 제 14 항에 있어서,
    상기 정확도 손실은
    뉴럴 네트워크의 인식률(recognition rate)에 대한 것인, 장치.
  16. 제 13 항에 있어서,
    상기 프로세서는
    상기 정렬된 레이어들 중에서 상기 분석된 통계량의 크기가 작은 순서대로 미리 설정된 소정 개수의 레이어들을 상기 양자화될 하나 이상의 레이어들로 결정하는, 장치.
  17. 제 13 항에 있어서,
    상기 프로세서는
    상기 정렬된 레이어들 중에서 상기 분석된 통계량의 크기가 가장 작은 레이어에 대해서는 상기 양자화될 하나 이상의 레이어들로 결정하지 않는, 장치.
  18. 제 11 항에 있어서,
    상기 제 1 뉴럴 네트워크는
    상기 제 1 비트 정밀도보다 높은 제 3 비트 정밀도의 부동 소수점(floating point) 파라미터들의 레이어들을 갖는 제 3 뉴럴 네트워크로부터 양자화된, 상기 제 1 비트 정밀도의 고정 소수점(fixed point) 파라미터들의 레이어들을 갖는 뉴럴 네트워크에 해당하고,
    상기 양자화된 제 2 뉴럴 네트워크는
    상기 레이어들 중에서 상기 결정된 레이어들은 상기 제 2 비트 정밀도의 고정 소수점 파라미터들을 갖고, 나머지 레이어들은 상기 제 1 비트 정밀도의 상기 고정 소수점 파라미터들을 갖는, 장치.
  19. 제 11 항에 있어서,
    상기 프로세서는
    상기 제 1 뉴럴 네트워크가 상기 제 1 비트 정밀도의 부동 소수점 파라미터들의 레이어들을 갖는 뉴럴 네트워크에 해당하는 경우, 상기 레이어들 중 상기 결정되지 않은 나머지 레이어들을 상기 제 1 비트 정밀도보다는 낮고 상기 제 2 비트 정밀도보다는 높은 제 4 비트 정밀도의 고정 소수점 파라미터들의 레이어들로 양자화하고,
    상기 양자화된 제 2 뉴럴 네트워크는
    상기 레이어들 중에서 상기 결정된 레이어들은 상기 제 2 비트 정밀도의 고정 소수점 파라미터들을 갖고, 상기 나머지 레이어들은 상기 제 4 비트 정밀도의 고정 소수점 파라미터들을 갖는, 장치.
KR1020190002986A 2019-01-09 2019-01-09 뉴럴 네트워크 양자화를 위한 방법 및 장치 KR20200086581A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020190002986A KR20200086581A (ko) 2019-01-09 2019-01-09 뉴럴 네트워크 양자화를 위한 방법 및 장치
CN201910922232.5A CN111428852A (zh) 2019-01-09 2019-09-26 用于神经网络量化的方法和装置
EP19210968.4A EP3680826A1 (en) 2019-01-09 2019-11-22 Method and apparatus for neural network quantization
US16/738,338 US11625577B2 (en) 2019-01-09 2020-01-09 Method and apparatus for neural network quantization
JP2020002058A JP7329455B2 (ja) 2019-01-09 2020-01-09 ニューラルネットワーク量子化のための方法及び装置
US18/116,553 US11934939B2 (en) 2019-01-09 2023-03-02 Method and apparatus for neural network quantization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190002986A KR20200086581A (ko) 2019-01-09 2019-01-09 뉴럴 네트워크 양자화를 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200086581A true KR20200086581A (ko) 2020-07-17

Family

ID=68654403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002986A KR20200086581A (ko) 2019-01-09 2019-01-09 뉴럴 네트워크 양자화를 위한 방법 및 장치

Country Status (5)

Country Link
US (2) US11625577B2 (ko)
EP (1) EP3680826A1 (ko)
JP (1) JP7329455B2 (ko)
KR (1) KR20200086581A (ko)
CN (1) CN111428852A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030108A (ko) * 2020-09-02 2022-03-10 네이버 주식회사 인공신경망 모델 학습 방법 및 시스템
KR20220125112A (ko) * 2021-03-04 2022-09-14 삼성전자주식회사 양자화를 이용한 뉴럴 네트워크 연산 방법 및 장치
WO2023038159A1 (ko) * 2021-09-07 2023-03-16 주식회사 노타 레이어 별 경량화를 통한 딥러닝 모델 최적화 방법 및 시스템
KR102596769B1 (ko) * 2022-07-12 2023-11-02 오픈엣지테크놀로지 주식회사 신경망 설계방법 및 이를 위한 장치
KR102659650B1 (ko) * 2024-01-25 2024-04-23 주식회사 두다지 대상 프로세싱 유닛에 적합한 양자화된 뉴럴 네트워크 모델 제공 방법 및 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568222B2 (en) * 2019-03-27 2023-01-31 Integrated Silicon Solution, (Cayman) Inc. System and method for classifying data using neural networks with errors
US11763158B2 (en) * 2019-12-04 2023-09-19 Deep Vision Inc. Method for automatic hybrid quantization of deep artificial neural networks
CN111831354B (zh) * 2020-07-09 2023-05-16 北京灵汐科技有限公司 数据精度配置方法、装置、芯片、芯片阵列、设备及介质
WO2022030054A1 (ja) * 2020-08-06 2022-02-10 コニカミノルタ株式会社 ディープラーニングモデルの値域決定プログラム、値域決定システム、および値域決定方法
CN111931917A (zh) * 2020-08-20 2020-11-13 浙江大华技术股份有限公司 前向计算的实现方法及装置、存储介质、电子装置
GB2599137A (en) * 2020-09-25 2022-03-30 Samsung Electronics Co Ltd Method and apparatus for neural architecture search
JP6992864B1 (ja) 2020-09-28 2022-01-13 沖電気工業株式会社 ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム
CN112580805A (zh) * 2020-12-25 2021-03-30 三星（中国）半导体有限公司 神经网络模型的量化方法和量化神经网络模型的装置
JP2023031367A (ja) 2021-08-25 2023-03-09 富士通株式会社 閾値決定プログラム及び閾値決定方法
JP2023069780A (ja) 2021-11-08 2023-05-18 富士通株式会社 演算プログラム、演算方法及び計算機
CN114676822B (zh) * 2022-03-25 2024-04-23 东南大学 一种基于深度学习的多属性融合空气质量预报方法
KR102612695B1 (ko) * 2022-10-20 2023-12-13 연세대학교 산학협력단 변동성 플로팅 포인트 뉴럴넷을 이동 표적으로 사용하여 바이너리 뉴럴넷을 학습하는 자기지도학습 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950012359B1 (ko) 1992-08-28 1995-10-17 엘지전자주식회사 신경회로망 구조와 학습방법
US11106973B2 (en) 2016-03-16 2021-08-31 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for bit-depth reduction in artificial neural networks
GB201607713D0 (en) 2016-05-03 2016-06-15 Imagination Tech Ltd Convolutional neural network
US10936941B2 (en) 2016-08-12 2021-03-02 Xilinx, Inc. Efficient data access control device for neural network hardware acceleration system
US11392825B2 (en) 2017-01-09 2022-07-19 Samsung Electronics Co., Ltd. Method and algorithm of recursive deep learning quantization for weight bit reduction
KR102592721B1 (ko) 2017-01-11 2023-10-25 한국전자통신연구원 이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작 방법
JP6540725B2 (ja) 2017-01-30 2019-07-10 富士通株式会社 演算処理装置、方法、およびプログラム
US11556772B2 (en) * 2017-04-28 2023-01-17 Intel Corporation Incremental precision networks using residual inference and fine-grain quantization
KR102601604B1 (ko) 2017-08-04 2023-11-13 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
WO2019051658A1 (en) * 2017-09-13 2019-03-21 Intel Corporation INCREMENTAL NETWORK QUANTIFICATION
US11551077B2 (en) * 2018-06-13 2023-01-10 International Business Machines Corporation Statistics-aware weight quantization

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030108A (ko) * 2020-09-02 2022-03-10 네이버 주식회사 인공신경망 모델 학습 방법 및 시스템
KR20220125112A (ko) * 2021-03-04 2022-09-14 삼성전자주식회사 양자화를 이용한 뉴럴 네트워크 연산 방법 및 장치
WO2023038159A1 (ko) * 2021-09-07 2023-03-16 주식회사 노타 레이어 별 경량화를 통한 딥러닝 모델 최적화 방법 및 시스템
KR102596769B1 (ko) * 2022-07-12 2023-11-02 오픈엣지테크놀로지 주식회사 신경망 설계방법 및 이를 위한 장치
WO2024014632A1 (ko) * 2022-07-12 2024-01-18 오픈엣지테크놀로지 주식회사 신경망 설계방법 및 이를 위한 장치
KR102659650B1 (ko) * 2024-01-25 2024-04-23 주식회사 두다지 대상 프로세싱 유닛에 적합한 양자화된 뉴럴 네트워크 모델 제공 방법 및 장치

Also Published As

Publication number Publication date
JP7329455B2 (ja) 2023-08-18
JP2020113273A (ja) 2020-07-27
EP3680826A1 (en) 2020-07-15
US11625577B2 (en) 2023-04-11
US11934939B2 (en) 2024-03-19
US20230206031A1 (en) 2023-06-29
CN111428852A (zh) 2020-07-17
US20200218962A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP7329455B2 (ja) ニューラルネットワーク量子化のための方法及び装置
CN109389219B (zh) 用于对神经网络的参数进行量化的方法和装置
KR102589303B1 (ko) 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치
KR102526650B1 (ko) 뉴럴 네트워크에서 데이터를 양자화하는 방법 및 장치
US11836603B2 (en) Neural network method and apparatus with parameter quantization
CN110689109B (zh) 神经网络方法和装置
JP7117280B2 (ja) ニューラルネットワークのパラメータを量子化する方法及びその装置
US11816557B2 (en) Method and apparatus with neural network parameter quantization
US11531893B2 (en) Method and apparatus with neural network parameter quantization
KR20210045225A (ko) 뉴럴 네트워크에서 연산을 수행하는 방법 및 장치
JP7329352B2 (ja) 分類のためのニューラルネットワークにおいて、パラメータを処理する方法及び装置
CN114358274A (zh) 训练用于图像识别的神经网络的方法和设备
KR20210121946A (ko) 뉴럴 네트워크 양자화를 위한 방법 및 장치
KR20210053791A (ko) 뉴럴 네트워크의 데이터를 처리하는 방법 및 장치
KR102581471B1 (ko) 분류를 위한 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치
KR20200139071A (ko) 뉴럴 네트워크에서 파라미터를 양자화하는 방법 및 장치
CN114254746A (zh) 执行神经网络的方法和设备
KR20240035013A (ko) 뉴럴 네트워크의 파라미터 양자화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination