KR20230063519A - 뉴럴 네트워크 연산 장치 및 방법 - Google Patents

뉴럴 네트워크 연산 장치 및 방법 Download PDF

Info

Publication number
KR20230063519A
KR20230063519A KR1020210148669A KR20210148669A KR20230063519A KR 20230063519 A KR20230063519 A KR 20230063519A KR 1020210148669 A KR1020210148669 A KR 1020210148669A KR 20210148669 A KR20210148669 A KR 20210148669A KR 20230063519 A KR20230063519 A KR 20230063519A
Authority
KR
South Korea
Prior art keywords
data
neural network
phase signal
internal storage
main data
Prior art date
Application number
KR1020210148669A
Other languages
English (en)
Inventor
정한웅
하순회
강동현
강두석
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020210148669A priority Critical patent/KR20230063519A/ko
Priority to US17/863,662 priority patent/US11928469B2/en
Publication of KR20230063519A publication Critical patent/KR20230063519A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/30105—Register structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

뉴럴 네트워크 연산 장치 및 방법이 개시된다. 일 실시예에 따른 뉴럴 네트워크 연산 장치는, 뉴럴 네트워크 연산을 수행하기 위한 데이터를 저장하는 내부 스토리지(internal storage)와, 상기 데이터 및 메인 데이터의 덧셈을 수행하는 덧셈기와, 리셋 신호(reset signal)에 기초하여 상기 덧셈기의 출력 결과 및 상기 메인 데이터 중에서 하나를 출력하는 제1 멀티플렉서(multiplexer)와, 페이즈 신호(phase signal)에 기초하여 상기 데이터의 양자화 결과 및 상기 메인 데이터 중에서 하나를 출력하는 제2 멀티플렉서와, 상기 리셋 신호 및 상기 페이즈 신호를 생성함으로써 상기 제1 멀티플렉서 및 상기 제2 멀티플렉서를 제어하는 컨트롤러를 포함한다.

Description

뉴럴 네트워크 연산 장치 및 방법{APPARATUS AND METHOD FOR NEURAL NETWORK OPERATION}
아래 실시예들은 뉴럴 네트워크 연산 장치 및 방법에 관한 것이다.
뉴럴 네트워크 연산은 다양한 레이어에 대응하는 다양한 연산을 포함한다. 예를 들어, 뉴럴 네트워크 연산은 컨볼루션 연산 및 논-컨볼루션 연산을 포함한다.
논-컨볼루션 연산은 리덕션 연산을 포함하는데, 리덕션 연산 중의 하나인 글로벌 풀링(global pooling)은 스퀴즈 앤 익사이테이션(squeeze-and-excitation) 네트워크와 같이 매우 큰 공간 차원(spatial dimension)을 가진 입력 특징맵의 정보를 압축하는데 사용된다.
큰 공간 차원을 가진 입력 특징맵의 정보를 처리하기 위해서는 하나의 출력 픽셀당 대응되는 채널의 모든 2 차원 특징맵의 값을 읽어 계산이 수행될 필요가 있다.
리덕션 연산을 수행하기 위한 하드웨어가 추가될 경우에 메인 데이터 경로의 제어와 리덕션 모듈을 고려한 제어 체계가 추가될 필요가 있고, 제어 신호를 생성하기 위한 소프트웨어 또는 컴파일러의 지원이 요구된다.
일 실시예에 따른 뉴럴 네트워크 연산 장치는, 뉴럴 네트워크 연산을 수행하기 위한 데이터를 저장하는 내부 스토리지(internal storage)와, 상기 데이터 및 메인 데이터의 덧셈을 수행하는 덧셈기와, 리셋 신호(reset signal)에 기초하여 상기 덧셈기의 출력 결과 및 상기 메인 데이터 중에서 하나를 출력하는 제1 멀티플렉서(multiplexer)와, 페이즈 신호(phase signal)에 기초하여 상기 데이터의 양자화 결과 및 상기 메인 데이터 중에서 하나를 출력하는 제2 멀티플렉서와, 상기 리셋 신호 및 상기 페이즈 신호를 생성함으로써 상기 제1 멀티플렉서 및 상기 제2 멀티플렉서를 제어하는 컨트롤러를 포함한다.
상기 뉴럴 네트워크 연산 장치는, 상기 내부 스토리지로부터 상기 데이터를 수신하여 저장하는 제1 레지스터와, 상기 메인 데이터를 수신하여 저장하는 제2 레지스터와, 상기 제1 멀티플렉서의 출력을 저장하는 제3 레지스터를 포함할 수 있다.
상기 뉴럴 네트워크 연산 장치는, 양자화 팩터(quantization factor)에 기초하여 상기 데이터를 양자화함으로써 상기 양자화 결과를 생성하는 양자화기를 더 포함할 수 있다.
상기 내부 스토리지는, 상기 데이터의 출력 텐서(output tensor)의 위치를 나타내는 채널 인덱스에 기초하여 상기 데이터를 저장할 수 있다.
상기 컨트롤러는, 상기 메인 데이터가 유효한지 여부에 기초하여 상기 내부 스토리지를 업데이트할 수 있다.
상기 페이즈 신호는, 상기 뉴럴 네트워크 연산 장치가 연산을 수행하지 않도록 하기 위한 제1 페이즈 신호와, 상기 메인 데이터를 출력하고, 상기 내부 스토리지를 업데이트하기 위한 제2 페이즈 신호와, 상기 양자화 결과를 출력하기 위한 제3 페이즈 신호를 포함할 수 있다.
상기 컨트롤러는, 상기 메인 데이터의 출력이 끝나는 시점에, 상기 페이즈 신호를 상기 제3 페이즈 신호로 변경하고, 채널 인덱스에 기초하여 상기 내부 스토리지로부터 상기 데이터를 수신하여 출력할 수 있다.
상기 컨트롤러는, 상기 리셋 신호에 기초하여 상기 내부 스토리지를 상기 데이터로 초기화할 수 있다.
상기 컨트롤러는, 상기 메인 데이터에 대응하는 필터의 첫 번째 출력이 생성되는 시점에 상기 리셋 신호를 생성함으로써 상기 내부 스토리지를 초기화할 수 있다.
일 실시예에 따른 뉴럴 네트워크 연산 방법은, 뉴럴 네트워크 연산을 수행하기 위한 데이터를 저장하는 단계와, 상기 데이터 및 메인 데이터의 덧셈을 수행하는 단계와, 덧셈 결과와 메인 데이터 중에서 하나를 선택하기 위한 리셋 신호를 생성하는 단계와, 상기 데이터의 양자화 결과와 상기 메인 데이터 중에서 하나를 선택하기 위한 페이즈 신호를 생성하는 단계와, 상기 리셋 신호에 기초하여 덧셈 결과 및 상기 메인 데이터 중에서 하나를 출력하는 단계와, 상기 페이즈 신호에 기초하여 상기 데이터의 양자화 결과 및 상기 메인 데이터 중에서 하나를 출력하는 단계를 포함한다.
상기 뉴럴 네트워크 연산 방법은, 상기 데이터가 저장된 내부 스토리지로부터 상기 데이터를 수신하여 저장하는 단계와, 상기 메인 데이터를 수신하여 저장하는 단계와, 상기 덧셈 결과와 상기 메인 데이터 중에서 선택된 하나를 저장하는 단계를 더 포함할 수 있다.
상기 페이즈 신호(phase signal)에 기초하여 상기 데이터의 양자화 결과 및 상기 메인 데이터 중에서 하나를 출력하는 단계는, 양자화 팩터(quantization factor)에 기초하여 상기 데이터를 양자화함으로써 상기 양자화 결과를 생성하는 단계를 포함할 수 있다.
상기 저장하는 단계는, 상기 데이터의 출력 텐서(output tensor)의 위치를 나타내는 채널 인덱스에 기초하여 상기 데이터를 저장하는 단계를 포함할 수 있다.
상기 뉴럴 네트워크 연산 방법은, 상기 메인 데이터가 유효한지 여부에 기초하여 상기 데이터를 저장하는 내부 스토리지를 업데이트하는 단계를 더 포함할 수 있다.
상기 페이즈 신호는, 상기 뉴럴 네트워크 연산 장치가 연산을 수행하지 않도록 하기 위한 제1 페이즈 신호와, 상기 메인 데이터를 출력하고, 상기 데이터를 저장하는 내부 스토리지를 업데이트하기 위한 제2 페이즈 신호와, 상기 양자화 결과를 출력하기 위한 제3 페이즈 신호를 포함할 수 있다.
상기 메인 데이터의 출력이 끝나는 시점에, 상기 페이즈 신호를 상기 제3 페이즈 신호로 변경하는 단계와, 채널 인덱스에 기초하여 상기 내부 스토리지로부터 상기 데이터를 수신하여 출력하는 단계를 포함할 수 있다.
상기 뉴럴 네트워크 연산 방법은, 상기 리셋 신호에 기초하여 상기 데이터를 저장하는 내부 스토리지를 상기 데이터로 초기화하는 단계를 더 포함할 수 있다.
상기 리셋 신호를 생성하는 단계는, 상기 메인 데이터에 대응하는 필터의 첫 번째 출력이 생성되는 시점에 상기 리셋 신호를 생성함으로써 상기 데이터를 저장하는 내부 스토리지를 초기화하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 뉴럴 네트워크 연산 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 리덕션 모듈의 개략적인 블록도를 나타낸다.
도 3은 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 일 예를 나타낸다.
도 4는 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 다른 예를 나타낸다.
도 5는 도 1에 도시된 뉴럴 네트워크 연산 장치의 구현의 예를 나타낸다.
도 6은 파이프라인 처리를 위한 의사 코드(pseudo code)의 예를 나타낸다.
도 7은 뉴럴 네트워크 연산을 수행하기 위한 컴파일의 예를 나타낸다.
도 8a 및 도 8b는 뉴럴 네트워크 연산을 분산 처리하는 과정의 예를 나타낸다.
도 9는 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 흐름도를 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 뉴럴 네트워크 연산 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 뉴럴 네트워크 연산 장치(10)는 뉴럴 네트워크 연산을 수행할 수 있다. 뉴럴 네트워크 연산 장치(10)는 데이터를 수신하여 뉴럴 네트워크를 이용하여 데이터를 처리함으로써 뉴럴 네트워크 연산 결과를 생성할 수 있다.
뉴럴 네트워크 연산 장치(10)는 가산기 트리(adder tree)를 이용하는 NPU 시스템에 파이프라인 형태로 추가될 수 있다. 뉴럴 네트워크 연산 장치(10)는 메인 데이터 경로(main datapath)의 출력을 차례대로 입력 받아 리덕션 연산을 효과적으로 수행할 수 있다.
뉴럴 네트워크 연산 장치(10)는 두 개의 분기로 나누어 리덕션 연산을 수행하기 위한 제어 신호를 생성할 수 있다. 제어 신호는 리셋 신호(reset signal) 및 페이즈 신호(phase signal)를 포함할 수 있다. 뉴럴 네트워크 연산 장치(10)는 리덕션 연산의 결과를 저장하기 위해 내부 스토리지(internal storage)를 초기화하는데 소모되는 오버헤드(overhead)를 줄이기 위해 리셋 신호를 생성함으로써 내부 스토리지에 입력값을 저장할 수 있다.
뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력으로부터 예측하고자 하는 결과를 추론할 수 있다.
뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다. 뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있다.
뉴럴 네트워크 연산 장치(10)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.
뉴럴 네트워크 연산 장치(10)는 컨트롤러(100) 및 리덕션 모듈(200)을 포함한다. 컨트롤러(100)는 리덕션 모듈(200)을 제어하기 위한 제어 신호를 생성함으로써 리덕션 모듈(200)을 제어할 수 있다. 컨트롤러(100)는 리셋 신호 및 페이즈 신호를 생성할 수 있다.
컨트롤러(100)는 프로세서를 포함할 수 있다. 프로세서는 메모리에 저장된 데이터를 처리할 수 있다. 프로세서는 메모리에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
"프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
리덕션 모듈(200)은 데이터를 처리함으로써 뉴럴 네트워크 연산을 수행함으로써 뉴럴 네트워크 연산 결과를 생성할 수 있다. 리덕션 모듈(200)은 리덕션 연산을 수행할 수 있다. 리덕션 연산은 풀링(pooling) 연산을 포함할 수 있다. 예를 들어, 풀링 연산은 글로벌 풀링(global pooling) 연산을 포함할 수 있다.
뉴럴 네트워크 연산 장치(10)는 리덕션 모듈(200)을 이용하여 리덕션 연산을 수행함으로써 연산의 오버헤드를 감소시키면서 리덕션 연산을 효율적으로 수행할 수 있다. 뉴럴 네트워크 연산 장치(10)는 메인 데이터 경로의 출력 값을 리덕션 모듈(200)로 입력하여 글로벌 풀링 결과를 리덕션 모듈(200)의 내부적으로 업데이트하고, 메인 데이터 경로로부터 수신한 메인 데이터는 바이패스시킴으로써 두 가지 레이어를 동시에 수행할 수 있다.
도 2는 도 1에 도시된 리덕션 모듈의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 리덕션 모듈(200)은 풀링 연산(예: 글로벌 풀링 연산)을 수행할 수 있다. 리덕션 모듈(200)은 내부 스토리지(internal storage)(210), 덧셈기(220), 제1 멀티플렉서(multiplexer)(230) 및 제2 멀티플렉서(240)를 포함할 수 있다. 리덕션 모듈(200)은 제1 레지스터(250), 제2 레지스터(260), 제3 레지스터(270) 및 양자화기(280)를 더 포함할 수 있다.
내부 스토리지(210)는 뉴럴 네트워크 연산을 수행하기 위한 데이터를 저장할 수 있다. 내부 스토리지(210)는 데이터의 출력 텐서(output tensor)의 위치를 나타내는 채널 인덱스(예: 도 2의 cidx)에 기초하여 데이터를 저장할 수 있다.
채널 인덱스는 리덕션 연산을 수행하기 위해 필요한 입력 데이터 및 입력 데이터에 대응하는 출력 텐서의 위치에 대한 정보를 포함할 수 있다. 컨트롤러(예: 도 1의 컨트롤러(100))는 채널 인덱스에 기초하여 내부 스토리지(210)에 데이터를 저장할 수 있다.
덧셈기(220)는 데이터 및 메인 데이터의 덧셈을 수행할 수 있다. 데이터는 내부 스토리지(210)에 저장되어 리덕션 모듈(200)의 내부에서 사용되는 데이터를 의미할 수 있고, 메인 데이터는 외부의 메인 데이터 경로(main datapath)의 출력 텐서로부터 수신되는 데이터를 의미할 수 있다.
제1 멀티플렉서(230)는 리셋 신호에 기초하여 덧셈기(220)의 출력 결과 및 메인 데이터 중에서 하나를 출력할 수 있다. 제2 멀티플렉서(240)는 페이즈 신호에 기초하여 데이터의 양자화 결과 및 메인 데이터 중에서 하나를 출력할 수 있다.
제2 멀티플렉서(240)는 페이즈 신호에 기초하여 데이터의 양자화 결과 및 메인 데이터 중에서 하나를 출력할 수 있다.
컨트롤러(100)는 리셋 신호 및 페이즈 신호를 생성함으로써 제1 멀티플렉서(230) 및 제2 멀티플렉서(240)를 제어할 수 있다. 페이즈 신호는 뉴럴 네트워크 연산 장치(예: 도 1의 뉴럴 네트워크 연산 장치(10))가 연산을 수행하지 않도록 하기 위한 제1 페이즈 신호, 메인 데이터를 출력하고, 내부 스토리지(210)를 업데이트하기 위한 제2 페이즈 신호 및 양자화 결과를 출력하기 위한 제3 페이즈 신호를 포함할 수 있다.
페이즈 신호는 페이즈에 따라 리덕션 모듈(200)의 동작을 구분하기 위해 필요한 제어 신호일 수 있다. 리덕션 모듈(200)은 페이즈 신호에 따라 두 가지 이상의 모드로 동작할 수 있다. 페이즈 신호에 기초한 제어를 위해서는 컴파일러 수준에서의 제어가 요구될 수 있다.
페이즈 신호는 2 비트 신호일 수 있다. 예를 들어, 페이즈 신호는 다음과 같이 정의될 수 있다.
A. 제1페이즈 신호== 2’b00/2’b11 일 경우, 뉴럴 네트워크 연산 장치(10)는 NOP(No Operation) 상태
B. 제2 페이즈 신호== 2’b01 일 경우, 메인 페이즈: 메인 데이터 경로 동작 및 리덕션 모듈(200) 업데이트
C. 제3 페이즈 신호== 2’b10 일 경우, 리덱션 페이즈: 메인 데이터 경로 정지 및 리덕션 모듈(200) 출력
컨트롤러(100)는 메인 데이터가 유효한지 여부에 기초하여 내부 스토리지(210)를 업데이트할 수 있다. 컨트롤러(100)는 밸리드(valid) 값에 기초하여 메인 데이터가 유효한지 여부를 판단할 수 있다. 컨트롤러(100)는 밸리드 값에 기초하여 메인 데이터 경로로부터 수신되는 메인 데이터가 유효한 경우에만 내부 스토리지(210)를 업데이트할 수 있다.
컨트롤러(100)는 메인 데이터의 출력이 끝나는 시점에 페이즈 신호를 제3 페이즈 신호로 변경하고, 채널 인덱스에 기초하여 내부 스토리지(210)로부터 데이터를 수신하여 출력할 수 있다. 예를 들어, 컨트롤러(100)는 컴파일 시 메인 데이터 경로의 수행이 끝나는 시점에 페이즈를 2’b10으로 변경시키고, 출력 채널 값(예: cidx)를 전달하여 내부 스토리지(210)의 데이터를 읽어 출력시키기 위한 제어 코드를 생성할 수 있다.
컨트롤러(100)는 리셋 신호에 기초하여 내부 스토리지(210)를 뉴럴 네트워크를 수행하기 위한 데이터로 초기화할 수 있다. 초기화를 위한 데이터는 제3 레지스터(270)로부터 입력되는 데이터일 수 있다.
컨트롤러(100)는 리셋 신호를 이용하지 않고, 리덕션 모듈(200)의 수행이 필요한 레이어가 수행되기 전에 내부 스토리지(210)를 0으로 초기화할 수 있다. 이 경우, 제1 멀티플렉서(230)를 사용하지 않고, 덧셈기(220)의 출력이 내부 스토리지(210)로 직접적으로 전달될 수 있다.
컨트롤러(100)는 메인 데이터에 대응하는 필터의 첫 번째 출력이 생성되는 시점에 리셋 신호를 생성함으로써 내부 스토리지(210)를 초기화할 수 있다. 리셋 신호는 입력 데이터로 내부 스토리지(210)의 값을 초기화하기 위한 제어 신호를 의미할 수 있다. 컨트롤러(100)는 필터를 처음으로 로드(load)할 때, 필터의 첫 번째 출력이 생성될 때, 리셋 신호를 생성하는 형태로 인스트럭션(instruction) 및 제어 신호를 생성함으로써 리덕션 모듈(200)을 제어할 수 있다.
제1 레지스터(250)는 내부 스토리지(210)로부터 데이터를 수신하여 저장할 수 있다. 제2 레지스터(260)는 메인 데이터를 수신하여 저장할 수 있다.
양자화기(280)는 양자화 팩터(quantization factor)에 기초하여 데이터를 양자화함으로써 양자화 결과를 생성할 수 있다. 양자화 팩터 Q는 리덕션 모듈의 출력 값을 양자화하기 위해 사용될 수 있다. 양자화 팩터는 뉴럴 네트워크 연산이 수행되기 전에 미리 계산될 수 있다.
내부 스토리지(210), 제1 레지스터(250), 제2 레지스터(260) 및 제3 레지스터(270)는 메모리로 구현될 수 있다. 메모리는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리는 휘발성 메모리 장치 또는 비휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
비휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
도 3은 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 일 예를 나타내고, 도 4는 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 다른 예를 나타낸다.
도 3 및 도 4를 참조하면, 컨트롤러(예: 도 1의 컨트롤러(100))는 페이즈 신호에 기초하여 리덕션 모듈(예: 도 1의 리덕션 모듈(200))을 제어할 수 있다.
컨트롤러(100)는 페이즈 신호에 기초하여 제2 멀티플렉서(320)(예: 도 2의 제2 멀티플렉서(230))를 제어할 수 있다. 제2 페이즈는 메인 데이터 경로에 따른 데이터를 출력하기 위한 페이즈를 의미할 수 있다.
컨트롤러(100)는 제2 페이즈 신호를 생성하여 제2 멀티플렉서(320)가 메인 데이터 경로로부터 메인 데이터를 수신한 제2 레지스터(350)(예: 도 2의 제2 레지스터(260)에 저장된 데이터를 출력 데이터(360)로 생성할 수 있다.
이 때, 컨트롤러(100)는 업데이트 로직(330)을 이용하여 내부 스토리지(310)를 업데이트하고, 내부 스토리지(310)(예: 도 2의 내부 스토리지(210))에 저장된 데이터는 제1 레지스터(340)(예: 도 2의 제1 레지스터(250))에 저장될 수 있다.
제3 페이즈는 내부 스토리지(410)(예: 도 2의 내부 스토리지(210))에 저장된 데이터를 양자화하여 출력하는 페이즈를 의미할 수 있다. 제2 멀티플렉서(430)는 제3 페이즈 신호에 기초하여 출력 데이터(460)를 출력할 수 있다. 제2 멀티플렉서(430)(예: 도 2의 제2 멀티플렉서(240))는 제3 페이즈 신호에 기초하여 양자화 결과를 출력할 수 있다.
제1 레지스터(440)(예: 도 2의 제1 레지스터(250))는 내부 스토리지(410)로부터 데이터를 수신하여 저장할 수 있다. 제1 레지스터(440)는 양자화기(420)(예: 도 2의 양자화기(280))로 데이터를 출력할 수 있다.
양자화기(420)는 양자화 팩터에 기초하여 데이터의 양자화 결과를 생성할 수 있다.
도 5는 도 1에 도시된 뉴럴 네트워크 연산 장치의 구현의 예를 나타내고, 도 6은 파이프라인 처리를 위한 의사 코드(pseudo code)의 예를 나타내고, 도 7은 뉴럴 네트워크 연산을 수행하기 위한 컴파일의 예를 나타낸다.
도 5 내지 도 7을 참조하면, 도 5의 예시와 같이 가산기 트리 기반의 뉴럴 프로세서에 리덕션 모듈(예: 도 1의 리덕션 모듈(200))을 적용할 경우, 도 6과 같이 데이터의 흐름을 나타낼 수 있다.
도 6의 라인 9와 같이 메인 데이터 경로가 수행되는 업데이트 페이즈(예: 제2 페이즈)에서는 출력에 대한 리덕션 모듈(200)의 업데이트가 수행되고, 쓰기 페이즈(예: 제3 페이즈)에서는 라인 12 내지 13과 같이 내부 스토리지(예: 도 2의 내부 스토리지(210))의 데이터가 출력될 수 있다.
리덕션 모듈(200)이 수행하는 동작을 지원하기 위해서 컴파일 결과가 변경될 수 있다. 예를 들어, 도 7의 라인 2, 4와 같이 리덕션 모듈(200)의 수행을 위한 정보가 추가적으로 명세될 수 있다.
도 7의 예시에서, NPU.RunMainDp의 경우 종래의 컴파일 결과의 NPU.Process와 대치되는 부분이기 때문에 별다른 정보 처리가 필요 없을 수 있다. 리덕션 모듈(200)의 수행이 필요할 경우, 컨트롤러(예: 도 1의 컨트롤러(100))는 리덕션 모듈(200)의 수행 전에 리덕션에 관련된 정보(예: 양자화 팩터)를 설정할 수 있다.
메인 데이터의 처리가 끝나는 시점(예: 라인 3)에서 페이즈 신호가 바뀌어야 하므로, 라인 4와 같이 페이즈를 변경하고, 리덕션 모듈(200) 내부에 저장된 데이터를 출력하는 부분이 추가될 수 있다.
리덕션 연산에 대하여 메인 데이터 경로에서 처리할 이전 레이어가 없고, 리덕션 모듈(200)만을 이용하고자 하는 경우, 컨트롤러(100)는 메인 데이터 경로에서 Identity() 함수를 수행하는 것 과같이 데이터를 처리하여 출력시킬 수도 있다.
도 8a 및 도 8b는 뉴럴 네트워크 연산을 분산 처리하는 과정의 예를 나타낸다.
도 8a 및 도 8b를 참조하면, 뉴럴 네트워크 연산 장치(예: 도 1의 뉴럴 네트워크 연산 장치(10))는 복수의 코어(예: 제1 코어(810) 및 제2 코어(830))를 이용하여 분산 처리를 수행할 수 있다. 입력 데이터가 채널 방향으로 나뉘어 분산 처리가 가능하거나 최종 출력이 연결(concatenation)된 후 글로벌 풀링이 수행되는 경우, 도 8a의 예시와 같이 concat 연산 이전에 서로 다른 코어에서 리덕션 연산을 수행하고, concat을 수행함으로써 연산 부하를 크게 감소시킬 수 있다.
예를 들어, 뉴럴 네트워크 연산 장치(10)는 제1 코어(810)가 리덕션 모듈(811)을 이용하여 리덕션 연산을 수행하고, 제2 코어(830)가 리덕션 모듈(831)을 이용하여 리덕션 연산을 수행한 후, 리덕션 모듈(811)의 출력 및 리덕션 모듈(831)의 출력을 concat할 수 있다.
도 8b의 예시에서, 제1 코어(810) 및 제2 코어(830)의 부하를 줄이기 위하여 글로벌 풀링을 포함한 레이어 시퀀스를 공간 파티셔닝(spatial partitioning)에 기초하여 멀티 코어에서 처리해야 할 경우, 뉴럴 네트워크 연산 장치(10)는 연산 결과 값을 합친 후에 스탠드얼론 글로벌 풀링(standalone global pooling)을 수행하지 않고, 리덕션 모듈(811) 및 리덕션 모듈(831)을 이용하여 글로벌 풀링을 각각의 파티션 별로 처리한 이후, 리덕션 연산의 결과 값을 합치는 방식으로 연산을 수행할 수 있다.
이 때, 리덕션 모듈(811) 및 리덕션 모듈(831)의 양자화 팩터는 파티션된 뉴럴 네트워크에 대응하는 값이 아니고, 기존 뉴럴 네트워크의 양자화 팩터가 사용될 수 있다. 예를 들어, Core0가 제1 코어(810)를 나타내고, Core 1이 제2 코어(830)를 나타내는 경우, 양자화팩터는 A/C (Core 0) + B/C (Core 1) = (A+B)/C (Core 0 + Core 1: 기존 결과 값)를 이용하여 계산될 수 있다. A는 제1 코어(810)의 출력의 합(sum)을 나타내고, B는 제2 코어(830)의 출력의 합을 나타낼 수 있다. C는 파티셔닝(partitioning)되기 전, 글로벌 애버리지 풀링 레이어(global average pooling layer)에서 결정된 양자화 팩터를 의미할 수 있다.
도 9는 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 흐름도를 나타낸다.
도 9를 참조하면, 내부 스토리지(예: 도 2의 내부 스토리지(210))는 뉴럴 네트워크 연산을 수행하기 위한 데이터를 저장할 수 있다(910). 내부 스토리지(210)는 데이터의 출력 텐서의 위치를 나타내는 채널 인덱스에 기초하여 데이터를 저장할 수 있다.
제1 레지스터(예: 도 2의 제1 레지스터(250))는 데이터가 저장된 내부 스토리지(210)로부터 데이터를 수신하여 저장할 수 있다.
제2 레지스터(예: 도 2의 제2 레지스터(260))는 메인 데이터를 수신하여 저장할 수 있다. 제3 레지스터(예: 도 3의 제3 레지스터(270))는 덧셈 결과와 메인 데이터 중에서 선택된 하나를 저장할 수 있다.
덧셈기(예: 도 2의 덧셈기(220))는 데이터 및 메인 데이터의 덧셈을 수행할 수 있다(920).
컨트롤러(예: 도 1의 컨트롤러(100))는 덧셈 결과와 메인 데이터 중에서 하나를 선택하기 위한 리셋 신호를 생성할 수 있다(930). 컨트롤러(100)는 리셋 신호에 기초하여 내부 스토리지(210)를 뉴럴 네트워크 연산을 수행하기 위한 데이터로 초기화할 수 있다. 컨트롤러(100)는 메인 데이터에 대응하는 필터의 첫 번째 출력이 생성되는 시점에 리셋 신호를 생성함으로써 내부 스토리지(210)를 초기화할 수 있다.
컨트롤러(100)는 데이터의 양자화 결과와 메인 데이터 중에서 하나를 생성하기 위한 페이즈 신호를 생성할 수 있다(930). 컨트롤러(100)는 데이터의 양자화 결과와 메인 데이터 중에서 하나를 선택하기 위한 페이즈 신호를 생성할 수 있다(940).
페이즈 신호는 뉴럴 네트워크 연산 장치가 연산을 수행하지 않도록 하기 위한 제1 페이즈 신호, 메인 데이터를 출력하고, 내부 스토리지를 업데이트하기 위한 제2 페이즈 신호 및 양자화 결과를 출력하기 위한 제3 페이즈 신호를 포함할 수 있다.
컨트롤러(100)는 메인 데이터가 유효한지 여부에 기초하여 내부 스토리지(210)를 업데이트할 수 있다. 컨트롤러(100)는 메인 데이터의 출력이 끝나는 시점에, 페이즈 신호를 제3 페이즈 신호로 변경할 수 있다. 컨트롤러(100)는 채널 인덱스에 기초하여 내부 스토리지(210)로부터 데이터를 수신하여 출력할 수 있다.
제1 멀티플렉서(예: 도 2의 제1 멀티플렉서(930))는 리셋 신호에 기초하여 덧셈 결과 및 메인 데이터 중에서 하나를 출력할 수 있다(950).
제2 멀티플렉서(예: 도 2의 제2 멀티플렉서(930))는 페이즈 신호에 기초하여 데이터의 양자화 결과 및 메인 데이터 중에서 하나를 출력할 수 있다(960).
양자화기(예: 도 2의 양자화기(980))는 양자화 팩터에 기초하여 데이터를 양자화함으로써 양자화 결과를 생성할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 뉴럴 네트워크 연산을 수행하기 위한 데이터를 저장하는 내부 스토리지(internal storage);
    상기 데이터 및 메인 데이터의 덧셈을 수행하는 덧셈기;
    리셋 신호(reset signal)에 기초하여 상기 덧셈기의 출력 결과 및 상기 메인 데이터 중에서 하나를 출력하는 제1 멀티플렉서(multiplexer);
    페이즈 신호(phase signal)에 기초하여 상기 데이터의 양자화 결과 및 상기 메인 데이터 중에서 하나를 출력하는 제2 멀티플렉서; 및
    상기 리셋 신호 및 상기 페이즈 신호를 생성함으로써 상기 제1 멀티플렉서 및 상기 제2 멀티플렉서를 제어하는 컨트롤러
    를 포함하는 뉴럴 네트워크 연산 장치.
  2. 제1항에 있어서,
    상기 내부 스토리지로부터 상기 데이터를 수신하여 저장하는 제1 레지스터;
    상기 메인 데이터를 수신하여 저장하는 제2 레지스터; 및
    상기 제1 멀티플렉서의 출력을 저장하는 제3 레지스터
    를 포함하는 뉴럴 네트워크 연산 장치.
  3. 제1항에 있어서,
    양자화 팩터(quantization factor)에 기초하여 상기 데이터를 양자화함으로써 상기 양자화 결과를 생성하는 양자화기
    를 더 포함하는 뉴럴 네트워크 연산 장치.
  4. 제1항에 있어서,
    상기 내부 스토리지는,
    상기 데이터의 출력 텐서(output tensor)의 위치를 나타내는 채널 인덱스에 기초하여 상기 데이터를 저장하는,
    뉴럴 네트워크 연산 장치.
  5. 제1항에 있어서,
    상기 컨트롤러는,
    상기 메인 데이터가 유효한지 여부에 기초하여 상기 내부 스토리지를 업데이트하는,
    뉴럴 네트워크 연산 장치.
  6. 제1항에 있어서,
    상기 페이즈 신호는,
    상기 뉴럴 네트워크 연산 장치가 연산을 수행하지 않도록 하기 위한 제1 페이즈 신호;
    상기 메인 데이터를 출력하고, 상기 내부 스토리지를 업데이트하기 위한 제2 페이즈 신호; 및
    상기 양자화 결과를 출력하기 위한 제3 페이즈 신호
    를 포함하는 뉴럴 네트워크 연산 장치.
  7. 제6항에 있어서,
    상기 컨트롤러는,
    상기 메인 데이터의 출력이 끝나는 시점에, 상기 페이즈 신호를 상기 제3 페이즈 신호로 변경하고,
    채널 인덱스에 기초하여 상기 내부 스토리지로부터 상기 데이터를 수신하여 출력하는,
    뉴럴 네트워크 연산 장치.
  8. 제1항에 있어서,
    상기 컨트롤러는,
    상기 리셋 신호에 기초하여 상기 내부 스토리지를 상기 데이터로 초기화하는,
    뉴럴 네트워크 연산 장치.
  9. 제1항에 있어서,
    상기 컨트롤러는,
    상기 메인 데이터에 대응하는 필터의 첫 번째 출력이 생성되는 시점에 상기 리셋 신호를 생성함으로써 상기 내부 스토리지를 초기화하는,
    뉴럴 네트워크 연산 장치.
  10. 하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독가능한 매체에 저장된 컴퓨터 프로그램.
  11. 뉴럴 네트워크 연산을 수행하기 위한 데이터를 저장하는 단계;
    상기 데이터 및 메인 데이터의 덧셈을 수행하는 단계;
    덧셈 결과와 메인 데이터 중에서 하나를 선택하기 위한 리셋 신호를 생성하는 단계;
    상기 데이터의 양자화 결과와 상기 메인 데이터 중에서 하나를 선택하기 위한 페이즈 신호를 생성하는 단계;
    상기 리셋 신호에 기초하여 덧셈 결과 및 상기 메인 데이터 중에서 하나를 출력하는 단계; 및
    상기 페이즈 신호에 기초하여 상기 데이터의 양자화 결과 및 상기 메인 데이터 중에서 하나를 출력하는 단계
    를 포함하는 뉴럴 네트워크 연산 방법.
  12. 제11항에 있어서,
    상기 데이터가 저장된 내부 스토리지로부터 상기 데이터를 수신하여 저장하는 단계;
    상기 메인 데이터를 수신하여 저장하는 단계; 및
    상기 덧셈 결과와 상기 메인 데이터 중에서 선택된 하나를 저장하는 단계
    를 더 포함하는 뉴럴 네트워크 연산 방법.
  13. 제11항에 있어서,
    상기 페이즈 신호에 기초하여 상기 데이터의 양자화 결과 및 상기 메인 데이터 중에서 하나를 출력하는 단계는,
    양자화 팩터(quantization factor)에 기초하여 상기 데이터를 양자화함으로써 상기 양자화 결과를 생성하는 단계
    를 포함하는 뉴럴 네트워크 연산 방법.
  14. 제11항에 있어서,
    상기 저장하는 단계는,
    상기 데이터의 출력 텐서(output tensor)의 위치를 나타내는 채널 인덱스에 기초하여 상기 데이터를 저장하는 단계
    를 포함하는 뉴럴 네트워크 연산 방법.
  15. 제11항에 있어서,
    상기 메인 데이터가 유효한지 여부에 기초하여 상기 데이터를 저장하는 내부 스토리지를 업데이트하는 단계
    를 더 포함하는 뉴럴 네트워크 연산 방법.
  16. 제11항에 있어서,
    상기 페이즈 신호는,
    상기 뉴럴 네트워크 연산 장치가 연산을 수행하지 않도록 하기 위한 제1 페이즈 신호;
    상기 메인 데이터를 출력하고, 상기 데이터를 저장하는 내부 스토리지를 업데이트하기 위한 제2 페이즈 신호; 및
    상기 양자화 결과를 출력하기 위한 제3 페이즈 신호
    를 포함하는 뉴럴 네트워크 연산 방법.
  17. 제16항에 있어서,
    상기 메인 데이터의 출력이 끝나는 시점에, 상기 페이즈 신호를 상기 제3 페이즈 신호로 변경하는 단계; 및
    채널 인덱스에 기초하여 상기 내부 스토리지로부터 상기 데이터를 수신하여 출력하는 단계
    를 포함하는 뉴럴 네트워크 연산 방법.
  18. 제11항에 있어서,
    상기 리셋 신호에 기초하여 상기 데이터를 저장하는 내부 스토리지를 상기 데이터로 초기화하는 단계
    를 더 포함하는 뉴럴 네트워크 연산 방법.

  19. 제11항에 있어서,
    상기 리셋 신호를 생성하는 단계는,
    상기 메인 데이터에 대응하는 필터의 첫 번째 출력이 생성되는 시점에 상기 리셋 신호를 생성함으로써 상기 데이터를 저장하는 내부 스토리지를 초기화하는 단계
    를 포함하는 뉴럴 네트워크 연산 방법.
KR1020210148669A 2021-11-02 2021-11-02 뉴럴 네트워크 연산 장치 및 방법 KR20230063519A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210148669A KR20230063519A (ko) 2021-11-02 2021-11-02 뉴럴 네트워크 연산 장치 및 방법
US17/863,662 US11928469B2 (en) 2021-11-02 2022-07-13 Apparatus and method with neural network operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210148669A KR20230063519A (ko) 2021-11-02 2021-11-02 뉴럴 네트워크 연산 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230063519A true KR20230063519A (ko) 2023-05-09

Family

ID=86145904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210148669A KR20230063519A (ko) 2021-11-02 2021-11-02 뉴럴 네트워크 연산 장치 및 방법

Country Status (2)

Country Link
US (1) US11928469B2 (ko)
KR (1) KR20230063519A (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750126B1 (ko) * 2005-08-29 2007-08-21 삼성전자주식회사 위상 동기 루프 회로 및 위상 동기 루프 제어 방법
US20190392287A1 (en) 2018-06-22 2019-12-26 Samsung Electronics Co., Ltd. Neural processor
US10884707B1 (en) 2019-06-27 2021-01-05 Amazon Technologies, Inc. Transpose operations using processing element array
CN110991619A (zh) * 2019-12-09 2020-04-10 Oppo广东移动通信有限公司 神经网络处理器、芯片和电子设备

Also Published As

Publication number Publication date
US20230140145A1 (en) 2023-05-04
US11928469B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
KR20210015685A (ko) 이종 컴퓨팅 플랫폼에서 뉴럴 네트워크 모델을 구현하는 방법 및 이를 수행하는 장치
US11803733B2 (en) Method for implementing neural network model in heterogeneous computing platform and apparatus for performing the same
KR20220077709A (ko) 뉴럴 네트워크 연산 방법, 장치 및 그 뉴럴 네트워크 연산을 이용한 키워드 검출 방법
KR102607993B1 (ko) 양자화를 이용한 뉴럴 네트워크 연산 방법 및 장치
KR20230063519A (ko) 뉴럴 네트워크 연산 장치 및 방법
US20230058341A1 (en) Neural network training method and apparatus using trend
KR20230068864A (ko) 뉴럴 네트워크 연산 장치 및 방법
US20220237487A1 (en) Accelerator for processing inference tasks in parallel and operating method thereof
KR102614909B1 (ko) 희소화를 이용한 뉴럴 네트워크 연산 방법 및 장치
CN114912590A (zh) 处理器、操作处理器的方法以及包括处理器的电子装置
KR20220096466A (ko) 뉴럴 네트워크 연산을 위한 메모리 관리 방법 및 장치
KR20220124979A (ko) 뉴럴 네트워크 연산 장치 및 방법
KR20220030681A (ko) 뉴럴 네트워크 연산 장치 및 방법
KR20230041450A (ko) 뉴럴 네트워크 연산 방법 및 장치
KR20210100335A (ko) 멀티 디바이스 기반 추론 방법 및 장치
KR20210091947A (ko) 뉴럴 네트워크 모델의 분산 처리 방법 및 장치
KR20240062267A (ko) 뉴럴 네트워크 연산 장치 및 방법
KR102547997B1 (ko) 효율적인 메모리 접근 방식을 이용한 뉴럴 네트워크 연산 가속 방법 및 장치
KR102626850B1 (ko) 뉴럴 네트워크 기반 에너지 하베스팅 방법 및 시스템
US20220284299A1 (en) Method and apparatus with neural network operation using sparsification
KR20240023919A (ko) 컴퓨팅 시스템의 성능 모델링 장치 및 방법
JP7431263B2 (ja) ニューラルネットワーク演算方法及び装置
KR102506988B1 (ko) 이종 손실 함수를 이용하여 학습된 뉴럴 네트워크를 이용한 이상 검출 장치
US20220269597A1 (en) Memory mapping method and apparatus
US20220284262A1 (en) Neural network operation apparatus and quantization method

Legal Events

Date Code Title Description
A201 Request for examination