KR102610083B1 - 신경망 프로세서에서의 배치 프로세싱 - Google Patents

신경망 프로세서에서의 배치 프로세싱 Download PDF

Info

Publication number
KR102610083B1
KR102610083B1 KR1020237018341A KR20237018341A KR102610083B1 KR 102610083 B1 KR102610083 B1 KR 102610083B1 KR 1020237018341 A KR1020237018341 A KR 1020237018341A KR 20237018341 A KR20237018341 A KR 20237018341A KR 102610083 B1 KR102610083 B1 KR 102610083B1
Authority
KR
South Korea
Prior art keywords
inputs
layer
weights
neural network
reuse
Prior art date
Application number
KR1020237018341A
Other languages
English (en)
Other versions
KR20230080510A (ko
Inventor
레지날드 클리포드 영
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020237041445A priority Critical patent/KR20230165890A/ko
Publication of KR20230080510A publication Critical patent/KR20230080510A/ko
Application granted granted Critical
Publication of KR102610083B1 publication Critical patent/KR102610083B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8046—Systolic arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

복수의 입력들의 각각에 대한 각각의 신경망 출력을 생성하기 위한, 컴퓨터 저장 매체 상에 인코딩되어 있는 컴퓨터 프로그램들을 포함하는, 방법들, 시스템들, 및 장치가 개시되며, 방법은, 신경망 계층들 각각에 대해, 신경망 계층에서 프로세싱될 복수의 입력들을 수신하는 단계; 복수의 입력들로부터 입력들의 하나 이상의 배치들을 형성하는 단계 ―각각의 배치는, 최대 신경망 계층에 대한 각각의 배치 사이즈인 입력들의 수를 가짐―; 프로세싱할 입력들의 하나 이상의 배치들의 수를 선택하는 단계 ―하나 이상의 배치들의 수에서의 입력들의 카운트는 시퀀스의 후속 계층의 각각의 연관된 배치 사이즈보다 크거나 또는 동일함―; 및 각각의 신경망 계층 출력을 생성하기 위해 입력들의 하나 이상의 배치들의 수를 프로세싱하는 단계를 포함한다.

Description

신경망 프로세서에서의 배치 프로세싱{BATCH PROCESSING IN A NEURAL NETWORK PROCESSOR}
이 명세서는 하드웨어에서의 신경망 추론들을 컴퓨팅하는 것에 관한 것이다.
신경망들은 수신된 입력에 대한 출력(예를 들어, 분류)을 생성하기 위해 뉴런들의 하나 이상의 계층들을 활용하는 기계 학습 모델들이다. 일부 신경망들은 출력 계층 이외에도 하나 이상의 숨겨진 계층들을 포함한다. 각각의 숨겨진 계층의 출력은 네트워크의 다음 계층, 즉 네트워크의 다음 숨겨진 계층 또는 출력 계층에 대한 입력으로 사용된다. 네트워크의 각각의 계층은 파라미터들의 각각의 세트의 현재 값들에 따라, 수신된 입력으로부터 출력을 생성한다.
전통적으로, 일부 신경망 시스템들은 연속적으로 추론(inference)들을 컴퓨팅한다. 즉, 다수개의 입력들 대한 추론들을 컴퓨팅할 경우, 신경망 시스템은, 다음 입력을 프로세싱하기 전에 입력에 대한 출력을 생성하기 위해 신경망의 계층들 각각을 통해 각각의 입력을 프로세싱할 수 있다.
일반적으로, 본 명세서는 신경망 추론을 컴퓨팅하는 특수 목적 하드웨어 회로를 설명한다.
일반적으로, 본 명세서에 설명된 요지의 일 혁신적인 양상은 복수의 입력들 각각에 대해 각각의 신경망 출력을 생성하는 동작들을 포함하는 방법들에서 구현될 수 있으며, 생성하는 것은 입력에 대한 각각의 신경망 출력을 생성하기 위해서 복수의 신경망 계층들 각각을 통해 각각의 입력을 프로세싱하는 것을 포함하고, 신경망 계층들은 시퀀스로 배열되고, 각각의 신경망 계층은 각각의 배치(batch) 사이즈를 가지며, 이 방법은, 신경망 계층들 각각에 대해: 신경망 계층에서 프로세싱될 복수의 입력들을 수신하는 단계; 복수의 입력들로부터의 입력들의 하나 이상의 배치들을 형성하는 단계 ―각각의 배치는 최대, 신경망 계층에 대한 각각의 배치 사이즈인 입력들의 수를 가짐―; 프로세싱할 입력들의 하나 이상의 배치들의 수를 선택하는 단계 ―하나 이상의 배치들의 수에서의 입력들의 카운트는 시퀀스의 후속 계층의 각각의 연관된 배치 사이즈보다 크거나 또는 동일함―; 및 각각의 신경망 계층 출력을 생성하기 위해 입력들의 하나 이상의 배치들의 수를 프로세싱하는 단계를 포함한다.
구현들은 다음 특징들 중 하나 이상의 것을 포함할 수 있다. 각각의 배치 사이즈는 적어도 가중치 재사용 값에 기초하고, 가중치 재사용 값은, 매트릭스 연산 유닛에서 가중치 입력들을 사용하여 출력 값들을 컴퓨팅하는 시간이 가중치 입력들을 메모리로부터 로딩하는 시간보다 더 길기 때문에 가중치 입력들이 재사용될 필요가 있는 횟수를 나타낸다. 가중치 재사용 값은 적어도, 가중치 입력들을 저장하는 메모리의 클록 레이트에 기초한다. 각각의 배치 사이즈는 적어도, 각각의 계층에 대한 가중치 입력들이 재사용되는 횟수로 나누어진 가중치 재사용 값에 기초한다. 복수의 신경망 계층들이 매트릭스 프로세싱 유닛에서 프로세싱되고, 입력들의 하나 이상의 배치들의 수를 프로세싱하는 것은 매트릭스 연산 유닛을 사용하여 각각의 입력에 대한 누산 값들(accumulated values)을 컴퓨팅하는 것을 포함한다. 가중치 재사용 값은 매트릭스 연산 유닛 내부의 산술 유닛들의 수에 기초한다. 각각의 입력은 별개의 이미지 리소스에 대응한다. 후속 계층에서의 프로세싱을 위해 하나 이상의 계층 출력들로부터 배치가 형성된다. 각각의 출력에 대해, 대응하는 추론이 생성된다.
본 명세서에서 설명되는 요지의 특정 실시예들은 다음 이점들 중 하나 이상의 것을 실현하도록 구현될 수 있다. 특수 목적 하드웨어 회로는 다수개의 독립적인 입력들에 관한 주어진 계층에 대한 가중치 입력들을 재사용함으로써 다수개의 계층들을 갖는 신경망에 대한 연산(computation)을 효율적으로 수행할 수 있다. 특히, 가중치 입력들이 여러 번 재사용되어, 가중치 입력들을 여러 번 재사용하는 컴퓨팅 시간이 메모리로부터의 새로운 가중치 입력들에 액세스하는 페치 시간보다 커서, 회로의 처리량을 최대화하고 회로의 스톨링(stalling)을 방지한다. 이 회로는 가중치 입력들이 각각의 계층에서 상이한 횟수로 재사용 되더라도 효율적으로 연산을 수행할 수 있다.
본 명세서의 요지의 하나 이상의 실시예들의 상세들은 첨부된 도면들 및 아래의 설명에 제시된다. 요지의 다른 특징들, 양상들 및 이점들은 설명, 도면들 및 청구항들로부터 명백해질 것이다.
도 1은 신경망의 주어진 계층에 대한 연산을 수행하기 한 예시적인 방법의 흐름도이다.
도 2는 예시적인 신경망 프로세싱 시스템을 도시한다.
도 3은 매트릭스 연산 유닛을 포함하는 예시적인 아키텍처를 도시한다.
도 4는 시스톨릭 어레이(systolic array) 내부의 셀의 예시적인 아키텍처를 도시한다.
도 5는 다수개의 계층들에 대한 신경망 연산들을 수행하기 위한 예시적인 방법의 흐름도이다.
도 6은 다수개의 계층들 및 각각의 계층에 대한 배치 사이즈들을 갖는 예시적인 신경망을 도시한다.
다양한 도면들에서의 동일한 참조 번호들 및 표기들은 동일한 엘리먼트들을 표시한다.
다수개의 계층들을 갖는 신경망은 추론들을 컴퓨팅하기 위해 사용될 수 있다. 예를 들어, 입력이 주어지면, 신경망은 입력에 대한 추론을 컴퓨팅할 수 있다. 신경망은 신경망의 계층들 각각을 통해 입력을 프로세싱함으로써 이 추론을 컴퓨팅한다. 특히, 신경망의 계층들은, 가중치들의 각각의 세트를 각각 가지고 시퀀스로 배열될 수 있다. 각각의 계층은 입력을 수신하고 계층에 대한 가중치들의 세트에 따라 입력을 프로세싱하여 출력을 생성한다. 출력은, 다음 신경망 계층에서의 입력으로서 사용될 수 있다.
따라서, 수신된 입력으로부터 추론을 컴퓨팅하기 위해서, 신경망이 입력을 수신하고 시퀀스의 신경망 계층들 각각을 통해 입력을 프로세싱하여 추론을 생성하는데 하나의 신경망 계층으로부터의 출력이 다음 신경망 계층에 대한 입력으로서 제공된다. 신경망 계층에 대한 데이터 입력들, 예를 들어, 신경망으로의 입력, 또는 시퀀스의 계층 밑의 계층의 신경망 계층으로의 출력들이 계층에 대한 활성화 입력들로 지칭될 수 있다.
일부 구현들에서, 신경망의 계층들은 방향성 그래프 구조로 배열된다. 즉, 임의의 특정 계층은 다수개의 입력들, 다수개의 출력들, 또는 둘 모두를 수신할 수 있다. 신경망의 계층들은 또한, 계층의 출력이 이전 계층에 대한 입력으로서 다시 되돌려 보내질 수 있도록 배열될 수 있다.
도 1은 특수 목적 하드웨어 회로를 사용하여 신경망의 주어진 계층에 대한 연산을 수행하기 위한 일 예시적인 프로세스(100)의 흐름도이다. 편의상, 방법(100)은, 방법(100)을 수행하는 하나 이상의 회로들을 갖는 시스템과 관련하여 설명될 것이다. 방법(100)은, 수신된 입력으로부터 추론을 컴퓨팅하기 위해 신경망의 각각의 계층에 대해 수행될 수 있다.
시스템은 주어진 계층에 대한 가중치 입력들의 세트들을 수신하고(단계 102) 활성화 입력들의 세트들을 수신한다(단계 104). 가중치 입력들의 세트들 및 활성화 입력들의 세트들은, 특수 목적 하드웨어 회로의 동적 메모리 및 통합 버퍼로부터 각각 수신될 수 있다. 일부 구현들에서, 가중치 입력들의 세트들 및 활성화 입력들의 세트들 둘 모두가 통합 버퍼로부터 수신될 수 있다.
시스템은 특수 목적 하드웨어 회로의 매트릭스 곱셈 유닛을 사용하여 가중치 입력들 및 활성화 입력들으로부터 누산 값들을 생성한다(단계 106). 일부 구현들에서, 누산 값들은 가중치 입력들의 세트들 및 활성화 입력들의 세트들의 도트 곱(dot product)들이다. 즉, 가중치들의 하나의 세트의 경우, 시스템은 각각의 가중치 입력을 각각의 활성화 입력과 곱셈하고 그 곱들을 함께 합산하여 누산 값을 형성할 수 있다. 그런 다음, 시스템은 가중치들의 다른 세트와 활성화 입력들의 다른 세트들과의 도트 곱을 컴퓨팅할 수 있다.
시스템은 특수 목적 하드웨어 회로의 벡터 연산 유닛을 사용하여 누산 값들로부터 계층 출력을 생성할 수 있다(단계 108). 일부 구현들에서, 벡터 연산 유닛은 누산 값들에 활성화 함수를 적용한다. 계층의 출력은 신경망의 후속 계층에 대한 입력으로 사용하기 위해 통합 버퍼에 저장될 수 있거나 또는 추론을 결정하는데 사용될 수 있다. 시스템은, 수신된 입력이 신경망의 각각의 계층을 통해 프로세싱되었을 경우 신경망의 프로세싱을 종료하여 수신된 입력에 대한 추론을 생성한다.
도 2는 신경망 연산들을 수행하기 위한 예시적인 특수 목적 통합 회로(200)를 도시한다. 시스템(200)은 호스트 인터페이스(202)를 포함한다. 호스트 인터페이스(202)는 신경망 연산에 대한 구성 정보를 포함하는 명령들을 수신할 수 있다. 구성 정보는 다음: 얼마나 많은 계층들이 프로세싱되어야하는지, 계층의 각각의 계층에 대한 가중치 입력들의 대응하는 세트들, 활성화 입력들의 초기 세트, 즉, 추론이 컴퓨팅되는 신경망에 대한 입력, 각각의 계층의 대응하는 입력 및 출력 사이즈들, 신경망 연산을 위한 스트라이드 값, 및 프로세싱될 계층의 타입, 예를 들어, 컨벌루셔널 계층 또는 완전 연결된 계층 중 적어도 하나 이상의 것을 포함할 수 있다.
호스트 인터페이스(202)는, 명령들을 시퀀서(206)로 전송할 수 있으며, 시퀀서(206)는 명령들을, 신경망 연산들을 수행하도록 회로를 제어하는 저 레벨 제어 신호들로 변환한다. 일부 구현들에서, 제어 신호들은 회로에서의 데이터 흐름을 조절하는데, 예를 들어 가중치 입력들의 세트들 및 활성화 입력들의 세트들이 회로를 통해 흐르는 방법을 조절한다. 시퀀서(206)는 제어 신호들을 통합 버퍼(208), 매트릭스 연산 유닛(212), 및 벡터 연산 유닛(214)에 전송할 수 있다. 일부 구현에서, 시퀀서(206)는 또한 직접 메모리 액세스 엔진(204) 및 동적 메모리(210)에 제어 신호들을 전송한다. 일부 구현들에서, 시퀀서(206)는 클록 신호들을 생성하는 프로세서이다. 시퀀서(206)는, 적절한 시간들에, 제어 신호들을 회로(200)의 각각의 컴포넌트에 전송하기 위해 클록 신호들의 타이밍을 사용할 수 있다. 일부 다른 구현들에서, 호스트 인터페이스(202)는 외부 프로세서로부터의 클록 신호를 전달한다.
호스트 인터페이스(202)는 가중치 입력들의 세트들 및 활성 입력들의 초기 세트들을 직접 메모리 액세스 엔진(204)에 전송할 수 있다. 직접 메모리 액세스 엔진(204)은 통합 버퍼(208)에 활성화 입력들의 세트들을 저장할 수 있다. 일부 구현들에서, 직접 메모리 액세스는 메모리 유닛일 수 있는 동적 메모리(210)에 가중치들의 세트들을 저장한다. 일부 구현들에서, 동적 메모리는 회로로부터 떨어져 위치된다.
통합 버퍼(208)는 메모리 버퍼이다. 이는, 직접 메모리 액세스 엔진(204)으로부터의 활성화 입력들의 세트 및 벡터 연산 유닛(214)의 출력들을 저장하는데 사용될 수 있다. 직접 메모리 액세스 엔진(204)은 또한 통합 버퍼(208)로부터 벡터 연산 유닛(214)의 출력들을 판독할 수 있다.
동적 메모리(210) 및 통합 버퍼(208)는, 가중치 입력들의 세트들 및 활성화 입력들의 세트들을 각각 매트릭스 연산 유닛(212)에 전송할 수 있다. 일부 구현들에서, 매트릭스 연산 유닛(212)은 2차원 시스톨릭 어레이이다. 매트릭스 연산 유닛(212)은 또한, 1차원 시스톨릭 어레이이거나 또는 수학적 연산들, 예를 들어, 곱셈 및 덧셈을 수행할 수 있는 다른 회로일 수 있다. 일부 구현들에서, 매트릭스 연산 유닛(212)은 범용 매트릭스 프로세서이다.
매트릭스 연산 유닛(212)은 가중치 입력들 및 활성화 입력들을 프로세싱하고 벡터 연산 유닛(214)에 출력들의 벡터를 제공할 수 있다. 몇몇 구현들에서, 매트릭스 연산 유닛은 출력들의 벡터를 통합 버퍼(208)에 전송하며, 통합 버퍼(208)는 출력들의 벡터를 벡터 연산 유닛(214)으로 전송한다. 벡터 연산 유닛은 출력들의 벡터를 프로세싱하고 프로세싱된 출력들의 벡터를 통합 버퍼(208)에 저장할 수 있다. 예를 들어, 벡터 연산 유닛(214)은 비선형 함수를 매트릭스 연산 유닛의 출력들, 예를 들어, 누산 값들의 벡터에 적용하여 활성화된 값들을 생성할 수 있다. 일부 구현들에서, 벡터 연산 유닛(214)은 정규화된 값들, 풀링된 값들, 또는 둘 모두를 생성한다. 프로세싱된 출력들의 벡터는, 예를 들어, 신경망의 후속 계층에서 사용하기 위해, 매트릭스 연산 유닛(212)에 대한 활성화 입력들로서 사용될 수 있다. 매트릭스 연산 유닛(212)은 도 3 및 도 4를 참조하여 아래에 더욱 상세히 설명될 것이다.
도 3은 매트릭스 연산 유닛을 포함하는 예시적인 아키텍처(300)를 도시한다. 매트릭스 연산 유닛은 2차원 시스톨릭 어레이(306)이다. 어레이(306)는 다수개의 셀들(304)을 포함한다. 일부 구현들에서, 시스톨릭 어레이(306)의 제 1 차원(320)은 셀들의 컬럼들에 대응하고 시스톨릭 어레이(306)의 제 2 차원(322)은 셀들의 로우들에 대응한다. 시스톨릭 어레이는 컬럼들보다 더 많은 로우들을 갖거나, 로우들보다 더 많은 컬럼들을 갖거나, 또는 같은 수의 컬럼들 및 로우들을 가질 수 있다.
예시된 예에서, 값 로더들(302)은 어레이(306)의 로우들에 활성화 입력들을 전송하고, 가중치 페처 인터페이스(308)는 가중치 입력들을 어레이(306)의 컬럼들에 전송한다. 그러나, 일부 다른 구현들에서, 활성화 입력들이 컬럼들로 전달되고 가중치 입력들이 어레이(306)의 로우들로 전달된다.
값 로더들(302)은 통합 버퍼, 예컨대, 도 2의 통합 버퍼(208)로부터 활성화 입력들을 수신할 수 있다. 각각의 값 로더는 대응하는 활성화 입력을 어레이(306)의 별개의 제일 좌측 셀에 전송할 수 있다. 제일 좌측 셀은 어레이(306)의 제일 좌측 컬럼을 따라 있는 셀일 수 있다. 예를 들어, 값 로더(312)는 활성화 입력을 셀(314)에 전송할 수 있다. 또한, 값 로더는 인접 값 로더에 활성화 입력을 전송할 수 있으며, 활성화 입력은 어레이(306)의 다른 제일 좌측 셀에서 사용될 수 있다. 이는, 활성화 입력들이 어레이(306)의 다른 특정 셀에서의 사용을 위해 시프트되도록 허용한다.
가중치 페처 인터페이스(308)는, 메모리 유닛, 예를 들어, 도 2의 동적 메모리(210)로부터 가중치 입력을 수신할 수 있다. 가중치 페처 인터페이스(308)는 대응하는 가중치 입력을 어레이(306)의 별개의 제일 상부 셀에 전송할 수 있다. 제일 상부 셀은 어레이(306)의 제일 상부 로우를 따라 있는 셀일 수 있다. 예를 들어, 가중치 페처 인터페이스(308)는 가중치 입력들을 셀들(314 및 316)에 전송할 수 있다.
일부 구현들에서, 호스트 인터페이스, 예를 들어, 도 2의 호스트 인터페이스(202)는 어레이(306) 전체에 걸친 활성화 입력들을 하나의 차원을 따라, 예를 들어, 우측으로 시프트하는 반면, 어레이(306) 전체에 걸친 가중치 입력들을 다른 차원을 따라, 예를 들어, 하부로 시프트한다. 예를 들어, 1 클록 사이클 동안, 셀(314)에서의 활성화 입력이, 셀(314)의 우측에 있는 셀(316)의 활성화 레지스터로 시프트할 수 있다. 유사하게, 셀(316)에서의 가중치 입력은 셀(314) 아래의 셀(318)의 가중치 레지스터로 시프트할 수 있다.
각각의 클록 사이클에서, 각각의 셀은 주어진 가중치 입력 및 주어진 활성화 입력을 프로세싱하여 누산 출력을 생성할 수 있다. 누산 출력은 또한, 주어진 가중치 입력과 동일한 차원을 따라 인접 셀로 전달될 수 있다. 개개의 셀이 도 4를 참조하여 아래에서 추가로 설명된다.
누산 출력이 가중치 입력과 동일한 컬럼을 따라 전달될 수 있는데, 예를 들어, 어레이(306)의 컬럼의 하부를 향하여 전달될 수 있다. 일부 구현들에서, 각각의 컬럼의 하부에서, 어레이(306)는, 컬럼들보다 더 많은 가중치 입력들을 갖는 계층들 또는 로우들보다 더 많은 활성화 입력들을 갖는 계층들과 함께 계산들을 수행할 경우 각각의 컬럼으로부터의 각각의 누산 출력을 저장하고 누산하는 누산기(accumulator) 유닛(310)을 포함할 수 있다. 일부 구현들에서, 각각의 누산기 유닛은 다수개의 병렬 누산들을 저장한다. 이는 도 6을 참조하여 아래에서 추가로 설명될 것이다. 누산기 유닛들(310)은 각각의 누산 출력을 누산하여 최종 누산 값을 생성할 수 있다. 최종 누산 값은 벡터 연산 유닛으로 전달될 수 있다. 일부 다른 구현들에서, 누산기 유닛들(310)은, 컬럼들보다 더 적은 수의 가중치 입력들을 갖는 계층들 또는 로우들보다 더 적은 수의 활성화 입력들을 갖는 계층들을 프로세싱할 경우 어떠한 누산들도 수행하지 않고 누산 값들을 벡터 연산 유닛으로 전달한다.
도 4는 시스톨릭 어레이, 예를 들어, 도 3의 시스톨릭 어레이(306) 내부의 셀의 예시적인 아키텍처(400)를 도시한다.
셀은 활성화 입력을 저장하는 활성화 레지스터(406)를 포함할 수 있다. 활성화 레지스터는, 시스톨릭 어레이 내의 셀의 포지션에 따라, 좌측 인접 셀, 즉, 주어진 셀의 좌측에 위치되는 인접 셀로부터, 또는 통합 버퍼로부터 활성화 입력을 수신할 수 있다. 셀은 가중치 입력을 저장하는 가중치 레지스터(402)를 포함할 수 있다. 가중치 입력은, 시스톨릭 어레이 내의 셀의 포지션에 따라, 상부 인접 셀로부터 또는 가중치 페처 인터페이스로부터 전달될 수 있다. 셀은 또한 레지스터의 합(404)을 포함할 수 있다. 레지스터의 합(404)은 상부 인접 셀로부터의 누산 값을 저장할 수 있다. 곱셈 회로(408)는 가중치 레지스터(402)로부터의 가중치 입력을 활성화 레지스터(406)로부터의 활성화 입력과 곱하기 위해 사용될 수 있다. 곱셈 회로(408)는 곱을 합산 회로(410)로 출력할 수 있다.
합산 회로는 레지스터의 합(404)으로부터의 누산 값을 곱과 합산하여 새로운 누산 값을 생성할 수 있다. 그런 다음, 합산 회로(410)는 새로운 누산 값을 하부 인접 셀에 위치된 레지스터 내의 다른 합으로 전송할 수 있다. 새로운 누산 값은 하부 인접 셀에서의 합산을 위한 피연산자로서 사용될 수 있다.
셀은 또한, 프로세싱을 위해 가중치 입력 및 활성화 입력을 인접 셀들로 시프트시킬 수 있다. 예를 들어, 가중치 레지스터(402)는 가중치 입력을 하부 인접 셀 내의 다른 가중치 레지스터에 전송할 수 있다. 활성화 레지스터(406)는 활성화 입력을 우측 인접 셀에 있는 다른 활성화 레지스터에 전송할 수 있다. 따라서, 가중치 입력 및 활성화 입력 둘 모두는, 후속 클록 사이클에서 어레이 내의 다른 셀들에 의해 재사용될 수 있다.
일부 구현들에서, 셀은 또한 제어 레지스터를 포함한다. 제어 레지스터는, 셀이 가중치 입력 또는 활성화 입력을 인접 셀들로 시프트해야 하는지 여부를 결정하는 제어 신호를 저장할 수 있다. 일부 구현들에서, 가중치 입력 또는 활성화 입력을 시프트하는 것은 하나 이상의 클록 사이클들이 걸린다. 제어 신호는 또한, 활성화 입력 또는 가중치 입력들이 곱셈 회로(408)로 전달되었는지 여부를 결정할 수 있거나, 또는 곱셈 회로(408)가 활성화 입력 및 가중치 입력에 대해 연산하는지를 여부를 결정할 수 있다. 제어 신호는 또한, 예를 들어, 와이어를 사용하여, 하나 이상의 인접 셀들로 전달될 수 있다.
일부 구현들에서, 가중치들은 가중치 경로 레지스터(412)로 프리-시프트( pre-shift)된다. 가중치 경로 레지스터(412)는, 예를 들어, 상부 인접 셀로부터 가중치 입력을 수신할 수 있고, 제어 신호에 기초하여 가중치 입력을 가중치 레지스터(402)에 전달할 수 있다. 가중치 레지스터(402)는, 활성화 입력들이, 예를 들어, 활성화 레지스터(406)를 통해 다수개의 클록 사이클들 동안 셀로 전달될 때, 가중치 입력이 셀 내에 유지되고 인접 셀로 전달되지 않도록 가중치 입력을 정적으로 저장할 수 있다. 따라서, 가중치 입력은, 예를 들어, 곱셈 회로(408)를 사용하여 다수개의 활성화 입력들에 적용될 수 있고, 각각의 누산 값들이 인접 셀로 전달될 수 있다.
일부 구현예들에서, 하나의 신경망 입력이 신경망의 계층들의 각각을 통해 프로세싱되어 신경망 입력에 대한 신경망 출력을 생성한다. 그러나, 일부 구현들에서, 회로는, 입력들에 대한 신경망 출력들을 생성하기 위해서 신경망의 계층들을 통해 다수개의 신경망 입력들을 한번에 프로세싱함으로써, 회로의 활용을 증가시킨다.
신경망의 특정 계층에 대한 입력은 활성화 입력들의 세트로 지칭될 수 있다. 따라서, 신경망 입력은 제 1 계층에 대한 활성화 입력들의 세트일 수 있다. 제 1 계층은 제 2 계층에 의해 프로세싱될 출력을 생성할 수 있고, 출력은 제 2 계층에 대한 활성화 입력들의 세트로서 지칭될 수 있다.
일부 구현들에서, 회로가, 추론을 생성하기 위해 신경망의 제 1 계층부터 신경망의 마지막 계층까지 활성화 입력을 전송함으로써 활성화 입력들의 하나의 세트를 프로세싱하는 대신에, 회로는, 제 1 계층에서 활성화 입력들의 다수개의 세트들을 프로세싱할 수 있는데, 예를 들어, 도 3에서 상술된 바와 같이 활성화 입력들의 각각의 세트에 대한 누산 값들을 생성한 다음, 제 2 계층에서 활성화 입력들의 다수개의 세트들을 프로세싱하는 식이다. 주어진 계층에서 활성화 입력들의 다수개의 세트들이 입력들의 하나 이상의 배치들을 형성할 수 있다. 일부 구현들에서, 주어진 계층에 대한 배치들은, 회로가 후속 계층의 배치들을 프로세싱하기 전에 프로세싱된다. 회로는, 배치에서의, 활성화 입력들의 독립적인 세트일 수 있는 각각의 입력에 대한 누산 값들을 생성함으로써 배치를 프로세싱할 수 있다.
일부 구현들에서, 주어진 신경망 계층에 대한 연산들을 수행하는 동안 처리량을 최대화하기 위해서, 주어진 신경망 계층에 대한 가중치 입력들이 시스톨릭 어레이에 로딩되는 동안, 회로로 하여금, 다수개의 독립적인 활성화 입력들을 프로세싱하게 할 수 있다. 즉, 가중치 입력들이 다수개의 활성화 입력들과 함께 재사용될 수 있다. 특히, 회로는, 가중치 입력 및 상이한 활성화 입력들을 사용하여, 예를 들어, 도 2의 매트릭스 연산 유닛(212)을 사용하여, 누산 값들을 컴퓨팅함으로써 가중치 입력들을 재사용한다. 예시로서, 활성화 입력들은 다수개의 상이한 이미지 리소스들 또는 다수개의 오디오 샘플들로부터 비롯될 수 있다. 이는 도 6을 참조하여 아래에서 추가로 설명될 것이다.
회로는, 프로세싱 속도 및 회로가 메모리에 액세스할 수 있는 속도를 갖는다. 일반적으로, 프로세싱 속도는 메모리 액세스 속도보다 더 빠르다. 가중치를 재사용함으로써, 그리고 회로의 프로세싱 속도를 활용함으로써, 회로는 시스톨릭 어레이의 셀들을 활용하는 한편, 동시에, 후속 연산들에 사용될 메모리로부터의 가중치 입력들에 액세스할 수 있다.
회로는, 신경망의 각각의 계층에 대해, 회로에 대한 가중치 재사용 값으로부터 가중치들을 재사용하는 횟수를 결정할 수 있다. 이는, 하드웨어에 의해 또는 하드웨어를 위해 컴파일링하고 있는 회로의 소프트웨어에 의해 결정될 수 있다. 일부 구현들에서, 가중치 재사용 값은, 상이한 활성화 입력들과 가중치 입력들을 여러 번 재사용하는 컴퓨팅 횟수가 메모리로부터 새로운 가중치 입력들에 액세스하는 페치 횟수보다 많거나 같기 전에 회로가 가중치 입력들을 재사용할 수 있는 횟수이다. 따라서, 가중치 재사용 값은, 회로가 활용률을 최대화하고 메모리 액세스 대기 시간을 최소화하기 위해 가중치 입력들을 재사용해야 하는 횟수를 나타낼 수 있다.
가중치 재사용 값은 다음의 사항들: 가중치 입력들을 저장하는 메모리, 예를 들어, 도 2의 동적 메모리(210)의 클록 레이트, 회로 내부의, 예를 들어, 도 2의 매트릭스 연산 유닛(212) 내부의 산술 유닛들의 수, 및 메모리, 예를 들어, 도 2의 통합 버퍼(208) 및 동적 메모리(210) 내 채널들의 수 중 하나 이상의 것에 기초할 수 있다. 가중치 재사용 값은 신경망의 각각의 계층에 대한 각각의 배치 사이즈를 결정하는데 사용될 수 있다. 배치 사이즈는 효과적인 배치 사이즈, 즉, 계층이, 가장 효율적인 양의 가중치 재사용을 생성하는 방식으로 동작하게 허용하는 배치 사이즈로 지칭될 수 있다. 배치 사이즈는, 회로 내의 시스톨릭 어레이가 최대화되도록 하는, 계층에서 프로세싱될 입력들의 수이다. 일부 구현들에서, 주어진 계층에 대한 배치 사이즈는, 가중치 입력들이 계층에서 재사용되는 횟수로 나누어진 가중치 재사용 값의 상한값이다. 가중치 입력들이 재사용되는 횟수는, 누산 계산을 수행할 경우 회로의 시스톨릭 어레이의 셀들에 저장된 활성화 입력들의 수에 직접적으로 대응할 수 있다. 이는, 활성화 입력들의 새로운 세트들이 로딩되는 동안, 가중치 입력들이 셀들에 남아있을 수 있기 때문에, 즉, "일시 중지 상태"로 있을 수 있기 때문이다. 가중치 입력들이 제자리에 고정된 상태로 활성화 입력들의 새로운 세트들이 로딩될 경우, 회로는, 활성화 입력들의 새로운 세트들과의 컨벌루션들을 계산하기 위해 가중치 입력들을 다시 재사용할 수 있다. 이 예는 도 6을 참조하여 아래에서 추가로 설명될 것이다.
도 5는 다수개의 계층들에 대한 신경망 연산들을 수행하기 위한 예시적인 방법의 흐름도(500)이다. 방법은, 예를 들어, 도 2의 호스트(202)를 사용하여 특수 목적 하드웨어 회로에 의해, 또는 하나 이상의 프로세서들, 펌웨어, 오프-칩 프로세스들에 의해, 또는 회로를 제어하도록 구성되는 몇몇 다른 소프트웨어 프로세스에 의해 수행될 수 있다.
회로는, 각각의 신경망 계층에서 프로세싱하는 동안, 계층에 의한 프로세싱을 위해 계층 입력들의 세트를 수신할 수 있다(단계 502). 계층 입력들의 세트는, 메모리, 예를 들어, 도 2의 통합 버퍼(208)로부터, 또는 이전 계층으로부터 비롯될 수 있는데, 즉, 입력들의 세트는 네트워크의 이전 계층으로부터 생성된 출력이고, 입력들의 세트로서 출력들을 사용하는 것은 도 2를 참조하여 상술된 바와 같이 호스트(202)에 의해 관리될 수 있다. 각각의 입력은 활성화 입력들의 세트일 수 있으며, 독립적인 신경망 입력으로부터 생성될 수 있다.
시스템은, 주어진 신경망 계층에 대해, 입력들의 세트로부터 입력들의 하나 이상의 배치들을 형성할 수 있다(단계 504). 상술된 바와 같이, 각각의 신경망 계층은 연관된 배치 사이즈를 갖는다. 계층에서 각각 형성된 배치는, 계층의 배치 사이즈를 초과하지 않는 다수의 입력들을 포함한다. 각각의 신경망 계층을 위한 배치 사이즈는 신경망의 구성으로 결정될 수 있다. 일부 구현들에서, 회로 상에서 실행을 위해 신경망 모델을 컴파일링할 경우 각각의 신경망 계층을 위한 배치 사이즈가 컴퓨팅된다. 계층에서 프로세싱이 시작되기 전에 주어진 계층을 위한 배치 사이즈가 컴퓨팅될 수 있기 때문에, 배치 내의 입력들의 수는 주어진 계층의 배치 사이즈에 기초하여 형성될 수 있다.
예로서, 24개의 이미지들이 신경망에 의해 프로세싱될 필요가 있고, 신경망의 제 1 계층이 8의 배치 사이즈를 갖는다면, 회로는 8개의 이미지의 3개의 배치들을 형성할 수 있는데, 즉, 24개의 이미지들을 8개 입력들의 3개의 배치들로 나눌 수 있다. 각각의 배치의 경우, 회로는, 계층을 위한 가중치 입력들의 특정 세트를 재사용함으로써 배치 내의 8개의 별개의 이미지들을 프로세싱할 수 있다. 그런 다음, 회로는, (1) 후속 계층에서 하나 이상의 배치들을 프로세싱하거나 또는 (2) 가중치 입력들의 특정 세트를 사용하여 계층에서 8개의 별개의 이미지 리소스들의 다른 배치를 프로세싱할 수 있다. 회로는, 신경망 내의 다른 계층들의 배치 사이즈들에 기초하여 (1)로 진행할지 또는 (2)로 진행할지를 결정하며, 이는 단계(506) 및 도 6을 참조하여 아래에서 추가로 설명될 것이다.
회로는, 주어진 신경망 계층에 대해, 프로세싱할 입력들의 하나 이상의 배치들의 수를 선택할 수 있다(단계 506). 일부 구현들에서, 그 수는, 하나 이상의 배치들의 수의 입력들의 카운트가 후속 계층의 대응하는 배치 사이즈보다 크거나 같도록 선택된다. 예를 들어, 현재 계층이 각각 5개의 입력들을 갖는 3개의 배치들을 프로세싱해야 하고, 후속 계층을 10의 배치 사이즈로 프로세싱해야 하는 경우, 회로는 프로세싱할 3개의 배치들 중에서 2개의 배치들을 선택할 수 있다. 2개의 선택된 배치들은, 총 10개, 즉 2 * 5의 입력들을 갖는데, 이는, 후속 계층의 대응하는 배치 사이즈, 즉 10과 동일하다. 일부 구현들에서, 나머지 제 3 배치는, 회로 내의 시스톨릭 어레이의 후속 전달 시 프로세싱될 것이다. 또 다른 예는 도 6을 참조하여 아래에서 추가로 설명될 것이다.
이 회로는, 예를 들어, 시스톨릭 어레이를 사용하여, 입력들의 선택된 수의 배치들을 프로세싱하여 선택된 배치들의 각각의 입력을 위한 각각의 계층 출력을 생성할 수 있다(단계 508). 회로는 각각의 입력에 대해 누산 값들을 컴퓨팅할 경우 가중치 입력들을 재사용함으로써 입력들의 각각의 선택된 배치를 프로세싱할 수 있다. 상기 설명된 바와 같이, 활성화 입력들의 새로운 세트들이 로딩되는 동안, 가중치 입력들이 셀들에 남아 있을 수 있기 때문에, 즉, "일시 중지 상태"로 있을 수 있기 때문에, 가중치 입력들이 다수개의 독립적인 입력들에 적용된다.
예시로서, 배치는 2개의 입력들 - 활성화 입력들의 세트(A1) 및 활성화 입력들의 세트(A2)를 가질 수 있다. 회로는, 메모리로부터 가중치 입력들의 세트(W2)를 페칭하기 전에 가중치 입력들의 세트(W1)를 세트들(A1 및 A2) 둘 모두에 적용함으로써 그 세트(W1)를 재사용할 수 있으며, 여기서, 세트(W2)는 후속 계층을 위한 가중치들의 세트이거나, 또는 계층이 회로의 시스톨릭 어레이에 의해 프로세싱될 더 많은 가중치들을 가질 경우 그 계층을 위한 가중치들의 다음 서브세트이다. 다른 예에서, 각각 프로세싱될 5개의 입력들의 8개의 배치들, 즉, 총 40개의 입력들이 존재하고, 회로가, 프로세싱할 4개의 배치들을 선택한 경우, 회로는 4개의 배치들 내의 입력들, 즉, 총 20개의 입력들을 프로세싱하여, 각각의 계층 출력들, 즉, 총 20개의 계층 출력들을 생성할 수 있다. 이는 도 6을 참조하여 아래에서 추가로 설명될 것이다.
선택된 수의 배치들을 프로세싱한 후, 회로는 계층에서 제 2 수의 배치들을 프로세싱하거나 또는 후속 계층에서 입력들의 하나 이상의 배치들을 프로세싱하기 위해 진행할 수 있다. 이는 도 6을 참조하여 아래에서 추가로 설명될 것이다.
이 방법이 신경망을 프로세싱하는 회로 상에서 구현되는 것으로 설명되었지만, 이 방법은 또한 프로세서, 예를 들어, CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit) 상에서 구현될 수 있다. 예를 들어, 프로세서는 메모리, 예를 들어, DRAM(Dynamic Random Access Memory)로부터 가중치들을 리트리빙하는 동안 가중치 값을 여러 번 재사용할 수 있다.
도 6은 다수개의 계층들 및 각각의 계층에 대한 배치 사이즈를 갖는 예시적인 신경망(600)을 도시한다. 상기 설명된 바와 같이, 주어진 계층에 대한 배치 사이즈는, 가중치 입력들이 계층에서 재사용되는 횟수로 나누어진 가중치 재사용 값의 상한값이다. 상한 함수는 수치를 프로세싱할 수 있으며 그 수치 이상인 수의 최소 정수를 리턴한다. 가중치 입력들이 재사용되는 횟수는, 회로의 시스톨릭 어레이의 셀들에 저장된 활성화 입력들의 수에 직접적으로 대응할 수 있다. 예를 들어, 회로에 대한 가중치 재사용 값은 1500일 수 있다. 계층 1(602)은 170 × 170개의 입력을 프로세싱한다. 170 × 170개의 활성화 입력들 각각은 시스톨릭 어레이의 셀에 저장될 수 있다. 따라서, 계층 1(602)의 배치 사이즈는 CEIL(1500 / (170 * 170)) = 1이다. 계층 2(604)의 배치 사이즈는 CEIL(1500 / (28 * 28)) = 2이다. 동일한 계산을 사용하여, 계층들 3 내지 5(606-610)는 8의 배치 사이즈를 갖고 계층 6(612)은 32의 배치 사이즈를 갖는다. 일부 구현들에서, 배치 사이즈는 2의 가장 가까운 제곱으로 반올림된다.
예시로, 계층 1은 1개 입력의 배치 사이즈를 갖고 계층 2는 2개 입력들의 배치 사이즈를 갖는다. 회로가, 예를 들어, 계층 1에서의 프로세싱을 위해 10개의 입력들, 예를 들어, 총 10개의 별개의 이미지들을 수신할 수 있다.
회로는, 계층 1에서 10개 중 2개의 배치들, 즉 총 2개 입력들에 대한 2개의 배치들이 프로세싱되어야 한다는 것을 결정할 수 있다. 일부 구현들에서, 회로는, 계층 2의 배치 사이즈를 계층 1의 배치 사이즈로 나눔으로써 이 수를 결정하며, 즉, 2/1 = 2이다. 단일 입력들의 2개의 배치들을 프로세싱함으로써, 회로는, 계층 2의 배치 사이즈와 동일한 2개의 입력들, 즉, 2를 프로세싱한다. 회로는, 예를 들어, 누산 값들의 2개의 벡터들(각각의 이미지로부터 비롯된 것)을 컴퓨팅함으로써 2개의 입력들로부터 2개 계층 출력들을 생성하기 위해 2개의 배치들을 프로세싱할 수 있다. 각각의 계층 출력은 후속 계층에 대한 입력을 위한 입력일 수 있다. 회로는, 계층 2에서의 프로세싱을 위한, 2개의 입력들의 배치, 예를 들어, 누산 값들의 2개의 벡터들을 형성할 수 있다. 배치들이 통합 버퍼에 저장될 수 있다.
회로는, 계층 2에서 4개의 배치들이 프로세싱되어야 한다고 결정할 수 있다. 사이즈 2의 4개의 배치들을 프로세싱함으로써, 회로는, 계층 3의 배치 사이즈, 즉, 8과 동일한 8개의 입력들을 프로세싱한다. 회로는 8개의 입력들로부터 8개의 계층 출력들을 생성하기 위해서 4개의 배치들을 프로세싱할 수 있다. 그런 다음, 회로는 계층 3에서의 프로세싱을 위해 8개의 입력들의 배치를 형성할 수 있다.
신경망의 모든 계층들에서 입력들이 프로세싱될 때까지 회로가 계속될 수 있다. 예를 들어, 계층들 3 내지 5가 8의 배치 사이즈를 갖기 때문에, 회로는, 계층들 3 내지 5 각각에서의 8개의 입력들의 1개의 배치가 프로세싱되어야 한다고 결정할 수 있다. 유사하게, 회로는 계층 5에서 각각 8개의 입력들을 갖는 4개의 배치들이 프로세싱되어야 한다고 결정함으로써, 32개의 입력들의 배치를 형성할 수 있으며, 이 32개의 입력들의 배치는 계층 6에서 프로세싱될 수 있다. 각각의 입력에 대해, 계층 6은, 추론을 위해 사용될 수 있는 하나 이상의 계층 출력들을 생성할 수 있다.
일부 구현들에서, 회로는, 예를 들어, 산술 회로를 사용하여, 신경망의 모든 계층들에 걸쳐 배치 사이즈들의 최소 공배수를 계산한다. 그런 다음, 회로는, 후속 계층들을 프로세싱하기 전에 각각의 계층에서 최소 공배수와 같거나 그보다 큰 입력들의 최소 갯수를 프로세싱할 수 있다. 즉, 회로는 (1) 후속 계층에서 배치를 프로세싱할지 여부 또는 (2) 최소 공배수에 기초하여 현재 계층에서 다른 배치를 프로세싱할지 여부를 결정할 수 있다. 예를 들어, 계층들 1-6(602-612)에 대한 배치 사이즈들의 최소 공배수는 32이다. 계층 1에서 하나의 배치를 프로세싱한 후, 회로는, 계층 1이 32의 최소 공배수보다 작은 1개의 출력만을 생성했음을 결정할 수 있다. 따라서, 회로는 계층 1에서 다른 배치를 프로세싱할 것을 결정할 수 있으며, 그 포인트에서 총 2개의 출력들이 생성되었다. 회로는, 32개의 출력들, 즉, 최소 공배수가 계층 1에서 생성될 때까지 출력들을 계속 생성할 수 있다. 그런 다음, 회로는 후속 계층에서 배치를 프로세싱하도록 진행할 수 있다. 일부 구현들에서, 각각의 계층 출력이, 통합 버퍼, 예를 들어, 도 2의 통합 버퍼(208)에 저장된다.
예시로서, 회로는, 프로세싱하기 위해 계층 1에서 총 32개의 입력인 32개의 배치들을 선택할 수 있다. 그런 다음, 회로는 계층 2에서 총 32개의 입력인 16개의 배치들을 선택하고, 그런 다음, 계층 3에서 총 32개의 입력들을 프로세싱하기 위해 4개의 배치들을 선택하고, 그런 다음 계층 4에서 총 32개의 입력들을 프로세싱하기 위해 4개의 배치를 선택하고, 그런 다음 계층 5에서 총 32개의 입력들을 프로세싱하기 위해 4개의 배치를 선택하고, 그런 다음 계층 6에서 총 32개의 입력들을 프로세싱하기 위해 최종적으로 1개의 배치를 선택할 수 있다.
일부 구현들에서, 특정 계층에서, 회로는 시스템 파라미터, 예를 들어 사용자에 의해 제공되는 파라미터에 기초하여 최소 공배수보다 많은 수의 입력들을 프로세싱한다. 일부 구현들에서, 회로는 후속 계층의 배치 사이즈로 나누어질 수 있는 다수의 입력들을 프로세싱한다. 일부 다른 구현들에서, 회로는 많은 수의 입력들을 프로세싱하라는 명령들을 수신하며, 회로는, 후속하는 수로 출력들을 생성하기 위해 진행하기 전에, 특정 계층에서 생성되는 출력들의 수를 최대화하도록 입력들의 배치들을 프로세싱한다. 회로는, 생성된 출력들의 수가 후속 계층의 배치 사이즈로 나누어지도록, 특정 계층에서 생성되는 출력들의 수를 제한할 수 있다.
본 명세서에서 설명한 기능적 동작들 및 요지의 실시예들은 디지털 전자 회로에서, 유형적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어에서, 본 명세서에 개시된 구조들 및 이들의 구조적 등가물들을 포함하는 컴퓨터 하드웨어에서, 또는 이들 중 하나 이상의 것의 결합들에서 구현될 수 있다. 본 명세서에서 설명한 요지의 실시예들은 하나 이상의 컴퓨터 프로그램들, 즉 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 유형의 비일시적 프로그램 캐리어 상에 인코딩되는 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다. 대안으로 또는 추가로, 프로그램 명령들은 데이터 프로세싱 장치에 의한 실행을 위해 적절한 수신기 장치로의 송신을 위한 정보를 인코딩하기 위해 발생되는 인공적으로 발생한 전파 신호, 예를 들어 기계 발생 전기, 광학 또는 전자기 신호에 대해 인코딩될 수 있다. 컴퓨터 저장 매체는 기계 판독 가능 저장 디바이스, 기계 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 이들 중 하나 이상의 것의 결합일 수 있다.
"데이터 프로세싱 장치"라는 용어는 예로서 프로그래밍 가능 프로세서, 컴퓨터 또는 다수개의 프로세서들이나 컴퓨터들을 포함하여, 데이터를 프로세싱하기 위한 모든 종류들의 장치, 디바이스들 및 기계들을 포괄한다. 장치는 특수 목적 로직 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 장치는 또한 하드웨어뿐만 아니라, 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 또는 이들 중 하나 이상의 것에 대한 결합을 구성하는 코드를 포함할 수 있다.
(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 모듈, 소프트웨어 모듈, 스크립트 또는 코드로 또한 지칭되거나 이로서 설명될 수 있는) 컴퓨터 프로그램은 컴파일링된 또는 해석된 언어들, 또는 서술적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 이는 독립형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에 사용하기에 적절한 다른 유닛으로서의 형태를 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 대응할 수도 있지만 반드시 그런 것은 아니다. 프로그램은 다른 프로그램들 또는 데이터, 예를 들어 마크업 언어 문서에 저장된 하나 이상의 스크립트들을 보유하는 파일의 일부에, 해당 프로그램에 전용된 단일 파일에, 또는 다수개의 조정된 파일들, 예를 들어 하나 이상의 모듈들, 하위 프로그램들, 또는 코드의 부분들을 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 한 사이트에 로케이팅되거나 다수개의 사이트들에 걸쳐 분포되어 통신 네트워크에 의해 상호 접속되는 다수개의 컴퓨터들 상에서 실행되도록 전개될 수 있다.
본 명세서에서 설명한 프로세스들 및 로직 흐름들은 입력 데이터에 대해 동작하여 출력을 발생시킴으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래밍 가능 컴퓨터들에 의해 수행될 수 있다. 프로세스들 및 로직 흐름들은 또한 특수 목적 로직 회로, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있으며, 장치가 또한 이로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 컴퓨터들은 범용 또는 특수 목적 마이크로프로세서들 또는 둘 모두, 또는 임의의 다른 종류의 중앙 프로세싱 유닛을 포함하며, 예로서 이에 기반할 수 있다. 일반적으로, 중앙 프로세싱 유닛은 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령들을 수행 또는 실행하기 위한 중앙 프로세싱 유닛 그리고 명령들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스들, 예를 들어, 자기, 마그네토 광 디스크들, 또는 광 디스크들을 포함하거나, 이들로부터 데이터를 수신하고 또는 이들에 데이터를 전송하도록, 또는 둘 모두를 위해 동작 가능하게 연결될 것이다. 그러나 컴퓨터가 이러한 디바이스들을 가질 필요는 없다. 더욱이, 컴퓨터는 다른 디바이스, 몇 가지만 예로 들자면, 예를 들어 모바일 전화, PDA(personal digital assistant), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(Global Positioning System) 수신기, 또는 휴대용 저장 디바이스, 예를 들어 USB(universal serial bus) 플래시 드라이브에 내장될 수 있다.
컴퓨터 프로그램 명령들 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체들은, 예로서 반도체 메모리 디바이스들, 예를 들어 EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들어 내부 하드 디스크들 또는 착탈식 디스크들; 마그네토 광 디스크들; 그리고 CD ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태들의 비휘발성 메모리, 매체들 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 특수 목적 로직 회로에 포함될 수 있다.
사용자와의 상호 작용을 전송하기 위해, 본 명세서에서 설명한 요지의 실시예들은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예를 들어 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 및 사용자가 컴퓨터에 입력을 전송할 수 있게 하는 키보드와 포인팅 디바이스, 예를 들어 마우스 또는 트랙볼을 갖는 컴퓨터 상에 구현될 수 있다. 다른 종류들의 디바이스들이 사용자와의 상호 작용을 전송하기 위해 또한 사용될 수 있는데; 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백, 예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백일 수 있고; 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서들을 전송하고 이러한 디바이스로부터 문서들을 수신함으로써; 예를 들어, 웹 브라우저로부터 수신된 요청들에 대한 응답으로 사용자의 클라이언트 디바이스 상의 웹 브라우저에 웹 페이지들을 전송함으로써 사용자와 상호 작용할 수 있다.
본 명세서에서 설명한 요지의 실시예들은 예를 들어, 데이터 서버로서 백엔드 컴포넌트를 포함하는, 또는 미들웨어 컴포넌트, 예를 들어, 애플리케이션 서버를 포함하는, 또는 프론트엔드 컴포넌트, 예를 들어, 본 명세서에서 설명한 요지의 구현과 사용자가 상호 작용할 수 있게 하는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하는 컴퓨팅 시스템, 또는 이러한 하나 이상의 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 결합으로 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신, 예를 들어 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크들의 예들은 "LAN"(local area network) 및 "WAN"(wide area network), 예를 들어 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로로부터 원거리이며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터들 상에서 실행되며 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
본 명세서는 많은 특정 구현 세부사항들을 포함하지만, 이들은 청구될 수 있는 것의 또는 임의의 발명의 범위에 대한 한정들로서가 아니라, 그보다는 특정 발명들의 특정 실시예들에 특정할 수 있는 특징들의 설명으로서 해석되어야 한다. 개별 실시예들과 관련하여 본 명세서에 설명되는 특정 특징들은 또한 단일 실시예로 결합하여 구현될 수 있다. 반대로, 단일 실시예와 관련하여 설명되는 다양한 특징들은 또한 다수개의 실시예들로 개별적으로 또는 임의의 적절한 하위 결합으로 구현될 수 있다. 더욱이, 특징들이 특정한 결합들로 작용하는 것으로 앞서 설명되고 심지어 초기에 이와 같이 청구될 수 있다 하더라도, 어떤 경우들에는 청구된 결합으로부터의 하나 이상의 특징들이 그 결합으로부터 삭제될 수 있고, 청구된 결합은 하위 결합 또는 하위 결합의 변형에 관련될 수 있다.
유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이는 바람직한 결과들을 달성하기 위해 이러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행될 것을, 또는 예시된 모든 동작들이 수행될 것을 요구하는 것으로 이해되지 않아야 한다. 특정 상황들에서는, 다중 작업 및 병렬 프로세싱이 유리할 수도 있다. 더욱이, 앞서 설명한 실시예들에서 다양한 시스템 모듈들 및 컴포넌트들의 분리는 모든 실시예들에서 이러한 분리를 필요로 하는 것으로 이해되지 않아야 하며, 설명한 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수개의 소프트웨어 제품들로 패키지화될 수 있다는 것이 이해되어야 한다.
요지의 특정 실시예들이 설명되었다. 다른 실시예들이 다음의 청구항들의 범위 내에 있다. 예를 들어, 청구항들에서 언급되는 동작들은 다른 순서로 수행되며 여전히 바람직한 결과들을 달성할 수 있다. 일례로, 첨부 도면들에 도시된 프로세스들은 바람직한 결과들을 달성하기 위해 반드시 도시된 특정 순서 또는 순차적인 순서를 필요로 하는 것은 아니다. 특정 구현들에서는, 다중 작업 및 병렬 프로세싱이 유리할 수 있다.

Claims (20)

  1. 하드웨어 회로를 사용하여 신경망 컴퓨테이션들을 수행하기 위한 방법으로서,
    신경망의 계층에서 프로세싱될 입력들의 제1 배치를 획득하는 단계 ― 상기 계층은 연관된 배치 사이즈를 가짐 ―;
    상기 계층에 대한 가중치들을 획득하는 단계 ― 상기 가중치들은 상기 계층에 대한 상기 가중치들의 재사용의 양을 정의하는 연관된 재사용 값을 가짐 ―;
    상기 가중치들의 재사용 값 및 상기 배치 사이즈에 기초하여, 상기 가중치들을 사용하여 상기 계층에서 프로세싱될 상기 제1 배치에서의 입력들의 특정 양을 선택하는 단계 ― 상기 입력들의 특정 양은 i) 상기 계층에 대한 배치 사이즈, 또는 ii) 상기 가중치들이 상기 재사용 값에 기초하여 재사용되도록 허용되는 양을 초과하지 않도록 선택됨 ―; 및
    상기 가중치들을 사용하여, 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 단계
    를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 계층에 대한 새로운 가중치들을 획득하기 위해 상기 하드웨어 회로의 메모리에 액세스하는 임계 페치 횟수에 기초하여 상기 입력들의 특정 양을 선택하는 단계를 더 포함하는,
    방법.
  3. 제 1 항에 있어서,
    상기 제1 배치에서의 입력들의 특정 양을 선택하는 단계는:
    별개의 활성화 입력들을 갖는 상기 가중치들을 다수 횟수 재사용하는 컴퓨팅 횟수가 상기 계층에 대한 새로운 가중치 입력들에 액세스하는 페치 횟수와 적어도 동일해지기 전의, 상기 하드웨어 회로가 상기 계층에 대한 가중치들을 재사용하도록 허용되는 상기 다수 횟수를 결정하는 단계를 포함하는,
    방법.
  4. 제 3 항에 있어서,
    상기 입력들의 특정 양을 선택하는 단계는:
    상기 가중치들을 재사용하는 컴퓨팅 횟수가 상기 계층에 대한 새로운 가중치 입력들에 액세스하는 페치 횟수를 초과하지 않도록 상기 입력들의 특정 양을 선택하는 단계를 포함하는,
    방법.
  5. 제 1 항에 있어서,
    상기 하드웨어 회로는 컴퓨팅 셀들의 어레이를 포함하고, 상기 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 단계는:
    상기 어레이 내의 둘 또는 그 초과의 각각의 컴퓨팅 셀들에 의해, 상기 계층에 대한 가중치들, 및 제1 프로세서 클록 사이클 및 제2 후속 프로세서 클록 사이클에 걸쳐 상기 입력들의 특정 양에서의 활성화 입력을 재사용하는 단계를 포함하는,
    방법.
  6. 제 5 항에 있어서,
    상기 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 단계는:
    상기 신경망의 주어진 계층에 대해 상기 어레이 내에 로딩되는 가중치들을 재사용하는 동안 다수의 독립 활성화 입력들을 프로세싱하는 단계를 포함하고, 상기 주어진 계층에 대한 상기 가중치들은 상기 재사용 값에 기초하여 재사용되는,
    방법.
  7. 제 1 항에 있어서,
    상기 하드웨어 회로의 프로세싱 속도에 기초하여 상기 계층에 대한 가중치들을 재사용하는 단계를 더 포함하고, 상기 계층에 대한 가중치들을 재사용하는 단계는 상기 입력들의 특정 양에서의 입력을 프로세싱하기 위해 가중치들의 제1 부분을 재사용하는 한편, 동시에 상기 하드웨어 회로의 프로세싱 속도에 기초하여 메모리로부터의, 후속 컴퓨테이션에 사용될 가중치들의 제2 부분에 액세스하는 단계를 포함하는,
    방법.
  8. 제 7 항에 있어서,
    상기 가중치 재사용 값은:
    상기 하드웨어 회로 내에 포함되는 산술 유닛들의 수; 또는
    상기 신경망의 하나 또는 그 초과의 계층들에서 프로세싱될 입력들의 다수의 배치들을 저장하기 위해 사용되는 상기 하드웨어 회로의 메모리 내에 포함되는 채널들의 수
    중 적어도 하나에 기초하는,
    방법.
  9. 하드웨어 회로를 사용하여 신경망 컴퓨테이션들을 수행하기 위한 시스템으로서,
    프로세서; 및
    동작들의 수행을 야기하기 위해 상기 프로세서에 의해 실행가능한 명령들을 저장하기 위한 비-일시적 기계-판독가능 저장 디바이스를 포함하고, 상기 동작들은:
    신경망의 계층에서 프로세싱될 입력들의 제1 배치를 획득하는 동작 ― 상기 계층은 연관된 배치 사이즈를 가짐 ―;
    상기 계층에 대한 가중치들을 획득하는 동작 ― 상기 가중치들은 상기 계층에 대한 상기 가중치들의 재사용의 양을 정의하는 연관된 재사용 값을 가짐 ―;
    상기 가중치들의 재사용 값 및 상기 배치 사이즈에 기초하여, 상기 가중치들을 사용하여 상기 계층에서 프로세싱될 상기 제1 배치에서의 입력들의 특정 양을 선택하는 동작 ― 상기 입력들의 특정 양은 i) 상기 계층에 대한 배치 사이즈, 또는 ii) 상기 가중치들이 상기 재사용 값에 기초하여 재사용되도록 허용되는 양을 초과하지 않도록 선택됨 ―; 및
    상기 가중치들을 사용하여, 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 동작
    을 포함하는,
    시스템.
  10. 제 9 항에 있어서,
    상기 동작들은:
    상기 계층에 대한 새로운 가중치들을 획득하기 위해 상기 하드웨어 회로의 메모리에 액세스하는 임계 페치 횟수에 기초하여 상기 입력들의 특정 양을 선택하는 동작을 더 포함하는,
    시스템.
  11. 제 9 항에 있어서,
    상기 제1 배치에서의 입력들의 특정 양을 선택하는 동작은:
    별개의 활성화 입력들을 갖는 상기 가중치들을 다수 횟수 재사용하는 컴퓨팅 횟수가 상기 계층에 대한 새로운 가중치 입력들에 액세스하는 페치 횟수와 적어도 동일해지기 전의, 상기 하드웨어 회로가 상기 계층에 대한 가중치들을 재사용하도록 허용되는 상기 다수 횟수를 결정하는 동작을 포함하는,
    시스템.
  12. 제 11 항에 있어서,
    상기 입력들의 특정 양을 선택하는 동작은:
    상기 가중치들을 재사용하는 컴퓨팅 횟수가 상기 계층에 대한 새로운 가중치 입력들에 액세스하는 페치 횟수를 초과하지 않도록 상기 입력들의 특정 양을 선택하는 동작을 포함하는,
    시스템.
  13. 제 9 항에 있어서,
    상기 하드웨어 회로는 컴퓨팅 셀들의 어레이를 포함하고, 상기 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 동작은:
    상기 어레이 내의 둘 또는 그 초과의 각각의 컴퓨팅 셀들에 의해, 상기 계층에 대한 가중치들, 및 제1 프로세서 클록 사이클 및 제2 후속 프로세서 클록 사이클에 걸쳐 상기 입력들의 특정 양에서의 활성화 입력을 재사용하는 동작을 포함하는,
    시스템.
  14. 제 13 항에 있어서,
    상기 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 동작은:
    상기 신경망의 주어진 계층에 대해 상기 어레이 내에 로딩되는 가중치들을 재사용하는 동안 다수의 독립 활성화 입력들을 프로세싱하는 동작을 포함하고, 상기 주어진 계층에 대한 상기 가중치들은 상기 재사용 값에 기초하여 재사용되는,
    시스템.
  15. 제 9 항에 있어서,
    상기 하드웨어 회로의 프로세싱 속도에 기초하여 상기 계층에 대한 가중치들을 재사용하는 동작을 더 포함하고, 상기 계층에 대한 가중치들을 재사용하는 동작은 상기 입력들의 특정 양에서의 입력을 프로세싱하기 위해 가중치들의 제1 부분을 재사용하는 한편, 동시에 상기 하드웨어 회로의 프로세싱 속도에 기초하여 메모리로부터의, 후속 컴퓨테이션에 사용될 가중치들의 제2 부분에 액세스하는 동작을 포함하는,
    시스템.
  16. 제 15 항에 있어서,
    상기 가중치 재사용 값은:
    상기 하드웨어 회로 내에 포함되는 산술 유닛들의 수; 또는
    상기 신경망의 하나 또는 그 초과의 계층들에서 프로세싱될 입력들의 다수의 배치들을 저장하기 위해 사용되는 상기 하드웨어 회로의 메모리 내에 포함되는 채널들의 수
    중 적어도 하나에 기초하는,
    시스템.
  17. 하드웨어 회로를 사용하여 신경망 컴퓨테이션들을 수행하기 위한 명령들을 저장하기 위한 비-일시적 기계-판독가능 저장 디바이스로서, 상기 명령들은 동작들의 수행을 야기하기 위해 프로세서에 의해 실행가능하고, 상기 동작들은:
    신경망의 계층에서 프로세싱될 입력들의 제1 배치를 획득하는 동작 ― 상기 계층은 연관된 배치 사이즈를 가짐 ―;
    상기 계층에 대한 가중치들을 획득하는 동작 ― 상기 가중치들은 상기 계층에 대한 상기 가중치들의 재사용의 양을 정의하는 연관된 재사용 값을 가짐 ―;
    상기 가중치들의 재사용 값 및 상기 배치 사이즈에 기초하여, 상기 가중치들을 사용하여 상기 계층에서 프로세싱될 상기 제1 배치에서의 입력들의 특정 양을 선택하는 동작 ― 상기 입력들의 특정 양은 i) 상기 계층에 대한 배치 사이즈, 또는 ii) 상기 가중치들이 상기 재사용 값에 기초하여 재사용되도록 허용되는 양을 초과하지 않도록 선택됨 ―; 및
    상기 가중치들을 사용하여, 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 동작
    을 포함하는,
    기계-판독가능 저장 디바이스.
  18. 제 17 항에 있어서,
    상기 동작들은:
    상기 계층에 대한 새로운 가중치들을 획득하기 위해 상기 하드웨어 회로의 메모리에 액세스하는 임계 페치 횟수에 기초하여 상기 입력들의 특정 양을 선택하는 동작을 더 포함하는,
    기계-판독가능 저장 디바이스.
  19. 제 17 항에 있어서,
    상기 제1 배치에서의 입력들의 특정 양을 선택하는 동작은:
    별개의 활성화 입력들을 갖는 상기 가중치들을 다수 횟수 재사용하는 컴퓨팅 횟수가 상기 계층에 대한 새로운 가중치 입력들에 액세스하는 페치 횟수와 적어도 동일해지기 전의, 상기 하드웨어 회로가 상기 계층에 대한 가중치들을 재사용하도록 허용되는 상기 다수 횟수를 결정하는 동작을 포함하는,
    기계-판독가능 저장 디바이스.
  20. 제 17 항에 있어서,
    상기 하드웨어 회로는 컴퓨팅 셀들의 어레이를 포함하고, 상기 계층 출력을 생성하기 위해 상기 입력들의 특정 양을 프로세싱하는 동작은:
    상기 어레이 내의 둘 또는 그 초과의 각각의 컴퓨팅 셀들에 의해, 상기 계층에 대한 가중치들, 및 제1 프로세서 클록 사이클 및 제2 후속 프로세서 클록 사이클에 걸쳐 상기 입력들의 특정 양에서의 활성화 입력을 재사용하는 동작을 포함하는,
    기계-판독가능 저장 디바이스.


KR1020237018341A 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱 KR102610083B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237041445A KR20230165890A (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562165020P 2015-05-21 2015-05-21
US62/165,020 2015-05-21
US14/844,431 US10083395B2 (en) 2015-05-21 2015-09-03 Batch processing in a neural network processor
US14/844,431 2015-09-03
KR1020237002538A KR102540114B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
PCT/US2016/030515 WO2016186823A1 (en) 2015-05-21 2016-05-03 Batch processing in a neural network processor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020237002538A Division KR102540114B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237041445A Division KR20230165890A (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱

Publications (2)

Publication Number Publication Date
KR20230080510A KR20230080510A (ko) 2023-06-07
KR102610083B1 true KR102610083B1 (ko) 2023-12-04

Family

ID=55967450

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020237002538A KR102540114B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020227004246A KR102493196B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020237018341A KR102610083B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020237041445A KR20230165890A (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020207011889A KR102362157B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020177027872A KR102106144B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020237002538A KR102540114B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020227004246A KR102493196B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020237041445A KR20230165890A (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020207011889A KR102362157B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱
KR1020177027872A KR102106144B1 (ko) 2015-05-21 2016-05-03 신경망 프로세서에서의 배치 프로세싱

Country Status (11)

Country Link
US (5) US10083395B2 (ko)
EP (2) EP4235449A3 (ko)
JP (5) JP6640243B2 (ko)
KR (6) KR102540114B1 (ko)
CN (2) CN107454965B (ko)
DE (2) DE112016002292T5 (ko)
DK (1) DK3298547T3 (ko)
GB (2) GB2553053B (ko)
HK (1) HK1245463A1 (ko)
TW (2) TWI622939B (ko)
WO (1) WO2016186823A1 (ko)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
US10417555B2 (en) * 2015-05-29 2019-09-17 Samsung Electronics Co., Ltd. Data-optimized neural network traversal
US20170153892A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Instruction And Logic For Programmable Fabric Hierarchy And Cache
US10037490B2 (en) 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware
US10521488B1 (en) 2016-12-30 2019-12-31 X Development Llc Dynamic partitioning
US10248613B2 (en) * 2017-01-10 2019-04-02 Qualcomm Incorporated Data bus activation in an electronic device
US10824934B2 (en) * 2017-01-12 2020-11-03 Texas Instruments Incorporated Methods and apparatus for matrix processing in a convolutional neural network
US9691019B1 (en) * 2017-03-07 2017-06-27 Google Inc. Depth concatenation using a matrix computation unit
US10896367B2 (en) * 2017-03-07 2021-01-19 Google Llc Depth concatenation using a matrix computation unit
US10909447B2 (en) 2017-03-09 2021-02-02 Google Llc Transposing neural network matrices in hardware
KR102414583B1 (ko) * 2017-03-23 2022-06-29 삼성전자주식회사 머신 러닝을 수행하는 전자 장치 및 머신 러닝 수행 방법
CN107085562B (zh) * 2017-03-23 2020-11-03 中国科学院计算技术研究所 一种基于高效复用数据流的神经网络处理器及设计方法
US10387298B2 (en) * 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US10795836B2 (en) * 2017-04-17 2020-10-06 Microsoft Technology Licensing, Llc Data processing performance enhancement for neural networks using a virtualized data iterator
US10019668B1 (en) 2017-05-19 2018-07-10 Google Llc Scheduling neural network processing
US11144828B2 (en) 2017-06-09 2021-10-12 Htc Corporation Training task optimization system, training task optimization method and non-transitory computer readable medium for operating the same
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
CN107608715B (zh) * 2017-07-20 2020-07-03 上海寒武纪信息科技有限公司 用于执行人工神经网络正向运算的装置及方法
US11157441B2 (en) * 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11966833B2 (en) 2017-08-09 2024-04-23 Google Llc Accelerating neural networks in hardware using interconnected crossbars
US10839286B2 (en) * 2017-09-14 2020-11-17 Xilinx, Inc. System and method for implementing neural networks in integrated circuits
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11620490B2 (en) * 2017-10-17 2023-04-04 Xilinx, Inc. Multi-layer neural network processing by a neural network accelerator using host communicated merged weights and a package of per-layer instructions
JP6901633B2 (ja) 2017-10-27 2021-07-14 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ カプセルニューラルネットワーク
CN107818367B (zh) * 2017-10-30 2020-12-29 中国科学院计算技术研究所 用于神经网络的处理系统和处理方法
KR102586173B1 (ko) * 2017-10-31 2023-10-10 삼성전자주식회사 프로세서 및 그 제어 방법
US20200210818A1 (en) * 2017-11-02 2020-07-02 Tdk Corporation Array device including neuromorphic element and neural network system
WO2019090325A1 (en) * 2017-11-06 2019-05-09 Neuralmagic, Inc. Methods and systems for improved transforms in convolutional neural networks
KR20190051697A (ko) 2017-11-07 2019-05-15 삼성전자주식회사 뉴럴 네트워크의 디컨벌루션 연산을 수행하는 장치 및 방법
KR102424962B1 (ko) 2017-11-15 2022-07-25 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 이를 포함하는 메모리 모듈
US20190156214A1 (en) 2017-11-18 2019-05-23 Neuralmagic Inc. Systems and methods for exchange of data in distributed training of machine learning algorithms
US10803379B2 (en) 2017-12-12 2020-10-13 Amazon Technologies, Inc. Multi-memory on-chip computational network
WO2019118363A1 (en) * 2017-12-12 2019-06-20 Amazon Technologies, Inc. On-chip computational network
CN111837145B (zh) * 2017-12-18 2024-02-02 米西克有限公司 用于将矩阵计算映射到矩阵乘法加速器的系统和方法
CN108108811B (zh) * 2017-12-18 2021-07-30 南京地平线机器人技术有限公司 神经网络中的卷积计算方法和电子设备
CN107844828B (zh) * 2017-12-18 2021-07-30 南京地平线机器人技术有限公司 神经网络中的卷积计算方法和电子设备
CN108345934B (zh) * 2018-01-16 2020-11-03 中国科学院计算技术研究所 一种用于神经网络处理器的激活装置及方法
WO2019147708A1 (en) * 2018-01-24 2019-08-01 Alibaba Group Holding Limited A deep learning accelerator system and methods thereof
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11461579B2 (en) 2018-02-08 2022-10-04 Western Digital Technologies, Inc. Configurable neural network engine for convolutional filter sizes
US11551064B2 (en) 2018-02-08 2023-01-10 Western Digital Technologies, Inc. Systolic neural network engine capable of forward propagation
US11423300B1 (en) * 2018-02-09 2022-08-23 Deepmind Technologies Limited Selecting actions by reverting to previous learned action selection policies
KR102252137B1 (ko) 2018-02-13 2021-05-13 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 계산 장치 및 방법
US11740898B2 (en) 2018-02-13 2023-08-29 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
CN108364061B (zh) * 2018-02-13 2020-05-05 北京旷视科技有限公司 运算装置、运算执行设备及运算执行方法
CN116991225A (zh) 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
KR102487535B1 (ko) * 2018-02-20 2023-01-12 삼성전자주식회사 시스톨릭 배열(Systolic Array)을 이용하여 딥 러닝(Deep Learning) 연산을 수행하는 방법 및 장치
US12008466B1 (en) * 2018-03-23 2024-06-11 Amazon Technologies, Inc. Processor with control flow
US11188814B2 (en) * 2018-04-05 2021-11-30 Arm Limited Systolic convolutional neural network
CN108628799B (zh) * 2018-04-17 2021-09-14 上海交通大学 可重构的单指令多数据脉动阵列结构、处理器及电子终端
US11783174B2 (en) * 2018-05-04 2023-10-10 Apple Inc. Splitting of input data for processing in neural network processor
WO2019218896A1 (zh) 2018-05-18 2019-11-21 上海寒武纪信息科技有限公司 计算方法以及相关产品
CN108777153B (zh) * 2018-05-25 2021-01-26 华中科技大学 一种多端输入突触器件及其可塑性调制方法
US11216732B2 (en) 2018-05-31 2022-01-04 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US10832133B2 (en) 2018-05-31 2020-11-10 Neuralmagic Inc. System and method of executing neural networks
US11449363B2 (en) 2018-05-31 2022-09-20 Neuralmagic Inc. Systems and methods for improved neural network execution
US10963787B2 (en) 2018-05-31 2021-03-30 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US11734555B2 (en) * 2018-06-05 2023-08-22 Lightelligence PTE. Ltd. Optoelectronic computing systems
US10698392B2 (en) * 2018-06-22 2020-06-30 Applied Materials, Inc. Using graphics processing unit for substrate routing and throughput modeling
JP7053891B2 (ja) 2018-06-27 2022-04-12 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッド オンチップコードのブレークポイントによるデバッグ方法、オンチッププロセッサ及びブレークポイントによるチップデバッグシステム
DE102018115902A1 (de) 2018-07-01 2020-01-02 Oliver Bartels SIMD-Prozessor mit CAM zur Operandenauswahl nach Mustererkennung
US11138497B2 (en) * 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
CN109002879B (zh) * 2018-07-23 2021-09-03 山东浪潮科学研究院有限公司 神经网络模型的可视化建模方法和装置
KR102519467B1 (ko) 2018-08-28 2023-04-06 캠브리콘 테크놀로지스 코퍼레이션 리미티드 데이터 전처리 방법, 장치, 컴퓨터 설비 및 저장 매체
CN110865950B (zh) * 2018-08-28 2021-01-12 中科寒武纪科技股份有限公司 数据预处理方法、装置、计算机设备和存储介质
US11010313B2 (en) * 2018-08-29 2021-05-18 Qualcomm Incorporated Method, apparatus, and system for an architecture for machine learning acceleration
EP3859488A4 (en) 2018-09-28 2022-06-29 Shanghai Cambricon Information Technology Co., Ltd Signal processing device, signal processing method and related product
WO2020062299A1 (zh) * 2018-09-30 2020-04-02 华为技术有限公司 一种神经网络处理器、数据处理方法及相关设备
WO2020072274A1 (en) 2018-10-01 2020-04-09 Neuralmagic Inc. Systems and methods for neural network pruning with accuracy preservation
WO2020073925A1 (zh) * 2018-10-09 2020-04-16 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
WO2020073923A1 (zh) * 2018-10-09 2020-04-16 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
KR20200051278A (ko) 2018-11-05 2020-05-13 삼성전자주식회사 인공 신경망에서의 작업 관리 방법 및 이를 포함하는 시스템
JP7315317B2 (ja) 2018-11-09 2023-07-26 株式会社Preferred Networks プロセッサおよびプロセッサのデータ転送方法
KR102451519B1 (ko) * 2018-11-20 2022-10-07 삼성전자주식회사 룩업 테이블 기반의 비트-시리얼 처리 요소를 포함하는 심층 신경망 가속기
KR20200061164A (ko) * 2018-11-23 2020-06-02 삼성전자주식회사 뉴럴 네트워크 연산 수행을 위한 뉴럴 네트워크 장치, 뉴럴 네트워크 장치의 동작 방법 및 뉴럴 네트워크 장치를 포함하는 애플리케이션 프로세서
KR20200066953A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 Pim을 채용하는 반도체 메모리 장치 및 그 동작 방법
US10990525B2 (en) * 2018-12-12 2021-04-27 Mipsology SAS Caching data in artificial neural network computations
WO2020126692A1 (en) * 2018-12-19 2020-06-25 Ams Ag Implementing a multi-layer neural network using a single physical layer of analog neurons
CN111385462A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
US11544559B2 (en) 2019-01-08 2023-01-03 Neuralmagic Inc. System and method for executing convolution in a neural network
US10789510B2 (en) * 2019-01-11 2020-09-29 Google Llc Dynamic minibatch sizes
US11461653B2 (en) * 2019-01-23 2022-10-04 StradVision, Inc. Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same
CN109919321A (zh) * 2019-02-01 2019-06-21 京微齐力(北京)科技有限公司 单元具有本地累加功能的人工智能模块及系统芯片
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
US11934940B2 (en) 2019-04-18 2024-03-19 Cambricon Technologies Corporation Limited AI processor simulation
CN111832738B (zh) 2019-04-18 2024-01-09 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US11645512B2 (en) * 2019-04-30 2023-05-09 Baidu Usa Llc Memory layouts and conversion to improve neural network inference performance
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
CN112085188B (zh) 2019-06-12 2024-04-02 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
WO2021026225A1 (en) 2019-08-08 2021-02-11 Neuralmagic Inc. System and method of accelerating execution of a neural network
WO2021036904A1 (zh) 2019-08-23 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
KR20210030653A (ko) * 2019-09-10 2021-03-18 주식회사 모빌린트 복수 개의 코어를 갖는 연산 장치
US11842169B1 (en) 2019-09-25 2023-12-12 Amazon Technologies, Inc. Systolic multiply delayed accumulate processor architecture
CN112633462A (zh) * 2019-10-08 2021-04-09 黄朝宗 卷积神经网络的存储器优化的区块式推论方法及其系统
CN112783640B (zh) * 2019-11-11 2023-04-04 上海肇观电子科技有限公司 预先分配内存的方法与设备、电路、电子设备及介质
US11861485B2 (en) * 2019-11-22 2024-01-02 Baidu Usa Llc Data format transform method to improve AI engine MAC utilization
TWI727521B (zh) * 2019-11-27 2021-05-11 瑞昱半導體股份有限公司 動態語音辨識方法及其裝置
US11467806B2 (en) 2019-11-27 2022-10-11 Amazon Technologies, Inc. Systolic array including fused multiply accumulate with efficient prenormalization and extended dynamic range
US11816446B2 (en) 2019-11-27 2023-11-14 Amazon Technologies, Inc. Systolic array component combining multiple integer and floating-point data types
US11586932B2 (en) * 2020-03-10 2023-02-21 International Business Machines Corporation Model training with variable batch sizing and gradient checkpoint segments
US11620830B2 (en) * 2020-03-31 2023-04-04 Ford Global Technologies, Llc Context dependent transfer learning adaptation to achieve fast performance in inference and update
WO2021237755A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 神经网络调度方法及装置
WO2021243489A1 (zh) * 2020-05-30 2021-12-09 华为技术有限公司 一种神经网络的数据处理方法及装置
US11308026B1 (en) * 2020-06-29 2022-04-19 Amazon Technologies, Inc. Multiple busses interleaved in a systolic array
US11422773B1 (en) 2020-06-29 2022-08-23 Amazon Technologies, Inc. Multiple busses within a systolic array processing element
US11308027B1 (en) 2020-06-29 2022-04-19 Amazon Technologies, Inc. Multiple accumulate busses in a systolic array
US11651283B1 (en) 2020-06-30 2023-05-16 Cadence Design Systems, Inc. Method, product, and apparatus for a machine learning process using dynamic rearrangement of sparse data and corresponding weights
US11687831B1 (en) 2020-06-30 2023-06-27 Cadence Design Systems, Inc. Method, product, and apparatus for a multidimensional processing array for hardware acceleration of convolutional neural network inference
US11823018B1 (en) * 2020-06-30 2023-11-21 Cadence Design Systems, Inc. Method, product, and apparatus for a machine learning process using weight sharing within a systolic array having reduced memory bandwidth
US11676068B1 (en) 2020-06-30 2023-06-13 Cadence Design Systems, Inc. Method, product, and apparatus for a machine learning process leveraging input sparsity on a pixel by pixel basis
US11615320B1 (en) 2020-06-30 2023-03-28 Cadence Design Systems, Inc. Method, product, and apparatus for variable precision weight management for neural networks
US20220036163A1 (en) * 2020-07-29 2022-02-03 Apple Inc. Chained neural engine write-back architecture
CN111898698B (zh) * 2020-08-10 2021-07-27 腾讯科技（深圳）有限公司 对象的处理方法及装置、存储介质和电子设备
JP7358312B2 (ja) * 2020-08-25 2023-10-10 株式会社東芝 記憶装置およびニューラルネットワーク装置
KR20220027500A (ko) * 2020-08-27 2022-03-08 에스케이하이닉스 주식회사 가속 장치, 데이터 저장 장치, 데이터 처리 시스템 및 가속 장치의 동작방법
US11556757B1 (en) 2020-12-10 2023-01-17 Neuralmagic Ltd. System and method of executing deep tensor columns in neural networks
KR20220090104A (ko) 2020-12-22 2022-06-29 삼성전자주식회사 컨벌루션 연산을 위한 데이터 전송 방법, 페처 및 컨벌루션 연산 장치
US20220318013A1 (en) * 2021-03-25 2022-10-06 Intel Corporation Supporting 8-bit floating point format operands in a computing architecture
CN115204355A (zh) * 2021-04-14 2022-10-18 蒂普爱可斯有限公司 能够重新使用数据的神经处理单元及其方法
US11880682B2 (en) 2021-06-30 2024-01-23 Amazon Technologies, Inc. Systolic array with efficient input reduction and extended array performance
KR102590993B1 (ko) * 2021-09-03 2023-10-19 한국전자기술연구원 적응형 배치 프로세싱 방법 및 시스템
US11714556B2 (en) * 2021-09-14 2023-08-01 quadric.io, Inc. Systems and methods for accelerating memory transfers and computation efficiency using a computation-informed partitioning of an on-chip data buffer and implementing computation-aware data transfer operations to the on-chip data buffer
US11960982B1 (en) 2021-10-21 2024-04-16 Neuralmagic, Inc. System and method of determining and executing deep tensor columns in neural networks

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014235A (en) 1987-12-15 1991-05-07 Steven G. Morton Convolution memory
US5136717A (en) 1988-11-23 1992-08-04 Flavors Technology Inc. Realtime systolic, multiple-instruction, single-data parallel computer system
US5138695A (en) 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
US5337395A (en) 1991-04-08 1994-08-09 International Business Machines Corporation SPIN: a sequential pipeline neurocomputer
US5146543A (en) 1990-05-22 1992-09-08 International Business Machines Corp. Scalable neural array processor
JPH04290155A (ja) 1991-03-19 1992-10-14 Fujitsu Ltd 並列データ処理方式
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5278945A (en) * 1992-01-10 1994-01-11 American Neuralogical, Inc. Neural processor apparatus
JPH0652132A (ja) * 1992-07-28 1994-02-25 Mitsubishi Electric Corp 並列演算半導体集積回路装置およびそれを用いたシステム
JPH06203005A (ja) * 1992-10-27 1994-07-22 Eastman Kodak Co 高速区分化ニューラルネットワーク及びその構築方法
US5517667A (en) * 1993-06-14 1996-05-14 Motorola, Inc. Neural network that does not require repetitive training
US5583964A (en) * 1994-05-02 1996-12-10 Motorola, Inc. Computer utilizing neural network and method of using same
US5799134A (en) 1995-03-13 1998-08-25 Industrial Technology Research Institute One dimensional systolic array architecture for neural network
KR0152710B1 (ko) * 1995-12-21 1998-10-15 양승택 AT-Bus에 장착하기 위한 병렬 신경망 보드의 제어회로
US5812993A (en) 1996-03-07 1998-09-22 Technion Research And Development Foundation Ltd. Digital hardware architecture for realizing neural network
US6038337A (en) 1996-03-29 2000-03-14 Nec Research Institute, Inc. Method and apparatus for object recognition
JPH11177399A (ja) 1997-12-15 1999-07-02 Mitsubishi Electric Corp クロック遅延回路およびこれを用いた発振回路、位相同期回路、クロック生成回路
GB9902115D0 (en) 1999-02-01 1999-03-24 Axeon Limited Neural networks
US6917703B1 (en) * 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US20020143720A1 (en) * 2001-04-03 2002-10-03 Anderson Robert Lee Data structure for improved software implementation of a neural network
JP4314017B2 (ja) 2002-11-06 2009-08-12 キヤノン株式会社 階層処理装置
US7245767B2 (en) 2003-08-21 2007-07-17 Hewlett-Packard Development Company, L.P. Method and apparatus for object identification, classification or verification
US7634137B2 (en) 2005-10-14 2009-12-15 Microsoft Corporation Unfolded convolution for fast feature extraction
EP2122542B1 (en) 2006-12-08 2017-11-01 Medhat Moussa Architecture, system and method for artificial neural network implementation
US8184696B1 (en) 2007-09-11 2012-05-22 Xilinx, Inc. Method and apparatus for an adaptive systolic array structure
JP5376920B2 (ja) 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
KR101108987B1 (ko) * 2009-03-05 2012-01-31 한국전자통신연구원 공간 분할을 이용한 게임 캐릭터의 패턴 학습 장치 및 방법
US8442927B2 (en) 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
TWI525558B (zh) 2011-01-17 2016-03-11 Univ Nat Taipei Technology Resilient high - speed hardware reverse transfer and feedback type neural network system
SG182933A1 (en) * 2011-01-19 2012-08-30 Agency Science Tech & Res A data structure and a method for using the data structure
US8924455B1 (en) 2011-02-25 2014-12-30 Xilinx, Inc. Multiplication of matrices using systolic arrays
US9147155B2 (en) * 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9443190B2 (en) * 2011-11-09 2016-09-13 Qualcomm Incorporated Methods and apparatus for neural pattern sequence completion and neural pattern hierarchical replay by invoking replay of a referenced neural pattern
JP5906061B2 (ja) * 2011-11-15 2016-04-20 Kddi株式会社 学習装置、学習方法、プログラム
TW201331855A (zh) 2012-01-19 2013-08-01 Univ Nat Taipei Technology 具自由回饋節點的高速硬體倒傳遞及回饋型類神經網路
WO2013149123A1 (en) 2012-03-30 2013-10-03 The Ohio State University Monaural speech filter
US9477925B2 (en) 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9418334B2 (en) * 2012-12-06 2016-08-16 Nuance Communications, Inc. Hybrid pre-training of deep belief networks
US9811775B2 (en) 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training
US9190053B2 (en) 2013-03-25 2015-11-17 The Governing Council Of The Univeristy Of Toronto System and method for applying a convolutional neural network to speech recognition
CN104143327B (zh) * 2013-07-10 2015-12-09 腾讯科技（深圳）有限公司 一种声学模型训练方法和装置
KR20150016089A (ko) * 2013-08-02 2015-02-11 안병익 신경망 컴퓨팅 장치 및 시스템과 그 방법
US10019985B2 (en) * 2013-11-04 2018-07-10 Google Llc Asynchronous optimization for sequence training of neural networks
JP6203005B2 (ja) 2013-11-14 2017-09-27 三菱電機株式会社 通信装置
CN104035751B (zh) 2014-06-20 2016-10-12 深圳市腾讯计算机系统有限公司 基于多图形处理器的数据并行处理方法及装置
EP3064130A1 (en) 2015-03-02 2016-09-07 MindMaze SA Brain activity measurement and feedback system
US20160267111A1 (en) 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor

Also Published As

Publication number Publication date
KR20230016716A (ko) 2023-02-02
US20210224654A1 (en) 2021-07-22
GB2553053B (en) 2022-02-09
JP2020064657A (ja) 2020-04-23
TWI622939B (zh) 2018-05-01
JP7031033B2 (ja) 2022-03-07
GB202118188D0 (en) 2022-01-26
EP4235449A2 (en) 2023-08-30
KR102106144B1 (ko) 2020-04-29
US11227216B2 (en) 2022-01-18
KR20230080510A (ko) 2023-06-07
TW201723934A (zh) 2017-07-01
GB2600031A (en) 2022-04-20
GB2553053A (en) 2018-02-21
HK1245463A1 (zh) 2018-08-24
KR102540114B1 (ko) 2023-06-02
US20160342890A1 (en) 2016-11-24
GB2600031B (en) 2022-08-24
KR20230165890A (ko) 2023-12-05
TW201701199A (zh) 2017-01-01
JP2022071015A (ja) 2022-05-13
CN112465131A (zh) 2021-03-09
KR20200045017A (ko) 2020-04-29
CN107454965B (zh) 2020-12-01
EP3298547A1 (en) 2018-03-28
GB201715438D0 (en) 2017-11-08
DE202016107476U1 (de) 2017-01-23
US20220138577A1 (en) 2022-05-05
EP4235449A3 (en) 2023-09-13
KR102362157B1 (ko) 2022-02-14
KR20170133364A (ko) 2017-12-05
US20190122107A1 (en) 2019-04-25
JP6640243B2 (ja) 2020-02-05
JP2023109933A (ja) 2023-08-08
DE112016002292T5 (de) 2018-02-15
US9842293B2 (en) 2017-12-12
US20170103317A1 (en) 2017-04-13
JP2021093181A (ja) 2021-06-17
WO2016186823A1 (en) 2016-11-24
CN107454965A (zh) 2017-12-08
US10083395B2 (en) 2018-09-25
EP3298547B1 (en) 2023-07-05
KR20220025158A (ko) 2022-03-03
DK3298547T3 (da) 2023-10-02
JP7286829B2 (ja) 2023-06-05
JP6840827B2 (ja) 2021-03-10
US11216726B2 (en) 2022-01-04
KR102493196B1 (ko) 2023-01-27
JP2018518730A (ja) 2018-07-12
TWI591549B (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
KR102610083B1 (ko) 신경망 프로세서에서의 배치 프로세싱
KR102413522B1 (ko) 신경망 프로세서에서 사용하기 위한 가중치들의 프리페칭
US11361051B1 (en) Dynamic partitioning
KR102127524B1 (ko) 신경망 프로세서의 벡터 컴퓨테이션 유닛

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant