KR20190118635A - 신경 네트워크 프로세싱을 스케줄링하기 - Google Patents

신경 네트워크 프로세싱을 스케줄링하기 Download PDF

Info

Publication number
KR20190118635A
KR20190118635A KR1020197027653A KR20197027653A KR20190118635A KR 20190118635 A KR20190118635 A KR 20190118635A KR 1020197027653 A KR1020197027653 A KR 1020197027653A KR 20197027653 A KR20197027653 A KR 20197027653A KR 20190118635 A KR20190118635 A KR 20190118635A
Authority
KR
South Korea
Prior art keywords
neural network
superlayer
layers
inputs
input
Prior art date
Application number
KR1020197027653A
Other languages
English (en)
Other versions
KR102346636B1 (ko
Inventor
동혁 우
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190118635A publication Critical patent/KR20190118635A/ko
Application granted granted Critical
Publication of KR102346636B1 publication Critical patent/KR102346636B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Neurology (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Image Analysis (AREA)
  • Semiconductor Memories (AREA)
  • Memory System (AREA)

Abstract

컴퓨터로 구현되는 방법은 하드웨어 회로에서 신경 네트워크를 사용하여 프로세싱될 신경 네트워크 입력들의 배치를 수신하는 단계를 포함한다. 신경 네트워크는 방향 그래프로 배열된 다수의 레이어들을 가지며, 각 레이어는 각각의 파라미터들의 세트를 갖는다. 상기 방법은 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 단계를 포함한다. 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 방향 그래프의 파티션이다. 상기 방법은 하드웨어 회로를 사용하여 입력들의 배치를 프로세싱하는 단계를 포함하며, 이는 상기 시퀀스에서 각 슈퍼레이어에 대해 i) 상기 슈퍼레이어의 상기 레이어들에 대한 상기 각각의 파라미터들의 세트를 상기 하드웨어 회로의 메모리에 로딩하는 단계; 및 ii) 상기 배치에서 각 입력에 대해, 입력에 대한 슈퍼레이어 출력을 생성하기 위해, 상기 하드웨어 회로의 상기 메모리에 있는 상기 파라미터들을 사용하여, 상기 슈퍼레이어 내의 상기 레이어들 각각을 통해 상기 입력을 프로세싱하는 단계를 포함한다.

Description

신경 네트워크 프로세싱을 스케줄링하기
본 명세서는 신경 네트워크 계산을 수행하기 위한 메모리 관리 프로세스들에 관한 것이다.
신경 네트워크들은 동작들의 하나 이상의 레이어들을 이용하여 수신된 입력에 대한 출력 예를 들면, 분류를 생성하는 기계 학습 모델들이다. 일부 신경 네트워크들은 출력 레이어에 더하여 하나 이상의 히든 레이어들을 포함한다. 각 히든 레이어의 출력은 네트워크에서 다음 레이어 즉, 다음 히든 레이어 또는 네트워크의 출력 레이어에 대한 입력으로서 사용된다. 네트워크의 레이어들 전부 또는 일부는 각각의 파라미터들의 세트의 현재 값들에 따라 수신된 입력으로부터 출력을 생성한다.
일부 신경 네트워크는 하나 이상의 컨볼루션 신경 네트워크 레이어들을 포함한다. 각 컨벌루션 신경 네트워크 레이어는 연관된 커널들의 세트를 가진다. 각 커널은 사용자가 만든 신경 네트워크 모델에 의해 설정된 값을 포함한다. 일부 구현예에서, 커널들은 특정한 이미지 윤곽, 모양 또는 색상을 식별한다. 커널들은 가중 입력들의 행렬 구조로서 표현될 수 있다. 각 컨벌루션 레이어는 또한 액티베이션 입력들의 세트를 프로세싱할 수 있다. 액티베이션 입력들의 세트 또한 행렬 구조로서 표현될 수 있다.
본 명세서에 기술된 발명은 하드웨어 회로에서 신경 네트워크를 사용하여 프로세싱될 신경 네트워크 입력들의 배치를 수신하는 시스템 및 방법을 포함한다. 신경 네트워크는 방향 그래프로 배열된 다수의 레이어들을 가지며, 각 레이어는 각각의 파라미터들의 세트를 갖는다. 설명된 기술들에 따른 방법은 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 단계를 포함한다. 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 방향 그래프의 파티션일 수 있다.
설명된 방법은 하드웨어 회로를 사용하여 입력들의 배치를 프로세싱하는 단계를 포함할 수 있다. 예를 들어, 입력들의 배치를 프로세싱하는 단계는 시퀀스의 각 슈퍼레이어에서 레이어들에 대한 각각의 파라미터들의 세트를 하드웨어 회로의 메모리에 로딩하는 단계를 포함할 수 있다. 추가적으로, 상기 배치에서 각 입력에 대해, 설명된 방법은 입력에 기초하여 슈퍼레이어 출력을 생성하기 위해, 상기 하드웨어 회로의 상기 메모리에 있는 상기 파라미터들을 사용하여, 상기 슈퍼레이어 내의 상기 레이어들 각각을 통해 상기 입력을 프로세싱하는 단계를 포함할 수 있다.
본 명세서에 기술된 발명의 일 양태는 컴퓨터로 구현되는 방법으로 이용될 수 있다. 상기 방법은 하드웨어 회로에서 신경 네트워크를 사용하여 프로세싱될 신경 네트워크 입력들의 배치(batch)를 수신하는 동작, 상기 신경 네트워크는 방향 그래프(directed graph)로 배열된 복수의 레이어들을 가지며, 각 레이어는 각각의 파라미터들의 세트를 가지며; 및 상기 신경 네트워크 레이어들의 슈퍼레이어(super layer)들의 시퀀스로의 파티셔닝을 결정하는 동작을 포함하며, 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 상기 방향 그래프의 파티션이다.
상기 방법은 상기 하드웨어 회로를 사용하여 상기 신경 네트워크 입력들의 배치를 프로세싱하는 단계를 포함하며, 상기 시퀀스에서 각 슈퍼레이어에 대해: 상기 슈퍼레이어의 상기 레이어들에 대한 상기 각각의 파라미터들의 세트를 상기 하드웨어 회로의 메모리에 로딩하는 단계; 및 상기 배치에서 신경 네트워크 입력 각각에 대해: 상기 신경 네트워크 입력에 대한 슈퍼레이어 출력을 생성하기 위해, 상기 하드웨어 회로의 상기 메모리에 있는 상기 파라미터들을 사용하여, 상기 슈퍼레이어 내의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력에 대응하는 슈퍼레이어 입력을 프로세싱하는 단계를 포함한다.
이들 또는 다른 실시예들은 다음 구성들 중 하나 이상을 각각 선택적으로 포함할 수 있다. 예를 들면, 일부 구현예에서, 상기 시퀀스의 제1 슈퍼레이어에 대해, 상기 신경 네트워크 입력에 대응하는 상기 슈퍼레이어 입력은 상기 신경 네트워크 입력이다. 일부 구현예에서, 상기 제1 슈퍼레이어 출력 이후에 각 슈퍼레이어에 대한 상기 슈퍼레이어 입력은 상기 시퀀스에서 선행하는 슈퍼레이어에 의해 생성된 슈퍼레이어 출력이다.
일부 구현예에서, 상기 하드웨어 회로를 사용하여 상기 신경 네트워크 입력들의 배치를 프로세싱하는 단계는, 각 슈퍼레이어에 대해, 상기 배치에서 제2 신경 네트워크 입력에 대응하는 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 순차적으로 프로세싱되기 전에, 상기 배치에서 제1 신경 네트워크 입력에 대한 상기 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 프로세싱되도록, 상기 슈퍼레이어의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력들의 배치에 대응하는 상기 슈퍼레이어 입력들을 순차적으로 프로세싱하는 것을 포함한다.
일부 구현예에서, 슈퍼레이어의 각각의 레이어들은 작업 세트와 연관되며, 각 작업 세트는 적어도: i) 하드웨어 회로 상의 상기 신경 네트워크를 사용하여 프로세싱될 상기 신경 네트워크 입력들의 배치의 하나 이상의 입력들, 또는 상기 슈퍼레이어의 선행 레이어의 하나 이상의 출력들; 및 ii) 상기 슈퍼레이어의 레이어들 각각을 통해 하나 이상의 입력들을 프로세싱하는데 필요한 메모리 양을 표시하는 크기 파라미터에 의해 정의된다.
일부 구현예에서, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 단계는: i) 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터를 결정하는 것; ii) 상기 하드웨어 회로의 메모리의 특정한 집합 파라미터 용량을 결정하는 것; 및 iii) 상기 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터 또는 상기 하드웨어 회로의 메모리의 특정한 집합 파라미터 용량 중 적어도 하나에 기초하여, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 것을 포함한다.
일부 구현예에서, 하드웨어 회로의 메모리는 임계 저장 용량을 가지며, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 단계는: 상기 하드웨어 회로의 메모리의 임계 저장 용량에 기초하여, 상기 신경 네트워크 레이어들을 슈퍼레이어들의 시퀀스로 파티셔닝하는 것을 포함한다.
일부 구현예에서, 상기 신경 네트워크 레이어들이 슈퍼레이어들의 시퀀스로 파티셔닝되어, 상기 하드웨어 회로가 상기 신경 네트워크 입력들의 배치를 프로세싱하는 경우 상기 메모리의 임계 저장 용량을 초과하지 않도록 한다.
일부 구현예에서, 상기 신경 네트워크 입력들의 배치 및 상기 각각의 파라미터들의 세트는 상기 하드웨어 회로 외부의 소스로부터 수신되며, 그리고 상기 슈퍼레이어의 각 레이어를 통해 상기 신경 네트워크 입력들에 대응하는 슈퍼레이어 입력들을 프로세싱하는 단계는 상기 외부 소스로부터 임의의 추가 파라미터들을 수신하지 않고 상기 슈퍼레이어 입력들을 프로세싱하는 것을 포함한다.
상기 그리고 다른 양태들의 다른 구현예들은 상기 방법들의 액션들을 수행하도록 구성된 대응 시스템들, 장치들 및 컴퓨터 저장 디바이스들에 인코딩된 컴퓨터 프로그램들을 포함한다. 하나 이상의 컴퓨터들 또는 하드웨어 회로들의 컴퓨팅 시스템은 동작 중에 시스템이 상기 동작들을 수행하게 하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합에 의해 구성될 수 있다. 하나 이상의 컴퓨터 프로그램들은 데이터 프로세싱 장치에 의해 실행될 때 상기 장치로 하여금 동작들을 수행하게 하는 명령어들을 갖도록 구성될 수 있다.
본 명세서에 기술된 본 발명은 다음의 이점들을 실현하기 위해 특정한 실시예들에서 구현될 수 있다. 신경 네트워크 레이어들을 슈퍼레이어들의 시퀀스로 파티셔닝함으로써, 신경 네트워크가 파라미터들의 세트를 사용하여 입력을 프로세싱할 때 신경 네트워크 하드웨어 회로에 의한 외부 통신이 최소화될 수 있다. 계산 프로세스들에서 하드웨어 회로에 의한 외부 통신을 최소화하면 하드웨어 회로에 의한 대역폭 소비 및 에너지 최적화가 개선될 수 있다.
또한, 슈퍼레이어들의 시퀀스는 신경 네트워크 모델의 "배치(batch)" 및 "레이어(layer)" 차원들을 혼합하는 글로벌 스케줄링 프로세스를 제공하여, 신경 네트워크 레이어들을 통한 입력들의 프로세싱을 위한 하나 이상의 메모리 작업 세트들을 최적화할 수 있다. 예를 들어, 배치 및 레이어 차원에 대한 글로벌 스케줄링을 수행함으로써, 신경 네트워크 어플리케이션들의 라이브 메모리 작업 세트가 최소화되어, 주어진 하드웨어 회로에 대한 입력들의 배치없는 실행을 향상시킬 수 있다. 라이브 메모리 작업 세트들은 신경 네트워크의 레이어들을 통한 프로세싱을 위한 데이터에 대응할 수 있으며, 여기서 데이터는 현재 데이터 프로세싱 장치 또는 프로세서 하드웨어 회로의 물리적 메모리 공간에 상주한다.
또한, 예시적 하드웨어 회로는 최소화된 작업 세트들의 입력들 및 파라미터들이 SRAM 용량을 사용하여 온칩에 저장될 수 있도록 온칩 메모리(예를 들어, SRAM)를 포함할 수 있다. 따라서, SRAM 용량이 슈퍼레이어들의 시퀀스들을 제공하는 글로벌 스케줄링 프로세스에 기초하여 효율적으로 활용될 때, 입력 및 파라미터를 저장하기 위해 추가 메모리 리소스들이 더 이상 필요하지 않는 경우 비용 절감이 실현될 수 있다. 일부 구현예에서, 온칩 SRAM 용량은 특정한 설계 요건들을 충족시키고 슈퍼레이어 시퀀스들을 형성하는 것을 포함하거나 포함하지 않을 수 있는 스케줄링 프로세스들을 제공하기 위해 필요에 따라 스케일 업 또는 다운될 수 있다.
본 명세서에 기술된 본 발명의 하나 이상의 구현예들의 세부 사항은 첨부 도면과 아래의 설명에서 기술된다. 본 발명의 다른 잠재적 구성들, 양태들 및 이점들은 설명, 도면 및 청구항으로부터 명백해질 것이다.
도 1은 각각의 파라미터들의 세트를 각각 가지는 신경 네트워크의 레이어들을 통해 신경 네트워크 입력들을 프로세싱하기 위한 예시적 하드웨어 회로를 도시한다.
도 2a는 신경 네트워크의 각각의 레이어들을 사용하여 단일 배치 엘리먼트의 프로세싱과 관련된 예시적 그래프를 도시한다.
도 2b는 신경 네트워크의 주어진 레이어에 대한 다수의 배치 엘리먼트들의 프로세싱과 관련된 예시적 그래프를 도시한다.
도 3은 슈퍼레이어를 형성하는 신경 네트워크의 다수의 레이어들 중에서의 단일 배치 엘리먼트의 프로세싱과 관련된 예시적 그래프를 도시한다.
도 4는 신경 네트워크의 슈퍼레이어들을 통해 신경 네트워크 입력들을 프로세싱하는 방법에 대한 예시적 흐름도이다.
도 5는 슈퍼레이어의 다수의 레이어들을 사용하여 단일 배치 엘리먼트를 프로세싱하기 위해 슈퍼레이어들의 시퀀스로 파티셔닝된 신경 네트워크 레이어들을 표현하는 예시적 그래프를 도시한다.
도 6a는 신경 네트워크 레이어에 대한 작업 세트 크기를 표현하는 예시적 그래프를 도시한다.
도 6b는 신경 네트워크의 슈퍼레이어에 대한 작업 세트 크기를 표현하는 예시적 그래프를 도시한다.
다양한 도면들에서 동일한 참조 번호 및 기호는 동일한 구성요소를 표시한다.
다수의 레이어들을 갖는 신경 네트워크는 추론들을 계산하는데 사용될 수 있다. 예를 들어, 입력이 주어지면, 신경 네트워크는 입력에 대한 추론을 계산할 수 있다. 신경 네트워크는 신경 네트워크의 레이어들 각각을 통해 입력을 프로세싱함으로써 이러한 추론을 계산한다. 특히, 신경 네트워크의 레이어들은 방향 그래프로 배열될 수 있으며, 레이어들의 일부 또는 전부는 각각의 파라미터들의 세트를 갖는다. 각 레이어는 입력을 수신하고, 레이어에 대한 파라미터들의 세트에 따라 입력을 프로세싱하여 출력을 생성한다. 출력은 다음 신경 네트워크 레이어에서 입력으로 사용될 수 있다.
따라서, 수신된 입력으로부터 추론을 계산하기 위해, 신경 네트워크는 입력을 수신하고 방향 그래프에서 각각의 신경 네트워크 레이어들을 통해 입력을 프로세싱하여 다음 신경 네트워크 레이어에 대한 입력으로서 제공되는 하나의 신경 네트워크 레이어로부터의 출력을 가지는 추론을 생성한다. 신경 네트워크 레이어에 대한 데이터 입력, 예를 들어, 신경 네트워크에 대한 입력 또는 신경 네트워크 레이어에 대한 방향 그래프에서 레이어에 연결된 하나 이상의 레이어들의 출력은 레이어에 대한 액티베이션 입력들로서 지칭될 수 있다.
방향 그래프에서 특정한 레이어는 다수의 입력들을 수신하거나, 다수의 출력들을 생성하거나 둘 모두를 수행할 수 있다. 신경 네트워크의 레이어들은 또한 레이어의 출력이 입력으로서 이전 레이어에 다시 전송될 수 있도록 배열될 수 있다. 설명된 기술들에 따른 방법은 상기 신경 네트워크 레이어들의 슈퍼레이어(super layer)들의 시퀀스로의 파티셔닝을 결정하는 단계를 포함하며, 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 상기 방향 그래프의 파티션이도록 한다.
설명된 방법은 하드웨어 회로상의 신경 네트워크에 대한 시퀀스에서 각각의 슈퍼레이어들의 레이어들을 통해 입력들의 배치를 프로세싱하는 단계를 포함할 수 있다. 입력들의 배치를 프로세싱하는 단계는 레이어들에 대한 파라미터들을 하드웨어 회로의 메모리로 로딩하는 단계, 및 파라미터들을 사용하여 신경 네트워크 입력을 프로세싱하여 입력에 대한 각각의 슈퍼레이어 출력들을 생성하는 단계를 포함할 수 있다.
일부 구현예에서, 본 명세서에서 기술된 하나 이상의 기능들은 시스템의 하드웨어 회로 또는 전자 컴포넌트를 사용하여 수행될 수 있다. 하드웨어 회로는 하드웨어 회로에 전기적으로 연결된 제어 디바이스로부터 제어 신호들을 수신할 수 있다. 하드웨어 회로는 신경 네트워크 레이어에 입력들 및 상기 입력들을 프로세싱하는데 사용되는 파라미터들을 저장하기 위한 하나 이상의 비일시적 기계 판독가능 저장 매체(예를 들어, 메모리)를 포함하는 패키징된 전자 디바이스일 수 있다.
하드웨어 회로는 프로세서 마이크로 칩(예를 들어, CPU 또는 GPU)과 같은 패키징된 집적 회로 또는 프로세서 디바이스를 형성하는 다수의 컴포넌트들을 포함할 수 있다. 따라서, 이 경우에, 하드웨어 회로의 메모리는 마이크로 칩을 형성하는 다수의 다른 컴포넌트들과 관련하여 "온칩" 메모리일 수 있다. 본 명세서에서 사용되는 바와 같이, 패키징된 하드웨어 회로 또는 전자 디바이스는 실리콘 웨이퍼와 같은 반도체 물질을 포함할 수 있으며, 이는 지지 케이스 내에 캡슐화되거나 둘러싸여 있다. 지지 케이스는 디바이스를 인쇄된 회로 보드에 연결하기 위해 케이스의 주변부로부터 연장되는 하나의 도체선들을 포함할 수 있다.
제어 디바이스는 하드웨어 회로와 이격되어 있고 하드웨어 회로의 컴포넌트 패키지(예를 들어, 지지 케이스)에 의해 둘러싸인 적어도 온칩 메모리 외부에 있는 외부 제어기일 수 있다. 외부 제어기는 하드웨어 회로에 제어 신호를 제공하여, 하드웨어 회로로 하여금 전술 한 입력 및 파라미터를 사용하여 신경 네트워크 추론 계산을 수행하게 하는 시스템 레벨 제어기일 수 있다. 외부 컨트롤러는 "오프 칩"메모리를 포함할 수 있으며, 여기서 적어도 메모리는 패키징된 하드웨어 회로의 온칩 메모리와 같은 위치에 있지 않기 때문에, 메모리는 오프 칩이다.
일부 구현예에서, 오프-칩 메모리를 사용하지 않고 추론 계산을 수행하는 경우, 외부 제어기는 입력 및 파라미터를 저장하기 위해 하드웨어 회로의 온-칩 메모리를 사용할 수 있다. 시스템의 적어도 하나의 제어기로부터 제어 신호를 수신하는 것에 응답하여, 하드웨어 회로는 온칩 메모리에 액세스하고 저장된 입력 및 파라미터를 사용하여 신경 네트워크 계산을 수행한다.
도 1은 신경 네트워크 계산을 수행하는데 사용될 수 있는 하드웨어 회로(100)의 예시를 도시한다. 신경 네트워크 계산을 수행하는 것은 각각의 파라미터들의 세트를 각각 가지는 신경 네트워크의 레이어들을 통해 신경 네트워크 입력들을 프로세싱하는 회로(100)를 포함할 수 있다. 일부 구현예에서, 회로(100)는 하나 이상의 프로세서들, 프로세서 마이크로 칩들 또는 신경 네트워크를 구현하는 다른 회로 컴포넌트들을 포함하는 하드웨어 회로에 대응한다. 다른 구현예에서, 회로(100)는 하나 이상의 신경 네트워크들을 형성하는 하나 이상의 하드웨어 회로들, 프로세서들 및 다른 관련 회로 컴포넌트들을 포함할 수 있다. 일반적으로, 설명된 기술에 따른 방법은 CPU, GPU, 디지털 신호 프로세서(DSP) 또는 다른 관련 프로세서 아키텍처와 같은 다양한 프로세서 아키텍처에 적용되거나 이를 사용하여 구현될 수 있다.
회로(100)는 일반적으로 메모리(104)와 연관된 입력이 메모리(102)의 메모리 주소에 저장되거나 메모리 주소로부터 검색되게 하는 하나 이상의 제어 신호(110)들을 제공하는 제어기(108)를 포함한다. 유사하게, 제어기(108)는 파라미터 메모리(106)에 대한 파라미터들로 하여금 메모리(102)의 메모리 주소에 저장되거나 메모리 주소로부터 검색되게 하는 하나 이상의 제어 신호(110)들을 제공한다.
회로(100)는 하나 이상의 MAC(multiply accumulate cell) 셀/유닛(들)(107), 입력 액티베이션 버스(112) 및 출력 액티베이션 버스(114)를 더 포함한다. 제어 신호들(110)은 예를 들어, 메모리(102)로 하여금 입력 액티베이션 버스(112)에 하나 이상의 입력들을 제공하게 하고, 메모리(102)로 하여금 파라미터 메모리(106)로부터 하나 이상의 파라미터들을 제공하게 하고 및/또는 MAC 셀/유닛(107)으로 하여금 입력들과 파라미터들을 사용하게 하여 출력 액티베이션 버스(114)에 제공되는 출력 액티베이션들을 생성하는 계산을 수행하게 할 수 있다.
제어기(108)는 하나 이상의 프로세싱 유닛들 및 메모리를 포함할 수 있다. 제어기(108)의 프로세싱 유닛은 하나 이상의 프로세서들(예를 들어, 마이크로 프로세서 또는 중앙 처리 장치(CPU)), 그래픽 처리 장치(GPU), 주문형 집적 회로(ASIC), 또는 상이한 프로세서들의 조합을 포함할 수 있다. 제어기(108)는 또한 본 명세서에 기술된 결정 및 계산 중 하나 이상을 수행하기 위한 추가 프로세싱 옵션을 제공하는 다른 스토리지 또는 컴퓨팅 리소스/디바이스들(예를 들어, 버퍼, 레지스터, 제어 회로 등)을 포함할 수 있다.
일부 구현예에서, 제어기(108)의 프로세싱 유닛(들)은 제어기(108) 및 회로(100)로 하여금 본 명세서에서 설명된 하나 이상의 기능들을 수행하게 하기 위해 메모리에 저장된 명령어들을 실행한다. 제어기(108)의 메모리는 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 본 명세서에 기술된 비일시적 기계 판독가능 저장 매체는 솔리드 스테이트 메모리, 자기 디스크, 광 디스크, 휴대용 컴퓨터 디스켓, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거가능한 프로그래머블 읽기 전용 메모리(예: EPROM, EEPROM 또는 플래시 메모리) 또는 정보를 저장할 수 있는 임의의 다른 유형의 매체를 포함할 수 있다.
회로(100)는 예시적 계산 유닛 또는 계산 타일일 수 있고, 텐서, 매트릭스 및/또는 데이터 어레이들과 같은 다차원 데이터 구조들과 연관된 계산을 수행하기 위한 추가 하드웨어 구조를 포함할 수 있다. 일부 구현예에서, 입력 값들은 액티베이션 메모리(104)에 사전-로딩될 수 있고, 파라미터/가중치 값들은 신경 네트워크 컴퓨팅 시스템과 연관된 외부 또는 상위 레벨 제어 디바이스로부터 회로(100)에 의해 수신된 데이터 값들을 사용하여 파라미터 메모리(106)에 사전-로딩될 수 있다.
회로(100)는 시스템의 신경 네트워크를 사용함으로써 수행될 특정한 계산 동작을 정의하는 명령어들을 수신할 수 있다. 일반적으로, 메모리(102)에 저장된 데이터 값들은 일반적으로 각각의 메모리 주소 위치에 기록된다. 메모리(102)의 주소 위치는 특정한 계산 동작을 수행하기 위해 입력과 같은 데이터 값이 필요할 때 예시적 제어 디바이스(예를 들어, 제어기(108))에 의해 액세스될 수 있다.
제어기(108)는 하나 이상의 제어 신호들(110)을 메모리(102)에 제공하여 메모리(102)로부터 입력 액티베이션 버스(112)에 입력들을 로딩하고, 그 값들을 MAC(107)을 포함하는 계산 유닛의 어레이에 제공할 수 있다. 액티베이션 메모리의 인덱스(104)는 입력들을 갖는 모든 메모리 주소 위치들을 포함할 수 있다. 데이터 버스(112)는 하나 이상의 계산 어레이 유닛들에 의해 액세스 가능하다. 계산 어레이의 유닛들은 수신된 액티베이션 값들에 기초하여 행렬 곱셈과 관련된 계산을 수행하기 위해 하나 이상의 액티베이션 값들을 데이터 버스(112)로부터 수신할 수 있다.
주어진 계산 사이클에 대해, 회로(100)는 신경 네트워크 레이어에 대한 추론 계산과 연관된 곱셈 연산을 실행하기 위해 액티베이션 메모리(104) 및 파라미터 메모리(106)의 엘리먼트에 대한 액세스를 요구할 수 있다. 계산이 수행되는 사이클에 대해, 제어기(108)는 한 번에 하나의 입력 값을 제공할 수 있고, MAC 셀(107)을 포함하는 계산 유닛의 어레이는 주어진 입력에 대해 상이한 출력 액티베이션들을 생성하기 위해 액티베이션에 가중치/파라미터를 곱할 것이다.
일부 구현예에서, 계산 유닛들의 어레이의 각 MAC 셀(107)은 신경 네트워크 레이어의 상이한 출력 깊이를 담당할 수 있다. 계산 유닛들의 어레이는 제어기(108)에 의해 완전히 제어될 수 있고, 제어기(108)는 특정한 계산을 수행할 필요가 있을 때 액티베이션 값의 검출에 기초하여 결정할 수 있다.
또한, 입력 값들은 메모리(102)에 저장하기 위해 회로(100)에 도달하면 분석될 수 있다. 입력들을 분석하는 것에 응답하여, 제어기(108)는 특정한 입력 값들만 메모리(102)에 저장함으로써(예를 들어, 0이 아닌 액티베이션 값들만), 액티베이션 데이터를 효율적으로 압축하기 위해 프로그래밍된 명령어들을 실행할 수 있으며, 이에 의해 메모리 저장 공간 및 대응하는 대역폭을 절약할 수 있다.
회로(100)가 입력 및 파라미터를 수신할 때, 제어기(108)는 예를 들어, 하나 이상의 직접 메모리 액세스 동작을 실행할 수 있다. 이들 메모리 액세스 동작의 실행은 메모리(102)의 주소 위치에, 액티베이션 메모리(104)의 차원적 엘리먼트들에 대응하는 입력을 저장하는 것을 포함한다. 유사하게, 제어기(108)는 메모리(102)의 주소 위치에, 파라미터 메모리(106)의 차원적 엘리먼트들에 대응하는 파라미터들을 저장할 수 있다. 제어기(108)는 특정한 입력이 페치될 메모리 주소들을 유지하는 하나 이상의 주소 레지스터들을 더 포함할 수 있다. 또한, 하나 이상의 레지스터들은 대응하는 파라미터가 특정한 입력과 곱해지기 위해 페치되는 메모리 주소들을 저장할 것이다.
제어기(108)는 제1 입력에 대한 대응하는 파라미터(및 메모리 주소)를 결정하고, 제1 및 제2 입력이 순차적으로 프로세싱될 때 제2 입력에 대한 대응하는 파라미터(및 메모리 주소)를 결정하기 위해 상기 언급된 레지스터들을 참조할 수 있다. 일부 구현예에서, 제1 신경 네트워크 레이어에서 계산된 출력 액티베이션은 네트워크의 다음/후속 제2 레이어, 예를 들어, 네트워크의 다음 히든 레이어 또는 출력 레이어에 대한 입력들로서 사용된다. 일반적으로, 신경 네트워크의 각 레이어는 각각의 세트의 현재 값들에 따라 수신된 입력으로부터 출력을 생성한다.
대안적 구현예에서, 단일 입력이 파라미터 메모리(106)의 주어진 차원 엘리먼트에 대한 다양한 가중치들을 커버하는 몇몇 곱셈 연산들에 대한 피연산자로 사용되는 일부 계산 연산들이 있을 수 있다(예를 들어, "X" 또는 "Y" 차원을 반복하기 위해). 설명된 기술들에 따르면, 회로(100)는 컴퓨팅 시스템 또는 기계 학습 시스템의 외부 제어기로부터 제어 신호들을 수신하도록 구성될 수 있다. 외부 제어기는 회로(100)의 온칩 메모리에 저장된 신경 네트워크 입력들 및 파라미터들의 배치들을 제공할 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 외부 제어기는 회로(100) 상의 신경 네트워크에 의한 배치 엘리먼트 프로세싱을 위한 스케줄링 정책을 구현하도록 구성될 수 있다.
예를 들어, 시스템의 외부 제어기는 회로(100)에 제어 신호들을 제공하여, 회로(100)로 하여금 회로(100)의 온칩 메모리에 저장된 입력들 및 파라미터들을 사용하여 신경 네트워크의 레이어들을 통해 신경 네트워크 입력들을 프로세싱하게 할 수 있다. 설명된 기술들에 따르면, 특정한 스케줄링 정책은 신경 네트워크의 레이어들을 슈퍼레이어들의 하나 이상의 시퀀스들을 형성하는 레이어들의 그룹핑으로 파티셔닝하기 위해 사용될 수 있다(아래에 설명됨). 그 다음, 시스템 제어기는 회로(100)를 사용하여 온칩 메모리에 저장된 입력들 및 파라미터들에 액세스한 다음 슈퍼레이어들의 시퀀스에서 각 레이어를 통해 신경 네트워크 입력들의 배치를 프로세싱할 수 있다.
도 2a는 신경 네트워크의 각각의 레이어들을 사용하여 단일 배치 엘리먼트의 프로세싱과 관련된 예시적 그래프(200A)를 도시한다. 일부 구현예에서, 아래에 설명되는 그래프(200A/B) 및 그래프(300, 500, 600A/B)는 신경 네트워크의 토폴로지를 표현할 수 있는 예시적 방향 그래프와는 상이하다.
그래프(200A)는 신경 네트워크의 레이어들을 통한 배치 엘리먼트의 프로세싱 동안 작업 세트들의 크기가 어떻게 변하는지를 도시한다. 작업 세트의 크기는 저장 유닛들(204)로 표현된다. 일반적으로, 주어진 신경 네트워크 레이어에 대한 작업 세트는 신경 네트워크 레이어로의 입력들, 신경 네트워크 레이어으로부터의 출력들 및 신경 네트워크 레이어에 의해 입력들을 프로세싱하는데 사용되는 파라미터들을 포함한다. 작업 세트들은 일반적으로 주어진 신경 네트워크 계산에 필요하고 아래에 더 상세히 설명되는 하나 이상의 데이터 구조들의 그룹을 포함한다.
하나 이상의 저장 유닛들(204)은 신경 네트워크 레이어에 대한 작업 세트의 입력들과 및 연관된 파라미터들을 저장하는데 사용된다. 저장 유닛들(204)은 상술한 메모리(102)의 메모리 리소스와 연관될 수 있다. 배치 엘리먼트는 하드웨어 회로에서 예시적 신경 네트워크를 사용하여 프로세싱되는 단일 신경 네트워크 입력이다.
위에서 언급한 바와 같이, 신경 네트워크는 추론을 계산하는데 사용되는 다수의 레이어들을 포함할 수 있고, 신경 네트워크의 레이어들을 통해 신경 네트워크 입력을 프로세싱함으로써 추론이 계산된다. 따라서, 그래프(200A)는 레이어 A, 레이어 B, 레이어 C, 레이어 D 및 레이어 E를 포함하는 신경 네트워크 레이어들(206)을 추가로 도시한다. 그래프(200A)는 배치 엘리먼트가 먼저 레이어 A를 통해, 이어서 레이어 B를 통해, 이어서 레이어 C를 통해, 이어서 레이어 D를 통해, 이어서 레이어 E를 통해 프로세싱됨을 나타낸다. 일부 구현예에서, 레이어들(206)의 각각의 레이어들은 컨볼루션 레이어, 감소 레이어, 완전히 연결된(FC) 레이어, 분류기 레이어, 엘리먼트별 곱셈 레이어, 또는 풀링 레이어, 예를 들어 평균 풀링 레이어 또는 최대 풀링 레이어 중 하나의 유형의 신경 네트워크 레이어일 수 있다.
신경 네트워크 레이어에 대한 작업 세트는 신경 네트워크의 각각의 레이어를 통해 배치 엘리먼트를 프로세싱하는데 사용되는 하나 이상의 배치 엘리먼트들 및 파라미터들을 포함할 수 있다. 작업 세트는: i) 하드웨어 회로 상의 신경 네트워크를 사용하여 프로세싱될 입력들의 배치의 하나 이상의 입력/배치 엘리먼트; 및 ii) 입력들 및 파라미터들을 저장하는데 필요한 메모리의 양을 표시하는 크기 파라미터 또는 저장 유닛(204)들의 수에 의해 정의될 수 있다. 입력들에 더하여, 작업 세트는 출력 액티베이션들을 포함할 수 있다. 일부 구현예에서, 신경 네트워크는 전술된 배치 엘리먼트들과 연관된 "배치" 차원 및 레이어들(206)에 대응하는 "레이어" 차원을 갖는 것으로 기술될 수 있다.
일반적으로, 도 2a의 다음 설명은 예를 들어, 도 3 내지 6을 참조하여 아래에 설명되는 개선된 신경 네트워크 스케줄링 프로세스들에 대한 컨텍스트를 제공한다. 예를 들어, 레이어들(206)은 적어도 5개의 레이어(예를 들어, 레이어 A, B, C, D 및 E)를 포함하는 예시적 기계 학습 모델의 신경 네트워크 레이어일 수 있다. 기계 학습 모델에 의해 수행된 추론 계산은 피처 깊이 또는 출력 스트라이드가 갑자기 또는 예기치 않게 증가할 수 있다. 이러한 상황이 발생하면, 신경 네트워크 계산 프로세스의 주어진 포인트에서 활성 작업 세트는 시간에 따라 입력 및 출력 액티베이션 수량을 증가시키거나 입력 및 출력 액티베이션 수량을 감소시킬 수 있다.
예를 들어, 도 2a에 도시된 바와 같이, 기계 학습 모델에 의해 프로세싱된 단일 배치 엘리먼트의 작업 세트는 레이어 A에서 발생하는 배치 프로세싱을 위해 단일 저장 유닛(204)을 필요로 할 수 있다. 주어진 작업 세트에 대해 프로세싱된 입력 액티베이션들의 증가는 레이어 B에서의 배치 프로세싱 동안 발생할 수 있다. 따라서, 기계 학습 모델은 레이어 A에서의 단일 저장 유닛(204)보다는 레이어 B에서의 배치 프로세싱 동안 8개의 저장 유닛들(204)의 사용을 요구할 수 있다. 추가로, 도 2a에 도시된 바와 같이, 레이어 C, D 및 E에서 프로세싱된 작업 세트들은 각각 2, 4 및 1개의 저장 유닛을 요구할 수 있다.
일부 구현예에서, 입력/출력 액티베이션 수량 및 대응하는 필요한 저장 유닛들의 증가 또는 감소은 각각 상이한 수의 파라미터들 또는 가중치들을 갖는 신경 네트워크의 레이어들에 기초하여 발생할 수 있다. 따라서, 레이어 A에 대한 작업 세트는 레이어 B에 비해 더 적은 액티베이션들 및 파라미터들을 포함할 수 있고, 따라서 레이어 A에 대한 작업 세트는 더 많은 저장 리소스를 요구할 수 있는 레이어 B에 대한 더 큰 작업 세트에 비해 더 적은 저장 리소스를 요구할 수 있다.
일부 구현예에서, 저장 유닛들(204)은 입력 메모리(104) 및 파라미터 메모리(106)의 메모리 리소스들에 대응할 수 있다. 예를 들어, 저장 유닛들(204)은 회로(100)의 하드웨어 회로의 상술된 전자 컴포넌트의 온칩 메모리와 연관된 정적 랜덤 액세스 메모리(SRAM)의 메모리 리소스들에 대응할 수 있다. 메모리(104, 106)를 포함하는 온칩 메모리 리소스는 고정 또는 임계 저장 용량을 가질 수 있다. 이 임계 저장 용량은 회로(100)의 오프 칩 메모리와 연관된 DRAM(Dynamic Random Access Memory) 리소스의 저장 용량보다 작거나 실질적으로 작을 수 있다. 상술한 바와 같이, 오프 칩 메모리는 상위 레벨 외부 제어 디바이스의 메모리일 수 있다.
도 2b는 신경 네트워크의 주어진 레이어에 대한 다수의 배치 엘리먼트들의 프로세싱과 관련된 예시적 그래프(200B)를 도시한다. 그래프(200B)는 배치(212)의 각각의 배치 엘리먼트들과 연관된 작업 세트들의 입력을 저장하기 위한 저장 유닛들(208)의 제1 집합을 포함한다. 그래프(200B)는 배치(214)의 각각의 배치 엘리먼트들과 연관된 작업 세트들의 입력을 저장하기 위한 저장 유닛들(210)의 제2 집합을 더 포함한다.
도 2b의 구현예에서, 2개 이상의 배치들은 각각 다수의 배치 엘리먼트들을 포함할 수 있으며, 즉 배치(212)는 적어도 하나의 개별 배치 엘리먼트 "0"을 가질 수 있고, 배치(214)는 적어도 하나의 개별 배치 엘리먼트 "1"을 가질 수 있다. 적어도 2개의 배치들(212, 214)의 프로세싱은 주어진 작업 세트의 상대 크기가 배치 크기의 팩터에 의해 증폭되게 할 수 있다. 예를 들어, 도 2b에 도시된 바와 같이, 각각의 레이어들(206)(레이어 A-레이어 E)에서의 작업 세트 크기는 대응하는 배치 크기들을 갖는 적어도 2개의 배치들(배치 212 및 배치 214)의 프로세싱 입력들에 기초하여 예를 들어 2배로 증폭될 수 있다.
상기 논의된 바와 같이, 시스템 제어기는 입력들의 배치가 신경의 하나 이상의 레이어들을 통해 프로세싱되는 방식을 정의하는 신경 네트워크 스케줄링 프로세스 또는 정책을 구현하기 위한, 컴파일 타임 스케줄링 또는 다른 컴퓨팅 로직을 포함하도록 구성될 수 있다. 예를 들어, 회로(100)는 신경 네트워크 입력들의 배치를 수신하고, 시스템 제어기는 입력들이 배치의 각 입력에 대한 추론을 수행하기 위해 어떻게 프로세싱되어야 하는지에 대한 스케줄링 프로세스를 결정한다. 입력들의 프로세싱은 신경 네트워크로 하여금 신경 네트워크의 후속 레이어에 제공될 수 있는 입력 액티베이션들과 같은 중간 입력들을 생성하게 한다. 중간 입력들은 후속 신경 네트워크 레이어에 입력 액티베이션들로서 제공되는 제1 신경 네트워크 레이어의 출력 액티베이션들에 대응할 수 있다.
종래의 스케줄링 정책에서, 신경 네트워크는 제1 신경 네트워크 레이어를 통해 배치에서 각 입력 또는 배치 엘리먼트를 프로세싱하여, 각 배치 엘리먼트에 대한 레이어 출력(출력 액티베이션)을 생성한다. 각 레이어 출력은 배치 내의 배치 엘리먼트들의 프로세싱이 완료될 때까지 제2 신경 네트워크 레이어를 통해 프로세싱된다. 즉, 주어진 레이어의 프로세싱은 신경 네트워크에서 다음 레이어에 대한 프로세싱이 발생하기 전에 배치의 모든 배치 엘리먼트에 대해 수행된다. 이러한 종래의 신경 네트워크 스케줄링 정책은 메모리 용량과 같은 제약에 의해 제한될 수 있고, 따라서 기계 학습 시스템의 가용 메모리 및 컴퓨팅 리소스의 사용을 최대화하는데 비효율적일 수 있다.
일부 구현예에서, 예시적 하드웨어 회로의 온칩 메모리, 예를 들어, 메모리(104, 106)의 저장 유닛(204)의 사용과 관련하여, 온칩 메모리 리소스에 의해 지원될 수 있는 최대 배치 크기는 작업 세트의 크기에 기초하여 결정될 수 있다. 특히, 저장 유닛(204)에 의해 지원되는 최대 배치 크기는 주어진 신경 네트워크 레이어에 의해 프로세싱되는 입력들 및 파라미터들의 최대 작업 세트에 부분적으로 기초하여 결정될 수 있다.
예를 들어, 도 2b를 참조하면, 메모리(102 및 104)와 연관된 총 온칩 저장 용량은 20개의 저장 유닛(204)으로 제한될 수 있다. 도 2b에서, 레이어 B에 의해 프로세싱된 2개의 배치 엘리먼트들의 작업 세트는 16개의 저장 유닛(204)을 필요로 하기 때문에, 제3 배치 엘리먼트의 프로세싱은 24개의 저장 유닛(204)을 필요로 하므로, 20개의 저장 유닛 용량을 초과할 것이다. 따라서, 이 예에서, 신경 네트워크는 각 배치 엘리먼트를 프로세싱하는 것이 적어도 8개의 저장 유닛이 필요한 경우 2개의 배치 엘리먼트들을 포함하는 특정한 최대 작업 세트 크기만을 지원할 수 있다.
구체적으로, 도 2b의 구현예에서, 작업 세트에서 배치 엘리먼트 "0"의 프로세싱은 참조 피처(208)에 의해 표시된 바와 같이 8개의 저장 유닛를 필요로 하고, 배치 엘리먼트 "1"의 프로세싱은 참조 피처(210)에 의해 표시된 바와 같이 8개의 저장 유닛를 필요로 한다. 따라서, 배치 엘리엄트들 0 및 1을 프로세싱하는 것은 집합적으로 16 개의 저장 유닛(204)을 필요로 하기 때문에, 4개 보다 많은 저장 유닛(204)을 필요로 하는 적어도 하나의 추가 배치 엘리먼트의 프로세싱은 신경 네트워크의 하드웨어 회로의 사용 가능한 메모리 리소스들의 온칩 저장 용량(여기서는 20개로 제한됨)을 초과할 것이다.
도 3은 하나 이상의 슈퍼레이어들(308 및 310)을 형성하는 신경 네트워크의 다수의 레이어들(206) 중 배치 엘리먼트들의 프로세싱에 관한 예시적 그래프(300)를 도시하며, 여기서 슈퍼레이어(308)는 예를 들어 레이어 A, B 및 C를 포함한다. 그래프(300)는 각각의 배치 엘리먼트들(302)의 배치 엘리먼트들과 연관된 작업 세트들의 입력들 및 파라미터들을 저장하기 위한 저장 유닛들(304)의 제1 집합을 포함한다. 마찬가지로, 그래프(300)는 각각의 배치 엘리먼트들(302)의 배치 엘리먼트(1)과 연관된 작업 세트들의 입력들 및 파라미터들을 저장하기 위한 저장 유닛들(306)의 제2 집합을 더 포함하며, 이는 도 3에 회색으로 도시된다.
표시된 바와 같이, 회로(100)는 회로(100)의 다른 컴포넌트들 또는 회로들에 비해 더 적은 온칩 또는 SRAM 저장 리소스들을 가질 수 있는 예시적 전자 컴포넌트 또는 하드웨어 회로를 포함할 수 있다. 그러나, 본 명세서에 설명된 바와 같이, 회로(100)는 사용가능한 온칩 메모리를 사용하여 계산 집약적 기계 학습 알고리즘을 실행하도록 구성될 수 있다. 이러한 경우에, 기계 학습 시스템의 신경 네트워크는 하드웨어 회로의 온칩 메모리의 저장 유닛(204)에 의해 지원될 수 있는 최소 또는 최대 배치 크기에 대한 불필요한 제약을 부과하지 않는 가속기 아키텍처를 포함할 수 있다.
설명된 기술에 따르면, 개선된 신경 네트워크 스케줄링 프로세스는 회로(100)의 하드웨어 회로의 로컬 온칩 저장 리소스들의 사용을 통해 제공되는 배치 로컬성을 효율적으로 이용하기 위해 사용될 수 있다. 또한, 이 온칩 저장과 다른 로컬 컴퓨팅 리소스들을 사용하면, 사용가능한 대역폭을 최적화하고 대역폭 및 에너지에 민감한 컴퓨팅 환경에서 컴포넌트 에너지 소비를 절약할 수 있다. 또한, 이 온칩 스토리지 및 다른 로컬 리소스들의 사용은 신경 네트워크의 레이어들을 통한 입력들의 프로세싱 동안 하드웨어 회로에 의한 외부 통신을 최소화하는 역할을 할 수 있다.
예를 들어, 위에서 간략히 언급된 바와 같이, 신경 네트워크를 구현하는 하드웨어 회로는 추론을 계산하기 위해 신경 네트워크에 의해 사용되는 신경 네트워크 입력들 및 파라미터들을 수신하기 위해 호스트 디바이스/외부 제어기와 외부적으로 통신할 수 있다. 이러한 외부 통신은 하드웨어 회로의 온칩 컴퓨팅 리소스를 사용을 요구할 수 있다. 따라서, 외부 통신은 하드웨어 회로의 가용 컴퓨팅 대역폭을 감소시키고, 시스템 지연을 증가시키고, 하드웨어 회로의 전자 컴포넌트들에 의한 에너지 소비를 증가시킬 수 있다.
대역폭 및 에너지 소비와 관련된 이러한 제약을 고려하여, 본 명세서는 예시적 신경 네트워크 모델의 "배치" 및 "레이어" 차원들을 혼합하여 특정한 메모리 작업 세트들의 사용을 최적화하는 글로벌 스케줄링 정책 또는 프로세스를 설명한다. 특히, 설명된 기술의 구현예는 신경 네트워크에 의해 프로세싱되는 배치 엘리먼트들에 대한 활성 작업 세트의 크기를 최소화하기 위해 기계 학습 모델의 배치 및 레이어 차원을 활용하는 유연한 신경 네트워크 스케줄링 정책을 포함할 수 있다.
예를 들어, 설명된 교시에 따른 개선된 신경 네트워크 스케줄링 프로세스는 온-칩 메모리(104, 106) 내의 파라미터들을 포함하는 작업 세트들의 저장이 온칩 메모리 리소스의 임계 저장 용량을 초과하지 않도록 활성 작업 세트가 사이징되도록 할 수 있다. 따라서, 여기에 설명된 방법들은 신경 네트워크에 의한 배치 엘리먼트 프로세싱의 효율적인 스케줄링을 가능하게 한다. 예를 들어, 입력들을 프로세싱하는데 사용되는 입력들 및 파라미터들의 배치 크기 에 불필요한 제약을 부과하지 않는 방식으로 작업 세트로 하여금 하드웨어 회로의 온칩 스토리지에 저장되게 하는 스케줄링 정책에 기초하여 효율성을 실현할 수 있다.
또한, 기술된 교시에 따른 개선된 스케쥴링 정책은 입력들 및 파라미터들 저장하기 위해 사용가능한 온칩 리소스들의 효율적 사용을 최대화하여, 오프-칩 리소스에 액세스하기 위한 외부 통신이 최소화될 수 있다. 온칩 리소스들의 효율적 사용 및 감소된 외부 통신은 사용가능한 시스템 대역폭이 증가하게 하고, 시스템 컴포넌트들의 에너지 소비를 전반적으로 감소시킬 수 있다.
일부 구현예에서, 개선된 스케줄링 프로세스 또는 정책의 양태들은 소프트웨어 명령어들 또는 프로그램 코드를 사용하여 인코딩될 수 있다. 명령들은 회로(100)의 적어도 하나의 프로세서, 제어기(108)의 적어도 하나의 프로세서 또는 회로(100) 또는 제어기(108)의 예시적 하드웨어 회로의 적어도 하나의 프로세서 또는 둘 모두에 의해 실행 가능할 수 있다.
도 4는 회로(100)를 사용하는 신경 네트워크의 슈퍼레이어들을 통해 신경 네트워크 입력들을 프로세싱하는 방법(400)에 대한 예시적 흐름도이다. 방법 또는 프로세스(400)는 신경 네트워크에 의한 배치 엘리먼트 프로세싱을 위한 개선된 스케줄링 정책에 대응한다. 블록(402)에서, 회로(100)는 시스템의 하드웨어 회로에서 신경 네트워크를 사용하여 프로세싱될 신경 네트워크 입력들의 배치를 수신한다. 신경 네트워크는 방향 그래프로 배열된 다수의 레이어들을 가지며, 각 레이어는 각각의 파라미터들의 세트를 갖는다. 상기 논의된 바와 같이, 일부 구현예에서, 회로(100)의 하드웨어 회로는 예시적 신경 네트워크 하드웨어 시스템의 호스트 인터페이스 디바이스 또는 상위 레벨 제어기로부터 입력들을 수신할 수 있다.
블록(404)에서, 회로(100)는 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정한다. 예를 들어, 회로(100)는 신경 네트워크 레이어의 슈퍼레이어들의 시퀀스로의 하나 이상의 파티션들을 결정하도록 구성된 컴파일러 로직을 포함하거나 그에 액세스할 수 있다. 대안적으로 또는 컴파일러 로직에 추가하여, 회로(100)는 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스들로의 하나 이상의 파티션들을 결정하도록 구성된 적어도 하나의 하드웨어 블록을 포함하거나 그에 액세스할 수 있다. 일부 구현예에서, 슈퍼레이어들의 시퀀스에서 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 방향 그래프의 파티션이다.
블록(406)에서, 회로(100)는 시스템의 하드웨어 회로를 사용하여 신경 네트워크 입력들의 배치를 프로세싱한다. 일부 구현예에서, 하드웨어 회로를 사용하여 신경 네트워크 입력들의 배치를 프로세싱하는 단계는 슈퍼레이어의 레이어들에 대한 각각의 파라미터들의 세트를 메모리(106)에 로딩하는 단계를 포함할 수 있다. 일부 경우에, 슈퍼레이어의 레이어들에 대한 파라미터들은 슈퍼레이어들의 시퀀스에서 각 슈퍼레이어 각각에 대해 로딩된다. 추가로, 하드웨어 회로를 사용하여 신경 네트워크 입력들의 배치를 프로세싱하는 단계는 상기 배치에서 각 신경 네트워크 입력에 대해, 상기 신경 네트워크 입력에 대한 슈퍼레이어 출력을 생성하기 위해, 상기 하드웨어 회로의 상기 메모리에 있는 상기 파라미터들을 사용하여, 상기 슈퍼레이어 내의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력을 프로세싱하는 단계를 포함한다.
시퀀스의 제1 슈퍼레이어에 대해, 슈퍼레이어에 대한 신경 네트워크 입력의 출력(예를 들어, 슈퍼레이어 입력)은 제1 슈퍼레이어 출력이다. 추가적으로, 상기 제1 슈퍼레이어 이후에 각 슈퍼레이어에 대한 상기 슈퍼레이어 입력은 상기 시퀀스에서 선행하는 슈퍼레이어에 의해 생성된 슈퍼레이어 출력이다. 일부 구현예에서, 신경 네트워크 입력들의 배치를 프로세싱하는 단계는 시퀀스에서 제1 슈퍼레이어의 모든 레이어들을 통한 입력들을 프로세싱한 다음, 배치 내의 모든 입력들이 신경 네트워크에서 슈퍼레이어들 모두를 통해 프로세싱될 때까지, 시퀀스의 각 후속 슈퍼레이어의 모든 레이어들을 통한 입력들을 프로세싱하는 단계를 포함한다.
다시 도 3을 참조하면, 개선된 신경 네트워크 스케줄링 프로세스를 사용하는 경우, 하나의 배치 엘리먼트는 다수의 레이어들(308 및 310)에 대해 배치없는 방식으로 실행될 수 있다. 설명된 기술에 따르면, 다수의 레이어들(308)은 제1 슈퍼레이어를 형성할 수 있고, 다수의 레이어들(310)은 제1 슈퍼레이어와 상이한 제2 슈퍼레이어를 형성할 수 있다. 슈퍼레이어들을 형성하기 위해 파티셔닝된 다수의 레이어들의 그룹화는 도 4를 참조하여 아래에 보다 상세하게 설명된다.
도 3에 도시된 바와 같이, 일부 구현예에서, 예시적 기계 학습 모델의 레이어 B는 더 작은 작업 세트가 프로세싱되는 레이어 C에서 요구되는 저장 유닛의 양에 비해 큰 작업 세트를 프로세싱하기 위해 많은 양의 저장 유닛(204)을 요구할 수 있다. 배치 엘리먼트에 대한 작업 세트가 충분히 작은 경우, 개선된 스케줄링 프로세스는 슈퍼레이어/레이어(308)와 같은 다수의 레이어들(예를 들어, 슈퍼레이어)의 특정한 그룹화에 의해 프로세싱되는 다음 배치 엘리먼트로 스위칭하는 기계 학습 모델을 포함할 수 있다.
예를 들어, 회로(100)의 하드웨어 회로 상에 구현된 신경 네트워크는 신경 네트워크의 "배치" 및 "레이어" 차원에 대해 글로벌 스케줄링을 수행하도록 구성될 수 있다. 특히, 신경 네트워크 레이어에 대한 입력들의 배치 프로세싱은 제1 프로세스 반복에서 엘리먼트 0의 제1 배치에 대한 레이어들의 그룹(308)(A, B, C))을 실행하고, 그 다음 제2 프로세스 반복에서 엘리먼트 1의 제2 배치에 대한 레이어들의 동일한 그룹(308)(A, B, C))을 실행함으로써 수행될 수 있다.
도 3에 도시된 바와 같이, 개선된 스케줄링 정책에 따라 상이한 배치 엘리먼트들 사이에서 교번(alternating)하는 것은 전술한 종래의 스케줄링 정책의 최대 작업 세트 크기에 비해 작업 세트의 최대 크기를 감소시킨다. 예를 들어, 적어도 배치 엘리먼트 1에 대한 레이버 B에서의 배치 프로세싱과 관련하여, 상이한 배치 엘리먼트들 사이에서 교번하는 것은, 상기 기술된 종래의 스케줄링 정책을 사용하는 경우 요구되는 최대 작업 세트 크기가 16 유닛이 아니라 레이어 B의 최대 작업 세트 크기를 10 유닛으로 감소시킬일 수 있다. 예를 들어, 배치 엘리먼트 1에 대한 레이어 B에서 배치 프로세싱에 8개의 유닛이 사용될 수 있고, 2 유닛이 배치 엘리먼트 0의 레이어 A, B, C에서 이전의 배치 프로세싱의 출력 및/또는 레이어 D 및 E에서 프로세싱하기 위한 배치 엘리먼트 0과 연관된 작업 세트들의 입력들과 파라미터들을 저장하는데 사용될 수 있다.
도 5는 슈퍼레이어들을 형성하기 위해 파티셔닝된 다수의 레이어들을 사용하여 적어도 단일 배치 엘리먼트를 프로세싱하기 위해 슈퍼레이어들의 시퀀스로 파티셔닝된 신경 네트워크 레이어들을 표현하는 예시적 그래프를 도시한다. 그래프(500)는 각각의 배치 엘리먼트들(502)의 배치 엘리먼트 0에 대한 작업 세트들의 입력들을 저장하기 위한 저장 유닛들(504)의 제1 집합을 포함한다.
마찬가지로, 그래프(500)는 a) 각각의 배치 엘리먼트들(502)의 배치 엘리먼트 1에 대한 작업 세트의 입력들을 저장하기 위한 저장 유닛들의 제2 집합(506); b) 각각의 배치 엘리먼트(502)의 배치 엘리먼트 2에 대한 작업 세트들의 입력들을 저장하기 위한 저장 유닛들(508)의 제3 집합(508); 및 c) 각각의 배치 요소(502)의 배치 엘리먼트 3에 대한 작업 세트들의 입력들을 저장하기 위한 저장 유닛들의 제4 집합(510)을 더 포함한다.
그래프(500)는 그래프의 X-축을 따라 슈퍼레이어들의 시퀀스를 더 포함한다. 예를 들어, 그래프(500)는 i) 레이어들 A, B, C 각각을 통해 배치 엘리먼트 0, 1, 2 및 3을 프로세싱하기 위한 제1 슈퍼레이어(512); 및 ii) 레이어들 D, E 각각을 통해 배치 엘리먼트 0, 1, 2 및 3을 프로세싱하기 위한 제2 슈퍼레이어(514)를 포함한다. 설명된 교시에 따르면, 개선된 신경 네트워크 스케줄링 정책에 기초하여 정의된 슈퍼레이어들의 시퀀스는 신경 네트워크를 실행하는 하드웨어 회로의 온칩 메모리 용량 또는 임계 용량을 초과하지 않고 상대적으로 높은 작업 세트 배치 크기를 지원할 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 예시적 "B3" 레이어 및 배치 페이즈 동안 입력들이 프로세싱되는 경우, 작업 세트의 최대 크기는 각각의 저장 유닛(204)의 쉐이트 패턴들을 구별함으로써 표시되는 바와 같이 4개의 배치 엘리먼트, 예를 들어 배치 엘리먼트 0, 1, 2 및 3에 대해 단지 14개의 저장 유닛을 필요로 할 수 있다. (예를 들어, 16개의 저장 유닛을 필요로 하는) 종래의 스케쥴링 프로세스와 비교할 때, 필요한 저장 유닛의 이러한 감소는 하드웨어 회로의 온-칩 메모리를 통해 수신 및 저장된 입력 및 파라미터의 로컬성을 개선하는 것을 가능하게 한다. 온칩 리소스의 이러한 개선된 활용은 오프 칩 또는 DRAM 메모리 리소스의 사용 감소에 부분적으로 기초하여 실현되는 증가된 대역폭 및 에너지 절약을 결과로 할 수 있다.
또한, 위에서 간략히 언급된 바와 같이, 개선된 스케줄링 정책은 회로(100)의 하드웨어 회로의 온칩 메모리 용량을 초과하지 않고 하나 이상의 배치의 입력 또는 입력들을 프로세싱하는데 사용될 수 있다. 일부 구현예에서, 시퀀스에서 슈퍼레이어의 레이어들을 통해 신경 네트워크 입력들의 하나 이상의 배치들을 프로세싱하는 단계는 시퀀스에서 제1 슈퍼레이어(512)에 의해, 적어도 신경 네트워크의 후속 레이어에 의한 수신을 위해 제1 슈퍼레이어 출력을 후속 레이어에 대한 입력으로서 생성하는 것을 포함할 수 있다.
일부 경우에, 슈퍼레이어들의 시퀀스에서 제2 슈퍼레이어에 대한 신경 네트워크 입력은 시퀀스에서 제1 슈퍼레이어에 의해 생성된 제1 슈퍼레이어 출력에 해당할 수 있다. 또한, 시퀀스에서 슈퍼레이어의 레이어들을 통해 입력들의 배치를 프로세싱하는 단계는 제1 슈퍼레이어 출력에 대등하는 신경 네트워크 입력에 대한 제2 슈퍼레이어 출력을 생성하기 위해, 하드웨어 회로의 메모리에서 파라미터들을 사용하여 제2 슈퍼레이어에서 레이어들 각각을 통해 신경 네트워크 입력을 프로세싱하는 것을 포함할 수 있다.
일부 구현예에서, 슈퍼레이어들의 시퀀스에서 슈퍼레이어의 레이어들을 통해 신경 네트워크 입력들의 배치를 프로세싱하는 단계는 슈퍼레이어의 각 레이어를 통해 배치 엘리먼트 하나씩에 대한 입력들을 프로세싱하는 것을 포함할 수 있다. 예를 들어, 입력들의 배치를 프로세싱하는 것은 슈퍼레이어에서 레이어들 각각을 통해 2개 이상의 신경 네트워크 입력들을 순차적으로 프로세싱하는 것을 포함할 수 있다. 이러한 순차적 프로세싱은 슈퍼레이어의 각 레이어를 통해 제1 신경 네트워크 입력을 프로세싱하고, 그 다음 슈퍼레이어의 각 레이어를 통해 제2 신경 네트워크 입력을 프로세싱하는 것을 포함할 수 있다.
일부 구현예에서, 시퀀스에서 슈퍼레이어 각각에 대해, 슈퍼레이어의 레이어들을 통해 입력들을 프로세싱하는 단계는, 상기 배치에서 제2 신경 네트워크 입력에 대응하는 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 순차적으로 프로세싱되기 전에, 상기 배치에서 제1 신경 네트워크 입력에 대한 상기 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 프로세싱되도록, 상기 슈퍼레이어의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력들의 배치에 대응하는 상기 슈퍼레이어 입력들을 순차적으로 프로세싱하는 것을 포함한다.
일부 구현예에서, 슈퍼레이어들의 시퀀스에서 제1 슈퍼레이어는 단일 신경 네트워크 레이어를 포함할 수 있다. 이 구현예에서, 슈퍼레이어들의 시퀀스를 통해 입력들을 프로세싱하는 것은 단일 신경 네트워크 레이어를 포함하는 제1 슈퍼레이어를 통해 제1 입력을 프로세싱하는 것을 포함할 수 있다. 이 제1 입력이 제1 슈퍼레이어의 단일 레이어를 통해 프로세싱된 후, 제1 입력이 시퀀스에서 제1 슈퍼레이어에 뒤따르는 후속 슈퍼레이어의 모든 레이어들을 통해 프로세싱되기 전에, 제1 슈퍼레이어에 의해 제2 입력이 즉시 프로세싱될 수 있다. 시퀀스에서 후속 슈퍼레이어에 의해 프로세싱되는 제1 입력은 단일 신경 네트워크 레이어를 포함하는 제1 슈퍼레이어의 슈퍼레이어 출력일 수 있다.
개선된 신경 네트워크 스케줄링 정책에 따라, 레이어들의 파티셔닝 그룹에 기초하여 슈퍼레이어 및 하나 이상의 슈퍼레이어들의 시퀀스가 형성될 수 있다. 일부 구현예에서, 회로(100)는 개선된 스케쥴링 정책을 위한 프로그래밍된 명령어들을 포함하고, 이들 명령어들은 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 것을 포함할 수 있다. 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 방향 그래프의 파티션일 수 있다.
개선된 스케쥴링 프로세스의 양태는 신경 네트워크 레이어들이 다수의 슈퍼레이어들로 형성되도록 하여, 주어진 슈퍼레이어에 대한 모든 입력들 및 파라미터들이 회로(100)의 하드웨어 회로의 온칩 스토리지로부터 액세스될 수 있도록 한다. 상기 지적한 바와 같이, 입력 및 파라미터에 대한 온칩 액세스는 하드웨어 회로에 의한 외부 통신을 최소화할 수 있다. 예를 들어, 하드웨어 회로는 오프 칩 인터페이스로부터 추가적인 양의 입력 및 파라미터를 얻기 위해 반복적인 페치 연산과 연관된 컴퓨팅 프로세스들을 피할 수 있기 때문에 외부 통신이 최소화될 수 있다.
일부 구현예에서, 오프-칩 인터페이스는 하드웨어 회로를 회로(100)에 입력 및 파라미터를 제공하는 외부 제어 디바이스에 결합할 수 있다. 특히, 슈퍼레이어의 시퀀스에서 각 슈퍼레이어는 슈퍼레이어에 대한 하나 이상의 신경 네트워크 입력들을 프로세싱하기 위한 특정한 양의 파라미터들을 수신할 수 있다. 일부 경우에, 슈퍼레이어의 레이어들을 통해 하나 이상의 신경 네트워크 입력들을 프로세싱하는 것은 슈퍼레이어에 대한 특정한 양의 입력들을 프로세싱하기 위해 후속적인 양의 파라미터들을 수신하지 않고 입력을 프로세싱하는 것을 포함할 수 있다.
일부 구현예에서, 회로(100)는 슈퍼레이어들의 시퀀스의 하나 이상의 슈퍼레이어 파티션들 또는 경계들을 결정하기 위해 프로그램 코드를 실행한다. 예를 들어, 회로(100)는 주어진 레이어에 대한 액티베이션 작업 세트 및 집계 파라미터 용량의 합을 결정하거나 계산할 수 있다. 회로(100)는 결정된 합을 사용하여 하드웨어 회로의 메모리 리소스들의 미리 정의된 또는 임계 온칩 저장 용량(예를 들어, 메모리(104 및 106))에 부분적으로 기초하여 신경 네트워크 레이어의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정할 수 있다. 따라서, 신경 네트워크 레이어들이 슈퍼레이어들의 시퀀스로 파티셔닝되어, 회로(100)의 하드웨어 회로가 상기 신경 네트워크 입력들의 배치를 프로세싱하는 경우 온칩 메모리의 임계 저장 용량을 초과하지 않도록 한다.
일부 구현예에서, 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 단계는: i) 신경 네트워크에 의한 프로세싱을 위한 입력들을 포함하는 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터를 결정하는 회로(100); ii) 하드웨어 회로의 메모리의 특정한 집계 입력 액티베이션 및 파라미터 용량을 결정하는 회로(100); 및 iii) 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터 또는 하드웨어 회로의 메모리의 특정한 집계 입력 액티베이션 및 파라미터 용량에 적어도 기초하여 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 회로(100)를 포함한다.
예를 들어, 온칩 메모리의 저장 용량 또는 임계 용량은 500MB일 수 있다. 회로(100)는 식 1[총 사용량=(작업 세트 * N) + 파라미터들]에 기초하여, 총 온칩 메모리 사용량을 결정할 수 있고, 여기서 식 1의 변수 N은 배치 크기이다. 회로(100)는 신경 네트워크의 각 레이어에 대한 각각의 파라미터들의 세트를 저장하는데 필요한 메모리의 양을 결정할 수 있다. 일부 구현예에서, 도 5를 참조하여, 회로(100)는: i) 레이어 A에 대한 파라미터들의 세트가 25MB의 메모리를 필요로 하고; ii) 레이어 B에 대한 파라미터들의 세트가 125MB의 메모리를 필요로 하고, iii) 레이어 C에 대한 파라미터들의 세트가 50MB의 메모리를 필요로 한다고 결정할 수 있다.
따라서, 이 예에서, 회로(100)는 레이어 A, B 및 C에 대한 각각의 파라미터들의 세트에 대한 집계 메모리 사용량이 200MB임을 결정하고, 입력들을 저장하는 것에 사용하기 위해 300MB의 이용 가능한 온칩 메모리를 남긴다(예를 들어, 500MB 온칩 메모리에서 200MB의 집계 메모리 사용량을 뺌). 각 레이어 A, B, C에 대해, 회로(100)는 각각의 레이어들에 의해 프로세싱될 작업 세트의 입력들을 위한 특정한 크기 파라미터 및 작업 세트에 대한 대응하는 배치 크기를 결정할 수 있다. 작업 세트에 대한 입력들의 크기 파라미터 및 대응하는 배치 크기를 사용하여, 회로(100)는 메모리의 집계 액티베이션 및 파라미터 용량을 결정할 수 있다. 회로(100)는 메모리의 집계 액티베이션 및 파라미터 용량을 사용하여 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정할 수 있다.
일부 구현예에서, 회로(100)는 식 1, 입력들의 크기 파라미터(예를 들어, 메모리 유닛들에서), 배치 크기 및 파라미터들에 대해 사용된 집계 메모리를 사용하여 레이어들의 하나 이상의 그룹들에 대한 총 온칩 메모리 사용량을 결정한다. 회로(100)는 레이어들의 각 그룹에 대한 총 메모리 사용량을 500MB 온칩 저장 용량과 비교할 수 있다. 그 다음, 회로(100)는 비교 결과에 기초하여, 슈퍼레이어들의 시퀀스를 형성하는 레이어들의 파티셔닝 또는 그룹화를 결정할 수 있다. 회로(100)는 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하여, 하드웨어 회로가 작업 세트들에 대한 신경 네트워크 입력들의 배치를 프로세싱하는 경우 온칩 메모리의 임계 저장 용량(500MB)을 초과하지 않도록 한다.
도 6a는 신경 네트워크 레이어에 대한 액티베이션 작업 세트 크기를 표현하는 예시적 그래프(600A)를 도시하며, 도 6b는 신경 네트워크의 슈퍼레이어에 대한 액티베이션 작업 세트 크기를 표현하는 예시적 그래프(600B)를 도시한다. 전술한 바와 같이, 그리고 그래프(600A 및 600B)에 의해 표시된 바와 같이, 슈퍼레이어들로 배열되지 않은 신경 네트워크 레이어들에 대한 작업 세트들은 슈퍼레이어들로서 배열된 신경 네트워크 레이어들에 대한 작업 세트의 크기와 비교할 때 실질적으로 보다 큰 작업 세트 크기를 포함할 수 있다.
예를 들어, 전술된 종래의 스케줄링 정책을 사용하는 배치 프로세싱을 위한 작업 세트는 수백만 개의 입력들을 포함하는 작업 세트 크기들을 결과로 할 수 있다. 이러한 대량의 입력들은 온칩 저장 유닛(204)이 입력들을 프로세싱하는데 사용되는 입력들 및 파라미터들을 저장하기 위해 사용될 때 하드웨어 회로의 온칩 메모리 리소스의 저장 또는 임계 용량을 초과할 수 있다. 반대로, 본 명세서에 기술된 개선된 스케줄링 정책에 기초하여, 슈퍼레이어 파티션들을 사용하는 배치 프로세싱 위한 작업 세트는 실질적으로 더 적은 입력들을 포함하는 작업 세트 크기를 결과로 할 수 있다. 온칩 메모리 용량을 초과하지 않도록 실질적으로 더 적은 양의 입력들이 온칩 저장 유닛(204)을 사용하여 효율적으로 저장될 수 있다.
본 발명의 실시예들과 본 명세서에 기술된 기능적 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는, 디지털 전자회로에서, 유형적으로 수록된 컴퓨터 소프트웨어 또는 펌웨어에서, 컴퓨터 하드웨어에서 구현될 수 있다. 본 명세서에 기술된 본 발명의 실시예들은 하나 이상의 컴퓨터 프로그램들로서 구현될 수 있다. 즉, 데이터 프로세싱 장치에 의해 실행 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 유형적 비일시적인 프로그램 캐리어에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들.
대안적으로 또는 추가로, 프로그램 명령어들은 데이터 프로세싱 장치에 의해 실행하기 위한 적절한 수신기 장치에 전송하기 위한 정보를 인코딩하기 위해 생성된 인공적으로 생성된 전파된 신호 즉, 기계-생성 전기, 광학 또는 전자기적 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 기계 판독가능 저장 디바이스, 기계 판독가능 저장 기판, 랜덤 또는 직렬 엑세스 메모리 디바이스 또는 그들 중 하나 이상의 조합일 수 있다.
본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력(들)을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래머블 컴퓨터들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 FPGA(field programmable gate array), ASIC(application specific integrated circuit), GPGPU(General purpose graphics processing unit)와 같은 특수 목적 논리 회로 또는 일부 다른 프로세싱 유닛에 의해 수행될 수 있고, 장치는 또한 특수 목적 논리 회로 또는 일부 다른 프로세싱 유닛으로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적절한 컴퓨터들은 예시로서, 일반적 또는 특수 목적 마이크로프로세서들 또는 둘 모두, 또는 임의의 기타 종류의 중앙 프로세싱 유닛을 포함하거나 이에 기초할 수 있다. 일반적으로, 중앙 프로세싱 유닛은 읽기-전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령어들을 수행하거나 실행하기 위한 중앙 프로세싱 유닛 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대형 저장 디바이스들 예를 들면, 자기적, 자기-광학 디스크들 또는 광학적 디스크들 또한 포함하거나 또는 그로부터 데이터를 수신하거나 그에 데이터를 전송하기 위해 동작적으로 결합될 수 있다. 그러나, 컴퓨터는 상기 디바이스들을 반드시 가져야하는 것은 아니다.
컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들과 같은 자기 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다.
본 명세서는 많은 특정 구현 세부내용을 포함하지만, 이들은 임의의 발명의 범위 또는 청구될 수 있는 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정한 발명의 특정한 실시예에 특정적일 수 있는 구성들에 대한 설명으로 해석되어야 한다. 별개의 실시예의 맥락에서 본 명세서에서 기술되는 일정 구성들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 기술된 다양한 구성들은 또한 다수의 실시예에서 개별적으로 또는 임의의 적합한 서브 조합으로 구현될 수 있다. 게다가, 구성들은 일정 조합으로 동작하고 심지어 초기적으로 그렇게 청구되는 것으로서 상기에서 기술될 수 있지만, 청구된 조합으로부터의 하나 이상의 구성들은 일부 경우, 조합으로부터 제거될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형으로 안내될 수 있다.
유사하게, 동작들이 특정한 순서로 도면에서 도시되었지만, 이는 상기 동작들이 도시된 특정한 순서로 또는 시계열적 순서로 수행되어야 함을 요구하는 것으로서 또는 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안된다. 특정 환경에서, 멀티태스킹과 병렬 프로세싱은 이점이 있다. 게다가, 상기 기술된 실시예에서 다양한 시스템 모듈들 및 컴포넌트들의 분리는 모든 실시예에서 그러한 분리가 필요한 것으로서 이해되어서는 안되며, 일반적으로 기술된 프로그램 컴포넌트들 및 시스템들은 단일의 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있다고 이해되어야 한다.
본 발명의 특정한 실시예들이 기술되었다. 다른 실시예들도 다음의 청구항들의 범위 내에 있다. 예를 들면, 청구항들에서 기재된 액션들은 상이한 순서로 수행되고 여전히 원하는 결과들을 달성할 수 있다. 일 예시로서, 첨부 도면들에 도시된 프로세스들은 원하는 결과들을 달성하기 위해 특정한 도시된 순서, 또는 시계열적 순서를 반드시 필요로 하지 않는다. 특정 구현예에서, 멀티태스킹과 병렬 프로세싱은 이점이 있다.

Claims (20)

  1. 방법으로서,
    하드웨어 회로에서 신경 네트워크를 사용하여 프로세싱될 신경 네트워크 입력들의 배치(batch)를 수신하는 단계, 상기 신경 네트워크는 방향 그래프(directed graph)로 배열된 복수의 레이어들을 가지며, 각 레이어는 각각의 파라미터들의 세트를 가지며;
    상기 신경 네트워크 레이어들의 슈퍼레이어(super layer)들의 시퀀스로의 파티셔닝을 결정하는 단계, 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 상기 방향 그래프의 파티션이며;
    상기 하드웨어 회로를 사용하여, 상기 신경 네트워크 입력들의 배치를 프로세싱하는 단계를 포함하며, 상기 프로세싱하는 단계는 상기 시퀀스에서 슈퍼레이어 각각에 대해:
    상기 슈퍼레이어의 상기 레이어들에 대한 상기 각각의 파라미터들의 세트를 상기 하드웨어 회로의 메모리에 로딩하는 단계; 및
    상기 배치에서 신경 네트워크 입력 각각에 대해:
    상기 신경 네트워크 입력에 대한 슈퍼레이어 출력을 생성하기 위해, 상기 하드웨어 회로의 상기 메모리에 있는 상기 파라미터들을 사용하여, 상기 슈퍼레이어 내의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력에 대응하는 슈퍼레이어 입력을 프로세싱하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서, 상기 시퀀스의 제1 슈퍼레이어에 대해, 상기 신경 네트워크 입력에 대응하는 상기 슈퍼레이어 입력은 상기 신경 네트워크 입력인 것을 특징으로 하는 방법.
  3. 청구항 2에 있어서, 상기 제1 슈퍼레이어 출력 이후에 각 슈퍼레이어에 대한 상기 슈퍼레이어 입력은 상기 시퀀스에서 선행하는 슈퍼레이어에 의해 생성된 슈퍼레이어 출력인 것을 특징으로 하는 방법.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서, 상기 하드웨어 회로를 사용하여, 상기 신경 네트워크 입력들의 배치를 프로세싱하는 단계는 슈퍼레이어 각각에 대해:
    상기 배치에서 제2 신경 네트워크 입력에 대응하는 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 순차적으로 프로세싱되기 전에, 상기 배치에서 제1 신경 네트워크 입력에 대한 상기 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 프로세싱되도록, 상기 슈퍼레이어의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력들의 배치에 대응하는 상기 슈퍼레이어 입력들을 순차적으로 프로세싱하는 것을 포함하는 것을 특징으로 하는 방법.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서, 슈퍼레이어의 각각의 레이어들은 작업 세트와 연관되며, 각 작업 세트는 적어도:
    i) 하드웨어 회로 상의 상기 신경 네트워크를 사용하여 프로세싱될 상기 신경 네트워크 입력들의 배치의 하나 이상의 입력들, 또는 상기 슈퍼레이어의 선행 레이어의 하나 이상의 출력들; 및
    ii) 상기 슈퍼레이어의 레이어들 각각을 통해 하나 이상의 입력들을 프로세싱하는데 필요한 메모리 양을 표시하는 크기 파라미터에 의해 정의되는 것을 특징으로 하는 방법.
  6. 청구항 5에 있어서, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 단계는:
    i) 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터를 결정하는 것;
    ii) 상기 하드웨어 회로의 메모리의 특정한 집합 파라미터 용량을 결정하는 것; 및
    iii) 상기 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터 또는 상기 하드웨어 회로의 메모리의 특정한 집합 파라미터 용량 중 적어도 하나에 기초하여, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 것을 포함하는 것을 특징으로 하는 방법.
  7. 청구항 1 내지 6 중 어느 한 항에 있어서, 상기 하드웨어 회로의 메모리는 임계 저장 용량을 가지며, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 단계는:
    상기 하드웨어 회로의 메모리의 임계 저장 용량에 기초하여, 상기 신경 네트워크 레이어들을 슈퍼레이어들의 시퀀스로 파티셔닝하는 것을 포함하는 것을 특징으로 하는 방법.
  8. 청구항 7에 있어서, 상기 신경 네트워크 레이어들이 슈퍼레이어들의 시퀀스로 파티셔닝되어, 상기 하드웨어 회로가 상기 신경 네트워크 입력들의 배치를 프로세싱하는 경우 상기 메모리의 임계 저장 용량을 초과하지 않도록 하는 것을 특징으로 하는 방법.
  9. 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 신경 네트워크 입력들의 배치 및 상기 각각의 파라미터들의 세트는 상기 하드웨어 회로 외부의 소스로부터 수신되며, 그리고 상기 슈퍼레이어의 각 레이어를 통해 상기 신경 네트워크 입력들에 대응하는 슈퍼레이어 입력들을 프로세싱하는 단계는 상기 외부 소스로부터 임의의 추가 파라미터들을 수신하지 않고 상기 슈퍼레이어 입력들을 프로세싱하는 것을 포함하는 것을 특징으로 하는 방법.
  10. 컴퓨팅 시스템으로서,
    상기 컴퓨팅 시스템에 배치된 하드웨어 회로, 상기 하드웨어 회로는 하나 이상의 프로세싱 디바이스들을 포함하며; 및
    동작들을 수행하기 위해 상기 하나 이상의 프로세싱 디바이스들에 의해 실행가능한 명령어들을 저장하는 하나 이상의 기계 판독가능 저장 디바이스들을 포함하며, 상기 동작들은:
    하드웨어 회로에서 신경 네트워크를 사용하여 프로세싱될 신경 네트워크 입력들의 배치(batch)를 수신하는 동작, 상기 신경 네트워크는 방향 그래프(directed graph)로 배열된 복수의 레이어들을 가지며, 각 레이어는 각각의 파라미터들의 세트를 가지며;
    상기 신경 네트워크 레이어들의 슈퍼레이어(super layer)들의 시퀀스로의 파티셔닝을 결정하는 동작, 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 상기 방향 그래프의 파티션이며;
    상기 하드웨어 회로를 사용하여, 상기 신경 네트워크 입력들의 배치를 프로세싱하는 동작을 포함하며, 상기 프로세싱하는 동작은 상기 시퀀스에서 슈퍼레이어 각각에 대해:
    상기 슈퍼레이어의 상기 레이어들에 대한 상기 각각의 파라미터들의 세트를 상기 하드웨어 회로의 메모리에 로딩하는 동작; 및
    상기 배치에서 신경 네트워크 입력 각각에 대해:
    상기 신경 네트워크 입력에 대한 슈퍼레이어 출력을 생성하기 위해, 상기 하드웨어 회로의 상기 메모리에 있는 상기 파라미터들을 사용하여, 상기 슈퍼레이어 내의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력에 대응하는 슈퍼레이어 입력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
  11. 청구항 10에 있어서, 상기 시퀀스의 제1 슈퍼레이어에 대해, 상기 신경 네트워크 입력에 대응하는 상기 슈퍼레이어 입력은 상기 신경 네트워크 입력인 것을 특징으로 하는 컴퓨팅 시스템.
  12. 청구항 11에 있어서, 상기 제1 슈퍼레이어 출력 이후에 각 슈퍼레이어에 대한 상기 슈퍼레이어 입력은 상기 시퀀스에서 선행하는 슈퍼레이어에 의해 생성된 슈퍼레이어 출력인 것을 특징으로 하는 컴퓨팅 시스템.
  13. 청구항 10 내지 12 중 어느 한 항에 있어서, 상기 하드웨어 회로를 사용하여, 상기 신경 네트워크 입력들의 배치를 프로세싱하는 단계는 슈퍼레이어 각각에 대해:
    상기 배치에서 제2 신경 네트워크 입력에 대응하는 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 순차적으로 프로세싱되기 전에, 상기 배치에서 제1 신경 네트워크 입력에 대한 상기 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 프로세싱되도록, 상기 슈퍼레이어의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력들의 배치에 대응하는 상기 슈퍼레이어 입력들을 순차적으로 프로세싱하는 것을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
  14. 청구항 10 내지 13 중 어느 한 항에 있어서, 슈퍼레이어의 각각의 레이어들은 작업 세트와 연관되며, 각 작업 세트는 적어도:
    i) 하드웨어 회로 상의 상기 신경 네트워크를 사용하여 프로세싱될 상기 신경 네트워크 입력들의 배치의 하나 이상의 입력들, 또는 상기 슈퍼레이어의 선행 레이어의 하나 이상의 출력들; 및
    ii) 상기 슈퍼레이어의 레이어들 각각을 통해 하나 이상의 입력들을 프로세싱하는데 필요한 메모리 양을 표시하는 크기 파라미터에 의해 정의되는 것을 특징으로 하는 컴퓨팅 시스템.
  15. 청구항 14에 있어서, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 동작은:
    i) 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터를 결정하는 것;
    ii) 상기 하드웨어 회로의 메모리의 특정한 집합 파라미터 용량을 결정하는 것; 및
    iii) 상기 적어도 하나의 작업 세트에 대한 특정한 크기 파라미터 또는 상기 하드웨어 회로의 메모리의 특정한 집합 파라미터 용량 중 적어도 하나에 기초하여, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 것을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
  16. 청구항 10 내지 15 중 어느 한 항에 있어서, 상기 하드웨어 회로의 메모리는 임계 저장 용량을 가지며, 상기 신경 네트워크 레이어들의 슈퍼레이어들의 시퀀스로의 파티셔닝을 결정하는 동작은:
    상기 하드웨어 회로의 메모리의 임계 저장 용량에 기초하여, 상기 신경 네트워크 레이어들을 슈퍼레이어들의 시퀀스로 파티셔닝하는 것을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
  17. 청구항 16에 있어서, 상기 신경 네트워크 레이어들이 슈퍼레이어들의 시퀀스로 파티셔닝되어, 상기 하드웨어 회로가 상기 신경 네트워크 입력들의 배치를 프로세싱하는 경우 상기 메모리의 임계 저장 용량을 초과하지 않도록 하는 것을 특징으로 하는 컴퓨팅 시스템.
  18. 청구항 10 내지 17 중 어느 한 항에 있어서, 상기 신경 네트워크 입력들의 배치 및 상기 각각의 파라미터들의 세트는 상기 하드웨어 회로 외부의 소스로부터 수신되며, 그리고 상기 슈퍼레이어의 각 레이어를 통해 상기 신경 네트워크 입력들에 대응하는 슈퍼레이어 입력들을 프로세싱하는 동작은 상기 외부 소스로부터 임의의 추가 파라미터들을 수신하지 않고 상기 슈퍼레이어 입력들을 프로세싱하는 것을 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
  19. 동작들을 수행하기 위해 하나 이상의 프로세싱 디바이스들에 의해 실행가능한 명령어들을 저장하는 하나 이상의 기계 판독가능 저장 디바이스들로서, 상기 동작들은:
    하드웨어 회로에서 신경 네트워크를 사용하여 프로세싱될 신경 네트워크 입력들의 배치(batch)를 수신하는 동작, 상기 신경 네트워크는 방향 그래프(directed graph)로 배열된 복수의 레이어들을 가지며, 각 레이어는 각각의 파라미터들의 세트를 가지며;
    상기 신경 네트워크 레이어들의 슈퍼레이어(super layer)들의 시퀀스로의 파티셔닝을 결정하는 동작, 각 슈퍼레이어는 하나 이상의 레이어들을 포함하는 상기 방향 그래프의 파티션이며;
    상기 하드웨어 회로를 사용하여, 상기 신경 네트워크 입력들의 배치를 프로세싱하는 동작을 포함하며, 상기 프로세싱하는 동작은 상기 시퀀스에서 슈퍼레이어 각각에 대해:
    상기 슈퍼레이어의 상기 레이어들에 대한 상기 각각의 파라미터들의 세트를 상기 하드웨어 회로의 메모리에 로딩하는 동작; 및
    상기 배치에서 신경 네트워크 입력 각각에 대해:
    상기 신경 네트워크 입력에 대한 슈퍼레이어 출력을 생성하기 위해, 상기 하드웨어 회로의 상기 메모리에 있는 상기 파라미터들을 사용하여, 상기 슈퍼레이어 내의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력에 대응하는 슈퍼레이어 입력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 기계 판독가능 저장 디바이스.
  20. 청구항 19에 있어서, 상기 하드웨어 회로를 사용하여, 상기 신경 네트워크 입력들의 배치를 프로세싱하는 동작은 슈퍼레이어 각각에 대해:
    상기 배치에서 제2 신경 네트워크 입력에 대응하는 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 순차적으로 프로세싱되기 전에, 상기 배치에서 제1 신경 네트워크 입력에 대한 상기 슈퍼레이어 입력이 상기 슈퍼레이어의 상기 레이어들 각각을 통해 프로세싱되도록, 상기 슈퍼레이어의 상기 레이어들 각각을 통해 상기 신경 네트워크 입력들의 배치에 대응하는 상기 슈퍼레이어 입력들을 순차적으로 프로세싱하는 것을 포함하는 것을 특징으로 하는 기계 판독가능 저장 디바이스.
KR1020197027653A 2017-05-19 2018-01-17 신경 네트워크 프로세싱을 스케줄링하기 KR102346636B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/599,559 US10019668B1 (en) 2017-05-19 2017-05-19 Scheduling neural network processing
US15/599,559 2017-05-19
PCT/US2018/013939 WO2018212799A1 (en) 2017-05-19 2018-01-17 Scheduling neural network processing

Publications (2)

Publication Number Publication Date
KR20190118635A true KR20190118635A (ko) 2019-10-18
KR102346636B1 KR102346636B1 (ko) 2022-01-03

Family

ID=61157323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197027653A KR102346636B1 (ko) 2017-05-19 2018-01-17 신경 네트워크 프로세싱을 스케줄링하기

Country Status (7)

Country Link
US (3) US10019668B1 (ko)
EP (1) EP3577605A1 (ko)
JP (2) JP7025441B2 (ko)
KR (1) KR102346636B1 (ko)
CN (2) CN117291239A (ko)
TW (2) TWI664587B (ko)
WO (1) WO2018212799A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025143A (ko) * 2020-08-21 2022-03-03 주식회사 딥엑스 신경망 프로세싱 유닛
KR20220149414A (ko) * 2021-04-30 2022-11-08 주식회사 딥엑스 이종의 센서로 제공되는 이종의 데이터를 처리하기 위한 퓨전-인공신경망을 위해 구현되는 npu
US11511772B2 (en) 2021-04-30 2022-11-29 Deepx Co., Ltd. NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors
WO2023106723A1 (ko) * 2021-12-08 2023-06-15 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
KR20230086591A (ko) * 2021-12-08 2023-06-15 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
KR102548582B1 (ko) * 2022-12-26 2023-06-29 리벨리온 주식회사 뉴럴 프로세서 및 이의 명령어 페치 방법
KR20230169432A (ko) * 2021-06-04 2023-12-15 자마 에스에이에스 완전 동형 평가를 위한 컴퓨테이션 네트워크 변환
US11915001B1 (en) 2022-12-26 2024-02-27 Rebellions Inc. Neural processor and method for fetching instructions thereof

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11164074B2 (en) 2018-02-08 2021-11-02 Western Digital Technologies, Inc. Multi-core systolic processor system for neural network processing
US11461579B2 (en) 2018-02-08 2022-10-04 Western Digital Technologies, Inc. Configurable neural network engine for convolutional filter sizes
EP3651077B1 (en) 2018-02-13 2021-10-27 Shanghai Cambricon Information Technology Co., Ltd Computation device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11397579B2 (en) 2018-02-13 2022-07-26 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
CN116991226A (zh) 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
US11475306B2 (en) 2018-03-22 2022-10-18 Amazon Technologies, Inc. Processing for multiple input data sets
US11461631B2 (en) * 2018-03-22 2022-10-04 Amazon Technologies, Inc. Scheduling neural network computations based on memory capacity
US11562213B2 (en) * 2018-04-17 2023-01-24 Intel Corporation Methods and arrangements to manage memory in cascaded neural networks
CN109313673A (zh) * 2018-04-17 2019-02-05 深圳鲲云信息科技有限公司 网络模型的运行方法及相关产品
EP3624020A4 (en) 2018-05-18 2021-05-05 Shanghai Cambricon Information Technology Co., Ltd CALCULATION PROCEDURES AND RELATED PRODUCTS
US10970120B2 (en) * 2018-06-26 2021-04-06 Advanced Micro Devices, Inc. Method and system for opportunistic load balancing in neural networks using metadata
KR102470893B1 (ko) 2018-06-27 2022-11-25 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 온 칩 코드의 브레이크 포인트에 의한 디버그 방법, 온 칩 프로세서 및 브레이크 포인트에 의한 칩 디버그 시스템
CN109117949A (zh) * 2018-08-01 2019-01-01 南京天数智芯科技有限公司 用于人工智能设备的灵活数据流处理器和处理方法
US11966583B2 (en) * 2018-08-28 2024-04-23 Cambricon Technologies Corporation Limited Data pre-processing method and device, and related computer device and storage medium
EP3844620A1 (en) 2018-08-29 2021-07-07 Qualcomm Incorporated Method, apparatus, and system for an architecture for machine learning acceleration
US11703939B2 (en) 2018-09-28 2023-07-18 Shanghai Cambricon Information Technology Co., Ltd Signal processing device and related products
US11263529B2 (en) 2018-10-10 2022-03-01 Google Llc Modifying machine learning models to improve locality
CN111383638A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
JP7379821B2 (ja) * 2019-01-09 2023-11-15 日本電信電話株式会社 推論処理装置および推論処理方法
US11586929B2 (en) 2019-02-15 2023-02-21 Wipro Limited Method and system for optimizing memory requirement for training an artificial neural network model
CN111667046A (zh) * 2019-03-08 2020-09-15 富泰华工业（深圳）有限公司 深度学习加速方法及用户终端
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
CN111832738B (zh) 2019-04-18 2024-01-09 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US20200334522A1 (en) 2019-04-18 2020-10-22 Cambricon Technologies Corporation Limited Data processing method and related products
US11175898B2 (en) * 2019-05-31 2021-11-16 Apple Inc. Compiling code for a machine learning model for execution on a specialized processor
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
CN112085191B (zh) 2019-06-12 2024-04-02 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
CN114008636A (zh) * 2019-06-18 2022-02-01 高通股份有限公司 优化机器学习模型性能
CN114341888A (zh) * 2019-07-03 2022-04-12 华夏芯（北京）通用处理器技术有限公司 用于操作加速器电路的指令
US11354579B2 (en) * 2019-07-15 2022-06-07 Microsoft Technology Licensing, Llc Dynamic multi-layer execution for artificial intelligence modeling
US11436019B2 (en) 2019-07-15 2022-09-06 Microsoft Technology Licensing, Llc Data parallelism in distributed training of artificial intelligence models
US11520592B2 (en) * 2019-07-15 2022-12-06 Microsoft Technology Licensing, Llc Executing large artificial intelligence models on memory-constrained devices
TWI764236B (zh) * 2019-08-16 2022-05-11 美商谷歌有限責任公司 晶片上操作的顯式排程
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium
WO2021036905A1 (zh) 2019-08-27 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
US11573828B2 (en) * 2019-09-16 2023-02-07 Nec Corporation Efficient and scalable enclave protection for machine learning programs
DE102019127795A1 (de) * 2019-10-15 2021-04-15 Infineon Technologies Ag Schaltung und ein Verfahren zum Bestimmen einer Lage eines Magneten und Joystick
CN110515739B (zh) * 2019-10-23 2020-01-31 上海燧原智能科技有限公司 深度学习神经网络模型负载计算方法、装置、设备及介质
CN112862085B (zh) * 2019-11-27 2023-08-22 杭州海康威视数字技术股份有限公司 存储空间优化方法及装置
EP4010848A1 (en) * 2019-12-18 2022-06-15 Google LLC Parameter caching for neural network accelerators
CN111338816B (zh) * 2020-02-18 2023-05-12 深圳鲲云信息科技有限公司 基于神经网络的指令交互方法、系统、设备及存储介质
JP6834097B1 (ja) * 2020-05-15 2021-02-24 エッジコーティックス ピーティーイー． リミテッド 推論のニューラルネットワークアクセラレータのハードウェア固有分割
WO2021237755A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 神经网络调度方法及装置
US11288097B2 (en) * 2020-06-12 2022-03-29 Disney Enterprises, Inc. Automated hardware resource optimization
KR102299084B1 (ko) * 2020-08-24 2021-09-07 오픈엣지테크놀로지 주식회사 하드웨어 가속기의 출력 데이터를 메모리에 저장하는 방법, 하드웨어 가속기의 입력 데이터를 메모리로부터 읽는 방법, 및 이를 위한 하드웨어 가속기
KR102384587B1 (ko) * 2020-08-25 2022-04-08 오픈엣지테크놀로지 주식회사 하드웨어 가속기의 출력 데이터를 압축하는 방법, 하드웨어 가속기로의 입력 데이터를 디코딩하는 방법, 및 이를 위한 하드웨어 가속기
KR20220027500A (ko) * 2020-08-27 2022-03-08 에스케이하이닉스 주식회사 가속 장치, 데이터 저장 장치, 데이터 처리 시스템 및 가속 장치의 동작방법
KR20220033314A (ko) * 2020-09-09 2022-03-16 삼성전자주식회사 호스트 프로세서 및 가속기의 동작 방법 및 이들을 포함한 전자 장치
KR20220078290A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 뉴럴 네트워크 연산 스케줄링 방법 및 장치
US11734072B2 (en) * 2020-12-31 2023-08-22 Nuvolo Technologies Corporation Stream-based job processing
US11657260B2 (en) * 2021-10-26 2023-05-23 Edgecortix Pte. Ltd. Neural network hardware accelerator data parallelism
TWI802070B (zh) * 2021-11-03 2023-05-11 大陸商星宸科技股份有限公司 積體電路及其配置方法
US11442775B1 (en) * 2021-12-03 2022-09-13 FriendliAI Inc. Dynamic batching for inference system for transformer-based generation tasks
US11514370B1 (en) 2021-12-03 2022-11-29 FriendliAI Inc. Selective batching for inference system for transformer-based generation tasks
US20240256285A1 (en) * 2023-01-31 2024-08-01 Microsoft Technology Licensing, Llc Parallelizing multi-phase kernels with cross-phase dependency on heterogenous hardware

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7089185B2 (en) 2002-06-27 2006-08-08 Intel Corporation Embedded multi-layer coupled hidden Markov model
US7171043B2 (en) 2002-10-11 2007-01-30 Intel Corporation Image recognition using hidden markov models and coupled hidden markov models
US7203368B2 (en) 2003-01-06 2007-04-10 Intel Corporation Embedded bayesian network for pattern recognition
KR100486735B1 (ko) 2003-02-28 2005-05-03 삼성전자주식회사 최적구획 분류신경망 구성방법과 최적구획 분류신경망을이용한 자동 레이블링방법 및 장치
US7639727B1 (en) * 2004-10-05 2009-12-29 Cingular Wireless Ii, L.L.C. System and method for selecting wireless signal bandwidth based on signal strength measurements provided by wireless receivers
TWI525558B (zh) * 2011-01-17 2016-03-11 Univ Nat Taipei Technology Resilient high - speed hardware reverse transfer and feedback type neural network system
US8462018B1 (en) * 2011-05-26 2013-06-11 Rockwell Collins, Inc. Systems and method for controlling the simultaneous display of multi-level classified information on the same surface of an aircraft display unit
US8725658B2 (en) * 2011-09-21 2014-05-13 Brain Corporation Elementary network description for efficient memory management in neuromorphic systems
US8914315B2 (en) * 2012-01-27 2014-12-16 International Business Machines Corporation Multi-compartment neuron suitable for implementation in a distributed hardware model by reducing communication bandwidth
US9477925B2 (en) 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US10331823B2 (en) * 2013-10-24 2019-06-25 Mentor Graphics Corporation Method and system of fast nested-loop circuit verification for process and environmental variation and hierarchical circuits
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
EP3035204B1 (en) * 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
US20160335119A1 (en) 2015-05-12 2016-11-17 minds.ai inc Batch-based neural network system
US10438117B1 (en) * 2015-05-21 2019-10-08 Google Llc Computing convolutions using a neural network processor
US9747546B2 (en) * 2015-05-21 2017-08-29 Google Inc. Neural network processor
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
US10049322B2 (en) * 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
CN107690663B (zh) * 2015-06-05 2022-04-12 渊慧科技有限公司 白化神经网络层
US10387770B2 (en) 2015-06-10 2019-08-20 Samsung Electronics Co., Ltd. Spiking neural network with reduced memory access and reduced in-network bandwidth consumption
EP3104309B1 (en) * 2015-06-10 2020-04-01 Samsung Electronics Co., Ltd. Spiking neural network with reduced memory access and reduced in-network bandwidth consumption
US9582726B2 (en) * 2015-06-24 2017-02-28 Qualcomm Incorporated Systems and methods for image processing in a deep convolution network
US10452971B2 (en) 2015-06-29 2019-10-22 Microsoft Technology Licensing, Llc Deep neural network partitioning on servers
CN106599990B (zh) * 2015-10-08 2019-04-09 上海兆芯集成电路有限公司 具有神经存储器的神经网络单元和集体将来自神经存储器的数据列移位的神经处理单元阵列
CN108351983A (zh) 2015-10-28 2018-07-31 谷歌有限责任公司 修改计算图
US20170154262A1 (en) * 2015-11-30 2017-06-01 Google Inc. Resizing neural networks
US10482380B2 (en) * 2015-12-30 2019-11-19 Amazon Technologies, Inc. Conditional parallel processing in fully-connected neural networks
KR102120396B1 (ko) * 2016-05-26 2020-06-08 더 가버닝 카운슬 오브 더 유니버시티 오브 토론토 심층 신경망용 가속기
AU2016203619A1 (en) * 2016-05-31 2017-12-14 Canon Kabushiki Kaisha Layer-based operations scheduling to optimise memory for CNN applications
US10922610B2 (en) * 2017-09-14 2021-02-16 Intel Corporation Synchronization scheduler of distributed neural network training

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jeffrey Dean et al., Large Scale Distributed Deep Networks, NIPS 1-9pages(2012)* *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230106731A (ko) * 2020-08-21 2023-07-13 주식회사 딥엑스 최적화된 인공신경망 모델을 구동하도록 구성된 신경망프로세싱 유닛
US11977916B2 (en) 2020-08-21 2024-05-07 Deepx Co., Ltd. Neural processing unit
KR20220025143A (ko) * 2020-08-21 2022-03-03 주식회사 딥엑스 신경망 프로세싱 유닛
KR20230106734A (ko) * 2020-08-21 2023-07-13 주식회사 딥엑스 프루닝된 인공신경망 모델을 구동하도록 구성된 신경망프로세싱 유닛
KR20230106732A (ko) * 2020-08-21 2023-07-13 주식회사 딥엑스 양자화된 인공신경망 모델을 구동하도록 구성된 신경망프로세싱 유닛
US11731656B2 (en) 2021-04-30 2023-08-22 Deepx Co., Ltd. NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors
US11511772B2 (en) 2021-04-30 2022-11-29 Deepx Co., Ltd. NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors
KR20220149414A (ko) * 2021-04-30 2022-11-08 주식회사 딥엑스 이종의 센서로 제공되는 이종의 데이터를 처리하기 위한 퓨전-인공신경망을 위해 구현되는 npu
US12077185B2 (en) 2021-04-30 2024-09-03 Deepx Co., Ltd. NPU implemented for fusion-artificial neural network to process heterogeneous data provided by heterogeneous sensors
KR20230169432A (ko) * 2021-06-04 2023-12-15 자마 에스에이에스 완전 동형 평가를 위한 컴퓨테이션 네트워크 변환
KR20230086591A (ko) * 2021-12-08 2023-06-15 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
WO2023106723A1 (ko) * 2021-12-08 2023-06-15 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
KR102548582B1 (ko) * 2022-12-26 2023-06-29 리벨리온 주식회사 뉴럴 프로세서 및 이의 명령어 페치 방법
US11915001B1 (en) 2022-12-26 2024-02-27 Rebellions Inc. Neural processor and method for fetching instructions thereof

Also Published As

Publication number Publication date
WO2018212799A1 (en) 2018-11-22
CN110447044B (zh) 2023-10-10
JP7025441B2 (ja) 2022-02-24
TW201937416A (zh) 2019-09-16
JP7439149B2 (ja) 2024-02-27
CN110447044A (zh) 2019-11-12
JP2020521195A (ja) 2020-07-16
TW201901534A (zh) 2019-01-01
TWI699712B (zh) 2020-07-21
US10019668B1 (en) 2018-07-10
JP2022070955A (ja) 2022-05-13
US20220156557A1 (en) 2022-05-19
KR102346636B1 (ko) 2022-01-03
US20180373976A1 (en) 2018-12-27
US11157794B2 (en) 2021-10-26
CN117291239A (zh) 2023-12-26
EP3577605A1 (en) 2019-12-11
TWI664587B (zh) 2019-07-01

Similar Documents

Publication Publication Date Title
KR102346636B1 (ko) 신경 네트워크 프로세싱을 스케줄링하기
US11816045B2 (en) Exploiting input data sparsity in neural network compute units
Yin et al. A high energy efficient reconfigurable hybrid neural network processor for deep learning applications
KR102362157B1 (ko) 신경망 프로세서에서의 배치 프로세싱
US20190042251A1 (en) Compute-in-memory systems and methods
AU2016203619A1 (en) Layer-based operations scheduling to optimise memory for CNN applications
Pereira et al. PSkel: A stencil programming framework for CPU‐GPU systems
Wang et al. Rerec: In-reram acceleration with access-aware mapping for personalized recommendation
CN114118348A (zh) 加速器、操作加速器的方法以及包括加速器的电子装置
CN114912590A (zh) 处理器、操作处理器的方法以及包括处理器的电子装置
Sombatsiri et al. Parallelism-flexible convolution core for sparse convolutional neural networks on FPGA
TWI844116B (zh) 在機器學習硬體加速器處利用資料稀疏性
Struharik et al. Stick buffer cache v2: Improved input feature map cache for reducing off-chip memory traffic in CNN accelerators
Jain et al. Energy-Efficient Single-Core Hardware Acceleration
Zhang et al. A Software-Programmable Neural Processing Unit for Graph Neural Network Inference on FPGAs
Prihozhy Dataflow network of cal-actors for all-pair shortest paths search
WO2024153909A1 (en) Efficient data processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant