JP7469407B2 - ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用 - Google Patents

ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用 Download PDF

Info

Publication number
JP7469407B2
JP7469407B2 JP2022138360A JP2022138360A JP7469407B2 JP 7469407 B2 JP7469407 B2 JP 7469407B2 JP 2022138360 A JP2022138360 A JP 2022138360A JP 2022138360 A JP2022138360 A JP 2022138360A JP 7469407 B2 JP7469407 B2 JP 7469407B2
Authority
JP
Japan
Prior art keywords
input
neural network
inputs
network layer
activation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022138360A
Other languages
English (en)
Other versions
JP2022172258A (ja
Inventor
ウ，ドン・ヒョク
ナラヤナスワミ，ラビ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2022172258A publication Critical patent/JP2022172258A/ja
Priority to JP2024060830A priority Critical patent/JP2024096786A/ja
Application granted granted Critical
Publication of JP7469407B2 publication Critical patent/JP7469407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3824—Operand accessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Advance Control (AREA)
  • Complex Calculations (AREA)
  • Storage Device Security (AREA)

Description

背景
この明細書は、特殊用途の計算ユニットを用いて機械学習計算を実行することに関する。
ニューラルネットワークは機械学習モデルであって、モデルのうちの１つ以上の層を用いて、受信された入力のための出力（たとえば、分類）を生成する。いくつかのニューラルネットワークは、出力層に加えて１つ以上の隠された層を含む。各々の隠された層の出力は、ネットワークにおける次の層への入力（すなわち、ネットワークにおける次の隠された層または出力層）として用いられる。ネットワークの各層は、対応するそれぞれのパラメータのセットの現在値に従って、受信された入力から出力を生成する。
いくつかのニューラルネットワークは、１つ以上の畳み込みニューラルネットワーク層を含む。各々の畳み込みニューラルネットワーク層は、関連するカーネルのセットを有する。各々のカーネルは、ユーザによって作成されたニューラルネットワークモデルによって設定された値を含む。いくつかの実現例においては、カーネルは特定の画像外形、形状または色を識別する。カーネルは、重み入力のマトリックス構造として表わすことができる。各々の畳み込み層はまた、１セットのアクティベーション入力を処理することもできる。当該１セットのアクティベーション入力もマトリックス構造として表わすことができる。
概要
畳み込み計算を実行する一方法は、大次元空間における多数の行列乗算を必要とする。計算ユニットのプロセッサまたはコントローラデバイスはブルートフォース（brute force）法によって行列乗算を計算することができる。たとえば、計算集約的であるとともに
時間集約的であるが、プロセッサは、畳み込み計算のために個々の和および積を繰返し計算することができる。プロセッサが計算を並列化する度合は、そのアーキテクチャのせいで制限されている。
この明細書中に記載される主題の革新的な局面は、コンピュータにより実現される方法で具体化することができる。当該方法は、コンピューティングデバイスが、少なくとも部分的に、当該コンピューティングデバイス外にあるソースから提供される複数の入力アクティベーションを受信するステップと、当該コンピューティングデバイスのコントローラが、当該複数の入力アクティベーションの各々がゼロ値または非ゼロ値のうちのいずれであるかを判断するステップとを含む。当該方法はさらに、当該コンピューティングデバイスのメモリバンクに少なくとも１つの入力アクティベーションを格納するステップを含む。当該少なくとも１つの入力アクティベーションを格納するステップは、当該コントローラが、非ゼロ値である入力アクティベーション値を有する１つ以上のメモリアドレス位置を含むインデックスを生成するステップを含む。当該方法はさらに、当該コントローラが、当該メモリバンクから、少なくとも１つの入力アクティベーションを、計算アレイのうちの１つ以上のユニットによってアクセス可能なデータバスに対して提供するステップを含む。当該アクティベーションは、少なくとも部分的に、当該インデックスに関連付けら
れたメモリアドレス位置から提供される。
いくつかの実現例においては、当該インデックスは、複数のビットを含むビットマップに基づいて作成される。当該ビットマップのうちの各々のビットは、非ゼロ入力アクティベーション値またはゼロ入力アクティベーション値のうち少なくとも１つを示す。いくつかの実現例においては、当該方法はさらに、非ゼロ値を有する第１の入力アクティベーションを提供して、少なくとも１つのユニットが当該非ゼロ値を用いて計算を実行し、その後、ゼロ値を有する第２の入力アクティベーションを提供し、少なくとも１つのユニットにおいて、当該ゼロ値を用いて実行される可能性のある計算を防止するステップを含む。
いくつかの実現例においては、当該防止するステップは、当該入力アクティベーションが当該インデックスに関連付けられていないメモリアドレス位置から提供されると当該コントローラが判断することに応じて、行なわれる。いくつかの実現例においては、当該方法はさらに、当該入力アクティベーションが当該インデックスに関連付けられていないメモリアドレス位置から提供されることを、当該コントローラが検出するステップと、当該検出するステップに応じて、当該ゼロ入力アクティベーション値に関連付けられた乗算演算を防止するための制御信号を当該計算アレイのうちの少なくとも１つのユニットに提供するステップとを含む。
いくつかの実現例においては、当該方法はさらに、当該コントローラが、テンソル計算のうち第１の入力アクティベーションを用いる第１の部分を第１のユニットにマップし、当該テンソル計算のうち当該第１の入力アクティベーションも用いる第２の部分を当該第１のユニットとは異なる第２のユニットにマップするステップを含む。いくつかの実現例においては、当該方法はさらに、単一の入力アクティベーションを連続的に当該データバスに対して提供するステップを含む。当該単一の入力アクティベーションは、当該インデックスに関連付けられたメモリアドレス位置からアクセスおよび選択される。いくつかの実現例においては、当該提供するステップはさらに、ゼロ値を有する入力アクティベーションを提供しないステップを含む。
この明細書中に記載される主題の別の革新的な局面は、１つ以上の処理デバイスによって実行可能であるとともに以下の動作を実行するための命令を格納する１つ以上の機械読取り可能ストレージデバイスにおいて具体化することができる。当該以下の動作は、コンピューティングデバイスが、少なくとも部分的に、当該コンピューティングデバイス外にあるソースから提供される複数の入力アクティベーションを受信する動作と、当該コンピューティングデバイスのコントローラが、当該複数の入力アクティベーションの各々がゼロ値または非ゼロ値のうちのいずれであるかを判断する動作とを含む。当該以下の動作はさらに、当該コンピューティングデバイスのメモリバンクに当該入力アクティベーションのうち少なくとも１つを格納する動作を含む。当該少なくとも１つの入力アクティベーションを格納する動作は、当該コントローラが、非ゼロ値である入力アクティベーション値を有する１つ以上のメモリアドレス位置を含むインデックスを生成する動作を含む。当該以下の動作はさらに、当該コントローラが、当該メモリバンクから、少なくとも１つの入力アクティベーションを、計算アレイのうちの１つ以上のユニットによってアクセス可能なデータバスに対して提供する動作を含む。当該アクティベーションは、少なくとも部分的に、当該インデックスに関連付けられたメモリアドレス位置から提供される。
この明細書中に記載される主題の別の革新的な局面は、電子システムにおいて具体化することができる。当該電子システムは、コンピューティングデバイスに配置されるとともに１つ以上の処理デバイスを含むコントローラと、当該１つ以上の処理デバイスによって実行可能であるとともに以下の動作を実行するための命令を格納するための１つ以上の機械読取り可能ストレージデバイスとを含み、当該以下の動作は、当該コンピューティング
デバイスが、少なくとも部分的に、当該コンピューティングデバイス外にあるソースから提供される複数の入力アクティベーションを受信する動作と、当該コントローラが、当該複数の入力アクティベーションの各々がゼロ値または非ゼロ値のうちのいずれであるかを判断する動作とを含む。当該以下の動作はさらに、当該コンピューティングデバイスのメモリバンクに当該入力アクティベーションのうち少なくとも１つを格納する動作を含む。当該少なくとも１つの入力アクティベーションを格納する動作は、非ゼロ値である入力アクティベーション値を有する１つ以上のメモリアドレス位置を含むインデックスを生成する動作を含む。当該以下の動作はさらに、当該コントローラが、当該メモリバンクから、少なくとも１つの入力アクティベーションを、計算アレイのうちの１つ以上のユニットによってアクセス可能なデータバスに対して提供する動作を含む。当該アクティベーションは、少なくとも部分的に、当該インデックスに関連付けられたメモリアドレス位置から提供される。
この明細書中に記載される主題は、以下の利点のうち１つ以上を実現するように特定の実施形態において実現することができる。第１のメモリからアクセス可能なアクティベーションおよび第２のメモリからアクセス可能な重みは、単一の計算システムにおいて、レジスタから検索されたメモリアドレス値に基づいてトラバースすることができる。計算システムのコントローラは、非ゼロ値だけを第１のメモリに格納することによってアクティベーションデータを圧縮することができ、これにより、メモリストレージ空間および対応する帯域幅を節約することができる。行列乗算は、主として非ゼロ入力アクティベーションを提供することに部分的に基づいて計算システムにおいて行なわれる。さらに、計算システムが、主として非ゼロアクティベーション値を含む通信スキーム用いる場合、ゼロ乗を排除することによって計算効率を向上または促進させることができる。
この局面および他の局面についての他の実現例は、上記方法の動作を実行するように構成された対応するシステム、装置と、コンピュータストレージデバイス上で符号化されるコンピュータプログラムとを含む。１つ以上のコンピュータのシステムは、システムにインストールされて動作時に当該システムに上記動作を実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合わせによって、このように構成され得る。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると当該装置に上記動作を実行させる命令を有することによって、このように構成され得る。
この明細書中に記載される主題はまた、画像認識および／または分類方法／システムに関する。システムは、ハードウェアコンピューティングシステムのコンピューティングユニットが推論計算を実行するためにニューラルネットワーク層のための入力を処理する場合に入力データのスパース性を活用するための開示技術を用いて実現することができる。
この明細書中に記載される主題の１つ以上の実現例についての詳細が添付の図面および以下の記載において説明される。主題についての他の潜在的な特徴、局面および利点は、この記載、添付の図面および添付の特許請求の範囲から明らかになるだろう。
アクティベーションおよびパラメータを含む例示的な計算構造を示す図である。 アクティベーションと２以上の出力深度のための複数のパラメータ構造とを含む例示的な計算構造を示す図である。 入力アクティベーションを１つ以上のパラメータに供給するための例示的な計算システムを示す図である。 入力アクティベーションを１つ以上の積和演算（multiply accumulate：ＭＡＣ）演算子に提供するメモリユニットを含む例示的なアーキテクチャを示す図である。 パラメータ計算を減らして入力データのスパース性を活用するためのプロセスの例示的なフローチャートである。
さまざまな図面における同様の参照番号および参照符号は同様の要素を示している。
詳細な説明
この明細書中に記載される主題は、例示的なニューラルネットワーク・ハードウェアコンピューティングシステムの計算ユニットまたはタイル内において行なわれる計算を減らすことに関する。概して、ニューラルネットワーク推論を計算する一環として、入力アクティベーションにパラメータまたは重み値を乗じて、出力アクティベーションを生成する。ここでは、入力および入力アクティベーションは、ニューラルネットワークにおいて一般に用いられるテンソル、マトリックスおよび／またはデータアレイなどの多次元データ構造に含まれるデータ要素を指し得る。ディープニューラルネットワークのための計算推論のアルゴリズム特性のために、入力アクティベーションの大部分はゼロである。言いかえれば、現在の計算ユニットは、ゼロ（入力アクティベーション値）に対して１つの数（たとえば重み）を乗じることを含む多数の不必要な計算を実行する。
この明細書は、一部には、より効率的なアクティベーションストレージおよび通信スキームと、ディープニューラルネットワーク処理のための、特にニューラルネットワークの畳み込み層を処理するための、カスタムのアーキテクチャ設計とを記載している。この明細書では、時間をかけて稠密な行列乗算を実行する従来のハードウェアアクセラレータとは異なり、１）ゼロ入力値を認識すると計算をスキップをするかまたはバイパスすることができ、２）非ゼロ値だけを含む圧縮された入力アクティベーションを格納することにより計算ユニットにおけるメモリ使用を減らすことができる、アーキテクチャを記載している。全体的に、この明細書の教示により、ニューラルネットワーク推論計算のための計算ユニット性能が改善されるとともに、不必要な計算をスキップすることによってエネルギが節約される。
図１は、アクティベーション構造１０２およびパラメータ構造１０４を含む例示的な計算構造１００を示す。アクティベーション構造１０２は、（下付き文字０によって示される）第１の入力深度に対応する複数のデータ要素を含む第１のデータ構造１０２ａを含み得る。同様に、アクティベーション構造１０２はまた、（下付き文字１によって示される）第２の入力深度に対応する複数のデータ要素を含む第２のデータ構造１０２ｂを含み得る。データ構造１０２ａにおいて示される複数のデータ要素はａ０、ｂ０、ｃ０、ｄ０として示され、データ構造１０２ｂにおいて示される複数のデータ要素はａ１、ｂ１、ｃ１、ｄ１として示される。データ構造１０２ａ／１０２ｂの各データ要素（ａ０、ａ１、ｂ０、ｂ１、ｃ０、ｄ０など）は入力アクティベーション値であって、各々の入力深度はニューラルネットワーク層への入力の深度に対応する。いくつかの実現例においては、ニューラルネットワーク層は１の入力深度を有し得るとともに、他の実現例においては、ニューラルネットワーク層は、２以上の入力深度を有し得る。
パラメータ構造１０４は、アクティベーション構造１０２と同様の態様で説明することができる。パラメータ構造１０４は、第１のデータ構造１０４ａおよび第２のデータ構造１０４ｂを含む。各々のデータ構造１０４ａ／１０４ｂは、各々がカーネル値を含む複数のデータ要素を含み得る。図１に示されるように、データ構造１０４ａに対応する複数のデータ要素はｘ０、ｙ０、ｚ０として示され、データ構造１０４ｂに対応する複数のデータ要素はｘ１、ｙ１、ｚ１として示される。
上述のとおり、ニューラルネットワークの各層は、対応するそれぞれのオペランドのセットの値に従って、受信された入力から出力を生成する。他のニューラルネットワーク層
と同様に、各々の畳み込み層は、マトリックス構造として表わすことができる１セットのアクティベーション入力を処理することができる。畳み込みニューラルネットワーク層はまた、値を含む関連するカーネルのセットを有することとなり、カーネルも、重みのマトリックス構造として表わすことができる。図１において、アクティベーション構造１０２は、１つ以上のアクティベーション入力を有するマトリックス構造に対応し得るとともに、パラメータ構造１０４は、１つ以上のカーネルまたは重みパラメータを有するマトリックス構造に対応し得る。
以下においてより詳細に記載されるように、ニューラルネットワークのさまざまな層は、行列乗算を含む大量の計算を実行することによって機械学習推論を処理する。ニューラルネットワーク層（たとえば、畳み込み層）内において実行される計算プロセスは、１以上のサイクルで入力アクティベーション（すなわち、第１オペランド）に重み（すなわち、第２オペランド）を乗じることと、多くのサイクルにわたって積の累積を実行することとを含み得る。出力アクティベーションは、２つのオペランドに対して実行される乗算動作および累積動作に基づいて生成される。
図示のとおり、式１０６は、アクティベーション構造１０２の或るデータ要素に関連付けられた入力アクティベーションに、パラメータ構造１０４の或るデータ要素に関連付けられたカーネル値または重み／パラメータを乗じる場合に実行することができる直列シーケンスベースの数学的演算の一例を提供する。たとえば、式１０６において、インデックス「ｉ」が０と等しい場合、アクティベーション構造１０２のデータ要素ａ０に関連付けられた入力アクティベーションに、パラメータ構造１０４のデータ要素ｘ０に関連付けられた重み／パラメータを乗じる。さらに、式１０６が部分的に直列ベースの式であるので、付加的な乗算演算が、アクティベーション構造１０２およびパラメータ構造１０４の他のデータ要素に対応するオペランドのセット間で行なわれることとなる。いくつかの実現例においては、１セットのオペランドの乗算により、特定の出力特徴またはアクティベーションについての部分和１０６ａ／１０６ｂを生成することができる。したがって、式１０６に示されるように、部分和を追加して出力特徴を生成することができる。
ニューラルネットワークは、ネットワーク層の機械学習推論ワークロードを促進するように構成された複数のコンピューティングユニットを含む１つ以上のハードウェアコンピューティングシステムにおいて具体化することができる。各々のコンピューティングユニットは、所与の層のための計算のサブセットを処理することができる。いくつかの実現例においては、構造１００は、少なくとも２つのメモリバンクと、（以下に記載される）ＭＡＣアレイを集合的に形成し得る１つ以上の積和演算（ＭＡＣ）セルとを各々が含む１つ以上のコンピューティングユニットにおいて具体化することができる。
一例においては、例示的なコンピューティングユニットの第１のメモリバンク１０８は、アクティベーション構造１０２に関連付けられたデータを格納するとともに、入力アクティベーション値を受信してメモリバンク１０８内のメモリアドレス位置に書込むように構成され得る。同様に、例示的なコンピューティングユニットの第２のメモリバンク１１０は、パラメータ構造１０４に関連付けられたデータを格納するとともに、重み値を受信してメモリバンク１１０内のメモリアドレス位置に書込むように構成され得る。この例においては、データ要素１０２ａの各要素（たとえば、ａ０、ｂ０、ｃ０、ｄ０）は、第１のメモリバンク１０８の対応するそれぞれのメモリアドレスに格納することができる。同様に、データ要素１０４ａの各要素（たとえば、ｘ０、ｙ０、ｚ０）は、第２のメモリ１１０の対応するそれぞれのメモリアドレスに格納することができる。
いくつかの実現例においては、第１のメモリバンク１０８および第２のメモリバンク１１０は、各々、１つの揮発性メモリユニットまたは複数の揮発性メモリユニットである。
他のいくつかの実現例においては、メモリバンク１０８およびメモリバンク１１０は各々、１つの不揮発性メモリユニットまたは複数の不揮発性メモリユニットである。メモリバンク１０８および１１０はまた、コンピュータ読取り可能記憶媒体の別の形態、たとえば、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイスなど、フラッシュメモリもしく他の同様のソリッドステートメモリデバイス、または、ストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイであり得る。
概して、ハードウェアコンピューティングシステムのコンピューティングユニットは、メモリアドレス値を追跡するために１つ以上のレジスタを含み得る。アクティベーション構造１０２に対応するマトリックス構造のデータ要素は、第１のメモリバンク１０８からアクセスすることができるとともに、パラメータ構造１０４に対応するマトリックス構造のデータ要素は第２のメモリバンク１１０からアクセスすることができる。コンピューティングタイル／計算ユニットの例示的な制御デバイスは、１つ以上のレジスタからアクセス可能なアドレス値に基づいてマトリックス構造のデータ要素にアクセスすること、および／またはデータ要素をトラバースすることができる。例示的な制御デバイス、アクティベーション構造１０２、パラメータ構造１０４、第１のメモリバンク１０８および第２のメモリバンク１１０を含む例示的な計算ユニット／タイルが、図３に関連付けて以下においてより詳細に説明される。
さらに、ニューラルネットワーク推論ワークロードのためのニューラルネットワーク・テンソル計算および行列乗算を促進するためのハードウェアコンピューティングシステムに関する付加的な詳細および記載が、２０１６年１０月２７日付で提出された「ニューラルネットワークコンピュートタイル（Neural Network Compute Tile）」と題された米国
特許出願第１５／３３５，７６９号に記載されている。米国特許出願第１５／３３５，７６９号の開示全体は、引用によりその全体がこの明細書中に援用されている。
図２は、アクティベーション構造と、２以上の出力特徴深度のための複数のパラメータ構造とを含む例示的な計算構造２００を示す。いくつかの実現例においては、ニューラルネットワークは、複数の出力特徴深度を有する出力を生成する複数の層を有し得る。いくつかの実現例においては、各々のパラメータ構造は、出力深度のうち対応する出力深度に関与し得る。したがって、計算構造２００はスケーラブルなコンピューティング構造を示しており、このスケーラブルなコンピューティング構造においては、出力深度のＮの数値に関連付けられた計算を容易にするために、付加的なパラメータ構造１０４ａ／１０４ｂ／１０４ｃが追加される。Ｎは変数であって、たとえば、１～５の範囲の整数値を有し得るか、または代替的には、コンピューティングシステム設計者の好みもしくは必要性に応じて１～Ｎの範囲の整数値を有し得る。
データ経路１０５によって示されるように、データ構造１０２ａに関連付けられた要素についての個々の入力アクティベーション値は、それぞれのパラメータ構造１０４に関連付けられた複合演算子によって実行される計算で使用するために各々のパラメータ構造１０４ａ／１０４ｂ／１０４ｃに供給することができる。次いで、各々のパラメータ構造１０４は、パイプラインの態様で、その左隣りから受信したアクティベーション値をその右隣りに渡すことができる。代替的には、アクティベーションは、各々のパラメータ構造１０４によって同時に提供および消費することができる。
マトリックス２０２は、アクティベーション１０２に対応する例示的なマトリックス構造を表わし得る。より具体的には、要素行２０２ａはデータ構造１０２ａに対応し得るとともに、要素行２０２ｂはデータ構造１０２ｂに対応し得る。概して、一例として、第１のパラメータ構造１０４（１）は、空間２０６に関連付けられた計算を実行するためにア
クセスされるとともに、第２のパラメータ構造１０４（２）は、空間２０８に関連付けられた計算を実行するためにアクセスされる。図示されていないが、付加的な計算もｚ次元に対応して実行することができる。一例として、要素行２０２ａはＲＧＢ画像のＲ面にあり得るとともに、要素行２０２ｂは同じＲＧＢ画像のＧ面にあり得る。ニューラルネットワークの例示的な畳み込み層は、典型的には、複数の出力特徴を生成する。例示的な出力特徴は、りんごを分類するための出力特徴とバナナを分類するための別の出力特徴とを含み得る。データ構造２０４に関して、空間２０６および２０８は、さまざまな分類のためのさまざまな面を表わし得る。
図３は、入力アクティベーションを１つ以上のパラメータ構造に供給するための例示的な計算システム３００を示す。計算システム３００は概してコントローラ３０２を含む。コントローラ３０２は、アクティベーション構造１０２のための入力アクティベーションをメモリバンク１０８のメモリアドレスに格納させるかまたは当該メモリアドレスから検索させるための１つ以上の制御信号３１０を与える。同様に、コントローラ３０２はまた、パラメータ構造１０４ａ／１０４ｂ／１０４ｃについての重みをメモリバンク１１０のメモリアドレスに格納させるかまたは当該メモリアドレスから検索させるための１つ以上の制御信号３１０を与える。計算システム３００はさらに、１つ以上の積和演算（ＭＡＣ）セル／ユニット３０４、入力アクティベーションバス３０６および出力アクティベーションバス３０８を含む。制御信号３１０は、たとえば、メモリバンク１０８に、１つ以上の入力アクティベーションを入力アクティベーションバス３０６に提供させること、メモリバンク１１０に、１つ以上の重みをパラメータ構造１０４ａ／１０４ｂ／１０４ｃに提供させること、および／または、ＭＡＣユニット３０４に、出力アクティベーションバス３０８に提供される出力アクティベーションを生成する計算を実行させること、ができる。
コントローラ３０２は１つ以上の処理ユニットおよびメモリを含み得る。いくつかの実施形態においては、コントローラ３０２の処理ユニットは、１つ以上のプロセッサ（たとえば、マイクロプロセッサまたは中央処理装置（central processing unit：ＣＰＵ））
、グラフィック処理装置（graphics processing unit：ＧＰＵ）、特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、またはさまざまなプロセッ
サの組合せを含み得る。代替的な実施形態においては、コントローラ３０２は、この明細書中に記載される判断および計算のうち１つ以上を実行するための付加的な処理オプションを提供する他のストレージまたはコンピューティングリソース／デバイス（たとえば、バッファ、レジスタ、制御回路など）を含み得る。
いくつかの実現例においては、コントローラ３０２の処理ユニットは、コントローラ３０２および計算システム３００にこの明細書中に記載される１つ以上の機能を実行させるための、メモリに格納されたプログラムされた命令を実行する。コントローラ３０２のメモリは、１つ以上の非一時的な機械読取り可能記憶媒体を含み得る。非一時的な機械読取り可能記憶媒体は、ソリッドステートメモリ、磁気ディスクおよび光ディスク、ポータブルコンピュータディスケット、ランダムアクセスメモリ（random access memory：ＲＡＭ）、読取専用メモリ（read-only memory：ＲＯＭ）、消去可能プログラム可能な読取り専用メモリ（たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭもしくはフラッシュメモリ）、または情報を格納することができる他の任意の有形媒体を含み得る。
概して、計算システム３００は、例示的な計算ユニットまたはタイルであって、テンソル、マトリックスおよび／またはデータアレイなどの多次元データ構造に関連付けられた計算を実行するための付加的なハードウェア構造を含み得る。いくつかの実現例においては、入力アクティベーション値は、アクティベーション構造１０２のためのメモリバンク１０８に予めロードすることができるとともに、重み値は、計算システム３００によって
受信されたデータ値を用いて第２のメモリバンク１１０に予めロードすることができる。これらデータ値は、ニューラルネットワーク・ハードウェアコンピューティングシステムに関連付けられた外部の制御デバイスまたはより上位の制御デバイスから計算システム３００に到達するものである。
命令、入力または入力アクティベーション、および重みは、ニューラルネットワーク・ハードウェアコンピューティングシステムに関連付けられた外部入／出力（input/output：Ｉ／Ｏ）デバイスまたは上位制御デバイスなどの外部ソースからシステム３００に提供することができる。いくつかの実現例においては、１つ以上のデータバスが、外部ソース（たとえば、制御デバイス）とシステム３００との間にデータ通信を提供する。データバスは、命令、入力もしくはアクティベーションおよび重みを、例示的なＩ／Ｏデバイスから複数のシステム３００の各々に提供するために、または、ニューラルネットワークのためのハードウェアコンピューティングシステムに含まれる複数のコンピュートタイル（たとえば、複数のシステム３００）間において提供するために、用いられる。
システム３００は、システム３００によって実行されるべき特定の計算動作を規定する命令を受信することができる。さらに、コントローラ３０２は、たとえば、受信された入力アクティベーションに関連付けられたデータストリームを分析するために、プログラムされた命令を実行することができる。入力アクティベーションデータストリームを分析することにより、コントローラ３０２が、入力アクティベーションの各々に関連付けられた値がゼロ値であるかまたは非ゼロ値であるかどうかを検出するかまたは判断することが可能となり得る。いくつかの実現例においては、コントローラ３０２は、例示的な入力アクティベーションデータストリームを分析し、各々の検出されたゼロアクティベーション値および各々の検出された非ゼロアクティベーション値をビットベクトルまたはビットマップ３０３にマップする。
図３に示されるように、ビットマップ３０３は、バイナリ値を用いて、検出されたゼロ値入力アクティベーションおよび検出された非ゼロ値入力アクティベーションをマップすることができる。たとえば、「０」のバイナリ値は、検出されたゼロ入力アクティベーション値に対応し得るとともに、「１」のバイナリ値は、検出された非ゼロ入力アクティベーション値に対応し得る。たとえば、ビットマップ３０３は８ビットのビットマップであり得る。この場合、バイナリ「１」を含む奇数のビット位置が非ゼロアクティベーション値に対応するとともに、バイナリ「０」を含む偶数のビット位置がゼロアクティベーション値に対応する。
コントローラ３０２は、入力アクティベーションをメモリバンク１０８に格納させることができる。概して、メモリバンク１０８に格納されたデータ値は、典型的には、各々が対応するそれぞれのメモリアドレス位置に書込まれている。次いで、特定の計算動作を実行するために入力アクティベーションなどのデータ値が必要になると、例示的な制御デバイス（たとえば、コントローラ３０２）によってメモリバンク１０８におけるアドレス位置にアクセスすることができる。コントローラ３０２は、ビットマップ３０３を用いて、非ゼロ入力アクティベーション値を含むメモリアドレス位置のインデックスを作成することができる。
いくつかの実現例においては、コントローラ３０２は、ビットマップ３０３を用いて、どの入力アクティベーションをメモリバンク１０８に書込むべきかを判断する。たとえば、ビットマップ３０３の分析は、ビットマップ位置１、３、５、７（非ゼロ値）に対応するアクティベーション値だけがメモリバンク１０８におけるアドレス位置に書込まれるべきであることを示し得る。さらに、ビットマップ位置２、４、６、８（ゼロ値）に関連付けられたデータ値は、アクティベーション値が入力バス３０６に提供されたときにコント
ローラ３０２によってアクセスされる可能性があるがアクセスされない可能性もあるメモリアドレス位置に書込むことができるか、または廃棄することができる。これにより、ビットマップ３０３はゼロアクティベーション値を圧縮するための基準として用いることができる。この場合、ゼロ値入力アクティベーションがメモリアドレス位置に書込まれていなければ圧縮が行なわれ、これにより、全体的なメモリ使用を減らして、他のデータ値を格納するためのアドレス位置を解放する。
コントローラ３０２は、入力アクティベーションをメモリバンク１０８から入力アクティベーションバス３０６にロードするために１つ以上の制御信号３１０をメモリバンク１０８に提供するとともに、これら値をＭＡＣ３０４を含む計算ユニットのアレイに提供することができる。いくつかの実現例においては、非ゼロアクティベーション値を提供するためにどのメモリアドレス値にアクセスしなければならないかを判断するために、コントローラ３０２によって、ビットマップ３０３、またはビットマップ３０３に対応する非ゼロメモリアドレスインデックスが参照され得る。アクティベーション値は、コントローラ３０２によってメモリバンク１０８からデータバス３０６に対して提供される。
いくつかの実現例においては、入力アクティベーションは、少なくとも部分的に、インデックスまたはビットマップ３０３に関連付けられたメモリアドレス位置から提供される。他の実現例においては、コントローラ３０２は、ビットマップ３０３またはインデックスのうちの１つに基づいて、提供される入力アクティベーションがゼロ値を有しているかどうかを検出または判断することができる。この判断の実行に応じて、コントローラ３０２は、さらに、不必要な乗算演算（例えば、ゼロ乗）が行なわれるのを防止するか停止させるかまたは阻止するための制御信号を計算アレイにおけるユニットまたはＭＡＣ３０４に提供することができる。計算システム３００内において、ゼロアクティベーション値を提供し、その後、または同時に、そのアクティベーションに関連付けられた計算動作を不可能化することでエネルギの節約が実現可能となる。
上述のとおり、インデックスは、非ゼロ値を備える入力アクティベーションを有するすべてのメモリアドレス位置を含む。データバス３０６は、計算アレイのうちの１つ以上のユニットによってアクセス可能である。計算アレイのこれらユニットは、データバス３０６から１つ以上の非ゼロアクティベーション値を受信して、受信したアクティベーション値に基づいて行列乗算に関連する計算を実行することができる。いくつかの実現例においては、計算システム３００は、単に、インデックス付きアドレスに対応するメモリアドレス位置から入力アクティベーションを提供するだけであるだろう。このため、ゼロアクティベーションが入力バス３０６に提供されることはなく、このため、計算動作の実行が不可能化されたり防止されたりすることはないだろう。計算システム３００がこの通信スキームを用いる場合、ゼロ乗を排除することによって計算効率を向上または促進させることができる。
所与の計算サイクルにわたって、計算システム３００は、ニューラルネットワーク層についての推論計算に関連付けられた乗算演算を実行するために、アクティベーション構造１０２およびパラメータ構造１０４の要素へのアクセスを必要とし得る。上述のように、メモリバンク１０８およびメモリバンク１１０についての特定のメモリアドレス値は、それぞれ、アクティベーション構造１０２およびパラメータ構造１０４の要素に対応し得る。
計算が実行されるサイクルにわたって、コントローラ３０２は一度に１つの入力アクティベーション値を提供することとなり、ＭＡＣセル３０４を含む計算ユニットのアレイは、アクティベーションに重みを乗じて、所与の入力アクティベーションについてのさまざまな出力アクティベーションを生成することとなる。計算ユニットのアレイの（パラメー
タ構造として上述された）各要素またはＭＡＣセル３０４は、ニューラルネットワーク層のさまざまな出力深度に関与し得る。概して、コントローラ３０２がゼロアクティベーション値を検出するたびに、コントローラ３０２は、１）メモリバンク１０８にそのアクティベーション値を格納しないこと、２）アクティベーション値を提供しないこと、または、３）当該値を提供して、そのゼロアクティベーション値に対応する乗算演算を特定の計算ユニットに実行させないようにするための制御信号をこの特定の計算ユニットに提供すること、を実行し得る。
計算ユニットのアレイは、ゼロアクティベーション値の検出に基づいて、いつ特定の計算をスキップするかまたは防ぐことが必要になるかを判断することができるコントローラ３０２によって、十分に制御される。このため、特定の計算をスキップするために計算ユニットのアレイ内に複雑なハードウェア構造を追加する必要はない。さらに、入力アクティベーション値は、メモリバンク１０８への格納のために計算システム３００に到達すると、分析され得る。入力アクティベーションの分析に応じて、コントローラ３０２は、非ゼロ値だけをメモリ１０８に格納することによって効率的にアクティベーションデータを圧縮するための命令を実行することができ、これにより、メモリ格納空間および対応する帯域幅を節約することができる。
計算システム３００が入力アクティベーションおよび重みを受信すると、コントローラ３０２は、たとえば、１つ以上のダイレクトメモリアクセス動作を実行することができる。これらのメモリアクセス動作の実行は、アクティベーション構造１０２の次元要素に対応する入力アクティベーションをメモリバンク１０８のアドレス位置に格納することを含む。同様に、コントローラ３０２はまた、パラメータ構造１０４の次元要素に対応するパラメータをメモリバンク１１０のアドレス位置に格納することができる。ビットマップ３０３に加えて、コントローラ３０２は１つ以上のアドレスレジスタをさらに含み得る。１つ以上のアドレスレジスタが維持しているメモリアドレスからは、（たとえば、ゼロ値または非ゼロ値を有する）特定の入力アクティベーションがフェッチされることとなる。さらに、１つ以上のレジスタはまた、メモリアドレスを格納することとなる。これらメモリアドレスからは、特定の入力アクティベーションが乗算される対応する重みがフェッチされる。
上述のとおり、コントローラ３０２は、部分的にビットマップ３０３に基づいて、非ゼロアクティベーション値についてのメモリアドレスを識別する。いくつかの実現例においては、コントローラ３０２は、ビットマップ３０３を読取り、たとえば、非ゼロアクティベーション値を有する少なくとも２つのメモリアドレスを決定する。コントローラ３０２がゼロアクティベーション値を提供し、その後、ゼロアクティベーション値についての計算をスキップするかまたは不可能にするように構成されている場合、コントローラ３０２はまた、ゼロアクティベーション値を有する少なくとも１つのメモリアドレスを決定してもよい。この実現例においては、コントローラ３０２は、上述のレジスタを参照して、第１の入力アクティベーションについての対応する重み（およびメモリアドレス）を決定するとともに、第２の入力アクティベーションについての対応する重み（およびメモリアドレス）を決定することができる。
上述のとおり、コントローラ３０２はメモリにおいて１つ以上のアドレスレジスタを維持する。このため、オペランド（入力アクティベーションおよび重み）の潜在的な如何なる不整合をも軽減するかまたは防ぐために、ゼロ値入力アクティベーションが検出されると、コントローラ３０２は、対応する計算ユニットを使用不可能にし、特定の重みのロードをスキップし、次の非ゼロ入力アクティベーションのために適切な対応する重み（およびメモリアドレス）を検索して、所与のニューラルネットワーク層のための出力アクティベーションの計算を再開することができる。
いくつかの実現例においては、第１のニューラルネットワーク層において計算された出力アクティベーションは、ネットワークにおける次の第２の層（たとえば、ネットワークのうち次の隠された層または出力層）への入力アクティベーションとして用いられる。概して、ニューラルネットワークの各層は、対応するそれぞれのパラメータのセットの現在値に従って、受信された入力から出力を生成する。いくつかの場合には、コントローラ３０２は、出力アクティベーションバス３０８に提供された出力アクティベーションに関連付けられたデータストリームを分析するために、プログラムされた命令（すなわち、出力論理）を実行することができる。出力アクティベーションデータストリームを分析することにより、コントローラ３０２が、出力アクティベーションの各々に関連付けられた値がゼロ値であるかまたは非ゼロ値であるかを検出または判断することが可能となり得る。コントローラ３０２は、例示的な出力アクティベーションデータストリームを分析するとともに、検出された非ゼロアクティベーション値の各々をビットマップ３０５にマップすることができる。ビットマップ３０５におけるマップされた非ゼロアクティベーション値を用いることにより、ネットワークにおける次の第２の層に関連付けられた計算に関与する後続の計算システム３００に対して、入力アクティベーションとして非ゼロ値だけを供給することができる。
代替的な実現例においては、いくつかの計算動作があってもよく、これら計算動作においては、単一の非ゼロ入力アクティベーションが、パラメータ構造１０４の所与の次元要素についてのさまざまな重みを包含する（すなわち、「ｘ」または「ｙ」次元を繰り返す）いくつかの乗算演算のためのオペランドとして用いられる。たとえば、コントローラ３０２がメモリバンク１０８に第１の入力アクティベーション（たとえば、非ゼロ値）を提供させると、パラメータ構造１０４ａがアクティベーションを受信し、所与のアドレスにおける対応する重みがまたパラメータ構造１０４ａにロードされる。パラメータ構造１０４ａは、第１の入力アクティベーションがＫ回の計算サイクルにわたって影響を及ぼす（たとえば、変数「Ｋ」によって示される）部分和の特定の数値を更新し始めることとなる。結果として、これらのＫ回のサイクルの間、パラメータ構造１０４ａは追加の入力アクティベーションを受信することはないだろう。次いで、コントローラ３０２は、次の入力アクティベーションを入力アクティベーションバス３０６に提供させるための制御信号をメモリバンク１０８に提供することができる。
図４は、アクティベーション４０４を入力バス３０６を介して１つ以上の積和演算（ＭＡＣ）演算子に提供するメモリバンク１０８を含む例示的なアーキテクチャを示す。シフトレジスタ４０４はシフト機能を提供することができ、これにより、アクティベーション４０４が、ＭＡＣセル３０４における１つ以上のＭＡＣ演算子によって受信されるように、一度に１つずつ入力バス３０６に発送される。図示のとおり、一実現例においては、アクティベーション４０６は、ゼロのアクティベーション値を有している可能性もあり、したがって、ＭＡＣセル３０４によって消費されない可能性がある。
概して、ＭＡＣ演算子を含むＭＡＣセル３０４は、部分和を計算するとともに、いくつかの実現例において、出力バス３０８に対して部分和データを書込むように構成された計算ユニットとして規定される。図示のとおり、セル３０４は１つ以上のＭＡＣ演算子から構成されていてもよい。一実現例においては、ＭＡＣセル３０４におけるＭＡＣ演算子の数はセルの発行幅と称される。一例として、デュアル発行セル（dual issue cell）は、
（メモリ１１０からの）２つのパラメータとの（メモリバンク１０８からの）２つのアクティベーション値の乗算を計算することができるとともに、２つの乗数の結果と現在の部分和との加算を実行することができる、２つのＭＡＣ演算子を備えたセルを指している。
上述のとおり、入力バス３０６は、線形ユニット（すなわち、ＭＡＣアレイ３０４）の
ＭＡＣ演算子に入力アクティベーションを提供する通信バスである。いくつかの実現例においては、同じ入力がすべてのＭＡＣ演算子間で共有される。入力バス３０６の幅は、入力アクティベーションを所与のＭＡＣアレイ３０４のための対応する数のセルに供給するのに十分に広くなければならない。入力バス３０６の構造を例示するために以下の例を検討する。線形ユニットにおけるセルの数が４に等しく、アクティベーション幅が８ビットに等しい場合、入力バス３０６は、サイクルごとに最大で４つまでの入力アクティベーションを提供するように構成することができる。この例においては、ＭＡＣアレイ３０４におけるすべてのセルが、提供される４つのアクティベーションのうちの１つにアクセスするだけとなるだろう。
いくつかの例においては、命令データ３１２は、ＭＡＣアレイ３０４のセルが同じ入力アクティベーションを用いて計算を実行する必要があるだろうことを示し得る。これは、ＭＡＣアレイ３０４のセル内のＺｏｕｔパーティショニングと称されてもよい。同様に、ＭＡＣアレイ３０４のセルが計算を実行するために異なるアクティベーションを必要とする場合、セル内においてＺｉｎパーティショニングが行なわれる。前者の場合、単一の入力アクティベーションが４回複製されるとともに、メモリバンク１０８から読取られた４つのアクティベーションが４サイクルにわたって提供される。後者の場合、サイクルごとにメモリバンク１０８の読取りが必要となる。
図５は、パラメータ計算を減らして入力データのスパース性を活用するためのプロセスの例示的なフローチャートである。ブロック５０２において、計算システム３００は、ゼロアクティベーション値または非ゼロアクティベーション値のいずれかを有する入力アクティベーションを受信する。上述のとおり、いくつかの実現例においては、計算システム３００は、例示的なニューラルネットワークハードウェアシステムのホストインターフェイスデバイスまたは上位コントローラから入力アクティベーションを受信することができる。
ブロック５０４において、コントローラ３０２は、入力アクティベーションの各々がゼロ値であるかまたは非ゼロ値であるかを判断する。いくつかの実現例においては、コントローラ３０２は、入力アクティベーションデータストリームを分析するとともに、ゼロ入力アクティベーション値（「０」）および非ゼロ入力アクティベーション値（「１」）に対応するバイナリ値を含むビットマップ３０３に対して、検出されたゼロ値および非ゼロ値の各々をマップする。
ブロック５０６において、コントローラ３０２は、受信した入力アクティベーションをメモリバンク１０８に格納する。入力アクティベーションを格納することは、コントローラ３０２が、非ゼロ値を含む入力アクティベーションを有する１つ以上のメモリアドレス位置のインデックスを生成することを含み得る。いくつかの実現例においては、インデックスはビットマップ３０３に基づいて作成される。たとえば、ビットマップ３０３の各ビットが非ゼロアクティベーション値またはゼロアクティベーション値のいずれかを示しているので、入力アクティベーションをメモリバンク１０８に書込む際に非ゼロ値を有するメモリアドレス位置のインデックスを作成するためにコントローラ３０２によってビットマップ３０３が参照され得る。
ブロック５０８において、コントローラ３０２が、少なくとも１つの入力アクティベーションをメモリバンク１０８からデータバス３０６に対して提供する。いくつかの実現例においては、入力アクティベーションは、少なくとも部分的に、インデックスにおいて識別されたメモリアドレス位置から提供される。上述のとおり、インデックスは、非ゼロ値を備えた入力アクティベーションを格納するすべてのメモリアドレス位置を識別する。データバス３０６は、計算アレイのうちの１つ以上のユニットによってアクセス可能である
。計算アレイのユニットは、行列乗算に関する計算を実行するために１つ以上の非ゼロアクティベーション値をデータバス３０６から受信する。いくつかの実現例においては、計算システム３００は、単に、インデックス付きアドレスに対応するメモリアドレスから入力アクティベーションを提供するだけであるだろう。計算システム３００がこの通信スキームを用いる場合、ゼロ乗算を排除することよって計算効率を向上させることができる。
ブロック５１０において、インデックス付きアドレスから入力アクティベーションだけではなくすべてのアクティベーション値が提供される実現例においては、コントローラ３０２は、入力アクティベーションが、非ゼロアクティベーション値を含むいずれのインデックス付きアドレスにも関連付けられていないメモリアドレスから提供されていることを検出する。この検出するステップに応じて、コントローラ３０２は、ゼロ入力に関連付けられた乗算演算を防ぐための制御信号を計算アレイのうちの少なくとも１つのユニットに提供することができる。計算システム３００がこの通信スキームを用いる場合、有用な結果（たとえば、部分和または出力アクティベーションの計算を含む有用な結果）をもたらさない不必要または無駄な計算を防ぐことによって、エネルギの節約を実現することができる。
本明細書に記載されている主題および機能的動作の実施形態は、デジタル電子回路で実現されてもよく、有形的に具体化されたコンピュータソフトウェアもしくはファームウェアで実現されてもよく、本明細書に開示されている構造およびそれらの構造的等価物を含むコンピュータハードウェアで実現されてもよく、またはそれらのうちの１つ以上の組合せで実現されてもよい。本明細書中に記載される主題の実施形態は、１つ以上のコンピュータプログラムとして、すなわちデータ処理装置による実行のために、またはデータ処理装置の動作を制御するために有形の非一時的なプログラムキャリア上で符号化されるコンピュータプログラム命令の１つ以上のモジュールとして、実現されてもよい。代替的または付加的には、プログラム命令は、データ処理装置によって実行されるのに適した受信機装置に送信される情報を符号化するために生成される人為的に生成された伝搬信号（たとえば機械によって生成された電気信号、光学信号または電磁気信号）で符号化することができる。コンピュータ記憶媒体は、機械読取り可能なストレージデバイス、機械読取り可能なストレージ基板、ランダムもしくはシリアルアクセスメモリデバイス、またはこれらのうちの１つ以上の組合せであってもよい。
本明細書中に記載されているプロセスおよび論理フローは、入力データ上で動作して出力を生成することによって機能を実行するように１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行され得る。また、プロセスおよび論理フローは、特殊用途論理回路、たとえばフィールド・プログラマブル・ゲート・アレイ（field programmable gate array：ＦＰＧＡ）または特殊用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、汎用グラフィック処理ユニット（General purpose graphics processing unit：ＧＰＧＰＵ）、または他のいくつかの処理ユニットとして実現されてもよい。
コンピュータプログラムの実行に適したコンピュータは、汎用マイクロプロセッサ、特殊用途マイクロプロセッサもしくはこれら両方、または、他の任意の種類の中央処理装置を含み、一例として、汎用マイクロプロセッサ、特殊用途マイクロプロセッサもしくはこれら両方、または、他の任意の種類の中央処理装置に基づいていてもよい。概して、中央処理装置は、読出し専用メモリまたはランダムアクセスメモリまたはそれら両方から命令およびデータを受信するであろう。コンピュータの必須の要素は、命令を実行または実施するための中央処理装置と、命令およびデータを格納するための１つ以上のメモリデバイスとである。一般に、コンピュータは、データを格納するための１つ以上の大容量記憶装置、たとえば磁気ディスク、光磁気ディスクまたは光ディスクも含み得るか、または、当
該１つ以上の大容量記憶装置からデータを受信するもしくは当該１つ以上の大容量記憶装置にデータを転送するように、もしくは受信も転送も行なうように動作可能に結合されるであろう。しかし、コンピュータは、このようなデバイスを有する必要はない。
コンピュータプログラム命令およびデータを格納するのに適したコンピュータ読取り可能な媒体は、すべての形態の不揮発性メモリ、媒体およびメモリデバイスを含み、一例としてたとえばＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイスといった半導体メモリデバイス、たとえば内蔵ハードディスクまたは取外し可能なディスクといった磁気ディスクを含む。プロセッサおよびメモリは、特殊用途論理回路によって補完されてもよく、または特殊用途論理回路に組込まれてもよい。
本明細書は多くの具体的な実現例の詳細を含んでいるが、これらは、いずれかの発明の範囲またはクレームされ得るものの範囲を限定するものとして解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有となり得る特徴の説明として解釈されるべきである。別々の実施形態の文脈において本明細書に記載されている特定の特徴は、単一の実施形態において組合わせて実現されてもよい。逆に、単一の実施形態の文脈において記載されているさまざまな特徴は、複数の実施形態において別々に、または任意の好適なサブコンビネーションで実現されてもよい。さらに、特徴は特定の組合せで作用するものとして記載され得るとともに、さらにはそのようなものとして最初にクレームされ得るが、クレームされている組合せのうちの１つ以上の特徴は、場合によっては、当該組合せから削除されてもよく、クレームされている組合せは、サブコンビネーションまたはサブコンビネーションの変形例に向けられてもよい。
同様に、動作は特定の順序で図面に示されているが、これは、このような動作が、望ましい結果を達成するために、示されている特定の順序もしくは連続した順序で実行されなければならないと理解されるべきではなく、または、望ましい結果を達成するために、すべての示されている動作が実行されなければならないと理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利である可能性がある。さらに、上述の実施形態におけるさまざまなシステムモジュールおよび構成要素の分離は、すべての実施形態においてこのような分離が必要であると理解されるべきではなく、記載されているプログラム構成要素およびシステムが、一般に単一のソフトウェア製品に一体化されてもよく、または複数のソフトウェア製品にパッケージングされてもよいことが理解されるべきである。
さらなる実現例が以下の例において要約される。
例１：コンピュータにより実現される方法であって、コンピューティングデバイスが、少なくとも部分的に、当該コンピューティングデバイス外にあるソースから提供される複数の入力アクティベーションを受信するステップと、当該コンピューティングデバイスのコントローラが、当該複数の入力アクティベーションの各々がゼロ値または非ゼロ値のうちのいずれを有するかを判断するステップと、当該コンピューティングデバイスのメモリバンクに当該入力アクティベーションのうち少なくとも１つを格納するステップと、当該コントローラが、非ゼロ値である入力アクティベーション値を有する１つ以上のメモリアドレス位置を含むインデックスを生成するステップと、当該コントローラが、当該メモリバンクから、少なくとも１つの入力アクティベーションを、計算アレイのうちの１つ以上のユニットによってアクセス可能なデータバスに対して提供するステップとを含む。当該アクティベーションは、少なくとも部分的に、当該インデックスに関連付けられたメモリアドレス位置から提供される。
例２：例１の方法であって、当該インデックスは、複数のビットを含むビットマップに基づいて作成され、当該ビットマップのうちの各々のビットは、非ゼロ入力アクティベー
ション値またはゼロ入力アクティベーション値のうち少なくとも１つを示す。
例３：例１または例２の方法であって、非ゼロ値を有する第１の入力アクティベーションを提供して、少なくとも１つのユニットが当該非ゼロ値を用いて計算を実行し、その後、ゼロ値を有する第２の入力アクティベーションを提供し、少なくとも１つのユニットにおいて、当該ゼロ値を用いて実行される可能性のある計算を防止するステップをさらに含む。
例４：例３の方法であって、当該防止するステップは、当該入力アクティベーションが当該インデックスに関連付けられていないメモリアドレス位置から提供されると当該コントローラが判断することに応じて、行なわれる。
例５：例４の方法であって、当該入力アクティベーションが当該インデックスに関連付けられていないメモリアドレス位置から提供されることを、当該コントローラが検出するステップと、当該検出するステップに応じて、当該ゼロ入力アクティベーション値に関連付けられた乗算演算を防止するための制御信号を当該計算アレイのうちの少なくとも１つのユニットに提供するステップとをさらに含む。
例６：例１から例５のうちのいずれか１つの方法であって、当該方法は、当該コントローラが、テンソル計算のうち第１の入力アクティベーションを用いる第１の部分を第１のユニットにマップし、当該テンソル計算のうち当該第１の入力アクティベーションも用いる第２の部分を当該第１のユニットとは異なる第２のユニットにマップするステップをさらに含む。
例７：例１から例６のうちのいずれか１つの方法であって、単一の入力アクティベーションを連続的に当該データバスに対して提供するステップをさらに含み、当該単一の入力アクティベーションは、当該インデックスに関連付けられたメモリアドレス位置からアクセスおよび選択される。
例８：例１から例７のうちのいずれか１つの方法であって、当該提供するステップはさらに、ゼロ値を有する入力アクティベーションを提供しないステップを含む。
例９：１つ以上の処理デバイスによって実行可能であるとともに以下の動作を実行するための命令を格納する１つ以上の機械読取り可能ストレージデバイスであって、当該以下の動作は、コンピューティングデバイスが、少なくとも部分的に、当該コンピューティングデバイス外にあるソースから提供される複数の入力アクティベーションを受信する動作と、当該コンピューティングデバイスのコントローラが、当該複数の入力アクティベーションの各々がゼロ値または非ゼロ値のうちのいずれを有するかを判断する動作と、当該コンピューティングデバイスのメモリバンクに当該入力アクティベーションのうち少なくとも１つを格納する動作と、当該コントローラが、非ゼロ値である入力アクティベーション値を有する１つ以上のメモリアドレス位置を含むインデックスを生成する動作と、当該コントローラが、当該メモリバンクから、少なくとも１つの入力アクティベーションを、計算アレイのうちの１つ以上のユニットによってアクセス可能なデータバスに対して提供する動作とを含む。当該アクティベーションは、少なくとも部分的に、当該インデックスに関連付けられたメモリアドレス位置から提供される。
例１０：例９の機械読取り可能ストレージデバイスであって、当該インデックスは、複数のビットを含むビットマップに基づいて作成され、当該ビットマップのうちの各々のビットは、非ゼロ入力アクティベーション値またはゼロ入力アクティベーション値のうち少なくとも１つを示す。
例１１：例９または例１０の機械読取り可能ストレージデバイスであって、非ゼロ値を有する第１の入力アクティベーションを提供して、少なくとも１つのユニットが当該非ゼロ値を用いて計算を実行し、その後、ゼロ値を有する第２の入力アクティベーションを提供し、少なくとも１つのユニットにおいて、当該ゼロ値を用いて実行される可能性のある計算を防止する動作をさらに含む。
例１２：例１１の機械読取り可能ストレージデバイスであって、当該防止する動作は、当該入力アクティベーションが当該インデックスに関連付けられていないメモリアドレス位置から提供されると当該コントローラが判断することに応じて、行なわれる。
例１３：例１２の機械読取り可能ストレージデバイスであって、当該入力アクティベーションが当該インデックスに関連付けられていないメモリアドレス位置から提供されることを、当該コントローラが検出する動作と、当該検出する動作に応じて、当該ゼロ入力アクティベーション値に関連付けられた乗算演算を防止するための制御信号を当該計算アレイのうちの少なくとも１つのユニットに提供する動作とをさらに含む。
例１４：例９から例１３のうちのいずれか１つの機械読取り可能ストレージデバイスであって、当該以下の動作はさらに、当該コントローラが、テンソル計算のうち第１の入力アクティベーションを用いる第１の部分を第１のユニットにマップし、当該テンソル計算のうち当該第１の入力アクティベーションも用いる第２の部分を当該第１のユニットとは異なる第２のユニットにマップする動作を含む。
例１５：電子システムは、コンピューティングデバイスに配置されるとともに１つ以上の処理デバイスを含むコントローラと、当該１つ以上の処理デバイスによって実行可能であるとともに以下の動作を実行するための命令を格納するための１つ以上の機械読取り可能ストレージデバイスとを含み、当該以下の動作は、当該コンピューティングデバイスが、少なくとも部分的に、当該コンピューティングデバイス外にあるソースから提供される複数の入力アクティベーションを受信する動作と、当該コントローラが、当該複数の入力アクティベーションの各々がゼロ値または非ゼロ値のうちのいずれを有するかを判断する動作と、当該コンピューティングデバイスのメモリバンクに当該入力アクティベーションのうち少なくとも１つを格納する動作と、当該コントローラが、非ゼロ値である入力アクティベーション値を有する１つ以上のメモリアドレス位置を含むインデックスを生成する動作と、当該コントローラが、当該メモリバンクから、少なくとも１つの入力アクティベーションを、計算アレイのうちの１つ以上のユニットによってアクセス可能なデータバスに対して提供する動作とを含む。当該アクティベーションは、少なくとも部分的に、当該インデックスに関連付けられたメモリアドレス位置から提供される。
例１６：例１５の電子システムであって、当該インデックスは、複数のビットを含むビットマップに基づいて作成され、当該ビットマップのうちの各々のビットは、非ゼロ入力アクティベーション値またはゼロ入力アクティベーション値のうち少なくとも１つを示す。
例１７：例１５または例１６の電子システムであって、非ゼロ値を有する第１の入力アクティベーションを提供して、少なくとも１つのユニットが当該非ゼロ値を用いて計算を実行し、その後、ゼロ値を有する第２の入力アクティベーションを提供し、少なくとも１つのユニットにおいて、当該ゼロ値を用いて実行される可能性のある計算を防止する動作をさらに含む。
例１８：例１７の電子システムであって、当該防止する動作は、当該入力アクティベー
ションが当該インデックスに関連付けられていないメモリアドレス位置から提供されると当該コントローラが判断することに応じて、行なわれる。
例１９：例１７または例１８の電子システムであって、当該入力アクティベーションが当該インデックスに関連付けられていないメモリアドレス位置から提供されることを、当該コントローラが検出する動作と、当該検出する動作に応じて、当該ゼロ入力アクティベーション値に関連付けられた乗算演算を防止するための制御信号を当該計算アレイのうちの少なくとも１つのユニットに提供する動作とをさらに含む。
例２０：例１５から例１９のうちのいずれか１つの電子システムであって、当該以下の動作はさらに、当該コントローラが、テンソル計算のうち第１の入力アクティベーションを用いる第１の部分を第１のユニットにマップし、当該テンソル計算のうち当該第１の入力アクティベーションも用いる第２の部分を当該第１のユニットとは異なる第２のユニットにマップする動作を含む。
主題の特定の実施形態が記載されてきた。他の実施形態は添付の特許請求の範囲内である。たとえば、特許請求の範囲に記載されている動作は、異なる順序で実行することもで、依然として望ましい結果を達成することができる。一例として、添付の図面に示されるプロセスは、所望の結果を達成するために、必ずしも、図示される特定の順序または連続的順序を必要とするものではない。いくつかの実現例においては、マルチタスクおよび並列処理が有利であるかもしれない。

Claims (17)

  1. 複数のニューラルネットワーク層を含むニューラルネットワークを実現するように構成されたハードウェア回路であって、
    コントローラを備え、前記コントローラは、
    第１のニューラルネットワーク層を介する処理のために入力のバッチを受信し、
    前記入力のバッチ内の各入力のそれぞれの値に基づいて入力の圧縮された表現を生成するように構成され、前記入力の圧縮された表現は前記入力のバッチよりも少ない数の入力を含み、前記入力の圧縮された表現内の各入力は非ゼロ値を有し、前記ハードウェア回路はさらに、
    前記入力の圧縮された表現内の各入力を格納するように構成されたメモリ位置を識別するアドレスを格納するように構成されたアドレスレジスタと、
    積和演算セルとを備え、前記積和演算セルは、
    前記アドレスレジスタ内のアドレスによって識別されるメモリ位置から前記入力の圧縮された表現内の入力を受信し、
    前記第１のニューラルネットワーク層を介して前記入力を処理するように構成され、前記処理することは、前記入力と前記ニューラルネットワーク層についての対応する重み値との間で乗算を実行して前記ニューラルネットワーク層についての出力を生成することを含む、ハードウェア回路。
  2. 前記入力のバッチ内の各入力および前記入力の圧縮された表現内の各入力を格納するように構成されたアクティベーションメモリと、
    前記複数のニューラルネットワーク層の各々についての複数の重み値を格納するように構成されたパラメータメモリとを含む、請求項１に記載のハードウェア回路。
  3. 前記コントローラは、
    前記入力の圧縮された表現内の各入力を前記ハードウェア回路の前記アクティベーションメモリの対応するメモリ位置に格納するために制御信号を生成するように構成され、前記アクティベーションメモリの各メモリ位置は、前記アドレスレジスタに格納されている対応するアドレスによって識別される、請求項２に記載のハードウェア回路。
  4. 複数の積和演算セルを含む計算ユニットを含み、前記計算ユニットは、
    前記入力の圧縮された表現についての第１の入力行列を受信するように構成され、前記第１の入力行列は非ゼロ値を有する入力を含み、前記計算ユニットはさらに、
    前記第１のニューラルネットワーク層についての重み行列の重み値の１セットを受信し、
    前記複数の積和演算セルを用いて前記第１のニューラルネットワーク層を介して前記第１の入力行列の前記入力を処理するように構成され、前記処理することは、前記第１の入力行列内の各入力と前記重み値のセット内の重み値との間で行列乗算を実行して、計算の第１の量に基づいて前記ニューラルネットワーク層についての複数の出力を生成することを含む、請求項２または３に記載のハードウェア回路。
  5. 前記計算ユニットは、
    前記入力のバッチについての第２の入力行列を受信するように構成され、前記第２の入力行列はゼロ値を有する入力と非ゼロ値を有する入力とを含み、前記計算ユニットはさらに、
    前記複数の積和演算セルを用いて、計算の第２の量に基づいて前記第１のニューラルネットワーク層を介して前記第２の入力行列の前記入力を処理するように構成される、請求項４に記載のハードウェア回路。
  6. 前記第１のニューラルネットワーク層を介して前記第１の入力行列の前記入力を処理するための前記計算の第１の量は、前記第１のニューラルネットワーク層を介して前記第２の入力行列の前記入力を処理するための前記計算の第２の量よりも少ない、請求項５に記載のハードウェア回路。
  7. 前記コントローラは、
    前記入力の圧縮された表現内の各入力を前記計算ユニットに配置された対応する積和演算セルに連続的に提供するために制御信号を生成して、前記第１のニューラルネットワーク層を介して前記入力の圧縮された表現内の各入力を処理するように構成される、請求項５または６に記載のハードウェア回路。
  8. 複数のニューラルネットワーク層を含むニューラルネットワークを実現するように構成されたハードウェア回路を用いて計算を実行するための方法であって、
    前記ハードウェア回路のコントローラによって、第１のニューラルネットワーク層を介して処理するための入力のバッチを受信するステップと、
    前記コントローラによって、前記入力のバッチ内の各入力のそれぞれの値に基づいて入力の圧縮された表現を生成するステップとを含み、前記入力の圧縮された表現は前記入力のバッチよりも少ない数の入力を含み、前記入力の圧縮された表現内の各入力は非ゼロ値を有し、前記方法はさらに、
    前記ハードウェア回路のアドレスレジスタを用いて、前記入力の圧縮された表現内の各入力を格納するように構成されたメモリ位置を識別する１つ以上のアドレスを格納するステップと、
    前記ハードウェア回路の計算ユニットによって、前記アドレスレジスタ内のアドレスによって識別されるメモリ位置から前記入力の圧縮された表現内の入力を受信するステップと、
    前記計算ユニットの積和演算セルを用いて、前記第１のニューラルネットワーク層を介して前記入力を処理するステップとを含み、前記処理するステップは、前記入力と前記ニューラルネットワーク層についての対応する重み値との間で乗算を実行して、前記ニューラルネットワーク層についての出力を生成するステップを含む、方法。
  9. 前記ハードウェア回路のアクティベーションメモリによって、前記入力のバッチ内の各入力および前記入力の圧縮された表現内の各入力を格納するステップと、
    前記ハードウェア回路のパラメータメモリによって、前記複数のニューラルネットワーク層の各々についての複数の重み値を格納するステップとを含む、請求項８に記載の方法。
  10. 前記コントローラによって、前記入力の圧縮された表現内の各入力を前記ハードウェア回路の前記アクティベーションメモリの対応するメモリ位置に格納するために制御信号を生成するステップを含み、前記アクティベーションメモリの各メモリ位置は、前記アドレスレジスタに格納されている対応するアドレスによって識別される、請求項９に記載の方法。
  11. 前記計算ユニットによって、前記アクティベーションメモリから、前記入力の圧縮された表現についての第１の入力行列を受信するステップを含み、前記第１の入力行列は非ゼロ値を有する入力を含み、さらに、
    前記計算ユニットによって、前記パラメータメモリから、前記第１のニューラルネットワーク層についての重み行列の重み値のセットを受信するステップと、
    前記計算ユニットによって、前記計算ユニットに配置された複数の積和演算セルを用いて前記第１のニューラルネットワーク層を介して前記第１の入力行列の前記入力を処理するステップとを含み、前記処理するステップは、前記第１の入力行列内の各入力と前記重み値のセット内の重み値との間で行列乗算を実行して、計算の第１の量に基づいて前記ニューラルネットワーク層についての複数の出力を生成するステップを含む、請求項９または１０に記載の方法。
  12. 前記計算ユニットによって、前記入力のバッチについての第２の入力行列を受信するステップを含み、前記第２の入力行列は、ゼロ値を有する入力および非ゼロ値を有する入力を含み、さらに、
    前記複数の積和演算セルを用いて、計算の第２の量に基づいて前記第１のニューラルネットワーク層を介して前記第２の入力行列の前記入力を処理するステップを含む、請求項１１に記載の方法。
  13. 前記第１のニューラルネットワーク層を介して前記第１の入力行列の前記入力を処理するための前記計算の第１の量は、前記第１のニューラルネットワーク層を介して前記第２の入力行列の前記入力を処理するための前記計算の第２の量よりも少ない、請求項１２に記載の方法。
  14. 前記コントローラによって、前記入力の圧縮された表現内の各入力を前記計算ユニットに配置された対応する積和演算セルに連続的に提供するために制御信号を生成して、前記第１のニューラルネットワーク層を介して前記入力の圧縮された表現内の各入力を処理するステップを含む、請求項１２または１３に記載の方法。
  15. 複数のニューラルネットワーク層を有するニューラルネットワークについての計算を実行するための命令を含む１つ以上のコンピュータプログラムであって、前記命令は、複数の動作を実行させるように１つ以上の処理デバイスによって実行可能であり、前記複数の動作は、
    前記１つ以上の処理デバイスのコントローラによって、第１のニューラルネットワーク層を介して処理するための入力のバッチを受信することと、
    前記コントローラによって、前記入力のバッチ内の各入力のそれぞれの値に基づいて入力の圧縮された表現を生成することとを含み、前記入力の圧縮された表現は前記入力のバッチよりも少ない数の入力を含み、前記入力の圧縮された表現内の各入力は非ゼロ値を有し、前記複数の動作はさらに、
    前記１つ以上の処理デバイスのアドレスレジスタを用いて、前記入力の圧縮された表現内の各入力を格納するように構成されたメモリ位置を識別する１つ以上のアドレスを格納することと、
    前記１つ以上の処理デバイスの計算ユニットによって、前記アドレスレジスタ内のアドレスによって識別されるメモリ位置から前記入力の圧縮された表現内の入力を受信することと、
    前記計算ユニットの積和演算セルを用いて、前記第１のニューラルネットワーク層を介して前記入力を処理することとを含み、前記処理することは、前記入力と前記ニューラルネットワーク層についての対応する重み値との間で乗算を実行して前記ニューラルネットワーク層についての出力を生成することを含む、コンピュータプログラム。
  16. 前記複数の動作は、
    前記１つ以上の処理デバイスのアクティベーションメモリによって、前記入力のバッチ内の各入力および前記入力の圧縮された表現内の各入力を格納することと、
    前記１つ以上の処理デバイスのパラメータメモリによって、前記複数のニューラルネットワーク層の各々についての複数の重み値を格納することとを含む、請求項１５に記載のコンピュータプログラム。
  17. 前記複数の動作は、
    前記計算ユニットによって、前記アクティベーションメモリから、前記入力の圧縮された表現についての第１の入力行列を受信することを含み、前記第１の入力行列は非ゼロ値を有する入力を含み、前記複数の動作はさらに、
    前記計算ユニットによって、前記パラメータメモリから、前記第１のニューラルネットワーク層についての重み行列の重み値のセットを受信することと、
    前記計算ユニットによって、前記計算ユニットに配置された複数の積和演算セルを用いて前記第１のニューラルネットワーク層を介して前記第１の入力行列の前記入力を処理することとを含み、前記第１の入力行列の前記入力を処理することは、前記第１の入力行列内の各入力と前記重み値のセット内の重み値との間で行列乗算を実行して、計算の第１の量に基づいて前記ニューラルネットワーク層についての複数の出力を生成することを含む、請求項１６に記載のコンピュータプログラム。
JP2022138360A 2016-10-27 2022-08-31 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用 Active JP7469407B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024060830A JP2024096786A (ja) 2016-10-27 2024-04-04 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US15/336,066 US10360163B2 (en) 2016-10-27 2016-10-27 Exploiting input data sparsity in neural network compute units
US15/336,066 2016-10-27
US15/465,774 US9818059B1 (en) 2016-10-27 2017-03-22 Exploiting input data sparsity in neural network compute units
US15/465,774 2017-03-22
JP2019523062A JP7134955B2 (ja) 2016-10-27 2017-08-22 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用
PCT/US2017/047992 WO2018080624A1 (en) 2016-10-27 2017-08-22 Exploiting input data sparsity in neural network compute units

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019523062A Division JP7134955B2 (ja) 2016-10-27 2017-08-22 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024060830A Division JP2024096786A (ja) 2016-10-27 2024-04-04 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用

Publications (2)

Publication Number Publication Date
JP2022172258A JP2022172258A (ja) 2022-11-15
JP7469407B2 true JP7469407B2 (ja) 2024-04-16

Family

ID=60256363

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019523062A Active JP7134955B2 (ja) 2016-10-27 2017-08-22 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用
JP2022138360A Active JP7469407B2 (ja) 2016-10-27 2022-08-31 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用
JP2024060830A Pending JP2024096786A (ja) 2016-10-27 2024-04-04 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019523062A Active JP7134955B2 (ja) 2016-10-27 2017-08-22 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024060830A Pending JP2024096786A (ja) 2016-10-27 2024-04-04 ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用

Country Status (9)

Country Link
US (5) US10360163B2 (ja)
EP (2) EP3533003B1 (ja)
JP (3) JP7134955B2 (ja)
KR (4) KR102679563B1 (ja)
CN (2) CN108009626B (ja)
DE (2) DE202017105363U1 (ja)
HK (1) HK1254700A1 (ja)
SG (1) SG11201903787YA (ja)
WO (1) WO2018080624A1 (ja)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360163B2 (en) 2016-10-27 2019-07-23 Google Llc Exploiting input data sparsity in neural network compute units
US10175980B2 (en) 2016-10-27 2019-01-08 Google Llc Neural network compute tile
US9959498B1 (en) 2016-10-27 2018-05-01 Google Llc Neural network instruction set architecture
US10685285B2 (en) * 2016-11-23 2020-06-16 Microsoft Technology Licensing, Llc Mirror deep neural networks that regularize to linear networks
CN108205700B (zh) * 2016-12-20 2021-07-30 上海寒武纪信息科技有限公司 神经网络运算装置和方法
US11328037B2 (en) * 2017-07-07 2022-05-10 Intel Corporation Memory-size- and bandwidth-efficient method for feeding systolic array matrix multipliers
TWI680409B (zh) * 2017-07-08 2019-12-21 英屬開曼群島商意騰科技股份有限公司 適用於人工神經網路之矩陣及向量相乘的方法
US10879904B1 (en) 2017-07-21 2020-12-29 X Development Llc Application specific integrated circuit accelerators
US10790828B1 (en) 2017-07-21 2020-09-29 X Development Llc Application specific integrated circuit accelerators
US10725740B2 (en) * 2017-08-31 2020-07-28 Qualcomm Incorporated Providing efficient multiplication of sparse matrices in matrix-processor-based devices
US10902318B2 (en) 2017-11-06 2021-01-26 Neuralmagic Inc. Methods and systems for improved transforms in convolutional neural networks
CN110059811B (zh) 2017-11-06 2024-08-02 畅想科技有限公司 权重缓冲器
US11715287B2 (en) 2017-11-18 2023-08-01 Neuralmagic Inc. Systems and methods for exchange of data in distributed training of machine learning algorithms
US10936942B2 (en) 2017-11-21 2021-03-02 Google Llc Apparatus and mechanism for processing neural network tasks using a single chip package with multiple identical dies
US10553207B2 (en) * 2017-12-29 2020-02-04 Facebook, Inc. Systems and methods for employing predication in computational models
EP3750113A1 (en) * 2018-02-09 2020-12-16 DeepMind Technologies Limited Contiguous sparsity pattern neural networks
JP7349438B2 (ja) * 2018-02-16 2023-09-22 三星電子株式会社 ニューラル・ネットワーク・アクセラレータ
US10572568B2 (en) 2018-03-28 2020-02-25 Intel Corporation Accelerator for sparse-dense matrix multiplication
US11449363B2 (en) 2018-05-31 2022-09-20 Neuralmagic Inc. Systems and methods for improved neural network execution
US10963787B2 (en) 2018-05-31 2021-03-30 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US10832133B2 (en) 2018-05-31 2020-11-10 Neuralmagic Inc. System and method of executing neural networks
WO2021054990A1 (en) * 2019-09-16 2021-03-25 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US11216732B2 (en) 2018-05-31 2022-01-04 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US10599429B2 (en) * 2018-06-08 2020-03-24 Intel Corporation Variable format, variable sparsity matrix multiplication instruction
CN112437930A (zh) * 2018-07-12 2021-03-02 华为技术有限公司 以熟练的推理速度和功耗，生成神经网络的压缩表示
US20200019836A1 (en) * 2018-07-12 2020-01-16 International Business Machines Corporation Hierarchical parallelism in a network of distributed neural network cores
CN110796244B (zh) * 2018-08-01 2022-11-08 上海天数智芯半导体有限公司 用于人工智能设备的核心计算单元处理器及加速处理方法
CN109344964B (zh) * 2018-08-08 2020-12-29 东南大学 一种适用于神经网络的乘加计算方法和计算电路
CN110826707B (zh) * 2018-08-10 2023-10-31 北京百度网讯科技有限公司 应用于卷积神经网络的加速方法和硬件加速器
US20200065659A1 (en) * 2018-08-24 2020-02-27 Samsung Electronics Co., Ltd. Method of accelerating training process of neural network and neural network device thereof
JP6985997B2 (ja) * 2018-08-27 2021-12-22 株式会社日立製作所 機械学習システムおよびボルツマンマシンの計算方法
US10846588B2 (en) * 2018-09-27 2020-11-24 Deepmind Technologies Limited Scalable and compressive neural network data storage system
US11586417B2 (en) * 2018-09-28 2023-02-21 Qualcomm Incorporated Exploiting activation sparsity in deep neural networks
WO2020072274A1 (en) 2018-10-01 2020-04-09 Neuralmagic Inc. Systems and methods for neural network pruning with accuracy preservation
CN111026440B (zh) * 2018-10-09 2022-03-29 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
JP7115211B2 (ja) * 2018-10-18 2022-08-09 富士通株式会社 演算処理装置および演算処理装置の制御方法
CN111126081B (zh) * 2018-10-31 2023-07-21 深圳永德利科技股份有限公司 全球通用语言终端及方法
US10768895B2 (en) * 2018-11-08 2020-09-08 Movidius Limited Dot product calculators and methods of operating the same
KR20200057814A (ko) * 2018-11-13 2020-05-27 삼성전자주식회사 뉴럴 네트워크를 이용한 데이터 처리 방법 및 이를 지원하는 전자 장치
US11361050B2 (en) 2018-11-20 2022-06-14 Hewlett Packard Enterprise Development Lp Assigning dependent matrix-vector multiplication operations to consecutive crossbars of a dot product engine
US10769527B2 (en) 2018-12-11 2020-09-08 Mipsology SAS Accelerating artificial neural network computations by skipping input values
EP3895071A1 (en) * 2018-12-11 2021-10-20 Mipsology SAS Accelerating artificial neural network computations by skipping input values
JP7189000B2 (ja) * 2018-12-12 2022-12-13 日立Astemo株式会社 情報処理装置、車載制御装置、車両制御システム
US11551069B2 (en) * 2018-12-31 2023-01-10 SK Hynix Inc. Processing system
US11544559B2 (en) 2019-01-08 2023-01-03 Neuralmagic Inc. System and method for executing convolution in a neural network
US11604958B2 (en) 2019-03-13 2023-03-14 Samsung Electronics Co., Ltd. Method and apparatus for processing computation of zero value in processing of layers in neural network
AU2020241262A1 (en) * 2019-03-15 2021-11-04 Intel Corporation Sparse optimizations for a matrix accelerator architecture
KR20200111939A (ko) * 2019-03-20 2020-10-05 에스케이하이닉스 주식회사 신경망 가속 장치 및 그것의 동작 방법
US20210026686A1 (en) * 2019-07-22 2021-01-28 Advanced Micro Devices, Inc. Chiplet-integrated machine learning accelerators
WO2021026225A1 (en) 2019-08-08 2021-02-11 Neuralmagic Inc. System and method of accelerating execution of a neural network
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11635893B2 (en) * 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
KR20210024865A (ko) 2019-08-26 2021-03-08 삼성전자주식회사 데이터를 처리하는 방법 및 장치
KR20210045225A (ko) * 2019-10-16 2021-04-26 삼성전자주식회사 뉴럴 네트워크에서 연산을 수행하는 방법 및 장치
JP7462140B2 (ja) * 2019-10-29 2024-04-05 国立大学法人 熊本大学 ニューラルネットワーク回路及びニューラルネットワーク演算方法
US11244198B2 (en) 2019-11-21 2022-02-08 International Business Machines Corporation Input partitioning for deep learning of large image data
FR3105659B1 (fr) * 2019-12-18 2022-06-24 Commissariat Energie Atomique Procédé et dispositif de codage binaire de signaux pour implémenter des opérations MAC numériques à précision dynamique
KR102268817B1 (ko) * 2019-12-19 2021-06-24 국민대학교산학협력단 분산 클라우드 환경에서의 기계 학습 성능 평가 방법 및 장치
KR20210086233A (ko) * 2019-12-31 2021-07-08 삼성전자주식회사 완화된 프루닝을 통한 행렬 데이터 처리 방법 및 그 장치
TWI727641B (zh) * 2020-02-03 2021-05-11 華邦電子股份有限公司 記憶體裝置及其操作方法
US11586601B2 (en) * 2020-02-05 2023-02-21 Alibaba Group Holding Limited Apparatus and method for representation of a sparse matrix in a neural network
US11604975B2 (en) 2020-04-09 2023-03-14 Apple Inc. Ternary mode of planar engine for neural processor
CN111445013B (zh) * 2020-04-28 2023-04-25 南京大学 一种针对卷积神经网络的非零探测器及其方法
KR102418794B1 (ko) * 2020-06-02 2022-07-08 오픈엣지테크놀로지 주식회사 하드웨어 가속기를 위한 파라미터를 메모리로부터 액세스하는 방법 및 이를 이용한 장치
CN113835675A (zh) * 2020-06-23 2021-12-24 深圳市中兴微电子技术有限公司 数据处理装置及数据处理方法
KR20220010362A (ko) 2020-07-17 2022-01-25 삼성전자주식회사 뉴럴 네트워크 장치 및 그의 동작 방법
JPWO2022014500A1 (ja) * 2020-07-17 2022-01-20
CA3186225A1 (en) * 2020-07-21 2022-01-27 Mostafa MAHMOUD System and method for using sparsity to accelerate deep learning networks
US11928176B2 (en) * 2020-07-30 2024-03-12 Arm Limited Time domain unrolling sparse matrix multiplication system and method
US20220075669A1 (en) * 2020-09-08 2022-03-10 Technion Research And Development Foundation Ltd. Non-Blocking Simultaneous MultiThreading (NB-SMT)
DE112021005190T5 (de) 2020-09-30 2023-09-14 Sony Semiconductor Solutions Corporation Signalverarbeitungsvorrichtung, bildaufnahmevorrichtung und signalverarbeitungsverfahren
KR20220049325A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 가속기 및 이를 포함한 전자 장치
US11861327B2 (en) * 2020-11-11 2024-01-02 Samsung Electronics Co., Ltd. Processor for fine-grain sparse integer and floating-point operations
US11861328B2 (en) * 2020-11-11 2024-01-02 Samsung Electronics Co., Ltd. Processor for fine-grain sparse integer and floating-point operations
US11556757B1 (en) 2020-12-10 2023-01-17 Neuralmagic Ltd. System and method of executing deep tensor columns in neural networks
KR102541461B1 (ko) 2021-01-11 2023-06-12 한국과학기술원 저전력 고성능 인공 신경망 학습 가속기 및 가속 방법
US20220222386A1 (en) * 2021-01-13 2022-07-14 University Of Florida Research Foundation, Inc. Decommissioning and erasing entropy in microelectronic systems
US11853717B2 (en) * 2021-01-14 2023-12-26 Microsoft Technology Licensing, Llc Accelerating processing based on sparsity for neural network hardware processors
US11940907B2 (en) * 2021-06-25 2024-03-26 Intel Corporation Methods and apparatus for sparse tensor storage for neural network accelerators
US11669489B2 (en) * 2021-09-30 2023-06-06 International Business Machines Corporation Sparse systolic array design
US11960982B1 (en) 2021-10-21 2024-04-16 Neuralmagic, Inc. System and method of determining and executing deep tensor columns in neural networks
CN116804973B (zh) * 2022-03-18 2024-06-18 深圳鲲云信息科技有限公司 地址生成装置、方法、数据缓存器和人工智能芯片

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5501317B2 (ja) 2011-09-21 2014-05-21 株式会社半導体理工学研究センター 時間差増幅回路

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3754128A (en) 1971-08-31 1973-08-21 M Corinthios High speed signal processor for vector transformation
JPS4874139A (ja) * 1971-12-29 1973-10-05
JPS5364439A (en) * 1976-11-20 1978-06-08 Agency Of Ind Science & Technol Linear coversion system
JPS58134357A (ja) 1982-02-03 1983-08-10 Hitachi Ltd ベクトルプロセッサ
EP0156648B1 (en) 1984-03-29 1992-09-30 Kabushiki Kaisha Toshiba Convolution arithmetic circuit for digital signal processing
US5267185A (en) 1989-04-14 1993-11-30 Sharp Kabushiki Kaisha Apparatus for calculating matrices
US5138695A (en) 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
JPH03167664A (ja) 1989-11-28 1991-07-19 Nec Corp マトリクス演算回路
WO1991019248A1 (en) 1990-05-30 1991-12-12 Adaptive Solutions, Inc. Neural network using virtual-zero
WO1991019267A1 (en) 1990-06-06 1991-12-12 Hughes Aircraft Company Neural network processor
US5287464A (en) 1990-10-24 1994-02-15 Zilog, Inc. Semiconductor multi-device system with logic means for controlling the operational mode of a set of input/output data bus drivers
JP3318753B2 (ja) 1991-12-05 2002-08-26 ソニー株式会社 積和演算装置および積和演算方法
AU658066B2 (en) * 1992-09-10 1995-03-30 Deere & Company Neural network based control system
JPH06139218A (ja) 1992-10-30 1994-05-20 Hitachi Ltd ディジタル集積回路を用いて神経回路網を完全に並列にシミュレートするための方法及び装置
US6067536A (en) * 1996-05-30 2000-05-23 Matsushita Electric Industrial Co., Ltd. Neural network for voice and pattern recognition
US5742741A (en) 1996-07-18 1998-04-21 Industrial Technology Research Institute Reconfigurable neural network
US5905757A (en) 1996-10-04 1999-05-18 Motorola, Inc. Filter co-processor
US6243734B1 (en) 1998-10-30 2001-06-05 Intel Corporation Computer product and method for sparse matrices
JP2001117900A (ja) 1999-10-19 2001-04-27 Fuji Xerox Co Ltd ニューラルネットワーク演算装置
US20020044695A1 (en) * 2000-05-05 2002-04-18 Bostrom Alistair K. Method for wavelet-based compression of video images
JP2003244190A (ja) 2002-02-19 2003-08-29 Matsushita Electric Ind Co Ltd データフロー制御スイッチ用プロセッサ及びデータフロー制御スイッチ
US7016529B2 (en) * 2002-03-15 2006-03-21 Microsoft Corporation System and method facilitating pattern recognition
US7493498B1 (en) * 2002-03-27 2009-02-17 Advanced Micro Devices, Inc. Input/output permission bitmaps for compartmentalized security
US7426501B2 (en) 2003-07-18 2008-09-16 Knowntech, Llc Nanotechnology neural network methods and systems
US7818729B1 (en) * 2003-09-15 2010-10-19 Thomas Plum Automated safe secure techniques for eliminating undefined behavior in computer software
CA2553452A1 (en) 2004-01-13 2005-07-28 New York University Method, system, storage medium, and data structure for image recognition using multilinear independent component analysis
GB2436377B (en) 2006-03-23 2011-02-23 Cambridge Display Tech Ltd Data processing hardware
CN101441441B (zh) * 2007-11-21 2010-06-30 新乡市起重机厂有限公司 起重机智能防摇控制系统的设计方法
JP4513865B2 (ja) 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
US9490848B2 (en) 2008-05-21 2016-11-08 Nxp B.V. Data handling system comprising memory banks and data rearrangement
US8321652B2 (en) * 2008-08-01 2012-11-27 Infineon Technologies Ag Process and method for logical-to-physical address mapping using a volatile memory device in solid state disks
EP2290563B1 (en) * 2009-08-28 2017-12-13 Accenture Global Services Limited Accessing content in a network
US8589600B2 (en) 2009-12-14 2013-11-19 Maxeler Technologies, Ltd. Method of transferring data with offsets
US8595467B2 (en) 2009-12-29 2013-11-26 International Business Machines Corporation Floating point collect and operate
US8676874B2 (en) 2010-12-06 2014-03-18 International Business Machines Corporation Data structure for tiling and packetizing a sparse matrix
US8457767B2 (en) * 2010-12-31 2013-06-04 Brad Radl System and method for real-time industrial process modeling
US8977629B2 (en) 2011-05-24 2015-03-10 Ebay Inc. Image-based popularity prediction
US8806171B2 (en) 2011-05-24 2014-08-12 Georgia Tech Research Corporation Systems and methods providing wear leveling using dynamic randomization for non-volatile memory
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9201828B2 (en) 2012-10-23 2015-12-01 Analog Devices, Inc. Memory interconnect network architecture for vector processor
US9606797B2 (en) 2012-12-21 2017-03-28 Intel Corporation Compressing execution cycles for divergent execution in a single instruction multiple data (SIMD) processor
WO2014105057A1 (en) 2012-12-28 2014-07-03 Intel Corporation Instruction to reduce elements in a vector register with strided access pattern
US9477628B2 (en) 2013-09-28 2016-10-25 Intel Corporation Collective communications apparatus and method for parallel systems
US9323525B2 (en) 2014-02-26 2016-04-26 Intel Corporation Monitoring vector lane duty cycle for dynamic optimization
CN106471526B (zh) * 2014-08-29 2019-03-08 谷歌有限责任公司 用于处理图像的方法和系统
CN104463209B (zh) * 2014-12-08 2017-05-24 福建坤华仪自动化仪器仪表有限公司 一种基于bp神经网络的pcb板上数字代码识别方法
US9666257B2 (en) 2015-04-24 2017-05-30 Intel Corporation Bitcell state retention
US10013652B2 (en) * 2015-04-29 2018-07-03 Nuance Communications, Inc. Fast deep neural network feature transformation via optimized memory bandwidth utilization
US10489703B2 (en) 2015-05-20 2019-11-26 Nec Corporation Memory efficiency for convolutional neural networks operating on graphics processing units
US10353860B2 (en) 2015-10-08 2019-07-16 Via Alliance Semiconductor Co., Ltd. Neural network unit with neural processing units dynamically configurable to process multiple data sizes
US9875104B2 (en) 2016-02-03 2018-01-23 Google Llc Accessing data in multi-dimensional tensors
US10552119B2 (en) 2016-04-29 2020-02-04 Intel Corporation Dynamic management of numerical representation in a distributed matrix processor architecture
CN106023065B (zh) * 2016-05-13 2019-02-19 中国矿业大学 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
CN106127297B (zh) 2016-06-02 2019-07-12 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
US9959498B1 (en) 2016-10-27 2018-05-01 Google Llc Neural network instruction set architecture
US10360163B2 (en) 2016-10-27 2019-07-23 Google Llc Exploiting input data sparsity in neural network compute units
US10175980B2 (en) 2016-10-27 2019-01-08 Google Llc Neural network compute tile
US10733505B2 (en) 2016-11-10 2020-08-04 Google Llc Performing kernel striding in hardware
US10037490B2 (en) 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware
CN106529511B (zh) 2016-12-13 2019-12-10 北京旷视科技有限公司 图像结构化方法及装置
US20180189675A1 (en) 2016-12-31 2018-07-05 Intel Corporation Hardware accelerator architecture and template for web-scale k-means clustering
US11164071B2 (en) 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
US10572409B1 (en) 2018-05-10 2020-02-25 Xilinx, Inc. Sparse matrix processing circuitry

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5501317B2 (ja) 2011-09-21 2014-05-21 株式会社半導体理工学研究センター 時間差増幅回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOONS, Bert et al.，A 0.3-2.6 TOPS/W PRECISION-SCALABLE PROCESSOR FOR REAL-TIME LARGE-SCALE CONVNETS，Proceedings of 2016 IEEE SYMPOSIUM ON VLSI CIRCUITS (VLSI-CIRCUITS)，IEEE，2016年06月15日，http://dx.doi.org/10.1109/VLSIC.2016.7573525

Also Published As

Publication number Publication date
WO2018080624A1 (en) 2018-05-03
US20220083480A1 (en) 2022-03-17
EP4044071A1 (en) 2022-08-17
US20200012608A1 (en) 2020-01-09
US20180121377A1 (en) 2018-05-03
CN114595803A (zh) 2022-06-07
US20240289285A1 (en) 2024-08-29
US9818059B1 (en) 2017-11-14
KR20240105502A (ko) 2024-07-05
EP3533003A1 (en) 2019-09-04
DE202017105363U1 (de) 2017-12-06
US10360163B2 (en) 2019-07-23
CN108009626A (zh) 2018-05-08
US11816045B2 (en) 2023-11-14
KR102397415B1 (ko) 2022-05-12
JP2022172258A (ja) 2022-11-15
KR20220065898A (ko) 2022-05-20
JP2020500365A (ja) 2020-01-09
US11106606B2 (en) 2021-08-31
CN108009626B (zh) 2022-03-01
HK1254700A1 (zh) 2019-07-26
DE102017120452A1 (de) 2018-05-03
KR20190053262A (ko) 2019-05-17
KR20230061577A (ko) 2023-05-08
KR102528517B1 (ko) 2023-05-04
KR102679563B1 (ko) 2024-07-01
JP7134955B2 (ja) 2022-09-12
JP2024096786A (ja) 2024-07-17
EP3533003B1 (en) 2022-01-26
SG11201903787YA (en) 2019-05-30

Similar Documents

Publication Publication Date Title
JP7469407B2 (ja) ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用
Zhang et al. BoostGCN: A framework for optimizing GCN inference on FPGA
US11507382B2 (en) Systems and methods for virtually partitioning a machine perception and dense algorithm integrated circuit
US10817260B1 (en) Reducing dynamic power consumption in arrays
EP3265907B1 (en) Data processing using resistive memory arrays
KR20190118635A (ko) 신경 네트워크 프로세싱을 스케줄링하기
Ke et al. Nnest: Early-stage design space exploration tool for neural network inference accelerators
US20190228307A1 (en) Method and apparatus with data processing
Geng et al. O3BNN: An out-of-order architecture for high-performance binarized neural network inference with fine-grained pruning
CN107967132A (zh) 一种用于神经网络处理器的加法器和乘法器
US20220012304A1 (en) Fast matrix multiplication
US11842169B1 (en) Systolic multiply delayed accumulate processor architecture
GB2556413A (en) Exploiting input data sparsity in neural network compute units
CN112132254A (zh) 利用微神经元网络计算中的输入激活数据稀疏
CN110765413A (zh) 矩阵求和结构及神经网络计算平台
CN110989971B (zh) 用于节能数据处理的系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240404

R150 Certificate of patent or registration of utility model

Ref document number: 7469407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150