JP2023542835A - 共有オペランドの垂直及び水平ブロードキャスト - Google Patents

共有オペランドの垂直及び水平ブロードキャスト Download PDF

Info

Publication number
JP2023542835A
JP2023542835A JP2023514867A JP2023514867A JP2023542835A JP 2023542835 A JP2023542835 A JP 2023542835A JP 2023514867 A JP2023514867 A JP 2023514867A JP 2023514867 A JP2023514867 A JP 2023514867A JP 2023542835 A JP2023542835 A JP 2023542835A
Authority
JP
Japan
Prior art keywords
array
processor
memory
parameter values
broadcasting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023514867A
Other languages
English (en)
Inventor
エイチ． ラッシュ アレン
ラグードゥ サティーシュ
マントル マイケル
ヴァイディヤナサン アナンサナラヤン アルン
ナガブシャナンガリ プラサッド
ヴィー． カザコフ マキシム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Publication of JP2023542835A publication Critical patent/JP2023542835A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17318—Parallel communications techniques, e.g. gather, scatter, reduce, roadcast, multicast, all to all
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
    • G06F15/8023—Two dimensional arrays, e.g. mesh, torus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G06F15/8092—Array of vector units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3888—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple threads [SIMT] in parallel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Multi Processors (AREA)
  • Advance Control (AREA)

Abstract

アレイプロセッサは、行及び列に分散されたプロセッサ要素アレイを含む。プロセッサ要素アレイは、パラメータ値に対して演算を実行する。また、アレイプロセッサは、プロセッサ要素アレイの行及び列の相互に排他的なサブセットにパラメータ値のセットをブロードキャストするメモリインターフェースを含む。場合によっては、アレイプロセッサは、対応する行のプロセッサ要素アレイのサブセットを含む単一命令複数データ（ＳＩＭＤ）ユニットと、ＳＩＭＤユニットのサブセットを含むワークグループプロセッサ（ＷＧＰ）と、パラメータ値を記憶する外部メモリと相互接続するように構成されたメモリファブリックと、を含む。メモリインターフェースは、メモリインターフェースと関連付けられた行のプロセッサ要素アレイと、ＷＧＰ内のＳＩＭＤユニットにわたって実装されているプロセッサ要素アレイの列と、を含むＳＩＭＤユニットにパラメータ値をブロードキャストする。メモリインターフェースは、メモリファブリックを介して、外部メモリからパラメータ値にアクセスする。【選択図】図３

Description

グラフィックス処理ユニット（Graphics Processing Unit、ＧＰＵ）及び他のマルチスレッド処理ユニットは、典型的には、複数のデータセットに対して単一のプログラムの複数のインスタンスを同時に実行する複数の処理要素（プロセッサコア又はコンピュートユニットとも呼ばれる）を実装する。例えば、処理要素は、単一命令複数データ（Single-Instruction-Multiple-Data、ＳＩＭＤ）プロトコルを実装して、複数のコンピュートユニットを使用して複数のデータセットに対して同じ命令を同時に実行することができる。したがって、処理要素は、ＳＩＭＤユニットと呼ばれる。ハードウェアに実装された階層に適合するように、階層実行モデルが使用される。実行モデルは、全てのウェーブ（ウェーブフロント、スレッド、ストリーム又はワークアイテムとも呼ばれる）によって実行される命令のカーネルを定義する。場合によっては、処理システム内に実装されたＧＰＵ又は他のマルチスレッド処理ユニットの処理能力は、ＳＩＭＤプロトコルも実装する１つ以上のアクセラレータで補完される。ＧＰＵ又は他のマルチスレッド処理ユニット内に実装されるアクセラレータ回路の一例がアレイプロセッサである。
一態様では、装置は、行及び列に分散されたプロセッサ要素アレイであって、プロセッサ要素アレイがパラメータ値に対して演算を実行するように構成されている、プロセッサ要素アレイを含み、プロセッサ要素アレイの行及び列の相互に排他的なサブセットに、パラメータ値のセットをブロードキャストするように構成されたメモリインターフェースを更に含む。様々な実施形態では、プロセッサ要素アレイは、ベクトル演算論理ユニット（Arithmetic Logic Unit、ＡＬＵ）プロセッサを備え、メモリインターフェースは、ダイレクトメモリアクセス（Direct Memory Access、ＤＭＡ）エンジンを備え、メモリインターフェースの各々は、行のうち対応する行及び列のうち対応する列の中のプロセッサ要素アレイにパラメータ値をブロードキャストし、及び／又は、メモリインターフェースのうち第１のメモリインターフェースは、第１の行及び第１の列内のプロセッサ要素アレイに第１のパラメータ値をブロードキャストし、メモリインターフェースのうち第２のメモリインターフェースは、第２の行及び第２の列内のプロセッサ要素アレイに第２のパラメータ値をブロードキャストし、メモリインターフェースは、個別の物理的接続を介して、プロセッサ要素アレイの行及び列の相互に排他的なサブセットに接続され、メモリインターフェースは、行及び列の相互に排他的なサブセット内のプロセッサ要素アレイと関連付けられたレジスタにパラメータ値を同時にポピュレートするように構成され、装置は、対応する行内のプロセッサ要素アレイのサブセットを備える単一命令複数データ（ＳＩＭＤ）ユニットを更に含み、メモリインターフェースは、メモリインターフェースと関連付けられた行内のプロセッサ要素アレイを備えるＳＩＭＤユニットにパラメータ値をブロードキャストし、装置は、ＳＩＭＤユニットのサブセットを備えるワークグループプロセッサを更に含み、メモリインターフェースは、ワークグループプロセッサ内のＳＩＭＤユニットにわたって実装されているプロセッサ要素アレイの列にパラメータ値をブロードキャストし、並びに／又は、装置は、パラメータ値を記憶する外部メモリと相互接続するように構成されたメモリファブリックを更に含み、メモリインターフェースは、メモリファブリックを介して、外部メモリからパラメータ値にアクセスするように構成されている。
別の態様によれば、方法は、メモリインターフェースを介して、メモリからパラメータ値をフェッチすることと、メモリインターフェースから、プロセッサ要素アレイの行及び列の相互に排他的なサブセットに、パラメータ値をブロードキャストすることと、プロセッサ要素アレイにおいて、パラメータ値に対して演算を実行することと、を含む。
様々な実施形態では、メモリインターフェースからパラメータ値をブロードキャストすることは、メモリインターフェースの各々から、行のうち対応する行及び列のうち対応する列内のプロセッサ要素アレイにパラメータ値をブロードキャストすることを含み、パラメータ値をブロードキャストすることは、メモリインターフェースのうち第１のメモリインターフェースから第１の行及び第１の列内のプロセッサ要素アレイに第１のパラメータ値をブロードキャストすることを含み、パラメータ値をブロードキャストすることは、メモリインターフェースのうち第２のメモリインターフェースから第２の行及び第２の列内のプロセッサ要素アレイに第２のパラメータ値をブロードキャストすることを含み、パラメータ値をブロードキャストすることは、メモリインターフェースと、対応する行及び列との間の個別の物理的接続を介して、パラメータ値をブロードキャストすることを含み、パラメータ値をブロードキャストすることは、行及び列の相互に排他的なサブセット内のプロセッサ要素アレイと関連付けられたレジスタにパラメータ値をポピュレートすることを含み、各行のプロセッサ要素アレイのサブセットは、対応する単一命令複数データ（ＳＩＭＤ）ユニット内に実装され、パラメータ値をブロードキャストすることは、メモリインターフェースと関連付けられた行内のプロセッサ要素アレイを備えるＳＩＭＤユニットにパラメータ値をブロードキャストすることを含み、並びに／又は、ＳＩＭＤユニットのサブセットは、対応するワークグループプロセッサ内に実装され、パラメータ値をブロードキャストすることは、ワークグループプロセッサ内のＳＩＭＤユニットにわたって実装されているプロセッサ要素アレイの列にパラメータ値をブロードキャストすることを含み、並びに／又は、パラメータ値をフェッチすることは、パラメータ値を記憶するメモリと相互接続するように構成されたメモリファブリックを介してパラメータ値にアクセスすることを含む。
本開示は、添付の図面を参照することによってより良好に理解され、その数々の特徴及び利点が当業者に明らかになり得る。異なる図面における同じ符号の使用は、類似又は同一のアイテムを示す。
いくつかの実施形態による、アレイプロセッサにおいて共有オペランドの垂直及び水平ブロードキャストを実行する処理システムのブロック図である。 いくつかの実施形態による、パラメータ値の垂直及び水平ブロードキャストをサポートする処理システムの一部のブロック図である。 いくつかの実施形態による、プロセッサ要素アレイの相互に排他的なサブセットへのパラメータ値の垂直及び水平ブロードキャストを実装するアレイプロセッサのブロック図である。 いくつかの実施形態による、プロセッサ要素アレイの行又は列にパラメータ値をブロードキャストする方法のフロー図である。
アレイプロセッサシステムは、ＳＩＭＤユニットのセットを含む１つ以上のワークグループプロセッサ（Workgroup Processor、ＷＧＰ）を含む。例えば、アレイプロセッサは、各々が４つのＳＩＭＤユニットを実装する４つのＷＧＰを含むことができる。ＳＩＭＤユニットは、ベクトル又は行列に対して積和演算等のベクトル演算を実行するプロセッサ要素アレイのセットを含む。例えば、ＳＩＭＤユニットは、プロセッサ要素アレイの各々に４つのプロセッサ要素アレイを含むことができ、入力ベクトルの対に対して演算（積和演算等）を実行するための８×８アレイの回路を含む。本明細書で使用される場合、「ベクトル」という用語は、行列の個々の行又は列を指すこともできる。更に、「行列」という用語は、一般に、１×Ｎの行列として理解されるベクトルを含む値の配列を指す。アレイプロセッサシステム内のプロセッサ要素アレイは、プロセッサ要素アレイの数に対応する次元を有する行列に対して、行列乗算等のカーネル演算を実行する。例えば、４つのプロセッサ要素アレイから構成される４つのＳＩＭＤユニットを含む４つのＷＧＰを含むアレイプロセッサは、６４×６４行列を乗算することができる。
プロセッサ要素アレイによって実行されるカーネル演算のための入力値は、メモリファブリックを介して、１つ以上のダイレクトメモリアクセス（ＤＭＡ）エンジンによってメモリから取り出され、ＤＭＡエンジンが、メモリファブリックを介して、出力値をメモリに書き戻す。例えば、４つのＷＧＰの各々は、ＳＩＭＤユニットの対応する対の値をフェッチするＤＭＡエンジンの対を含むことができる。アレイプロセッサシステムによって行列に対して実行されるカーネル演算の多くは、同じパラメータ値を何度も再使用する。例えば、機械学習アプリケーションを実装するために使用される積和演算は、ベクトル乗算又は行列乗算を実行する場合に、同じベクトル値又は行列値を数回再利用することができる。同じパラメータを繰り返しプリフェッチすることは、アレイプロセッサシステム内でかなりのメモリ帯域幅を消費し、システムが帯域幅制限される場合に、アレイプロセッサシステムの効率を低減させる。
図１～図４は、ダイレクトメモリアクセス（ＤＭＡ）エンジンを使用して、アレイプロセッサシステムの相互に排他的な行及び列内のプロセッサ要素アレイにパラメータ値のセットをブロードキャストし、それにより、プロセッサ要素アレイにパラメータをフェッチすることによって消費される帯域幅を低減するアレイプロセッサシステムの実施形態を開示する。プロセッサ要素アレイは、ベクトル演算論理ユニット（ＡＬＵ）プロセッサとして実装される。いくつかの実施形態では、各ＤＭＡエンジンは、プロセッサ要素アレイの１つの行及びプロセッサ要素アレイの１つの列にパラメータ値をブロードキャストする。アレイプロセッサシステムが、複数のワークグループプロセッサ（ＷＧＰ）をサポートする場合、各ＤＭＡエンジンは、ＤＭＡエンジンと関連付けられたＳＩＭＤユニット内に実装されたプロセッサ要素アレイの行と、ＷＧＰのＳＩＭＤユニットにわたって実装されたプロセッサ要素アレイの列と、にパラメータ値をブロードキャストする。例えば、第１のＤＭＡエンジンは、プロセッサ要素アレイの第１の行及びプロセッサ要素アレイの第１の列にパラメータ値をブロードキャストし、第２のＤＭＡエンジンは、プロセッサ要素アレイの第２の行及びプロセッサ要素アレイの第２の列にパラメータ値をブロードキャストし、第３のＤＭＡエンジンは、プロセッサ要素アレイの第３の行及びプロセッサ要素アレイの第３の列にパラメータ値をブロードキャストする等である。ＤＭＡエンジンを行／列の相互に排他的なセットと関連付けることにより、異なるプロセッサ要素アレイの入力値を保持するレジスタの同時ポピュレーションが可能になる。したがって、再使用されるパラメータ値をフェッチすることによって消費されるメモリファブリックの帯域幅が低減され、アレイプロセッサシステムの効率が増加する。
図１は、いくつかの実施形態による、アレイプロセッサ１０１において、共有オペランドの垂直及び水平ブロードキャストを実行する処理システム１００のブロック図である。処理システム１００は、ダイナミックランダムアクセスメモリ（Dynamic Random-Access Memory、ＤＲＡＭ）等の非一時的なコンピュータ可読記憶媒体を使用して実装されるメモリ１０５又は他の記憶コンポーネントを含むか、それらへのアクセスを有する。しかしながら、場合によっては、メモリ１０５は、スタティックランダムアクセスメモリ（Static Random-Access Memory、ＳＲＡＭ）、不揮発性ＲＡＭ等を含む他のタイプのメモリを使用して実装することもできる。メモリ１０５は、処理システム１００において実装される処理ユニットの外部に実装されるために外部メモリと呼ばれる。また、処理システム１００は、メモリ１０５等のように、処理システム１００において実装されるエンティティ間の通信をサポートするためのバス１１０を含む。処理システム１００のいくつかの実施形態は、他のバス、ブリッジ、スイッチ、ルータ等を含むが、これらは、明確にするために図１に示されていない。
本明細書で説明される技術は、様々な実施形態において、様々な並列プロセッサ（例えば、ベクトルプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、汎用ＧＰＵ（General-Purpose GPU、ＧＰＧＰＵ）、非スカラプロセッサ、高並列プロセッサ、人工知能（Artificial Intelligence、ＡＩ）プロセッサ、推論エンジン、機械学習プロセッサ、他のマルチスレッド処理ユニット等）の何れかで使用される。図１は、いくつかの実施形態による、並列プロセッサ、特に、ＧＰＵ１１５の一例を示している。ＧＰＵ１１５は、ディスプレイ１２０に提示するための画像をレンダリングする。例えば、ＧＰＵ１１５は、オブジェクトをレンダリングして、ディスプレイ１２０に提供されるピクセルの値を生成し、ディスプレイ１２０は、ピクセル値を使用して、レンダリングされたオブジェクトを表す画像を表示する。ＣＰＵ１１５は、命令を同時に又は並列に実行する複数のプロセッサコア１２１、１２２、１２３（本明細書では、集合的に「プロセッサコア１２１～１２３」と呼ばれる）を実装する。プロセッサコア１２１～１２３のいくつかの実施形態は、異なるデータセットに対して同じ演算を実行するＳＩＭＤユニットとして動作する。ＧＰＵ１１５内に実装されるプロセッサコア１２１～１２３の数は、設計上の選択の問題であり、ＧＰＵ１１５のいくつかの実施形態は、図１に示すよりも多い又は少ないプロセッサコアを含む。ＧＰＵ１１５のいくつかの実施形態は、汎用コンピューティングのために使用される。ＧＰＵ１１５は、メモリ１０５に記憶されたプログラムコード１２５等の命令を実行し、ＧＰＵ１１５は、実行された命令の結果等の情報をメモリ１０５に記憶する。
また、処理システム１００は、バス１１０に接続され、したがってバス１１０を介してＧＰＵ１１５及びメモリ１０５と通信する中央処理装置（ＣＰＵ）１３０を含む。ＣＰＵ１３０は、命令を同時に又は並列に実行する複数のプロセッサコア１３１、１３２、１３３（本明細書では集合的に「プロセッサコア１３１～１３３」と呼ばれる）を実装する。プロセッサコア１３１～１３３のいくつかの実施形態は、異なるデータセットに対して同じ演算を実行するＳＩＭＤユニットとして動作する。ＣＰＵ１３０において実装されるプロセッサコア１３１～１３３の数は、設計上の選択の問題であり、いくつかの実施形態は、図１に示すよりも多い又は少ないプロセッサコアを含む。プロセッサコア１３１～１３３は、メモリ１０５に記憶されたプログラムコード１３５等の命令を実行し、ＣＰＵ１３０は、実行された命令の結果等の情報をメモリ１０５に記憶する。また、ＣＰＵ１３０は、ＧＰＵ１１５にドローコールを発行することによって、グラフィック処理を開始することができる。ＣＰＵ１３０のいくつかの実施形態は、同時に又は並列に命令を実行する複数のプロセッサコア（明確化のために図１に示していない）を実装する。
入力／出力（input/output、Ｉ／Ｏ）エンジン１４５は、ディスプレイ１２０、並びにキーボード、マウス、プリンタ、外部ディスク等の処理システム１００の他の要素と関連付けられた入力又は出力動作を扱う。Ｉ／Ｏエンジン１４５は、Ｉ／Ｏエンジン１４５が、メモリ１０５、ＧＰＵ１１５又はＣＰＵ１３０と通信するようにバス１１０に結合される。図示した実施形態では、Ｉ／Ｏエンジン１４５は、コンパクトディスク（Compact Disc、ＣＤ）、デジタルビデオディスク（Digital Video Disc、ＤＶＤ）等の非一時的なコンピュータ可読記憶媒体を使用して実装される外部記憶コンポーネント１５０に記憶された情報を読み取る。また、Ｉ／Ｏエンジン１４５は、ＧＰＵ１１５又はＣＰＵ１３０による処理の結果等の情報を外部記憶コンポーネント１５０に書き込むことができる。
アレイプロセッサ１０１は、ＧＰＵ１１５、場合によっては、ＣＰＵ１３０の処理能力を補完する。プロセッサ要素アレイのセット１５５は、ＧＰＵ１１５が、セット１５５内のプロセッサ要素アレイのうち１つ以上にタスクをオフロードすることを可能にすることによって、ＧＰＵ１１５の性能を加速又は改善する動作を実行するために使用される。次いで、プロセッサ要素アレイは、結果をＧＰＵ１１５に返す。いくつかの実施形態では、プロセッサ要素アレイは、整数二進数に対して算術演算及びビット単位演算を実行する回路を含むベクトル演算論理ユニット（ＡＬＵ）として実装される。したがって、プロセッサ要素アレイは、１つ以上の入力（又はオペランド）を受け取り、オペランド、及び、プロセッサ要素アレイによって実行される演算を示すオペコードに基づいて、対応する出力を生成する。オペランド、オペコード及び他のステータス値は、プロセッサ要素アレイと関連付けられたレジスタに記憶される。
セット１５５内のプロセッサ要素アレイは、行及び列に分散される。以下で説明するように、アレイプロセッサ１０１は、（例えば、メモリ１０５から）パラメータ値を読み出し、パラメータ値のセットを、プロセッサ要素アレイの行及び列の相互に排他的なサブセットにブロードキャストするメモリインターフェースも含む。場合によっては、アレイプロセッサ１０１は、対応する行内のプロセッサ要素アレイのサブセットを含む単一命令複数データ（ＳＩＭＤ）ユニットと、ＳＩＭＤユニットのサブセットを含むワークグループプロセッサ（ＷＧＰ）と、パラメータ値を記憶する外部メモリ（例えば、メモリ１０５）と相互接続するように構成されたメモリファブリックと、を含む。メモリインターフェースは、メモリインターフェースと関連付けられた行内のプロセッサ要素アレイと、ＷＧＰ内のＳＩＭＤユニットにわたって実装されているプロセッサ要素アレイの列と、を含むＳＩＭＤユニットにパラメータ値をブロードキャストする。メモリインターフェースは、メモリファブリックを介して、外部メモリからパラメータ値にアクセスする。
図２は、いくつかの実施形態による、パラメータ値の垂直及び水平ブロードキャストをサポートする処理システムの一部（部分）２００のブロック図である。部分２００は、図１に示されるアレイプロセッサ１０１のいくつかの実施形態を実装するために使用される。部分２００は、コンピュートユニット２１０、２１５の対を実装するＷＧＰ２０５、２０６、２０７、２０８（本明細書では、集合的に「ＷＧＰ２０５～２０８」と呼ばれる）のセットを含む。コンピュートユニット２１０、２１５は、明確にするためにＷＧＰ２０５内にのみ示されているが、ＷＧＰ２０６～２０８もコンピュートユニットの対を含む。部分２００のいくつかの実施形態は、より多くの又はより少ないＷＧＰ及び対応するコンピュートユニットを実装する。
ＷＧＰ２０５～２０８は、ＳＩＭＤユニット２２０、２２１、２２２、２２３（本明細書では、集合的に「ＳＩＭＤユニット２２０～２２３」と呼ばれる）と、ダイレクトメモリアクセス（ＤＭＡ）エンジン２２５、２３０等のメモリインターフェースと、を含む。また、メモリインターフェースのいくつかの実施形態は、ＤＭＡエンジン２２５、２３０と連動して動作するＴＡ／ＴＤ論理インターフェース及びＴＣＰインターフェースを含む。ＳＩＭＤユニット２２０～２２３の各々は、プロセッサ要素アレイのセットの一部を実装する。図示した実施形態では、ＳＩＭＤユニット２２１は、プロセッサ要素アレイ２４０、２４１、２４２、２４３（本明細書では、集合的に「プロセッサ要素アレイ２４０～２４３」と呼ばれる）のサブセット２３５を含み、ＳＩＭＤユニット２２３は、プロセッサ要素アレイ２５０、２５１、２５２、２５３（本明細書では、集合的に「プロセッサ要素アレイ２５０～２５３」と呼ばれる）のサブセット２４５を含む。ＳＩＭＤユニット２２０、２２２も、明確にするために、図２に示されていないプロセッサ要素アレイの他のサブセットを含む。
ＤＭＡエンジン２２５、２３０は、ＤＭＡエンジン２２５、２３０と、ＳＲＡＭ２６０等のランダムアクセスメモリ（Random-Access Memory、ＲＡＭ）と、の間に１つ以上のチャネルを提供するメモリファブリック２５５に接続されている。図示した実施形態では、ＳＲＡＭ２６０は、図１に示されるメモリ１０５等のシステムメモリ２６５に接続されている。また、部分２００は、ＷＧＰ２０５～２０８及びメモリファブリック２５５と通信する非同期コンピュートエンジン２７０を含む。
ＤＭＡエンジン２２５、２３０は、メモリファブリック２５５を介して、ＳＲＡＭ２６０又はシステムメモリ２６５からパラメータ値をフェッチする。フェッチされたパラメータ値は、次に、プロセッサ要素アレイ２４０～２４３、２５０～２５３を含むプロセッサ要素アレイの相互に排他的なサブセットにブロードキャストされる。いくつかの実施形態では、ＤＭＡエンジン２２５、２３０は、プロセッサ要素アレイのセットの対応する行及び列内のプロセッサ要素アレイにパラメータ値をブロードキャストする。例えば、ＤＭＡエンジン２２５は、第１の行（例えば、プロセッサ要素アレイ２４０～２４３を含む行）及び第１の列（例えば、プロセッサ要素アレイ２４０、２５０を含む列）内のプロセッサ要素アレイに第１のパラメータ値をブロードキャストすることができる。ＤＭＡエンジン２３０は、第２の行（例えば、プロセッサ要素アレイ２５０～２５３）及び第２の列（例えば、プロセッサ要素アレイ２４１、２５１）内のプロセッサ要素アレイに第２のパラメータ値をブロードキャストすることができる。この場合、プロセッサ要素アレイ２４０～２４３のサブセット及び１つの行は、別の行内のプロセッサ要素アレイ２５０～２５３のサブセットに対して相互に排他的である。プロセッサ要素アレイ２４０、２５０を含む列内のプロセッサ要素アレイのサブセットは、プロセッサ要素アレイ２４１、２５１を含む列内のプロセッサ要素アレイのサブセットに対して相互に排他的である。したがって、ＤＭＡエンジン２２５、２３０は、行及び列の相互に排他的なサブセット中のプロセッサ要素アレイと関連付けられたレジスタに、それらの対応するフェッチされたパラメータ値を同時にポピュレートする。
図３は、いくつかの実施形態による、プロセッサ要素アレイの相互に排他的なサブセットへのパラメータ値の垂直及び水平ブロードキャストを実装するアレイプロセッサ３００のブロック図である。アレイプロセッサ３００は、図１に示されるアレイプロセッサ１０１のいくつかの実施形態を実装するために使用される。アレイプロセッサ３００は、図１に示されるメモリ１０５又は図２に示されるメモリ２６０、２６５等のメモリからパラメータをフェッチするＤＭＡエンジン３０１、３０２、３０３、３０４（本明細書では、集合的に「ＤＭＡエンジン３０１～３０４」と呼ばれる）を含む。また、アレイプロセッサ３００は、プロセッサ要素アレイ３１１、３１２、３１３、３１４、３２１、３２２、３２３、３２４、３３１、３３２、３３３、３３４、３４１、３４２、３４３、３４４、３５１、３５２、３５３、３５４、３６１、３６２、３６３、３６４、３７１、３７２、３７３、３７４、３８１、３８２、３８３、及び３８４（本明細書では、簡潔にするために、集合的に「プロセッサ要素アレイ３１１～３８４」と呼ばれ、したがって、ハイフンは、３１１と３８４との間の数字の連続シーケンスを示すことを意図しない）の対応するサブセットを使用して実装されるＳＩＭＤユニット３１０、３２０、３３０、３４０、３５０、３６０、３７０、３８０を含む。ＳＩＭＤユニット３１０、３２０、３３０、３４０、３５０、３６０、３７０、３８０のいくつかの実施形態は、異なるＷＧＰ内に実装される。例えば、第１のＷＧＰは、ＳＩＭＤユニット３１０、３２０を実装し、第２のＷＧＰは、ＳＩＭＤユニット３３０、３４０を実装し、第３のＷＧＰは、ＳＩＭＤユニット３５０、３６０を実装し、第４のＷＧＰは、ＳＩＭＤユニット３７０、３８０を実装し得る。
ＤＭＡエンジン３０１～３０４は、プロセッサ要素アレイ３１１～３８４の相互に排他的なサブセットと相互接続される。図示した実施形態では、ＤＭＡエンジン３０１～３０４は、物理的接続を使用して、プロセッサ要素アレイ３１１～３８４のアレイ内の相互に排他的な行及び列に相互接続され、ワイヤ、トレース等を含む。ＤＭＡエンジン３０１は、物理的接続３９１によって、プロセッサ要素アレイ３１１～３１４、３２１～３２４を含む行、及び、プロセッサ要素アレイ３１１、３３１、３５１、３７１を含む列に接続されている。したがって、ＤＭＡエンジン３０１は、メモリからフェッチされたパラメータ値を、プロセッサ要素アレイ３１１～３１４、３２１～３２４、プロセッサ要素アレイ３１１、３３１、３５１、３７１、これらのプロセッサ要素アレイのサブセット、又は、それらの組み合わせにブロードキャストすることができる。ＤＭＡエンジン３０２は、物理的接続３９２によって、プロセッサ要素アレイ３３１～３３４、３４１～３４４を含む行、及び、プロセッサ要素アレイ３１２、３３２、３５２、３７２を含む列に接続されている。したがって、ＤＭＡエンジン３０２は、メモリからフェッチされたパラメータ値を、プロセッサ要素アレイ３３１～３３４、３４１～３４４、プロセッサ要素アレイ３１２、３３２、３５２、３７２、これらのプロセッサ要素アレイのサブセット、又は、それらの組み合わせにブロードキャストすることができる。ＤＭＡエンジン３０３は、物理的接続３９３によって、プロセッサ要素アレイ３５１～３５４、３６１～３６４を含む行、及び、プロセッサ要素アレイ３１３、３３３、３５３、３７３を含む列に接続されている。したがって、ＤＭＡエンジン３０３は、メモリからフェッチされたパラメータ値を、プロセッサ要素アレイ３５１～３５４、３６１～３６４、プロセッサ要素アレイ３１３、３３３、３５３、３７３、これらのプロセッサ要素アレイのサブセット、又は、それらの組み合わせにブロードキャストすることができる。ＤＭＡエンジン３０４は、物理的接続３９４によって、プロセッサ要素アレイ３７１～３７４、３８１～３８４を含む行、及び、プロセッサ要素アレイ３２４、３４４、３６４、３８４を含む列に接続されている。したがって、ＤＭＡエンジン３０４は、メモリからフェッチされたパラメータ値を、プロセッサ要素アレイ３７１～３７４、３８１～３８４、プロセッサ要素アレイ３２４、３４４、３６４、３８４、これらのプロセッサ要素アレイのサブセット、又は、それらの組み合わせにブロードキャストすることができる。
図４は、いくつかの実施形態による、プロセッサ要素アレイの行又は列にパラメータ値をブロードキャストする方法４００のフロー図である。方法４００は、図１に示される処理システム１００、図２に示される処理システムの一部２００、及び、図３に示されるアレイプロセッサ３００のいくつかの実施形態で実装される。
方法４００は、ブロック４０１で開始する。ブロック４０５において、１つ以上のメモリインターフェース（ＤＭＡエンジン等）は、メモリからのＳＩＭＤ命令のための対応するパラメータ値にアクセスする。ブロック４１０において、ＤＭＡエンジンは、プロセッサ要素アレイの相互に排他的な列又は行にパラメータ値をブロードキャストする。本明細書で説明するように、ＤＭＡエンジンは、ＤＭＡエンジンと、プロセッサ要素アレイの列又は行の相互に排他的なサブセットと、の間の物理的相互接続を使用してパラメータ値をブロードキャストする。
決定ブロック４１５において、システムは、追加のパラメータ値がメモリからフェッチされるべきかどうかを判定する。そうである場合、方法４００は、ブロック４０５に戻り、追加のパラメータ値がメモリからフェッチされる。フェッチすべき追加のパラメータ値がない場合、方法４００はブロック４２０に進み、方法４００は終了する。
いくつかの実施形態では、上述した装置及び技術は、図１～図４を参照して上述したアレイプロセッサ等の１つ以上の集積回路（Integrated Circuit、ＩＣ）デバイス（集積回路パッケージ又はマイクロチップとも呼ばれる）を含むシステムに実装される。電子設計自動化（electronic design automation、ＥＤＡ）及びコンピュータ支援設計（computer aided design、ＣＡＤ）ソフトウェアツールは、これらのＩＣデバイスの設計及び製造に使用することができる。これらの設計ツールは、典型的には、１つ以上のソフトウェアプログラムとして表される。１つ以上のソフトウェアプログラムは、回路を製造するための製造システムを設計するか又は適応させるためのプロセスの少なくとも一部を実行するために、１つ以上のＩＣデバイスの回路を表すコードで動作するようにコンピュータシステムを操作するための、コンピュータシステムによって実行可能なコードを含む。このコードは、命令、データ、又は、命令及びデータの組み合わせを含み得る。設計ツール又は製造ツールを表すソフトウェア命令は、典型的には、コンピューティングシステムにアクセス可能なコンピュータ可読記憶媒体に記憶される。同様に、ＩＣデバイスの設計又は製造の１つ以上の段階を表すコードは、同じコンピュータ可読記憶媒体又は異なるコンピュータ可読記憶媒体に記憶され、そこからアクセスされる。
コンピュータ可読記憶媒体は、命令及び／又はデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の非一時的な記憶媒体又は非一時的な記憶媒体の組み合わせを含む。このような記憶媒体には、限定されないが、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）若しくはキャッシュ）、不揮発性メモリ（例えば、読取専用メモリ（ＲＯＭ）若しくはフラッシュメモリ）、又は、微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体が含まれ得る。コンピュータ可読記憶媒体（例えば、システムＲＡＭ又はＲＯＭ）はコンピューティングシステムに内蔵されてもよいし、コンピュータ可読記憶媒体（例えば、磁気ハードドライブ）はコンピューティングシステムに固定的に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、光学ディスク又はユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）はコンピューティングシステムに着脱可能に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））は有線又は無線ネットワークを介してコンピュータシステムに結合されてもよい。
いくつかの実施形態では、上述した技術の特定の態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装される。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶されるか、別の方法で明確に具体化された実行可能命令の１つ以上のセットを含む。ソフトウェアは、命令及び特定のデータを含んでもよく、当該命令及び特定のデータは、１つ以上のプロセッサによって実行されると、上述した技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する。非一時的なコンピュータ可読記憶媒体は、例えば、磁気又は光ディスク記憶デバイス、フラッシュメモリ等のソリッドステート記憶デバイス、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、又は、他の不揮発性メモリデバイス（単数又は複数）等を含み得る。非一時的なコンピュータ可読記憶媒体に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、又は、１つ以上のプロセッサによって解釈され若しくは別の方法で実行可能な他の命令形式で実装可能である。
上述したものに加えて、概要説明において説明した全てのアクティビティ又は要素が必要とされているわけではなく、特定のアクティビティ又はデバイスの一部が必要とされない場合があり、１つ以上のさらなるアクティビティが実行される場合があり、１つ以上のさらなる要素が含まれる場合があることに留意されたい。さらに、アクティビティが列挙された順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明された。しかしながら、当業者であれば、特許請求の範囲に記載されているような本発明の範囲から逸脱することなく、様々な変更及び変形を行うことができるのを理解するであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮されるべきであり、これらの変更形態の全ては、本発明の範囲内に含まれることが意図される。
利益、他の利点及び問題に対する解決手段を、特定の実施形態に関して上述した。しかし、利益、利点、問題に対する解決手段、及び、何かしらの利益、利点若しくは解決手段が発生又は顕在化する可能性のある特徴は、何れか若しくは全ての請求項に重要な、必須の、又は、不可欠な特徴と解釈されない。さらに、開示された発明は、本明細書の教示の利益を有する当業者には明らかな方法であって、異なっているが同様の方法で修正され実施され得ることから、上述した特定の実施形態は例示にすぎない。添付の特許請求の範囲に記載されている以外に本明細書に示されている構成又は設計の詳細については限定がない。したがって、上述した特定の実施形態は、変更又は修正されてもよく、かかる変更形態の全ては、開示された発明の範囲内にあると考えられることが明らかである。したがって、ここで要求される保護は、添付の特許請求の範囲に記載されている。

Claims (17)

  1. 装置であって、
    行及び列に分散されたプロセッサ要素アレイであって、前記プロセッサ要素アレイは、パラメータ値に対して演算を実行するように構成されている、プロセッサ要素アレイと、
    前記パラメータ値のセットを前記プロセッサ要素アレイの行及び列の相互に排他的なサブセットにブロードキャストするように構成されたメモリインターフェースと、を備える、
    装置。
  2. 前記プロセッサ要素アレイは、ベクトル演算論理ユニット（ＡＬＵ）プロセッサを備え、前記メモリインターフェースは、ダイレクトメモリアクセス（ＤＭＡ）エンジンを備える、
    請求項１の装置。
  3. 前記メモリインターフェースの各々は、前記パラメータ値を、前記行のうち対応する行及び前記列のうち対応する列の前記プロセッサ要素アレイにブロードキャストする、
    請求項１又は２の装置。
  4. 前記メモリインターフェースのうち第１のメモリインターフェースは、第１のパラメータ値を、第１の行及び第１の列の前記プロセッサ要素アレイにブロードキャストし、前記メモリインターフェースのうち第２のメモリインターフェースは、第２のパラメータ値を、第２の行及び第２の列の前記プロセッサ要素アレイにブロードキャストする、
    請求項３の装置。
  5. 前記メモリインターフェースは、個別の物理的接続を介して、前記プロセッサ要素アレイの行及び列の相互に排他的なサブセットに接続されている、
    請求項１～４の何れかの装置。
  6. 前記メモリインターフェースは、前記パラメータ値を、前記行及び列の相互に排他的なサブセットの前記プロセッサ要素アレイと関連付けられたレジスタに同時にポピュレートするように構成されている、
    請求項１～５の何れかの装置。
  7. 対応する行の前記プロセッサ要素アレイのサブセットを備える単一命令複数データ（ＳＩＭＤ）ユニットを更に備え、
    前記メモリインターフェースは、前記パラメータ値を、前記メモリインターフェースと関連付けられた行の前記プロセッサ要素アレイを備える前記ＳＩＭＤユニットにブロードキャストする、
    請求項１～６の何れかの装置。
  8. 前記ＳＩＭＤユニットのサブセットを備えるワークグループプロセッサを更に備え、
    前記メモリインターフェースは、前記パラメータ値を、前記ワークグループプロセッサの前記ＳＩＭＤユニットにわたって実装されているプロセッサ要素アレイの列にブロードキャストする、
    請求項７の装置。
  9. 前記パラメータ値を記憶する外部メモリと相互接続するように構成されたメモリファブリックを更に備え、
    前記メモリインターフェースは、前記メモリファブリックを介して、前記外部メモリから前記パラメータ値にアクセスするように構成されている、
    請求項１～８の何れかの装置。
  10. 方法であって、
    メモリインターフェースを介して、メモリからパラメータ値をフェッチすることと、
    前記メモリインターフェースから、プロセッサ要素アレイの行及び列の相互に排他的なサブセットに前記パラメータ値をブロードキャストすることと、
    前記プロセッサ要素アレイにおいて、前記パラメータ値に対して演算を実行することと、を含む、
    方法。
  11. 前記メモリインターフェースから前記パラメータ値をブロードキャストすることは、前記メモリインターフェースの各々から、前記行のうち対応する行及び前記列のうち対応する列の前記プロセッサ要素アレイに前記パラメータ値をブロードキャストすることを含む、
    請求項１０の方法。
  12. 前記パラメータ値をブロードキャストすることは、前記メモリインターフェースのうち第１のメモリインターフェースから第１の行及び第１の列の前記プロセッサ要素アレイに第１のパラメータ値をブロードキャストすることを含み、前記パラメータ値をブロードキャストすることは、前記メモリインターフェースのうち第２のメモリインターフェースから第２の行及び第２の列の前記プロセッサ要素アレイに第２のパラメータ値をブロードキャストすることを含む、
    請求項１１の方法。
  13. 前記パラメータ値をブロードキャストすることは、前記メモリインターフェースと、前記対応する行及び列と、の間の個別の物理的接続を介して、前記パラメータ値をブロードキャストすることを含む、
    請求項１０の方法。
  14. 前記パラメータ値をブロードキャストすることは、前記行及び列の相互に排他的なサブセットの前記プロセッサ要素アレイと関連付けられたレジスタに前記パラメータ値を同時にポピュレートすることを含む、
    請求項１０の方法。
  15. 各行の前記プロセッサ要素アレイのサブセットは、対応する単一命令複数データ（ＳＩＭＤ）ユニットに実装されており、前記パラメータ値をブロードキャストすることは、前記メモリインターフェースと関連付けられた行の前記プロセッサ要素アレイを備える前記ＳＩＭＤユニットに前記パラメータ値をブロードキャストすることを含む、
    請求項１０の方法。
  16. 前記ＳＩＭＤユニットのサブセットは、対応するワークグループプロセッサに実装されており、前記パラメータ値をブロードキャストすることは、前記ワークグループプロセッサの前記ＳＩＭＤユニットにわたって実装されている前記プロセッサ要素アレイの列に前記パラメータ値をブロードキャストすることを含む、
    請求項１５の方法。
  17. 前記パラメータ値をフェッチすることは、前記パラメータ値を記憶する前記メモリと相互接続するように構成されたメモリファブリックを介して、前記パラメータ値にアクセスすることを含む、
    請求項１０～１６の何れかの方法。
JP2023514867A 2020-09-25 2021-09-24 共有オペランドの垂直及び水平ブロードキャスト Pending JP2023542835A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/032,307 2020-09-25
US17/032,307 US11635967B2 (en) 2020-09-25 2020-09-25 Vertical and horizontal broadcast of shared operands
PCT/US2021/051892 WO2022066998A1 (en) 2020-09-25 2021-09-24 Vertical and horizontal broadcast of shared operands

Publications (1)

Publication Number Publication Date
JP2023542835A true JP2023542835A (ja) 2023-10-12

Family

ID=80822569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023514867A Pending JP2023542835A (ja) 2020-09-25 2021-09-24 共有オペランドの垂直及び水平ブロードキャスト

Country Status (6)

Country Link
US (2) US11635967B2 (ja)
EP (1) EP4217856A1 (ja)
JP (1) JP2023542835A (ja)
KR (1) KR20230069952A (ja)
CN (1) CN116420136A (ja)
WO (1) WO2022066998A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995030B1 (en) * 2022-11-10 2024-05-28 Azurengine Technologies, Inc. Reconfigurable parallel processor with stacked columns forming a circular data path

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023753A (en) * 1997-06-30 2000-02-08 Billion Of Operations Per Second, Inc. Manifold array processor
US6898691B2 (en) * 2001-06-06 2005-05-24 Intrinsity, Inc. Rearranging data between vector and matrix forms in a SIMD matrix processor
JP5076418B2 (ja) * 2006-09-19 2012-11-21 ソニー株式会社 共有メモリ装置
US8923510B2 (en) * 2007-12-28 2014-12-30 Intel Corporation Method and apparatus for efficiently implementing the advanced encryption standard
GB2457310B (en) * 2008-02-11 2012-03-21 Picochip Designs Ltd Signal routing in processor arrays
US20190377580A1 (en) 2008-10-15 2019-12-12 Hyperion Core Inc. Execution of instructions based on processor and data availability
US8699622B2 (en) * 2010-01-04 2014-04-15 Allen LeRoy Limberg Methods and apparatuses for implementing selective interference-filter pre-coding of main-service 8-VSB DTV signals
US10353860B2 (en) 2015-10-08 2019-07-16 Via Alliance Semiconductor Co., Ltd. Neural network unit with neural processing units dynamically configurable to process multiple data sizes
KR102369209B1 (ko) 2017-02-23 2022-02-28 세레브라스 시스템즈 인코포레이티드 가속화된 심층 학습
US10564980B2 (en) 2018-04-03 2020-02-18 Intel Corporation Apparatus, methods, and systems for conditional queues in a configurable spatial accelerator

Also Published As

Publication number Publication date
EP4217856A1 (en) 2023-08-02
CN116420136A (zh) 2023-07-11
WO2022066998A1 (en) 2022-03-31
KR20230069952A (ko) 2023-05-19
US11635967B2 (en) 2023-04-25
US20220100528A1 (en) 2022-03-31
US20230289191A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
CN107315574B (zh) 一种用于执行矩阵乘运算的装置和方法
US10140251B2 (en) Processor and method for executing matrix multiplication operation on processor
WO2019201656A1 (en) Method for accelerating operations and accelerator apparatus
CN109416755B (zh) 人工智能并行处理方法、装置、可读存储介质、及终端
US11321092B1 (en) Tensor-based memory access
US8370845B1 (en) Method for synchronizing independent cooperative thread arrays running on a graphics processing unit
US11120328B1 (en) Systems and methods for reducing power consumption of convolution operations for artificial neural networks
US11409840B2 (en) Dynamically adaptable arrays for vector and matrix operations
US20230289191A1 (en) Vertical and horizontal broadcast of shared operands
JP6551751B2 (ja) マルチプロセッサ装置
CN112765540A (zh) 数据处理方法、装置及相关产品
US20240111530A1 (en) Matrix multiplication unit with flexible precision operations
JP6818010B2 (ja) ベクトル長クエリ命令
US8473948B1 (en) Method for synchronizing independent cooperative thread arrays running on a graphics processing unit
US11630667B2 (en) Dedicated vector sub-processor system
US11995149B2 (en) Sparse matrix-vector multiplication
JP7490766B2 (ja) 演算論理回路レジスタの順序付け
JPH0616287B2 (ja) マスク付きベクトル演算処理装置
WO2024200990A1 (en) Technique for efficient multiplication of vectors of complex numbers
TW202411860A (zh) 多外積指令
WO2023199015A1 (en) Technique for handling data elements stored in an array storage
WO2023199014A1 (en) Technique for handling data elements stored in an array storage
CN111860799A (zh) 运算装置
CN115993951A (zh) 用于重用乘法累加运算的矩阵乘法的装置、方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240809