JP7256914B2 - ベクトル縮小プロセッサ - Google Patents

ベクトル縮小プロセッサ Download PDF

Info

Publication number
JP7256914B2
JP7256914B2 JP2022063377A JP2022063377A JP7256914B2 JP 7256914 B2 JP7256914 B2 JP 7256914B2 JP 2022063377 A JP2022063377 A JP 2022063377A JP 2022063377 A JP2022063377 A JP 2022063377A JP 7256914 B2 JP7256914 B2 JP 7256914B2
Authority
JP
Japan
Prior art keywords
vector
reduction
cell
input vector
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022063377A
Other languages
English (en)
Other versions
JP2022095817A (ja
Inventor
トーソン,グレゴリー・マイケル
フェルプス,アンドリュー・エバレット
テマム,オリビエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2022095817A publication Critical patent/JP2022095817A/ja
Priority to JP2023058509A priority Critical patent/JP7485820B2/ja
Application granted granted Critical
Publication of JP7256914B2 publication Critical patent/JP7256914B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/80Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053Vector processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001Arithmetic instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3877Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3893Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled in tandem, e.g. multiplier-accumulator
    • G06F9/3895Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled in tandem, e.g. multiplier-accumulator for complex operations, e.g. multidimensional or interleaved address generators, macros
    • G06F9/3897Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled in tandem, e.g. multiplier-accumulator for complex operations, e.g. multidimensional or interleaved address generators, macros with adaptable data path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Complex Calculations (AREA)
  • Image Processing (AREA)
  • Peptides Or Proteins (AREA)

Description

背景
本明細書は、ハードウェアにおけるベクトル縮小の実行に関する。
一般的に、ベクトル縮小は、入力ベクトルの要素に対して実行されて、スカラー出力、または入力ベクトルよりも次元が小さい出力ベクトルを生成する演算である。たとえば、合計ベクトル縮小演算は、入力ベクトルの要素の合計に等しいスカラー出力を生成することができる。いくつかの例では、入力ベクトルの複数のセグメントに対してそれぞれのベクトル縮小演算を実行することができる。セグメント化ベクトル縮小演算は、各要素が入力ベクトルのセグメントを縮小したものである出力ベクトルを生成する。たとえば、セグメント化合計ベクトル縮小演算は、各要素が入力ベクトルのセグメントの要素の合計である出力ベクトルを生成することができる。
概要
概して、本明細書はベクトル縮小を計算する専用ハードウェア回路について説明する。
概して、本明細書に記載の主題の1つの革新的な側面は、複数の要素からなる入力ベクトルを縮小するように構成されたベクトル縮小回路において実現することができる。ベクトル縮小回路は複数のセルを備える。入力ベクトルの指定された第1の要素を受ける指定された第1のセル以外の上記複数のセルの各々は、入力ベクトルの特定の要素を受け、複数のセルのうちの別のセルから一時縮小要素を受け、特定の要素と一時縮小要素とを用いて縮小演算を実行し、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果を、新たな一時縮小要素として与えるように、構成されている。ベクトル縮小回路は、入力ベクトルの最後の要素を用いて縮小演算を実行した結果に相当する新たな一時縮小要素を、入力ベクトルを縮小したものとして出力するために与えるように構成された、出力回路を備える。
実装形態は任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、縮小演算は最大値縮小演算であり、特定の要素と一時縮小要素とを用いて縮小演算を実行することは、特定の要素と一時縮小要素とを比較することと、少なくとも比較に基づき、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果として、特定の要素と一時縮小要素とのうちで最大のものを判断することとを含む。縮小演算は最大値縮小演算であり、特定の要素と一時縮小要素とを用いて縮小演算を実行することは、特定の要素と一時縮小要素とを比較することと、少なくとも比較に基づき、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果として、特定の要素と一時縮小要素とのうちで最大のものを判断することとを含む。
実装形態はまた、任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、縮小演算は合計縮小演算であり、特定の要素と記一時縮小要素とを用いて縮小演算を実行することは、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果として、特定の要素と一時縮小要素との合計を求めることを含む。縮小演算は積縮小演算であり、特定の要素と一時縮小要素とを用いて縮小演算を実行することは、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果として、特定の要素と一時縮小要素との積を求めることを含む。
実装形態はまた、任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、縮小演算は最大インデックス演算であり、特定の要素と一時縮小要素とを用いて縮小演算を実行することは、一時縮小要素に対応するインデックスを示すデータを受けることと、特定の要素と一時縮小要素とを比較することと、少なくとも比較に基づいて、特定の要素と一時縮小要素とのうちで最大のものを判断することと、少なくとも判断に基づき、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果として、特定の要素に対応するインデックスまたは一時縮小要素に対応するインデックスのうちの一方を、識別することとを含む。
実装形態はまた、任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、縮小演算は最小インデックス演算であり、特定の要素と一時縮小要素とを用いて縮小演算を実行することは、一時縮小要素に対応するインデックスを示すデータを受けることと、特定の要素と一時縮小要素とを比較することと、少なくとも比較に基づいて、特定の要素と一時縮小要素とのうちで最小のものを判断することと、少なくとも判断に基づき、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果として、特定の要素に対応するインデックスまたは一時縮小要素に対応するインデックスのうちの一方を、識別することとを含む。
実装形態はまた、任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、入力ベクトルの特定の要素を、要素のスタッガード入力として受ける。入力ベクトルは、複数の要素からなる複数のセグメントを含むものとして識別される。入力ベクトルの特定の要素は、入力ベクトルの特定のセグメントの指定された最後の要素であり、入力ベクトルの指定された第1の要素を受ける指定された第1のセル以外の複数のセルの各々は、出力回路に対し、入力ベクトルの特定のセグメントを縮小したものとして、入力ベクトルの特定のセグメントの指定された最後の要素と一時縮小要素とを用いて縮小演算を実行した結果を与えるように構成される。入力ベクトルの特定のセグメントの指定された最後の要素と一時縮小要素とを用いて縮小演算を実行した結果を、新たな一時縮小要素として与えることは、複数のセルのうちの別のセルに、新たな一時縮小要素として、プレースホルダー信号を与えることを含む。出力回路は、入力ベクトルを縮小したものとして出力するために、複数の要素を与えるように構成され、複数の要素の各々は、入力ベクトルのセグメントの指定された最後の要素を用いて縮小演算を実行した結果に相当する新たな一時縮小要素である。出力回路は、入力ベクトルを縮小したものとして出力するために、複数の要素を含む出力ベクトルを与えるように構成されている。
実装形態はまた、任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、ベクトル縮小回路は、複数の要素からなる制御ベクトルを受けるように構成された制御レジスタを備え、要素からなる制御ベクトルは、入力ベクトルの要素からなる複数のセグメントを指定する。特定の要素と一時縮小要素とを用いて縮小演算を実行した結果を、新たな一時縮小要素として与えることは、特定の要素に対応する制御ベクトルの特定の要素を受けることと、少なくとも制御ベクトルの特定の要素に基づいて、特定の要素は入力ベクトルの特定のセグメントの最後の要素として指定されると判断することと、少なくとも判断に基づいて、出力回路に対し、入力ベクトルの特定のセグメントの最後の要素として指定された特定の要素と、一時縮小要素とを用いて縮小演算を実行した結果を、入力ベクトルの特定のセグメントを縮小したものとして与えることとを含む。
実装形態はまた、任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、特定の要素と一時縮小要素とを用いて縮小演算を実行した結果を、新たな一時縮小要素として与えることは、特定の要素に対応する制御ベクトルの特定の要素を受けることと、少なくとも制御ベクトルの特定の要素に基づいて、特定の要素は入力ベクトルの
特定のセグメントの最後の要素として指定されると判断することと、少なくとも判断に基づいて、複数のセルのうちの別のセルに対し、プレースホルダー信号を与えることとを含む。特定の要素と一時縮小要素とを用いて縮小演算を実行した結果を、新たな一時縮小要素として与えることは、特定の要素に対応する制御ベクトルの特定の要素を受けることと、少なくとも制御ベクトルの特定の要素に基づいて、特定の要素は入力ベクトルの特定のセグメントの最後の要素として指定されないと判断することと、少なくとも判断に基づいて、複数のセルのうちの別のセルに対し、入力ベクトルの特定のセグメントの最後の要素として指定されない特定の要素と、一時縮小要素とを用いて縮小演算を実行した結果を、新たな一時縮小要素として与えることとを含む。
実装形態はまた、任意で以下の特徴のうちの1つ以上を含み得る。いくつかの実装形態において、出力回路は、ベクトルまたは行列の置換を計算するように構成された置換回路に対し、入力ベクトルを縮小したものを与える。複数のセルの各々は、特定の要素と一時縮小要素とを用いて実行する縮小演算のタイプを指定する制御信号を受けるように構成されている。一時縮小要素は、入力ベクトルの特定の要素に先行する前記入力ベクトルの要素に対して指定された縮小演算を実行した結果に相当する。
本願に記載の主題の特定の実施形態は、以下の利点のうちの1つ以上を得るために実現することができる。ベクトル縮小は、専用ハードウェア回路によりハードウェアで実行することができる。専用ハードウェア回路は、汎用プロセッサ(たとえばGPUまたはCPU)よりも少ないサイクルでベクトル縮小を実行することができる。加えて、専用ハードウェア回路を用いてハードウェアでベクトル縮小を計算することにより、ベクトル縮小を、ホストコンピュータにデータを送り返すことなく、すなわち、計算の少なくとも一部をオフチップまたはソフトウェアで実行することなく、実行することが可能である。結果として、専用ハードウェア回路よりも多い汎用プロセッサ(たとえばGPUまたはCPU)サイクル数の実行を要する高コストの計算となり得るオフチップまたはソフトウェアでのベクトル縮小計算において生じる処理遅延は、回避される。
ベクトル縮小を計算するように特別に設計されたハードウェア回路を用いることにより、一般的な行列もしくはベクトル処理ハードウェア回路においてベクトル縮小を実行するシステムよりも、たとえば、さらに行列畳み込みもしくはその他の行列-ベクトル計算を実行するように構成されているシステムよりも、または、たとえばベクトル縮小および行列転置計算双方を実行するように構成されている、別の専用ハードウェア回路においてベクトル縮小を実行するシステムよりも、高い効率で処理を行うことが可能である。専用ハードウェア回路上でベクトル縮小演算を実現することにより、他の行列-ベクトル計算機能または効率に配慮することなくベクトル縮小を効率的に処理し、かつ、その他の行列またはベクトル処理回路をその他の行列またはベクトル計算を実行するために確保することにより、ハードウェアにおける行列-ベクトル計算の効率を包括的に高める設計が、可能である。
本明細書の主題の1つ以上の実施形態の詳細が添付の図面および以下の説明に記載される。この主題のその他の特徴、側面、および利点は、この説明、図面、および請求項から明らかになるであろう。
行列-ベクトル処理システムの一例を示す図である。 ベクトル縮小ユニットを含む行列-ベクトル処理システムの一例を示す図である。 行列-ベクトル処理システム内のベクトル縮小ユニットのアーキテクチャの一例を示す図である。 行列-ベクトル処理システム内のベクトル縮小ユニットのアーキテクチャの一例を示す図である。 行列-ベクトル処理システム内のベクトル縮小ユニットのセルのアーキテクチャの一例を示す図である。 行列-ベクトル処理システムにおいてベクトル縮小を実行する方法の一例のフロー図である。 行列-ベクトル処理システム内のベクトル縮小ユニットを用いるベクトル縮小の一例を示す図である。 行列-ベクトル処理システム内のベクトル縮小ユニットを用いるベクトル縮小の一例を示す図である。
各種図面における同様の参照番号および名称は同様の要素を示す。
詳細な説明
ベクトル縮小は、複数の要素からなる入力ベクトルに対して実行されることにより、スカラーである出力、または入力ベクトルよりも小さいすなわち低次元の複数の要素からなるベクトルである出力を生成するための、演算である。たとえば、合計ベクトル縮小演算は、入力ベクトルの要素の合計であるスカラー出力を生成する。別の例として、最大値または最小値ベクトル縮小演算はそれぞれ、入力ベクトルの要素のうちの最大または入力ベクトルの要素のうちの最小である、スカラー出力を生成する。同様に、最大インデックスまたは最小インデックスベクトル縮小演算はそれぞれ、入力ベクトルの最大値または入力ベクトルの最小値の、入力ベクトルのインデックスを示す出力を生成する。その他のベクトル縮小演算が可能であり、たとえば、入力ベクトルの要素の積に相当するスカラー出力を生成する積ベクトル縮小演算、入力ベクトルの要素の算術平均に相当するスカラー出力を生成する平均ベクトル縮小演算などである。
いくつかの実装形態において、入力ベクトルをセグメント化してもよく、入力ベクトルのセグメントのうちの1つ以上に対してそれぞれのベクトル縮小演算を実行してもよい。入力ベクトルの複数のセグメント各々に対して対応するベクトル縮小演算を実行することにより、出力ベクトルを生成する。出力ベクトルの各要素は、入力ベクトルの対応するセグメントに対してベクトル縮小演算を実行した結果に相当する。たとえば、3つのセグメントに分割した入力ベクトルに対して実行したベクトル縮小演算の出力は、3つの要素からなる出力ベクトルであり、この出力ベクトルの各要素は、入力ベクトルのそれぞれのセグメントに対してベクトル縮小演算を適用した結果である。
ベクトル縮小は、線形代数計算においておよびその他実世界の応用例のためのデータ解析において頻繁に計算される。たとえば、ベクトル縮小は、たとえば機械学習プロセスの一部として、ニューラルネットワークを訓練するときに計算することができる。これらの例において、ベクトル縮小は、ニューラルネットワークを訓練するときに勾配を逆伝搬させるために使用することができる。また、ベクトル縮小は、ニューラルネットワークの層の出力に対して実行することもできる。ベクトル縮小の結果は、ニューラルネットワークの別の層に対する入力として与えることができる、または、ニューラルネットワークからの出力として与えることができる。ベクトル縮小のその他の応用例は、デジタルオーディオまたはビデオデコードにおけるマルチメディア処理を含む。アナログおよびデジタル送信、レーダ、ならびにソナーの分野等における信号処理も、ベクトル縮小技術を頻繁に利用することにより、たとえば受信もしくは送信信号における最大または最小を特定する。
いくつかの実装形態において、入力行列をベクトルに分解してもよく、ベクトル縮小を入力行列のベクトルに個別に適用してもよい。たとえば、行列として表された、たとえば行列の要素が画像の画素に対応する画像を、ベクトルに分解することができる。平均ベク
トル縮小演算のようなベクトル縮小演算を、入力行列のベクトルに適用することにより、たとえば画像の平滑化を行うことまたは画像の画素サイズを減じることができる。
本明細書では、入力ベクトルに対してベクトル縮小演算を実行する専用ハードウェア回路について説明する。この専用ハードウェア回路は、入力ベクトルを縮小したものに相当するスカラーまたはベクトル出力を生成することができる。
図1は一例としての行列-ベクトル処理システム100を示す。行列-ベクトル処理システム100は、下記のシステム、コンポーネント、および技術を実現することができる1つ以上の場所において1つ以上のコンピュータとして実現されるシステムの一例である。
行列-ベクトル処理システム100は、専用ハードウェア回路110を用いてベクトルまたは行列計算を実行するシステムである。専用ハードウェア回路110は、ハードウェアにおいてベクトル縮小を計算するように構成されたベクトル縮小ユニット120を含む、ベクトルまたは行列計算を実行するための集積回路である。一例としての専用ハードウェア回路110については、図2を参照しながらより詳細に説明する。
行列-ベクトル処理システム100は、専用ハードウェア回路110上でベクトルまたは行列計算を実行することを求める要求を受け、このベクトルまたは行列計算を実行するように専用ハードウェア回路110を制御し、専用ハードウェア回路110が生成したベクトルまたは行列計算の結果を出力する。たとえば、行列-ベクトル処理システム100は、入力ベクトルに対してベクトル縮小を実行することを求める要求を受けることができ、それに応じて、ベクトル縮小を計算し入力行列に対するベクトル縮小の計算結果を出力するように専用ハードウェア回路110を制御することができる。専用ハードウェア回路110は、ベクトル縮小に加えて他の計算を実行できるものであってもよい。たとえば、専用ハードウェア回路110はまた、たとえばニューラルネットワークの層を処理するために、ベクトルもしくは行列畳み込み、ベクトルもしくは行列算術、ベクトルもしくは行列転置、または、その他のベクトルもしくは行列計算のための、回路またはその他のハードウェアコンポーネントを含み得る。このように、専用ハードウェア回路110は、専用ハードウェア回路110の他のコンポーネントを用いるより大きな計算の実行の一部としてベクトル縮小を計算することができる。
専用ハードウェア回路110上で行列またはベクトル計算を実現するために、行列-ベクトル処理システム100は行列-ベクトル処理エンジン150を含む。行列-ベクトル処理エンジン150は、1つ以上の物理的な場所において1つ以上のコンピュータ上の1つ以上のコンピュータプログラムとして実現することができる。
行列-ベクトル処理エンジン150は、要求に応じてベクトルまたは行列計算を実行するよう専用ハードウェア回路110を制御するために、命令を生成する、制御信号を与える、またはデータを導くことができる。たとえば、行列-ベクトル処理システム100は、入力ベクトルまたは行列に関数を適用することを求める要求を受けてもよく、行列-ベクトル処理エンジン150は、専用ハードウェア回路110上で入力ベクトルまたは行列に上記関数を適用するのに必要な計算を実行するための特定の命令または制御信号を決定することができる。行列-ベクトル処理エンジン150はまた、たとえば必要な計算を実行するために専用ハードウェア回路110が使用できる入力ベクトルまたは行列に対応するデータを導くこともできる。
行列-ベクトル処理エンジン150は、ベクトルまたは行列要求を実現するのに必要な計算を決定すると、この必要な計算を実行するよう専用ハードウェア回路110を制御す
る。たとえば、行列-ベクトル処理エンジン150は、入力ベクトルまたは行列のような、ベクトルまたは行列計算を実行するためのデータを、専用ハードウェア回路110に導いてもよい。行列-ベクトル処理エンジン150は、専用ハードウェア回路110が行列-ベクトル処理エンジン150から受けたデータに対して必要な計算を実行するよう専用ハードウェア回路110を制御するための命令または制御信号を、専用ハードウェア回路110に送信してもよい。
たとえば、行列-ベクトル処理システム100は、ベクトルまたは行列計算の実行を求める要求を受けることができる。要求される計算は、比較的単純な、たとえば単純な線形代数計算の実行を求める要求、または、より複雑な関数、たとえばニューラルネットワークを訓練するために勾配を逆伝搬させるための関数である場合がある。要求される計算は、1つ以上のベクトル縮小のような、1つ以上の演算を求める場合がある。この要求はまた、計算を実行する対象である1つ以上のベクトルまたは行列、すなわち、関数を適用する1つ以上の入力ベクトルまたは行列を、特定するまたは含む場合がある。行列-ベクトル処理エンジン150は、この要求を受けることができ、入力ベクトルまたは行列に対して計算を実行するための制御信号または命令を生成することができる。行列-ベクトル処理エンジン150はさらに、入力ベクトルまたは行列を専用ハードウェア回路110に導くことができる。
たとえば、ベクトル縮小を、たとえばより大きな計算の一部として計算するために、行列-ベクトル処理エンジン150は、受けた入力ベクトルを、または入力行列をそのベクトル成分に分割することによって得られた複数のベクトルを、専用ハードウェア回路110に与えてもよい。行列-ベクトル処理エンジン150はまた、ベクトル縮小ユニット120上でベクトル縮小を開始するための制御信号またはベクトル縮小を実行するためのパラメータを、専用ハードウェア回路110に与えてもよい。ベクトル縮小ユニット120は、専用ハードウェア回路110に与えられた、1つまたは複数の入力ベクトルと、制御信号とを受けることができる。ベクトル縮小ユニット120は、制御信号を受けたことに応じてベクトル縮小を実行することができ、ベクトル縮小を実行した結果を出力することができる。ベクトル縮小ユニット120が生成した結果を、要求された計算を実行するために専用ハードウェア回路110が実行する他の演算において使用する場合もある。専用ハードウェア回路110は要求された計算の結果を提供することができ、行列-ベクトル処理システム100は要求に応じてこの結果を返すことができる。
図2は、ベクトル縮小を実行することが可能な、一例としての専用ハードウェア回路200を示す。いくつかの実装形態において、回路200は、図示されていないが、その他のベクトルまたは行列計算を実行するための追加のコンポーネントを含み得る。その他のベクトルまたは行列を実行するための追加のコンポーネントも、図2に示されるコンポーネントのうちの1つ以上を利用することができる。
回路200はホストインターフェイス202を含む。ホストインターフェイス202は、ベクトル縮小を含むベクトルまたは行列計算を実行するための制御信号、命令、または引数を受けることができる。引数は、たとえば、ベクトル縮小を実行する対象である1つ以上のベクトルを含み得る。ホストインターフェイス202が受ける命令または制御信号は、回路200がベクトル縮小を実行できるよう、受けた引数を格納する場所を示す命令を含むことができる、または、要求されたベクトル縮小に関連するパラメータを含み得る、または、その他の情報、たとえばベクトル縮小の出力を格納するためのメモリ場所を含み得る。ホストインターフェイス202が受ける制御信号は、ベクトル縮小計算を開始するよう回路200を制御することもできる。
いくつかの実装形態において、ホストインターフェイス202は命令をシーケンサ20
6に与えることができ、シーケンサ206は、この命令を、ベクトル縮小を実行するよう回路200を制御するローレベル制御信号に変換する。たとえば、シーケンサ206が生成する制御信号は、回路200内のデータフローを管理することができる、たとえば、入力ベクトルをどこに格納すべきであるか、または、そうでなければデータを回路200を通してどのように導くべきであるかを、管理することができる。シーケンサ206は、回路200上でベクトル縮小計算を開始することを求める命令を受けることができ、ベクトル縮小計算を開始するようベクトル縮小ユニット212を制御するための制御信号を生成することができる。
シーケンサ206は、制御信号をメモリ208およびベクトル縮小ユニット212に送ることができる。いくつかの実装形態において、シーケンサ206はまた、制御信号をダイレクトメモリアクセスエンジン204に送る。いくつかの実装形態において、シーケンサ206は制御信号を生成するプロセッサである。シーケンサ206は、制御信号を適切なときに回路200の適切なコンポーネントに送るために制御信号を調整することができる。いくつかの例において、シーケンサ206は、回路200の外部から、たとえば図1のベクトル-行列処理エンジン150から送られてきた制御信号を、ホストインターフェイス202から受け、よってシーケンサ206が制御信号を生成することを求められない場合がある。このような例において、シーケンサ206は、受けた制御信号を適切なときに回路200のコンポーネントに送ればよい。加えて、回路200に制御信号が与えられる場合、シーケンサ206は、回路200の任意選択のコンポーネントであってもよい、すなわち、回路200の外部のコンポーネント、たとえば行列-ベクトル処理エンジン150が制御信号を適切なときに与えて、ベクトル縮小の実行のための演算を含む演算を実行するように回路200を制御すればよい。
ホストインターフェイス202は、引数たとえば入力ベクトルを、ダイレクトメモリアクセスエンジン204に送ることができる。ダイレクトメモリアクセスエンジン204はこの引数をメモリ208に格納することができる。
メモリ208は、ダイナミックメモリ、たとえばダイナミックランダムアクセスメモリ(DRAM)であってもよく、またはスタティックメモリ、たとえばスタティックランダムアクセスメモリ(SRAM)であってもよい。いくつかの実装形態において、メモリ208をメモリバッファとして用いてもよい。メモリ208は、回路200上にあってもよくまたは回路200の外部にあってもよい。これは、回路200に入力された引数たとえばベクトルを、または、ベクトル縮小を実行するためのパラメータを格納することができる。メモリ208はまた、ベクトル縮小ユニット212の出力、すなわち入力ベクトルに対してベクトル縮小を実行した結果を格納することもできる。いくつかの実装形態において、ダイレクトメモリアクセスエンジン204は、メモリ208からの読出しを行うことができる。たとえば、ダイレクトメモリアクセスエンジン204は、メモリ208からの読出しを行うことにより、回路200から、入力ベクトルに対するベクトル縮小の実行結果を返すことができる。
ベクトル縮小ユニット212は、メモリ208の引数にアクセスすることができる。たとえば、ダイレクトメモリアクセスエンジン204がメモリ208に入力ベクトルを格納した後に、入力ベクトルをベクトル縮小ユニット212に与えるまたはベクトル縮小ユニット212がアクセスできるようにして、ベクトル縮小ユニット212が入力ベクトルに対するベクトル縮小のための演算を実行できるようにしてもよい。
ベクトル縮小ユニット212は、ベクトル縮小を計算するための回路である。いくつかの実装形態において、ベクトル縮小ユニット212は、受けた引数たとえば入力ベクトルと、ベクトル縮小のタイプを指定する情報たとえばベクトル縮小が合計ベクトル縮小であ
るべきか最大値もしくは最小値ベクトル縮小であるべきか等を指定する情報とに基づいて、ベクトル縮小を計算するように設計される。ベクトル縮小のタイプを指定する情報は、その他の情報たとえばセグメント化ベクトル縮小を実行するための情報を含み得る。いくつかの実装形態において、ベクトル縮小ユニット212は、ベクトル縮小ユニット212がベクトル縮小を実行するために引数すなわち入力ベクトルのみが必要となるような、予め定められたベクトル縮小演算を実行するように構成されてもよい。たとえば、ベクトル縮小ユニット212は、入力ベクトルの予め定められた要素に対し、合計ベクトル縮小演算またはセグメントベクトル縮小のみを実行するように構成されてもよい。この情報を受けた後に、ベクトル縮小ユニット212は、ベクトル縮小ユニット212において必要な入力すなわち入力ベクトルとベクトル縮小パラメータとを受けたらベクトル縮小がさもなければ自動化されるよう、追加の制御信号または入力を受けることなくベクトル縮小を実行してもよい。このような実装形態において、ベクトル縮小演算が一旦開始されると、ベクトル縮小ユニット212は受けた情報に基づいて、オフチップからの追加情報を要求することなく、ベクトル縮小全体を実行することができる。いくつかの実装形態において、ベクトル縮小演算を、ベクトル縮小ユニット212が必要な情報を受けたことに応じて、トリガしてもよい、すなわち開始信号またはその他のトリガは不要である。その他の実装形態では、開始信号またはその他の信号が、ベクトル縮小演算を実行するようベクトル縮小ユニット212をトリガしてもよい。
一般的に、ベクトル縮小を計算するために、ベクトル縮小ユニット212は、実行するベクトル縮小演算のタイプを示す、たとえば、合計ベクトル縮小、最大もしくは最小値ベクトル縮小、または最大もしくは最小インデックスベクトル縮小を示す制御信号を受ける。たとえば、ベクトル縮小ユニット212は、制御信号をシーケンサ206から受けることができる。入力ベクトルを、たとえばメモリ208から、スタッガード(staggered)
データストリームとして受ける。ベクトル縮小ユニット212は、入力ベクトルの要素に対し、制御信号が示すベクトル縮小演算を実行する。たとえば、ベクトル縮小ユニット212は、入力ベクトルの各要素を受けるとベクトル縮小演算を実行してもよい。これに代えて、ベクトル縮小エンジン212は、入力ベクトルのすべての要素を受けてもよく、または入力ベクトルの要素の一部を受けてもよく、上記入力ベクトルの要素または入力ベクトルの一部に対してこれを受けた後にベクトル縮小演算を実行してもよい。いくつかの例において、ベクトル縮小演算の結果は、たとえば合計ベクトル縮小の場合、ベクトル縮小演算を適用する入力ベクトルの要素の順序に依存しない。このような例において、ベクトル縮小ユニット212は、入力ベクトルの要素に対し、入力ベクトルにおける要素の配列順序と異なる順序で、または、ベクトル縮小ユニット212がこれらの要素を受けた順序と異なる順序で、ベクトル縮小演算を実行すると判断してもよい。ベクトル縮小演算が入力ベクトルのすべての要素に適用された後に、ベクトル縮小ユニット212は、ベクトル縮小の結果を、たとえばメモリ208に、または専用ハードウェア回路200の別のコンポーネントに出力することができる。
ベクトル縮小ユニット212への入力はスタッガード入力である可能性があるので、場合によっては、ベクトル縮小ユニット212は複数の入力ベクトルに対してたとえばパイプライン方式でベクトル縮小を同時に実行することができる。すなわち、ベクトル縮小ユニット212において第1の入力ベクトルに対しベクトル縮小演算が実行されている間に、ベクトル縮小ユニット212は第2の入力ベクトルに対するベクトル縮小演算の実行を開始してもよい。加えて、いくつかの例において、行列が引数として回路200に与えられてもよい。入力行列を、たとえば、ともに入力行列を形成する行または列ベクトルを取得することにより、ベクトルに分解してもよい。ベクトル縮小ユニット212は、入力行列を形成するベクトルに対してベクトル縮小演算を実行することにより、ベクトル縮小結果のベクトルを生成することができる。結果のベクトルは、ベクトル縮小ユニット212の出力として、たとえば回路200の別のコンポーネントに、与えられてもよい。
図3は、ベクトル縮小ユニット300のアーキテクチャの一例を示す。ベクトル縮小ユニット300は、行列-ベクトル処理システムの専用ハードウェア回路に、たとえば専用ハードウェア回路200のベクトル縮小ユニット212として含まれていてもよい。
ベクトル縮小ユニット300の値ローダ310は、1つまたは複数の入力ベクトルに対応するデータを受ける。値ローダ310は各々、たとえば専用ハードウェア回路200のメモリ208から受けた、データのレーンに対応する。実際、データの各レーン、したがって各値ローダ310は、入力ベクトルまたは行列の異なる列または行に対応する。よって、図3においては値ローダ[0]~[3]のみを含みしたがって4×1以下のベクトルの縮小を可能にするものとして示されているが、その他の実装形態においてベクトル縮小ユニット300は多数の値ローダ310を含んでいてもよい。たとえば、128レーンのデータとして送信される128×128要素行列または128×1ベクトルに対して演算するように構成された専用ハードウェア回路は、対応する128の値ローダ310を含み得る。
値ローダ310は、入力ベクトルに対応するデータをスタッガード状態で受けることができる。本明細書で使用されるスタッガードデータとは、複数のレーンにおいてオフセットを伴って送信されるデータであり、よって、各レーンのデータストリームは、別のレーンのデータストリームよりも数サイクル遅れている。たとえば、値ローダ[0]に対応する第1のレーンのデータストリームは、値ローダ[1]に対応する第2のレーンのデータストリームよりも1サイクル進んでいてもよい。これは、たとえば値ローダ310各々が受ける各レーンのデータストリームが整列しているフラットなデータとは異なる。たとえば、複数のレーンで送信される要素からなるベクトルを値ローダ310が同一のクロックサイクルで受けることになる。
一般的に、ベクトル縮小ユニット300および、ベクトル縮小ユニット300を含む専用ハードウェア回路のその他のコンポーネントは、スタッガードのデータに対し、特定の演算を並列に実行することにより、より効率的に計算を実行することができるであろう。たとえば、図4および図7A~図7Bに関してより詳細に示すように、スタッガードデータに対する処理により、ベクトル縮小ユニット300または行列転置もしくは行列畳み込みを実行するためのその他のコンポーネントは、特定の演算を並列に実行すること、または、連続する入力ベクトルまたは行列の処理を最適化することができる。たとえば、複数の入力ベクトルに対応するスタッガードデータに対する処理により、ベクトル縮小ユニット300は、複数の入力ベクトルに対するベクトル縮小演算を、同一のサイクル中に実行することができる。図4により詳細に示されるように、ベクトル縮小ユニット300は、スタッガードデータを、異なる入力ベクトルの要素が同一のサイクル中にベクトル縮小ユニット300に与えられるように、受けることができる。ベクトル縮小ユニット300は次に、1つのサイクル中に異なる入力ベクトルの縮小を計算するための演算を実行することができる。
値ローダ310は、入力ベクトルに対応するデータを受け、このデータを入力レジスタ320に与える。特定の値ローダ310が受けたデータが入力ベクトルの要素または別の入力ベクトルの要素に対応していない場合、この値ローダ310は当該データを無視または破棄することができる。これらの場合において、入力レジスタ320は、この値ローダ310からデータを受けない可能性がある、またはnull、正、もしくは負の無限値を受ける可能性がある、またはこの値ローダ310から受けた要素が入力ベクトルの要素を含まないことを示すその他のデータを受ける可能性がある。たとえば、値ローダ310が3×1入力ベクトルを受けた場合、値ローダ[3]が受けた値は、入力ベクトルの要素に対応していないことを理由に、無視または破棄される可能性がある。しかしながら、値ロ
ーダ[3]が受けた値が、前の入力ベクトル、たとえばその第1の要素を3×1入力ベクトルの第1の要素よりも前に受けた4×1入力ベクトルに対応する場合、値ローダ[3]が受けた値は入力レジスタ320に与えることができる。
いくつかの実装形態において、ベクトル縮小ユニット300は、縮小ユニット300がベクトル入力データを処理している間にのみベクトル縮小演算を実行するように構成されている。たとえば、ベクトル縮小演算を、入力ベクトルの第1の要素を受けたときにトリガしてもよい。これにより、回路の効率を、たとえば消費電力の削減によって改善することができ、別の入力ベクトルの要素に対応しない入力ベクトルの第1の要素の前に入力レジスタ320が受けたその他のデータが、入力ベクトルに対するベクトル縮小の実行結果に影響を与えないことを、保証することができる。たとえば、値ローダ310はスタッガードデータを受けるので、値ローダ[0]において入力ベクトルの第1の要素を受けたときにベクトル縮小演算がトリガされる場合、先行するサイクル中に受けたどのデータも入力ベクトルの縮小結果に影響を与えない。入力レジスタ320は、入力ベクトルに対応するデータを受けて格納する。たとえば、値ローダ310が入力ベクトルの要素を受けてこれらの要素を入力レジスタ320に送ると、これらの要素は入力レジスタに格納される。入力レジスタ320は、値ローダ310からデータを受けるために、値ローダ310の数以上の要素を含み得る。値ローダ310から受けるデータはスタッガードであるので、入力レジスタ320は、どの時点でも入力ベクトルの要素をすべて含むことはなく、むしろ、典型的には入力ベクトルの1つの要素のみを含む。加えて、データはスタッガードであるので、ベクトル縮小ユニット300が連続する入力ベクトルを受けた場合、入力レジスタ320は複数の入力ベクトルの要素を同時に含む可能性がある。
ベクトル縮小ユニット300の計算ユニット330は、入力レジスタ320に格納されている要素を受けるかまたはこの要素にアクセスする。計算ユニット330は、各々が入力レジスタ320の要素にまたは特定の値ローダ310に対応する複数のセルを含み得る。たとえば、ベクトル縮小ユニット300が4つの値ローダ310を含む場合計算ユニット330はベクトル縮小演算を実行するために4つのセルを含み得る。
計算ユニット330はまた、ベクトル縮小制御信号305と、制御レジスタ315からのデータとを受ける。ベクトル縮小制御信号305は、計算ユニット330が実行すべきベクトル縮小演算の特定のタイプを指定することができる。たとえば、ベクトル縮小制御信号305は、合計ベクトル縮小演算、最大値縮小演算、最小ベクトル縮小演算、最大インデックスベクトル縮小演算、最小インデックスベクトル縮小演算、積ベクトル縮小演算、平均ベクトル縮小演算、または、別のベクトル縮小演算を指定することができる。ベクトル縮小ユニット300は、ベクトル縮小制御信号305を、専用ハードウェア回路200のシーケンサ206から、行列-ベクトル処理システム100の行列-ベクトル処理エンジン150から、または別のソースから、受けることができる。
制御レジスタ315は、制御ベクトルを受けて格納することができる。制御ベクトルは、受けた入力ベクトルに対して計算ユニット330がセグメント化ベクトル縮小を実行すべきか否かおよび如何にして実行すべきかを指定する。図4に関してより詳細に説明するように、制御ベクトルは、計算ユニット330のセルに制御信号として与えることができる要素を含む。これらの要素は、計算ユニット330の各セルが、このセル内で実行されたベクトル縮小演算の結果を計算ユニット330の別のセルに与えるべきであるのか、または、このセル内で実行されたベクトル縮小演算の結果を入力ベクトルのセグメントを縮小したものとして出力すべきであるのかを、示すことができる。言い換えると、制御ベクトルの各要素は、制御信号として対応するセルに与えることができ、入力ベクトルのセグメントのエンドポイントをこのセルが処理しているか否かを示す。
ベクトル縮小演算の結果が、1つのセルから別のセルに与えられるとき、そのセルにおいてはセグメント化ベクトル縮小は発生しない。よって、たとえば、すべてのセルが、または最後のセルを除くすべてのセルが各々、そのセル内で実行されたベクトル縮小演算の結果を計算ユニット330の別のセルに与えるようにセルを制御する制御信号を受ける場合、ベクトル縮小制御信号305が示すベクトル縮小演算を、入力ベクトルの要素すべてに適用する。したがって、計算ユニット330の出力、たとえば計算ユニット330の最後のセルの出力は、入力ベクトル全体を縮小して1つの結果を生成する非セグメント化ベクトル縮小演算の結果である。
計算ユニット330の特定のセルがベクトル縮小演算の結果を別のセルに与えないとき、すなわちセグメント化ベクトル縮小演算が発生しないとき、null、すなわちゼロ、または正もしくは負の無限等のプレースホルダー信号が、この特定のセルから計算ユニット330の別のセルに与えられてもよい。この結果は、特定のセルが受けた入力ベクトルの要素において生じるセグメント化縮小である。なぜなら、特定のセルが実行するベクトル縮小演算の結果は、この特定のセルが受ける入力ベクトルの要素を含めてこの要素までの入力ベクトルの要素に対してセグメント化ベクトル縮小を実行した結果として、出力されるからである。nullまたは正もしくは負の無限は、特定のセルから計算ユニット330の別のセルに与えられるので、入力ベクトルの残りの要素に対する新たなベクトル縮小計算を効果的に開始させることにより、入力ベクトルの残りの要素に対するセグメント化ベクトル縮小の第2の部分を生成する。
計算ユニット330のセルは縮小演算を実行して入力ベクトル縮小の結果を生成する。各セルは入力ベクトルの特定の要素を処理することができる。そうするために、図4でより詳細に説明するように、セルは一時縮小要素を受ける。一時縮小要素は、計算ユニット330の先行するセルが実行したベクトル縮小演算の結果であるか、または、プレースホルダー信号もしくは初期化値、たとえばnullまたは正もしくは負の無限である。このセルはまた、入力ベクトルの特定の要素を受け、上記一時縮小要素と入力ベクトルの特定の要素とを用いて、ベクトル縮小制御信号305が指定するベクトル縮小演算を実行する。セグメント化縮小演算が要求されない場合、セルは、計算ユニット330の次のセルに、指定されたベクトル縮小演算の実行結果を与える。セグメント化縮小演算が要求された場合、セルは、プレースホルダー、たとえばnullまたは正もしくは負の無限を次のセルに与える。このセルはまた、上記入力ベクトルの特定の要素を含むこの要素までの入力ベクトルの要素に対するセグメント化ベクトル縮小の実行結果に対応する、指定されたベクトル縮小演算の実行結果を出力する。セグメント化ベクトル縮小演算が要求されない場合、入力ベクトルのすべての要素に対してベクトル縮小演算を実行した結果に相当する、入力ベクトルの最後の要素を用いて指定されたベクトル縮小演算を実行した結果を、出力のために提供してもよい。
計算ユニット330が実行したベクトル縮小プロセスの出力を、値出力340が受ける。値出力340は、出力を受けてこれらの出力をスタッガード状に書き込むことができる。計算ユニット330のセルのうちのいずれもベクトル縮小の結果を提供するように構成できるので、ベクトル縮小ユニット300は、計算ユニット330のセルに対応する値出力[0]~[3]を含む。たとえば、計算ユニット330の第2のセルが、そのセルにおいてセグメント化ベクトル縮小をこのセルが実行すべきであることを示す信号を、制御レジスタ315から受けた場合計算ユニット330の第2のセルは、出力を値出力[1]に与えることができる。セグメント化ベクトル縮小が指示されなかった場合は、ベクトル縮小の結果を、出力のために、値出力[3]に対応する、計算ユニット330の最後のセルに、与えることができる。いくつかの例において、たった1つの値出力340が必要な場合があり、たとえば、計算ユニット330のセルからの出力はすべて、同一の値出力340に与えられる。セグメント化ベクトル縮小演算が要求された場合、値出力ベクトル縮小
ユニット300は結果のベクトルを出力することができ、このベクトルの各要素は、入力ベクトルのセグメントを縮小したものである。値出力340は、出力ベクトルの要素をレジスタ、たとえば出力レジスタに与えることができ、セグメント化入力ベクトル縮小の結果は、たとえばベクトル縮小ユニット330から出力されるスタッガード出力ベクトルとして、出力用にベクトルフォーマットで一緒に与えることができる。
値出力340は、計算ユニット330からベクトル縮小結果を受け、専用ハードウェア回路のメモリ、たとえば、メモリ208に、専用ハードウェア回路の別のコンポーネント、たとえば行列もしくはベクトル置換(permute)ユニットに、または、オフチップの場
所に、たとえば行列-ベクトル処理エンジン150または行列-ベクトル処理システム100の外部の別の目的地に、出力することができる。
図4は、ベクトル縮小ユニットの計算ユニットの、一例としてのアーキテクチャ400を示す。アーキテクチャ400は、たとえば図2のメモリ208と同様のメモリ410と、たとえば図3のベクトル縮小制御信号305と同様のベクトル縮小制御信号405と、たとえば図3の制御レジスタ315と同様の制御レジスタ415と、たとえば図3の値出力340と同様の値出力440とを含む。このアーキテクチャはまた、図3の計算ユニット330のセルに対応するセル430を含む。図4に示されるセルは直列接続されている、すなわちセル[0]はセル[1]に接続され、セル[1]はセル[2]に接続されるといったように直列接続されているが、その他の実装形態においてセル430は他の順序で接続されていてもよく、たとえば、セル[1]が、セル[0]以外のセルからデータを受け、データをセル[2]以外のセルに与えてもよい。
セル430の各々は、メモリ410から、スタッガードデータのレーンを受ける。ある例において、セル430は、図4には示されていないが、図3の値ローダ310と同様の値入力から、データを受けることができる。たとえば、チャート450は、4つのセル[0]~[3]に対応する4つのレーン各々にデータが如何にしてスタッガード状に書き込まれるかを示すことができる。したがって、サイクル0においてセル[0]は入力ベクトル[0]の第1の要素を受けることができ、サイクル1においてセル[0]は入力ベクトル[1]の第1の要素を受けることができセル[1]は入力ベクトル[0]の第2の要素を受けることができ、以降同様に続く。
各セル430はまた、実行すべきベクトル縮小演算を指定するベクトル縮小制御信号405を受ける。図4に示されるように、同一のベクトル縮小制御信号405をセル430各々に与えることができる。しかしながら、その他の実装形態において、異なるベクトル縮小制御信号を、セル430の各々にまたはそのサブセットに与えることができる。異なるベクトル縮小制御信号を異なるセル430に与えることにより、アーキテクチャ400が異なるタイプのベクトル縮小演算を同時に実行できるようにすることができる。たとえば、制御信号をセル430に与えることにより、第1の入力ベクトルに対する合計ベクトル縮小と第2の入力ベクトルに対する最大値ベクトル縮小とをセル430に実行させることができる。入力ベクトルがスタッガード状に入力されることにより、これらの異なるベクトル縮小演算をセル430が同時に実行できるようにしてもよい。同様に、セグメント化ベクトル縮小演算を実行する場合、入力ベクトルの第1のセグメントに対して第1のタイプのベクトル縮小演算、たとえば合計ベクトル縮小を実行し、入力ベクトルの第2のセグメントに対して第2のタイプのベクトル縮小演算、たとえば最大値ベクトル縮小演算を実行してもよい。いくつかの実装形態において、セル430は、1つのタイプのベクトル縮小演算を実行するように、または、入力ベクトルごとに同一の要素位置でベクトル縮小演算をセグメント化するように、構成される。これらの実装形態において、ベクトル縮小制御信号405または制御レジスタ415は、アーキテクチャ400の任意のコンポーネントであってもよい。
また、各セル430は、アーキテクチャ400においてセグメント化ベクトル縮小を制御するための制御信号として作用する、制御レジスタ415に格納された制御ベクトルの要素を受ける。制御レジスタ415は、制御信号のベクトルを受けることができる、または、制御レジスタ415の特定の要素に格納する個々の制御信号を受けることができる。各制御信号は、セル430によって解釈される値を指定することにより、セル430がセグメント化ベクトル縮小演算をセル430において実行すべきかまたは非セグメント化ベクトル縮小演算をセル430において実行すべきかを、示すことができる。
たとえば、セル430が制御レジスタ415から受けた値ゼロは、セル430がセグメント化ベクトル縮小演算をセル430において実行してはならないこと、すなわちセル430は入力ベクトルのセグメントのエンドポイントとして扱われるべき入力ベクトルの要素を受けていないことを、示すことができる。非セグメント化ベクトル縮小演算を実行するために、セル430は、初期化値またはプレースホルダー信号、たとえば、nullまたは正もしくは負の無限、または、前のセル430からの前のベクトル縮小演算の結果に対応する、図4において<値>として示されている一時縮小要素を受けることができる。セル430はまた、たとえば最大インデックスもしくは最小インデックスベクトル縮小演算の実行に使用する、スタッガード入力データのレーンに対応する特定のセル430を示す、図4において<インデックス>として示されているインデックスを、受けることができる。いくつかの実装形態において、インデックスはメモリ場所、たとえば入力ベクトルが格納されていたまたは格納されているメモリ208内の場所であってもよい。セル430はまた、メモリ410から入力ベクトルの要素を受ける。セル430は、ベクトル縮小制御信号405によって指定されたベクトル縮小演算を実行し、このベクトル縮小演算の結果と、任意でベクトル縮小演算から得られたインデックスとを、アーキテクチャ400の次のセル430に与える。任意で、セル430はまた、これらの結果を値出力440に与えることができる。次のセル430は、ベクトル縮小演算の結果をセル430から受けることができ、この結果を、次のセル430で、たとえば次のサイクルで実行するベクトル縮小演算において使用することができる。
これに代えて、セル430が値1を受けた場合、セル430は、セグメント化ベクトル縮小演算を実行し、受けた入力ベクトルの要素を入力ベクトルのセグメントのエンドポイントとして扱うことができる。そうするために、セル430は、セル430において実行したベクトル縮小演算の結果を、受けた要素で終わる入力ベクトルのセグメントに対してベクトル縮小演算を実行した結果として、出力する。セグメント化ベクトル縮小演算を実行するために、セル430は、初期化値または前のセル430からの前のベクトル縮小演算の結果に対応する、一時縮小要素を受けることができる。セル430はまた、前のセル430からインデックスを受けることもできる。セル430はまた、メモリ410から入力ベクトルの要素を受ける。セル430は、ベクトル縮小制御信号405によって指定されたベクトル縮小演算を実行する。しかしながら、セル430は、結果をアーキテクチャ400の次のセル430に与えるのではなく、この結果をセグメント化ベクトル縮小演算の結果として値出力440のみに与える。セル430は、次のセル430に対し、nullまたは正もしくは負の無限を、すなわち次のセル430で開始すべき次のベクトル縮小のための初期化値またはプレースホルダー信号として、送る。
たとえば、セル[1]は、セル[0]から、ベクトル縮小制御信号によって指定されたベクトル縮小演算をセル[0]が実行した結果に対応する、一時縮小要素を、受けることができる。セル[0]が実行したベクトル縮小演算の結果は、入力ベクトル[0]の第1の要素である可能性がある。たとえば、ベクトル縮小制御信号405が合計ベクトル縮小演算を指定した場合、セル[0]からセル[1]に出力される結果は、入力ベクトル[0]の第1の要素であろう。セル[1]はまた、入力ベクトル[0]の第2の要素を受けて
もよい。そうすると、セル[1]は、ベクトル縮小制御信号405が指定したベクトル縮小演算、たとえば合計ベクトル縮小演算を実行して結果を生成することができる。たとえば、指定されたベクトル縮小演算が合計ベクトル縮小演算である場合、結果は入力ベクトル[0]の第1の要素および第2の要素の合計である。
制御レジスタ415の[1]位置から受けた制御信号に基づいて、セル[1]は、この結果をセル[2]にまたは値出力[1]にまたはこれら双方に与えることができる。たとえば、制御信号が、セル[1]に対し非セグメント化ベクトル縮小演算を指定する値ゼロである場合、セル[1]は、結果をセル[2]に与えることができ、任意でこの結果を値出力[1]にも与えて、たとえばベクトル縮小演算の中間結果を出力することができる。制御信号が、セル[1]に対しセグメント化ベクトル縮小演算を指定する値1である場合、セル[1]は、結果を値出力[1]に出力することにより、セグメント化ベクトル縮小演算の結果、たとえば入力ベクトル[0]の最初の2つの要素の合計を、出力する。しかしながら、セル[1]は、この結果を一時縮小要素としてセル[2]に出力しない。むしろ、セル[1]は、nullまたは正もしくは負の無限をセル[2]に与え、セル[2]は受けたこの値を一時縮小要素として使用する。よって、セル[2]が入力ベクトル[0]の第3の要素をメモリ410から受ける場合、セル[2]が実行するベクトル縮小演算は、入力ベクトル[0]の第2のセグメントに対する第2のベクトル縮小演算に対して実行される第1の演算であろう。ベクトル縮小演算の結果、すなわちセグメント化ベクトル縮小演算が実行された場合の結果は、値出力440に出力され、専用ハードウェア回路200のまたは行列-ベクトル処理システム100の他のコンポーネントに、与えることができる。
ベクトル縮小制御信号405が示すベクトル縮小演算が最小インデックスベクトル縮小演算または最大インデックスベクトル縮小演算を指定している場合、セル430の各々は、スタッガード入力データの1レーンに対応する特定のセル430を示すインデックスを提供することができる。いくつかの例において、このようなインデックスは常に、ベクトル縮小演算が実行されるとセル430から出力されてもよいが、ベクトル縮小制御信号405が最大または最小インデックスベクトル縮小演算を指定しない限りは使用できるデータではないであろう。ベクトル縮小制御信号405がこれらのベクトル縮小演算のうちの1つを指定する場合、セル430の<値>出力および<インデックス>出力双方が、出力を正確に求めるのに必要であろう。たとえば、最大インデックスベクトル縮小演算が指定された場合、セル[0]はセル[1]に対し、セル[0]が一時縮小要素として受けた入力ベクトル[0]の第1の要素の値と、入力データの第1のレーンが現在最大値の要素を有するインデックスであることを示すインデックス[0]とを出力することができる。セル[1]はこの値をセル[0]から受け、セル[0]からのこの値を入力ベクトル[0]の第2の要素の値と比較することができる。入力ベクトル[0]の第2の要素の値が入力ベクトル[0]の第1の要素の値よりも大きい場合、セル[1]はセル[2]に、入力ベクトル[0]の第2の値を一時縮小要素として出力することができ、インデックス[1]をセル[2]に出力して、入力データの第2のレーンは現在最大値の要素を有するインデックスであることを示すことができる。このプロセスは、制御ベクトルがセグメント化ベクトル縮小演算を指定するのかまたは非セグメント化ベクトル縮小演算を指定するのかに応じて、各セル430において繰り返すことができる。ベクトル縮小演算の完了後、セル430は、一時縮小要素すなわち値を出力するのではなくインデックス値を値出力440に出力する。
いくつかの例において、システムが使用する初期化要素は、ベクトル縮小制御信号405が指定するベクトル縮小演算によって決まり得る。たとえば、合計ベクトル縮小演算が指定された場合は、null値を初期化値として使用することができる。積ベクトル縮小演算が指定された場合は、単位値1を初期化値として使用することができる。最大値ベク
トル縮小演算または最大インデックスベクトル縮小演算が指定された場合は、負の無限を初期化要素として使用することができる。最小値ベクトル縮小演算または最小インデックスベクトル縮小演算が指定された場合は、正の無限を初期化要素として使用することができる。いくつかの例において、特定のベクトル縮小演算に使用する初期化値は、外部のベクトル縮小ユニット400から、たとえばベクトル縮小制御信号405と同様の第2の信号として受けた信号によって示されるまたは与えられる。その他の実装形態において、セル430は、ベクトル縮小制御信号405が指定するベクトル縮小演算に基づいて初期化要素を決定することが可能であってもよい。たとえば、セル430は、合計ベクトル縮小演算を指定する信号をセル430が受けたことに基づいて、初期化要素としてnullを使用すべきであると判断することができる。
図5は、ベクトル縮小ユニットのセルの、一例としてのアーキテクチャ500を示す。たとえば、図4のセル430の各々は、アーキテクチャ500と同様のアーキテクチャを有していてもよい。
この一例としてのアーキテクチャ500は、一時縮小要素を受ける一時縮小要素レジスタ502を含む。一時縮小要素は、別のセルから、たとえば図4のセル430のうちの別のセルから受けることができる。いくつかの例において、一時縮小要素レジスタ502は、たとえばnull、正の無限、または負の無限の値に初期化することができる。たとえば、ベクトル縮小ユニット400のセル[0]は、前のセルが実行したベクトル縮小演算の結果を受けないので、その一時縮小要素レジスタ502がゼロに初期化される場合がある。アーキテクチャ500はまた、入力ベクトルの要素を受ける入力ベクトル要素レジスタ504を含む。たとえば、ベクトル縮小ユニット400のセル[0]の入力ベクトル要素レジスタ504は、入力ベクトル[0]の第1の要素を受けて格納することができ、ベクトル縮小ユニット400のセル[1]の入力ベクトル要素レジスタ504は、入力ベクトル[0]の第2の要素を受けて格納することができ、以降同様に続く。
一時縮小要素はマルチプレクサ508に与えることができ、入力ベクトルの要素はマルチプレクサ510に与えることができる。各マルチプレクサ508、510を、ベクトル縮小制御信号505によって制御してもよく、ベクトル縮小制御信号505は、それぞれの要素を特定の計算回路512、514、516に与えるようにマルチプレクサ508、510を制御するための選択信号として作用する。
たとえば、ベクトル縮小制御信号505は、最大値ベクトル縮小演算または最小値ベクトル縮小演算が実行される予定であることを示すことができ、この信号505に応じて、マルチプレクサ508、510は一時縮小要素と入力ベクトル要素とを、要素を比較することによってこれらの要素の最小または最大を求めるように構成された比較回路512に与えることができる。同様に、ベクトル縮小制御信号505が、合計ベクトル縮小演算が実行される予定であることを示す場合、マルチプレクサ508、510は、この信号505を受けそれに応じて一時縮小要素と入力ベクトル要素とを、要素を合計するように構成された合計回路514に与えることができる。ベクトル縮小制御信号50が、積ベクトル縮小演算が実行される予定であることを示す場合、マルチプレクサ508、510は、一時縮小要素と入力ベクトル要素とを、要素の積を計算するように構成された乗算回路516に与えることができる。その他の計算回路、たとえばインデックス識別回路、算術平均を計算するための回路、またはそれ以外の計算回路も、アーキテクチャ500に含まれていてもよい。
いくつかの実装形態において、セルは、1つのタイプのベクトル縮小演算を実行するように構成されてもよい。このような実装形態では、1つの計算回路、たとえば、比較回路512、合計回路514、または乗算回路516のうちの1つのみが、含まれていてもよ
い。加えて、このような実装形態において、特定のタイプのベクトル縮小演算を実行するようアーキテクチャ500に命令するためのベクトル縮小制御信号505は不要であろう。よって、ベクトル縮小制御信号505およびマルチプレクサ508、510は任意であってもよい。
計算回路512、514、516で実行された計算の結果は、結果レジスタ520に出力される。結果レジスタ520は、制御信号515も受ける。制御信号515は、アーキテクチャ500を有する特定のセルに対応する図4の制御レジスタ415の要素であってもよい。たとえば、アーキテクチャ500がベクトル縮小ユニット400のセル[1]に対応する場合、制御信号515は、制御レジスタ415の[1]位置の要素に対応する信号であってもよい。
結果レジスタ520は、制御信号515に基づいて、結果を1つ以上のコンポーネントに出力する。制御信号515が、セグメント化ベクトル縮小演算は行われない予定であることを示す、たとえば制御信号515がゼロである場合、結果レジスタ520は、計算回路512、514、516から受けた結果を、次のセルに、たとえば、次のセルの一時縮小要素レジスタで受けられるように、与えることができる。任意で、セグメント化ベクトル縮小演算が行われない予定である場合、結果レジスタ520は、結果を、たとえば図4の値出力440のうちの1つである、値出力にも出力することができる。
制御信号515が、セグメント化ベクトル縮小演算が行われる予定であることを示す場合、結果レジスタ520は、計算回路512、514、516から受けた結果を、たとえば図4の値出力440である、値出力に与えることができる。結果レジスタは、次のセルにも、たとえば、次のセルの一時縮小要素レジスタにも、アーキテクチャ500に対応付けられたセルにおいて入力ベクトルのベクトル縮小をセグメント化するために、null、正の無限、または負の無限の値を、与えることができる。
その他のセルアーキテクチャも可能である。いくつかの実装形態において、計算回路512、514、516のコンポーネントを直列に配置してもよい。たとえば、比較回路512は一時縮小要素と入力ベクトル要素とを受けてもよい。比較回路512の出力は合計回路514の入力として与えてもよく、合計回路514の出力は乗算回路516の入力として与えてもよく、乗算回路516の出力を結果レジスタ520に与えてもよい。このような実装形態において、ベクトル縮小制御信号505は、計算回路512、514、516の各コンポーネントを起動または作動停止状態にして、データに対し、ベクトル縮小演算のうちの1つのみが、計算回路512、514、516のコンポーネントを通過するときに実行されるようにしてもよい。このようなアーキテクチャは、ベクトル縮小制御信号505を同様に解釈するために計算回路512、514、516のコンポーネントを必要とするであろうが、マルチプレクサ508、510の必要性を低減するであろう。その他のアーキテクチャも本明細書の範囲に含まれる。
図6は、入力ベクトルに対してベクトル縮小を実行するための、一例としてのプロセス600である。いくつかの例において、入力ベクトルは入力行列のベクトルであってもよい。一般的に、プロセス600は、専用ハードウェア回路、たとえば図1のベクトル縮小ユニット120を備える専用ハードウェア回路110を含む1つ以上のコンピュータからなるシステムによって実行することができる。
入力ベクトルを縮小したものを生成するために、本システムは一連の動作(602~608)を実行する。たとえば、専用ハードウェア回路は複数のセルを含み得るものであり、入力ベクトルの指定された第1の要素を受ける指定された第1のセル以外、これら複数のセルの各々は、入力ベクトルの特定の要素に対して動作(602~608)を実行する
ことによってベクトル縮小を計算するように構成されている。いくつかの実装形態において、入力ベクトルの指定された第1の要素を受ける指定された第1のセルは、前のセルの出力を受けないので、動作(602~608)を実行しない。よって、指定された第1のセルは、入力ベクトルの、最初に指定された第1の要素を、システムにおける次のセルに与えるだけである。その他のセルの各々は、前のセルの出力を受け、一連の動作(602~608)を実行することによって、次のセルに与えられる、自身の出力を生成する。入力ベクトルの最後の要素に対応する、システムの最後のセルの出力は、指定されたベクトル縮小演算の実行結果である。
セルは入力ベクトルの特定の要素を受ける(602)。たとえば、回路の特定のセルは、入力ベクトルの特定の要素を受けることができる。いくつかの実装形態において、第1のレジスタ、たとえば入力レジスタが、入力ベクトルの要素を受けるように構成されていてもよい。この入力ベクトルの要素を入力レジスタに与えるデータストリームをスタッガードにすることで、入力ベクトルに対応するデータを遅延させながら複数のレーンで受けるようにしてもよい。たとえば、サイクルごとに入力ベクトルの次の要素を入力レジスタで受けるように、データをスタッガードにしてもよい。入力レジスタが受けた入力ベクトルの特定の要素は、回路の特定のセルに与えられる。
セルは、複数のセルのうちの別のセルから、一時縮小要素を受ける(604)。一時縮小要素は、入力ベクトルの特定の要素に先行する入力ベクトルの要素に対して縮小演算を実行した結果に相当し得る。たとえば、回路の特定のセルは、受けた入力ベクトルの特定の要素に先行する入力ベクトルの要素に対して縮小演算を実行した結果に相当する一時縮小要素を受けることができる。一時縮小要素は、回路の1つ以上のセルのうちの別のセルから受けることができ、たとえば、前のセルの出力であってもよい。セルは、このセルが入力ベクトルの特定の要素を受けるクロックサイクルと同一のクロックサイクル中に、または、このセルが入力ベクトルの特定の要素を受けるクロックサイクルよりも前のもしくは後のクロックサイクル中に、一時縮小要素を受けることができる。一例として、回路は、図4の入力ベクトル[0]に対してベクトル縮小演算を実行することができる。そうするために、入力ベクトル[0]の要素の各々は、対応するセル430で処理される。すなわち、入力ベクトル[0]の第1の要素はセル[0]で処理され、入力ベクトル[0]の第2の要素はセル[1]で処理され、以降同様である。このような例において、セル[2]が受ける一時縮小要素は、入力ベクトルの第1および第2の要素、すなわち、セル[2]が受ける入力ベクトルの第3の要素に先行する入力ベクトルの要素、に対して縮小演算を実行した結果に相当する。
セルは、特定の要素と一時縮小要素とを用いて縮小演算を実行する(606)。たとえば、回路の特定のセルは、入力ベクトルの特定の要素と、この特定の要素に先行する入力ベクトルの要素に対し指定されたベクトル縮小演算を実行した結果に相当する一時縮小要素とを受けた後に、受けたデータに対し、制御信号によって指定されたベクトル縮小演算を実行することができる。再び図4の例を参照して、セル[2]は、入力ベクトル[0]の第3の要素と、一時縮小要素としてのセル[1]の出力とを受けた後に、これらの要素に対し、指定されたベクトル縮小演算を実行することができる。たとえば、指定されたベクトル縮小演算が合計ベクトル縮小演算である場合、セル[2]は、入力ベクトル[0]の第3の要素と、セル[1]の出力との合計を計算すればよい。
いくつかの実装形態において、システムの特定のセルは、入力ベクトルの特定の要素と一時縮小要素とを用いて実行するベクトル縮小演算を指定する制御信号を受けることができる。いくつかの実装形態において、この制御信号は、複数のセル各々に対して同一であってもよい、すなわち、回路が受けた1つの制御信号がセル各々に与えられる。その他の実装形態において、回路の各セルは異なる制御信号を受けてもよい。これにより、回路の
互いに異なるセルが、それぞれ異なるベクトル縮小演算を同時に実行することができる。これは、セグメント化ベクトル縮小演算が入力ベクトルに対して実行される場合と同様である。このような実装形態において、セルに与えられる制御信号を、回路が、たとえばレジスタにおいてベクトルとして受けてもよく、このベクトルの各要素は制御信号として対応するセルに与えることができる。ベクトル縮小演算のタイプは、たとえば、合計ベクトル縮小演算、最大値ベクトル縮小演算、最小値ベクトル縮小演算、最大インデックスベクトル縮小演算、最小インデックスベクトル縮小演算、平均ベクトル縮小演算、積ベクトル縮小演算、または、その他任意のベクトル縮小演算であってもよい。
セルは、指定された縮小演算を特定の要素と一時縮小要素とを用いて実行した結果を、新たな一時縮小要素として与える(608)。たとえば、回路の特定のセルは、指定された縮小演算を特定の要素と一時縮小要素とを用いて実行した結果を、新たな一時縮小要素として、複数のセルのうちの別のセルに与えることができる。再び図4の例を参照して、セル[2]は、入力ベクトル[0]の第3の要素とセル[1]から受けた一時縮小要素とに対し指定されたベクトル縮小演算を実行した後に、この指定されたベクトル縮小演算の結果を、回路のセル[3]に出力することができる。これに代えて、特定のセルが、入力ベクトルの最後の要素に対してベクトル縮小演算を実行したセルである場合、得られた一時縮小要素は、入力ベクトルに対してベクトル縮小を実行した結果に相当する出力として、与えることができる。
システムは、入力ベクトルの最後の要素を用いて縮小演算を実行した結果に相当する新たな一時縮小要素を、入力ベクトルを縮小したものとして出力するために与える(610)。たとえば、ベクトル縮小回路は、入力ベクトルの最後の要素を用いてベクトル縮小演算を実行した結果を与えるための、出力回路、たとえば値出力440のような1つ以上の値出力を、含み得る。回路の各セルは、入力ベクトルのある要素と、入力ベクトルのこの特定の要素に先行する入力ベクトルの要素に対し指定されたベクトル縮小演算を実行した結果に相当する一時縮小要素とを用いて、ベクトル縮小演算を実行するので、入力ベクトルの最後の要素を用いる指定されたベクトル縮小演算の結果は、入力ベクトルのすべての要素に対して指定されたベクトル縮小演算を実行した結果であろう。したがって、この結果は、入力ベクトルを縮小したものに相当する。たとえば、アーキテクチャ400のセル[3]は、指定されたベクトル縮小演算を、第4の、すなわち最後の、入力ベクトル[0]の要素と、セル[2]の出力、すなわち先行するセルが出力した一時縮小要素とに対して実行することができる。セル[3]が実行したベクトル縮小演算の結果は、この入力ベクトル全体に対するベクトル縮小演算の結果となる。したがって、この結果を、たとえば値出力[3]に、入力ベクトルを縮小したものとして出力するために与えることができる。いくつかの実装形態において、たとえばベクトル縮小演算を入力ベクトルの複数のセグメントに対して実行する場合、入力ベクトルの最後の要素に対してベクトル縮小を実行した結果は、別のセルに与えることができる。これらの実装形態において、入力ベクトルセグメントの最後の要素に対してベクトル縮小を実行した結果は、この結果を新たな一時縮小要素として次のセルに与えるクロックサイクルと同一のクロックサイクル中に出力のために与えることができる、または、この結果を新たな一時縮小要素として次のセルに与えるときのクロックサイクルの前もしくは後のクロックサイクルにおいて出力のために与えることができる。
まるで回路の1つ以上のセルがデータを順次受けて与えるかのように、たとえばセル[0]と入力ベクトル[0]の第1の要素で始まりセル[3]と入力ベクトル[0]の最後の要素で終わるかのように説明したが、その他の実装形態において、セルは入力ベクトルに対して異なる順序で演算を行ってもよい。これらの実装形態において、セルは、入力ベクトルの異なる要素に対して演算を行ってもよい、または、セルは、あるシーケンスにおいてこのセルの直前または直後のセルではない他のセルから/に、データを受ける/与え
てもよい。たとえば、図4のアーキテクチャ400において、セル[1]の出力を一時縮小要素としてセル[3]に与えてもよく、セル[3]の出力を一時縮小要素としてセル[2]に与えてもよい。これらの実装形態において、入力ベクトルの要素を処理する最後のセルの出力は、この入力ベクトルの縮小結果であろう。
図7A~図7Bは、行列-ベクトルプロセッサにおけるベクトル縮小の実行の一例を示す。いくつかの実装形態において、図7A~図7Bの例は、ベクトル縮小ユニット120を含む専用ハードウェア回路110を特徴とする図1の行列-ベクトル処理システム100によって実行することができる。図7A~図7Bに示される例では、合計ベクトル縮小演算が2つの入力ベクトルに対して実行される。第1の入力ベクトルはベクトル[1234]であり、第2の入力ベクトルはベクトル[5678]である。第1の入力ベクトルに対して実行される合計ベクトル縮小演算はセグメント化ベクトル縮小演算であり、この第1の入力ベクトルに対するベクトル縮小演算の結果は、第1の入力ベクトルの要素[12]と[34]との合計に相当する2要素ベクトルである。第2の入力ベクトルに対して実行される合計ベクトル縮小演算はセグメント化ベクトル縮小演算ではなく、この第2の入力ベクトルに対するベクトル縮小演算の結果は、第2の入力ベクトルの要素[5678]の合計に相当するスカラーとなる。
図7A~図7Bに示されるフレーム各々において、メモリ208を実現するために使用し得るたとえばDRAMまたはSRAMであるメモリ710は、スタッガードメモリとしてアクセスまたは読み出されてもよい。したがって、各フレームにおいて、スタッガードメモリの読み出しを実行し、入力ベクトルの要素を入力レジスタ720で受ける。入力レジスタ720は、たとえば図3の入力レジスタ320に対応していてもよい。入力レジスタ720は、受けた入力ベクトルの要素を、縮小ユニットセル730、たとえば図4のセル430に与える。図7A~図7Bのフレームの各々は、縮小ユニットセル(前)730aにおいて、ベクトル縮小演算が実行される前の縮小ユニットセル730を示し、縮小ユニットセル(後)730bにおいて、ベクトル縮小演算が実行された後の縮小ユニットセル730を示す。また、図7A~図7Bのフレームは制御レジスタ740を示し、ベクトル縮小ユニットを、セグメント化または非セグメント化ベクトル縮小演算を実行するように制御するための、制御レジスタ740の内容は、図4の制御レジスタ415の内容に相当する。入力ベクトルを縮小したものは、たとえば図4の値出力440と同様の、出力750に出力される。
簡単に説明すると、図7Aに示されるフレーム(a)において、値1を有する第1の入力ベクトルの第1の要素がメモリ710から読み出されこれを入力レジスタ720で受ける。730aに示されるようにセル730はnullに初期化されているが、その他の実装形態においてセル730は正の無限、負の無限、または別の値に初期化されてもよい。制御レジスタ740は、第1の入力ベクトルのセグメント化ベクトル縮小演算を実現するための要素からなるベクトルを既に受けている。この要素からなるベクトルは[0101]であり制御レジスタ740に与えられ、要素からなるベクトルの各要素は、対応するセル730の制御信号である。制御レジスタ740の[0]位置はゼロである、すなわち、非セグメント化ベクトル縮小演算が実行されることを示しているので、セル730は、第1の入力ベクトルの第1の要素を受け、これとセル730内の現在の値とを合計し、その結果を次のセル730に与える。したがって、第1のセル730は、演算(Null)+1=1を実行し、フレーム(a)の730bに示されるように1を次のセル730に送る。730bに示されるように、第1のセルの内容はnullに初期化されてもよい。
フレーム(b)において、入力レジスタ720は、値2を有する第1の入力ベクトルの第2の要素と、値5を有する第2の入力ベクトルの第1の要素とを受ける。第2のセル730の縮小ユニットは、現在格納している値と受けた第1の入力ベクトルの第2の要素と
を合計する、すなわち、演算(1)+2=3を実行する。第2のセル730に対する制御レジスタ740の要素は1である、すなわちセグメント化ベクトル縮小演算の実行を指定しているので、第2のセル730は、結果として得られた合計を、第2の出力750に出力する。加えて、第2のセル730はゼロを第3のセル730に出力する。いくつかの例において、第2のセル730は、第3のセル730に対し、異なる値、たとえば、null、正の無限または負の無限を出力してもよい。いくつかの例において、出力750は1つの出力であってもよく、たとえば、セル730はすべて同一の出力750に接続されてもよい。
加えて、第1のセル730は、第2の入力ベクトルの第1の要素を受け、加算(Null)+5=5を実行し、その結果を記憶のために第2のセル730に出力する。よって、第2のセル730はフレーム(b)の730bに値5を格納する。図示のように、第1のセル730は、null、または別の値に再初期化されてもよい。
フレーム(c)において、入力レジスタ720は、第1の入力ベクトルの第3の要素と、第2の入力ベクトルの第2の要素とを受ける。また、第1の入力ベクトルに対してセグメント化ベクトル縮小演算が実行されたので、制御レジスタ740は更新されて第2の入力ベクトルの非セグメント化ベクトル縮小演算のための要素を含む。したがって、制御レジスタ740の最後の要素のみが1であり、第2の入力ベクトルに対して1つの縮小出力のみが生成される。第3のセル730は、フレーム(c)の730aに示されるように値ゼロを格納し、値3を有する第1の入力ベクトルの第3の要素を受け、演算(0)+3=3を実行し、730bに示されるように、その結果を最後のセル730に格納する。第2のセル730は、730aに、値5を格納し、値6を有する第2の入力ベクトルの第2の要素を受け、演算(5)+6=11を実行し、730bに示されるように、その結果を第3のセル730に格納する。
フレーム(d)において、入力レジスタ720の最後の要素は、値4を有する第1の入力ベクトルの最後の要素と、値7を有する第2の入力ベクトルの第3の要素とを受ける。最後のセル730は、第1の入力ベクトルの最後の要素を受け、これと最後のセル730に格納されている値との合計を計算し、すなわち演算(3)+4=7を実行し、1を格納する制御レジスタ740に基づいて、その結果を最後の出力750に出力する。第3のセル730は、第2の入力ベクトルの第3の要素を受け、これと第3のセル730に格納されている値との合計を計算し、すなわち演算(11)+7=18を実行し、その結果を、フレーム(d)の730bに示されるように最後のセル730に格納する。
フレーム(e)において、入力レジスタ720は、値8を有する第2の入力ベクトルの最後の要素を受ける。この値は、最後のセル730に現在格納されている値に加算される、すなわち演算(18)+8=26が実行される。縮小ユニットの最後のセル730に対応する制御レジスタ740の最後の要素が1であるので、その結果は最後の出力750に出力される。したがって、入力ベクトル双方の合計ベクトル縮小が出力される。要素はセル730から読み出され、たとえば前のセル730の出力で置換されないので、セル730の内容はnullまたは別の値に再初期化されてもよい。
本明細書に記載の主題の実施形態および機能的動作は、デジタル電子回路において、有形的に実現されたコンピュータソフトウェアまたはファームウェアにおいて、本明細書に開示されている構造およびその構造的均等物を含むコンピュータハードウェアにおいて、または、これらのうちの1つ以上を組み合わせたものにおいて、実現することができる。本明細書に記載の主題の実施形態は、1つ以上のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるまたはデータ処理装置の動作を制御するための有形の非一時的なプログラムキャリア上で符号化されたコンピュータプログラム命令の1つ
以上のモジュールとして、実現することができる。これに代えてまたはこれに加えて、プログラム命令は、データ処理装置による実行のために適切な受信装置に送信される情報を符号化するために生成された、人為的に生成された伝搬信号、たとえばマシンによって生成された電気、光、または電磁信号上で符号化することができる。コンピュータ記憶媒体は、マシン読取可能記憶媒体、マシン読取可能記憶基盤、ランダムもしくはシリアルアクセスメモリデバイス、または、これらのうちの1つ以上を組み合わせたものであってもよい。
「データ処理装置」という用語は、例としてプログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データ処理用のすべての種類の装置、デバイス、およびマシンを包含する。この装置は、専用論理回路たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含み得る。この装置はまた、ハードウェアに加えて、当該コンピュータプログラムのために実行環境を作成するコード、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの1つ以上の組み合わせを構成するコードを含み得る。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ぶ、またはそういうものとして説明することもできる)は、コンパイルもしくはインタプリタ言語、または宣言型もしくは手続型言語を含む、任意のプログラミング言語形態で記述することができ、また、スタンドアロンプログラムとしてまたはモジュールとして、コンポーネント、サブルーチン、または計算環境で使用するのに適したその他のユニットを含む、任意の形態でデプロイすることができる。コンピュータプログラムはファイルシステム内のファイルに対応していてもよいがそうでなくてもよい。プログラムは、その他のプログラムまたはデータを保持する、たとえばマークアップ言語文書に保存されている1つ以上のスクリプトを保持するファイルの一部に、または当該プログラム専用の1つのファイルに、または連携している複数のファイル、たとえば1つ以上のモジュール、サブプログラム、またはコードの一部を保存する複数のファイルに、格納することができる。コンピュータプログラムは、1つの場所にある、または複数の場所に分散しており通信ネットワークによって相互接続されている、1つのコンピュータまたは複数のコンピュータ上で実行するためにデプロイすることができる。
本明細書に記載のプロセスおよび論理フローは、入力データに対して作用し出力を生成することによって機能を果たすために1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルコンピュータによって実行することができる。プロセスおよび論理フローは、専用ロジック回路たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行されてもよく、装置は、専用ロジック回路たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)として実現されてもよい。
コンピュータプログラムの実行に適したコンピュータは、一例として、汎用もしくは専用マイクロプロセッサまたはこれら双方に基づいていてもよく、または、その他任意の種類の中央処理装置に基づいていてもよい。一般的に、中央処理装置は、命令およびデータを、読み取り専用メモリまたはランダムアクセスメモリまたはこれら双方から受ける。コンピュータの必須要素は、命令を実施または実行するための中央処理装置と、命令およびデータを格納するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを格納するための1つ以上の大量記憶装置たとえば磁気、光磁気ディスク、または光ディスクを含む、または、上記大量記憶装置からデータを受ける、これにデータを転送する、またはこれら双方のために、上記大量記憶装置に作動的に結合される。しかしな
がら、コンピュータはこのようなデバイスを有していなくてもよい。加えて、コンピュータは別のデバイスに、たとえば、例を挙げると、携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤー、ゲーム機、グローバルポジショニングシステム(GPS)受信機、またはポータブル記憶装置たとえばユニバーサル・シリアル・バス(USB)フラッシュデバイスに、埋め込まれていてもよい。
コンピュータプログラム命令およびデータを格納するのに適したコンピュータ読取可能媒体は、すべての形態の不揮発性メモリ、媒体およびメモリデバイスを含み、これは、一例として、半導体メモリデバイスたとえばEPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスクたとえば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD ROMおよびDVD-ROMディスクを含む。プロセッサおよびメモリに、専用論理回路を補充してもよく、専用論理回路にプロセッサおよびメモリが組み込まれていてもよい。
ユーザとのやり取りにおける送信のために、本明細書に記載の主題の実施形態は、ユーザに対して情報を表示するためのディスプレイデバイスたとえばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータに入力を送ることができるようにするためのキーボードおよびポインティングデバイスたとえばマウスまたはトラックボールとを有するコンピュータ上で実現することができる。その他の種類のデバイスを用いてユーザとのやり取りにおける送信が行われるようにしてもよい。たとえば、ユーザに与えられるフィードバックは、任意の形態の感覚フィードバックたとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってもよく、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受けることができる。加えて、コンピュータは、ユーザとの対話を、ユーザが使用するデバイスに文書を送信するかまたはこのデバイスから文書を受信することによって、たとえば、ウェブブラウザから受信した要求に応じてユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、実現してもよい。
本明細書に記載の主題の実施形態は、たとえばデータサーバとしてバックエンドコンポーネントを含む計算システム、または、ミドルウェアコンポーネントたとえばアプリケーションサーバを含む計算システム、または、フロントエンドコンポーネント、たとえば、本明細書に記載の主題を実現したものとユーザとのやり取りを可能にするためのグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータを含む計算システム、または、このようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントのうちの1つ以上の任意の組み合わせを含む計算システムにおいて、実現することができる。当該システムのコンポーネントは、デジタルデータ通信の形態または媒体たとえば通信ネットワークによって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、たとえばインターネットを含む。
計算システムはクライアントとサーバとを含み得る。クライアントとサーバは、通常は互いに離れており、通信ネットワークを通してやり取りするのが一般的である。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されクライアントとサーバとの関係を有するコンピュータプログラムによって発生する。
本明細書には実装の具体的詳細事項が多く含まれているが、これらは、どの発明の範囲またはクレームし得るものの範囲の限定としても解釈されてはならないものであって、むしろ、特定の発明の特定の実施形態に固有であり得る特徴の説明として解釈されるべきものである。本明細書において、別々の実施形態という観点で記載されている特定の特徴は、1つの実施形態において組み合わせ実現することも可能である。逆に、1つの実施形態
という観点から記載されている各種特徴を、複数の実施形態において別々に、または任意の適切な下位の組み合わせとして実現することも可能である。加えて、上記特徴は、特定の組み合わせで機能するものとして記載され最初にそういうものとしてクレームされている場合があるが、クレームされている組み合わせに含まれる1つ以上の特徴は、場合によってはこの組み合わせから省略することができ、クレームされている組み合わせは下位の組み合わせまたは下位の組み合わせの変形に関するものである場合がある。
同様に、動作は図面において特定の順序で示されているが、これは、このような動作が、示されている特定の順序もしくは連続した順序で実行されることを要する、または、示されているすべての動作が所望の結果を得るために実行されることを要する、と理解されてはならない。特定の状況ではマルチタスキングおよび並列処理が好都合である場合がある。加えて、上記実施形態における各種システムモジュールおよびコンポーネントの分離は、すべての実施形態においてこのような分離を要するものと理解されてはならない。記載されているプログラムコンポーネントおよびシステムは一般的に、1つのソフトウェアプロダクトに統合できる、または、パッケージングして複数のソフトウェアプロダクトにできることが、理解されるはずである。
当該主題の具体的な実施形態は上に述べた通りである。その他の実施形態は以下の請求項の範囲に含まれる。たとえば、請求項に記載の動作は、異なる順序で実行されてそれでもなお所望の結果を得ることができる。一例として、添付の図面に記載されているプロセスは、必ずしも示されている通りの特定の順序または連続した順序によって所望の結果を得ることを要している訳ではない。特定の実装例において、マルチタスキングおよび並列処理が好都合である場合がある。

Claims (10)

  1. ベクトル縮小回路が実行する方法であって、前記方法は、前記ベクトル縮小回路の複数のセルのうちの各セルごとに、
    (i)入力ベクトルの各々の入力ベクトル要素と、(ii)前記複数のセルのうちの先行するセルによって実行されたベクトル縮小演算の出力またはプレースホルダー信号のうちのいずれかである一時縮小要素と、(iii)前記複数のセルのうちの各セルごとに対応する制御ベクトル要素を有する制御ベクトル内の各々の制御ベクトル要素とを、受けるステップと、
    前記各々の入力ベクトル要素と前記一時縮小要素とを用いて結果を計算するステップと、
    前記各々の入力ベクトル要素は前記入力ベクトルにおいて最後の入力ベクトル要素ではないことを、前記各々の制御ベクトル要素が示す場合、前記ベクトル縮小回路の前記複数のセルのうちの次のセルに、前記結果を与えるステップとを含み、前記結果は、前記次のセルの新たな一時縮小要素であり、前記方法はさらに、
    前記各々の入力ベクトル要素は前記入力ベクトルにおいて前記最後の入力ベクトル要素であることを、前記各々の制御ベクトル要素が示す場合、出力回路に前記結果を与えるステップを含む、方法。
  2. 前記結果を計算するステップは、
    前記各々の入力ベクトル要素と前記一時縮小要素とを比較するステップと、
    前記比較に基づき、前記結果として、前記各々の入力ベクトル要素と前記一時縮小要素とのうちで最大のものを判断するステップとを含む、請求項1に記載の方法。
  3. 前記結果を計算するステップは、
    前記各々の入力ベクトル要素と前記一時縮小要素とを比較するステップと、
    前記比較に基づき、前記結果として、前記各々の入力ベクトル要素と前記一時縮小要素とのうちで最小のものを判断するステップとを含む、請求項1に記載の方法。
  4. 前記結果を計算するステップは、
    前記結果として、前記各々の入力ベクトル要素と前記一時縮小要素との合計を求めるステップを含む、請求項1に記載の方法。
  5. 前記結果を計算するステップは、
    前記結果として、前記各々の入力ベクトル要素と前記一時縮小要素との積を求めるステップを含む、請求項1に記載の方法。
  6. 前記結果を計算するステップは、
    前記各々の入力ベクトル要素に対応する第1のインデックスを求めるステップと、
    前記一時縮小要素に対応する第2のインデックスを示すデータを受けるステップと、
    前記各々の入力ベクトル要素と前記一時縮小要素とを比較するステップと、
    前記比較に基づいて、前記各々の入力ベクトル要素と前記一時縮小要素とのうちで最大のものを判断するステップと、
    前記判断に基づき、前記結果として、前記各々の入力ベクトル要素に対応する前記第1のインデックスまたは前記一時縮小要素に対応する前記第2のインデックスのうちの一方を識別するステップとを含む、請求項1に記載の方法。
  7. 前記結果を計算するステップは、
    前記各々の入力ベクトル要素に対応する第1のインデックスを求めるステップと、
    前記一時縮小要素に対応する第2のインデックスを示すデータを受けるステップと、
    前記各々の入力ベクトル要素と前記一時縮小要素とを比較するステップと、
    前記比較に基づいて、前記各々の入力ベクトル要素と前記一時縮小要素とのうちで最小のものを判断するステップと、
    前記判断に基づき、前記結果として、前記各々の入力ベクトル要素に対応する前記第1のインデックスまたは前記一時縮小要素に対応する前記第2のインデックスのうちの一方を識別するステップとを含む、請求項1に記載の方法。
  8. 前記各々の入力ベクトル要素と前記一時縮小要素とを使用して実行する縮小演算の種類を指定する制御信号を受けるステップをさらに含む、請求項1~7のいずれか1項に記載の方法。
  9. 前記複数のセルのうちの指定された第1のセルが受ける前記一時縮小要素はnull値である、請求項1~8のいずれか1項に記載の方法。
  10. 前記各々の入力ベクトル要素を受けるステップは、前記ベクトル縮小回路の入力ベクトル要素レジスタが、前記各々の入力ベクトル要素を受けることを含み、
    前記一時縮小要素を受けるステップは、前記ベクトル縮小回路の一時縮小要素レジスタが前記一時縮小要素を受けることを含み、
    前記各々の制御ベクトル要素を受けるステップは、前記ベクトル縮小回路の結果レジスタが前記各々の制御ベクトル要素を受けることを含む、請求項1~9のいずれか1項に記載の方法。
JP2022063377A 2017-04-03 2022-04-06 ベクトル縮小プロセッサ Active JP7256914B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023058509A JP7485820B2 (ja) 2017-04-03 2023-03-31 ベクトル縮小プロセッサ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/477,791 US10108581B1 (en) 2017-04-03 2017-04-03 Vector reduction processor
US15/477,791 2017-04-03
PCT/US2017/066058 WO2018186918A1 (en) 2017-04-03 2017-12-13 Vector reduction processor
JP2019538667A JP7055809B2 (ja) 2017-04-03 2017-12-13 ベクトル縮小プロセッサ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019538667A Division JP7055809B2 (ja) 2017-04-03 2017-12-13 ベクトル縮小プロセッサ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023058509A Division JP7485820B2 (ja) 2017-04-03 2023-03-31 ベクトル縮小プロセッサ

Publications (2)

Publication Number Publication Date
JP2022095817A JP2022095817A (ja) 2022-06-28
JP7256914B2 true JP7256914B2 (ja) 2023-04-12

Family

ID=60991531

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019538667A Active JP7055809B2 (ja) 2017-04-03 2017-12-13 ベクトル縮小プロセッサ
JP2022063377A Active JP7256914B2 (ja) 2017-04-03 2022-04-06 ベクトル縮小プロセッサ
JP2023058509A Active JP7485820B2 (ja) 2017-04-03 2023-03-31 ベクトル縮小プロセッサ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019538667A Active JP7055809B2 (ja) 2017-04-03 2017-12-13 ベクトル縮小プロセッサ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023058509A Active JP7485820B2 (ja) 2017-04-03 2023-03-31 ベクトル縮小プロセッサ

Country Status (9)

Country Link
US (5) US10108581B1 (ja)
EP (2) EP4086760B1 (ja)
JP (3) JP7055809B2 (ja)
KR (3) KR102347374B1 (ja)
CN (2) CN111142937B (ja)
DK (1) DK3552094T3 (ja)
HK (1) HK1259157A1 (ja)
TW (4) TWI828502B (ja)
WO (1) WO2018186918A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936942B2 (en) * 2017-11-21 2021-03-02 Google Llc Apparatus and mechanism for processing neural network tasks using a single chip package with multiple identical dies
US11277455B2 (en) 2018-06-07 2022-03-15 Mellanox Technologies, Ltd. Streaming system
US20200106828A1 (en) * 2018-10-02 2020-04-02 Mellanox Technologies, Ltd. Parallel Computation Network Device
US11625393B2 (en) 2019-02-19 2023-04-11 Mellanox Technologies, Ltd. High performance computing system
EP3699770A1 (en) 2019-02-25 2020-08-26 Mellanox Technologies TLV Ltd. Collective communication system and methods
US11294670B2 (en) 2019-03-27 2022-04-05 Intel Corporation Method and apparatus for performing reduction operations on a plurality of associated data element values
CN110069737B (zh) * 2019-04-19 2020-08-14 北京三快在线科技有限公司 内容生成方法、装置、计算机设备及存储介质
US11216281B2 (en) * 2019-05-14 2022-01-04 International Business Machines Corporation Facilitating data processing using SIMD reduction operations across SIMD lanes
US10997116B2 (en) * 2019-08-06 2021-05-04 Microsoft Technology Licensing, Llc Tensor-based hardware accelerator including a scalar-processing unit
CN110580288B (zh) * 2019-08-23 2022-09-09 腾讯科技(深圳)有限公司 基于人工智能的文本分类方法和装置
CN111105042B (zh) * 2019-12-13 2023-07-25 广东浪潮大数据研究有限公司 一种并行消息处理方法、系统及相关装置
US11750699B2 (en) 2020-01-15 2023-09-05 Mellanox Technologies, Ltd. Small message aggregation
US11252027B2 (en) 2020-01-23 2022-02-15 Mellanox Technologies, Ltd. Network element supporting flexible data reduction operations
US11876885B2 (en) 2020-07-02 2024-01-16 Mellanox Technologies, Ltd. Clock queue with arming and/or self-arming features
US11556378B2 (en) 2020-12-14 2023-01-17 Mellanox Technologies, Ltd. Offloading execution of a multi-task parameter-dependent operation to a network device
US20240004647A1 (en) * 2022-07-01 2024-01-04 Andes Technology Corporation Vector processor with vector and element reduction method
US11922237B1 (en) 2022-09-12 2024-03-05 Mellanox Technologies, Ltd. Single-step collective operations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087144A1 (ja) 2009-02-02 2010-08-05 日本電気株式会社 並列比較選択演算装置、プロセッサ及び並列比較選択演算方法
JP2012239169A (ja) 2011-05-09 2012-12-06 Altera Corp 埋込み浮動小数点構造を有するdspブロック
JP2016530631A (ja) 2013-08-14 2016-09-29 クアルコム,インコーポレイテッド ベクトルの算術的削減

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4839845A (en) 1986-03-31 1989-06-13 Unisys Corporation Method and apparatus for performing a vector reduction
US5423051A (en) 1992-09-24 1995-06-06 International Business Machines Corporation Execution unit with an integrated vector operation capability
JP3334330B2 (ja) 1994-05-17 2002-10-15 日産自動車株式会社 燃料噴射弁
JPH0877142A (ja) 1994-08-31 1996-03-22 Fujitsu Ltd ベクトルプロセッサ
KR100267089B1 (ko) * 1996-08-19 2000-11-01 윤종용 스칼라/벡터연산이조합된단일명령복수데이터처리
TW361051B (en) * 1997-01-09 1999-06-11 Matsushita Electric Ind Co Ltd Motion vector detection apparatus
JP3857614B2 (ja) 2002-06-03 2006-12-13 松下電器産業株式会社 プロセッサ
CN1820246A (zh) * 2003-05-09 2006-08-16 杉桥技术公司 执行饱和或不执行饱和地累加多操作数的处理器还原单元
US7797363B2 (en) 2004-04-07 2010-09-14 Sandbridge Technologies, Inc. Processor having parallel vector multiply and reduce operations with sequential semantics
US20060101244A1 (en) * 2004-11-10 2006-05-11 Nvidia Corporation Multipurpose functional unit with combined integer and floating-point multiply-add pipeline
US8212823B2 (en) 2005-09-28 2012-07-03 Synopsys, Inc. Systems and methods for accelerating sub-pixel interpolation in video processing applications
US8065503B2 (en) * 2006-12-15 2011-11-22 International Business Machines Corporation Iteratively processing data segments by concurrently transmitting to, processing by, and receiving from partnered process
EP1936492A1 (en) 2006-12-22 2008-06-25 Telefonaktiebolaget LM Ericsson (publ) SIMD processor with reduction unit
US7953684B2 (en) * 2007-01-31 2011-05-31 International Business Machines Corporation Method and system for optimal parallel computing performance
US20090150648A1 (en) * 2007-12-06 2009-06-11 Eric Oliver Mejdrich Vector Permute and Vector Register File Write Mask Instruction Variant State Extension for RISC Length Vector Instructions
US8131979B2 (en) * 2008-08-15 2012-03-06 Apple Inc. Check-hazard instructions for processing vectors
US8417921B2 (en) * 2008-08-15 2013-04-09 Apple Inc. Running-min and running-max instructions for processing vectors using a base value from a key element of an input vector
FR2949637B1 (fr) 2009-08-28 2011-09-23 Commissariat Energie Atomique Dispositif de calcul reconfigurable sur voisinage flexible de pixels
US8447954B2 (en) * 2009-09-04 2013-05-21 International Business Machines Corporation Parallel pipelined vector reduction in a data processing system
US8458243B1 (en) 2010-03-03 2013-06-04 Altera Corporation Digital signal processing circuit blocks with support for systolic finite-impulse-response digital filtering
US9141386B2 (en) 2010-09-24 2015-09-22 Intel Corporation Vector logical reduction operation implemented using swizzling on a semiconductor chip
CN104204989B (zh) 2012-03-30 2017-10-13 英特尔公司 用于选择向量计算的元素的装置和方法
US9342479B2 (en) * 2012-08-23 2016-05-17 Qualcomm Incorporated Systems and methods of data extraction in a vector processor
US9588766B2 (en) * 2012-09-28 2017-03-07 Intel Corporation Accelerated interlane vector reduction instructions
KR101772299B1 (ko) * 2012-12-28 2017-08-28 인텔 코포레이션 스트라이딩된 액세스 패턴을 가진 벡터 레지스터에서 성분들을 축소하기 위한 명령어
GB2519108A (en) * 2013-10-09 2015-04-15 Advanced Risc Mach Ltd A data processing apparatus and method for controlling performance of speculative vector operations
US20150143076A1 (en) 2013-11-15 2015-05-21 Qualcomm Incorporated VECTOR PROCESSING ENGINES (VPEs) EMPLOYING DESPREADING CIRCUITRY IN DATA FLOW PATHS BETWEEN EXECUTION UNITS AND VECTOR DATA MEMORY TO PROVIDE IN-FLIGHT DESPREADING OF SPREAD-SPECTRUM SEQUENCES, AND RELATED VECTOR PROCESSING INSTRUCTIONS, SYSTEMS, AND METHODS
US9355061B2 (en) * 2014-01-28 2016-05-31 Arm Limited Data processing apparatus and method for performing scan operations
CN103995688B (zh) * 2014-05-30 2016-10-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于标签的无序矢量归约电路
US9851970B2 (en) * 2014-12-23 2017-12-26 Intel Corporation Method and apparatus for performing reduction operations on a set of vector elements
US10192162B2 (en) * 2015-05-21 2019-01-29 Google Llc Vector computation unit in a neural network processor
US9537530B1 (en) * 2015-06-26 2017-01-03 Intel Corporation Transceiver device and method of processing signals
US10146535B2 (en) * 2016-10-20 2018-12-04 Intel Corporatoin Systems, apparatuses, and methods for chained fused multiply add
US9959247B1 (en) * 2017-02-17 2018-05-01 Google Llc Permuting in a matrix-vector processor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087144A1 (ja) 2009-02-02 2010-08-05 日本電気株式会社 並列比較選択演算装置、プロセッサ及び並列比較選択演算方法
JP2012239169A (ja) 2011-05-09 2012-12-06 Altera Corp 埋込み浮動小数点構造を有するdspブロック
JP2016530631A (ja) 2013-08-14 2016-09-29 クアルコム,インコーポレイテッド ベクトルの算術的削減

Also Published As

Publication number Publication date
KR20210060665A (ko) 2021-05-26
US20200334198A1 (en) 2020-10-22
EP4086760B1 (en) 2024-03-20
EP3552094B1 (en) 2022-06-29
JP7485820B2 (ja) 2024-05-16
EP4086760A1 (en) 2022-11-09
DK3552094T3 (da) 2022-09-19
US11940946B2 (en) 2024-03-26
US11061854B2 (en) 2021-07-13
CN108694055A (zh) 2018-10-23
KR102256109B1 (ko) 2021-05-24
TWI738042B (zh) 2021-09-01
KR20220003666A (ko) 2022-01-10
US20180285316A1 (en) 2018-10-04
WO2018186918A1 (en) 2018-10-11
JP2020513120A (ja) 2020-04-30
US10108581B1 (en) 2018-10-23
TW201947393A (zh) 2019-12-16
EP3552094A1 (en) 2019-10-16
JP2023085414A (ja) 2023-06-20
CN108694055B (zh) 2019-12-24
TW201837703A (zh) 2018-10-16
KR20190092561A (ko) 2019-08-07
TW202318227A (zh) 2023-05-01
JP2022095817A (ja) 2022-06-28
HK1259157A1 (zh) 2019-11-29
US20190012294A1 (en) 2019-01-10
CN111142937A (zh) 2020-05-12
KR102471597B1 (ko) 2022-11-25
JP7055809B2 (ja) 2022-04-18
TWI791262B (zh) 2023-02-01
KR102347374B1 (ko) 2022-01-04
US20240168914A1 (en) 2024-05-23
TWI673648B (zh) 2019-10-01
US10706007B2 (en) 2020-07-07
TW202144999A (zh) 2021-12-01
TWI828502B (zh) 2024-01-01
CN111142937B (zh) 2023-11-24
US20210318983A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7256914B2 (ja) ベクトル縮小プロセッサ
US11620508B2 (en) Vector computation unit in a neural network processor
US20220261622A1 (en) Special purpose neural network training chip
US10699188B2 (en) Neural network processor
US20180232209A1 (en) Transposing in a matrix-vector processor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230331

R150 Certificate of patent or registration of utility model

Ref document number: 7256914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150