WO2020196407A1 - 畳込み演算装置 - Google Patents

畳込み演算装置 Download PDF

Info

Publication number
WO2020196407A1
WO2020196407A1 PCT/JP2020/012728 JP2020012728W WO2020196407A1 WO 2020196407 A1 WO2020196407 A1 WO 2020196407A1 JP 2020012728 W JP2020012728 W JP 2020012728W WO 2020196407 A1 WO2020196407 A1 WO 2020196407A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
input
rows
columns
input data
Prior art date
Application number
PCT/JP2020/012728
Other languages
English (en)
French (fr)
Inventor
広津　鉄平
Original Assignee
株式会社エヌエスアイテクス
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エヌエスアイテクス, 株式会社デンソー filed Critical 株式会社エヌエスアイテクス
Priority to EP20778810.0A priority Critical patent/EP3951637A4/en
Publication of WO2020196407A1 publication Critical patent/WO2020196407A1/ja
Priority to US17/480,925 priority patent/US20220004364A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Definitions

  • the present disclosure relates to a convolution calculation device that performs a convolution calculation.
  • output data is generated by convolving the weight data that forms a predetermined filter into the input data.
  • the convolution operation is processed by converting the convolution operation into a matrix operation (see, for example, Patent Document 1).
  • the purpose of the present disclosure is to provide a convolutional arithmetic unit with reduced power consumption.
  • One embodiment of the present disclosure has a plurality of storage elements arranged two-dimensionally to store data, and the data can be cyclically shifted among the plurality of storage elements and input to a predetermined area.
  • a window is set, and a two-dimensional circular shift register unit that selects data stored in the storage element in the input window as input data, and the input data input from the register unit and a predetermined filter are selected.
  • It is a convolution calculation device including a product-sum calculation unit that generates output data by performing a product-sum calculation on the weight data to be formed.
  • FIG. 1 is a block diagram showing a DFP system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the DFP of the first embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing a convolution calculation circuit according to the first embodiment of the present disclosure.
  • FIG. 4 is a block diagram showing a storage element according to the first embodiment of the present disclosure.
  • FIG. 5 is a block diagram showing a product-sum calculation unit according to the first embodiment of the present disclosure.
  • FIG. 6 is a schematic diagram showing selection of input data by shifting according to the first embodiment of the present disclosure.
  • FIG. 7 is a conceptual diagram showing the movement of the input data range according to the first embodiment of the present disclosure.
  • FIG. 8 is a table diagram showing a series of shift operations according to the first embodiment of the present disclosure.
  • FIG. 9 is a block diagram showing a convolution calculation circuit according to the second embodiment of the present disclosure.
  • FIG. 10 is a table diagram showing a series of shift operations according to the second embodiment of the present disclosure.
  • FIG. 11 is a block diagram showing a convolution calculation circuit according to the third embodiment of the present disclosure.
  • FIG. 12 is a table diagram showing a constant matrix used in the product-sum operation of the third embodiment of the present disclosure.
  • FIG. 13 is a conceptual diagram showing the movement of the input data range according to the third embodiment of the present disclosure.
  • the convolution calculation circuit is used for a data flow processor (Data Flow Processor, hereinafter referred to as "DFP") used for image recognition and object detection in automatic operation.
  • DFP Data Flow Processor
  • the shift register 40 data elements are stored in a large number of two-dimensionally arranged storage elements 42, and the storage elements 42 in the input window 44 set in a predetermined area. Select the data element as the input data d.
  • the product-sum calculator 50 the input data d input from the shift register 40 and the weight data g forming a predetermined filter are subjected to a product-sum calculation to generate output data Y.
  • the total data elements are sequentially shifted in the shift register 40, the data elements in the input window 44 are sequentially selected as the input data d, and the total output data Z is selected from the output data Y sequentially generated from the input data d.
  • the DFP system 10 will be outlined with reference to FIG.
  • the DFP 11 functions as an individual master for dealing with the heavy arithmetic load of the host CPU 12, can fetch programs and original instructions, and supports interrupt processing generated by the event handler 13. To do.
  • the DFP11, host CPU12, ROM14, RAM15, and external interface 16 transmit and receive data via the system bus 17.
  • DFP11 will be outlined with reference to FIG. With regard to DFP11, it is possible to execute a plurality of threads in parallel even for different instruction streams by dynamically allocating registers and thread scheduling by hardware for a large number of threads. It should be noted that such a large number of threads can be generated by automatically vectorizing the program code by the compiler and extracting a graph structure that maintains the task parallelism and graph parallelism of the program.
  • the plurality of execution cores 22 each have a large number of independently scheduleable pipelines and share resources among the four processing elements PE # 0, PE # 1, PE # 2, and PE # 3. ..
  • the thread scheduler 24 realizes scheduling across a large number of threads and executes a large number of threads at the same time.
  • the command unit 26 sends and receives data to and from the config interface 28, and functions as a command buffer.
  • the memory subsystem 30 is formed by an arbiter 32, an L1 cache 34a, and an L2 cache 34b, and transmits / receives data to / from the system bus interface 36 and the ROM interface 38.
  • the convolution calculation circuit is used as one execution core 22 among the plurality of execution cores 22 included in the DFP 11.
  • the convolution calculation circuit will be described with reference to FIG.
  • the convolution calculation circuit is formed by a two-dimensional circulation shift register 40 and a product-sum calculation unit 50.
  • a large number of storage elements 42 are arranged two-dimensionally.
  • 64 storage elements 42 in rows 0 to 7 and columns 0 to 7 in rows 8 and 8 are used.
  • Each storage element 42 is connected to a storage element 42 arranged vertically and horizontally of the storage element 42, and the data element of each storage element 42 can be shifted to the storage elements 42 arranged vertically and horizontally.
  • the shift register 40 is a two-dimensional circulation type, and is on the top, bottom, left, and right of the storage elements 42 in the top row, bottom row, leftmost column, and rightmost column, respectively, in the bottom row, top row, and rightmost. It is assumed that the storage elements 42 in the leftmost column are arranged.
  • the shift amount is n.
  • each storage element 42 is connected only to the storage elements 42 adjacent to each other vertically and horizontally, and the data element of each storage element 42 can be shifted only to the storage elements 42 adjacent to each other vertically and horizontally. The amount is 1.
  • a memory interface 60 is connected to the shift register 40. Data elements are sequentially input from the memory interface 60 to each storage element 42 in the bottom row of the shift register 40. By sequentially shifting the data elements input to each storage element 42 in the bottom row upward, the data elements are stored in all the storage elements 42.
  • the input window 44 is set in a predetermined area.
  • the data element stored in the storage element 42 in the input window 44 is selected as the input data d and output to the product-sum calculator 50.
  • the input window 44 is set in the area including the storage elements 42 in the 0th row to the 2nd row and the 0th row to the 2nd column in 3 rows and 3 columns. Then, the input data d of 3 rows and 3 columns is selected from the total data elements of 8 rows and 8 columns, and the input data d of 3 rows and 3 columns is output to the multiply-accumulate calculator 50.
  • the storage element 42 of the shift register 40 will be described in detail with reference to FIG.
  • the storage element 42 is formed of a multiplexer 46 (MUX) and a flip-flop 48 (FF).
  • MUX multiplexer 46
  • FF flip-flop 48
  • data elements are input to the multiplexer 46 from flip-flops 48 of storage elements 42 adjacent to each other in the vertical and horizontal directions.
  • the multiplexer 46 selects one data element from the four input data elements and outputs it to the flip-flop 48 of the storage element 42.
  • the flip-flop 48 holds the data element input from the multiplexer 46.
  • the product-sum calculator 50 will be described with reference to FIG.
  • the product-sum calculation unit 50 performs a product-sum calculation of the input data d and the weight data w forming a predetermined filter to generate the output data Y. That is, as shown by the following equation (1), the Frobenius product of the input data d and the weight data g is defined as the output data Y.
  • d qr is an input data element forming the input data d
  • g qr is a weight data element forming the weight data g.
  • Output data Y of 1 row and 1 column is generated from 0 to 2). Therefore, the number of multiplications in the product-sum operation is nine.
  • the multiply-accumulate unit 50 is composed of an input register 52, a weight register 54, a multiplier 56, and an adder tree 58.
  • the input register 52 holds an input data element d qr that forms the input data d input from the shift register 40.
  • the weight register 54 holds a weight data element g qr that forms the weight data g input from an interface (not shown).
  • the input register 52 and the wait register 54 each include nine storage areas.
  • Each multiplier 56 multiplies each input data element d qr of the input register 52 with each weight data element g qr of the weight register 54, and the adder tree 58 is the total multiplication calculated by each multiplier 56. Add the results. In this embodiment, nine multipliers 56 are used, and nine multiplier results are added by the adder tree 58.
  • the total data elements are sequentially shifted, and the data elements in the input window 44 are sequentially selected as the input data d.
  • the data elements in the three-column input window 44 are sequentially selected as the input data d.
  • the selection of the input data d by the shift in the shift register 40 corresponds to the movement of the input data range D in the total data elements.
  • the shift in the up / down / left / right directions in the shift register 40 corresponds to the movement of the input data range D in the total data elements in the opposite direction.
  • the input data of the input data range D displaced downward and to the right by k and l with respect to the upper left is d kl
  • the output data generated from the input data d kl is Y kl . ..
  • a shift operation of 1 shift amount and 1 shift number is performed in one cycle from input data selection to the next input data selection, and 35 shift operations are performed in 35 cycles.
  • the shift is performed.
  • 36 input data d kl of 3 rows and 3 columns are selected including before the start of the cycle, and 36 1 row 1 column from the input data d kl of 36 3 rows and 3 columns.
  • Output data Y kl of is generated.
  • the total output data Z of 6 rows and 6 columns having 36 output data Y kl as the element z kl is generated.
  • the number of shifts in the convolution operation is 35 times. Further, the total number of multiplications is 324 times by multiplying 9 times, which is the number of multiplications in the product-sum operation, and 36 times, which is the number of times of selection of input data.
  • the convolution calculation circuit of the present embodiment has the following effects.
  • the convolution operation circuit of the present embodiment since the convolution operation is not converted into the matrix operation, it is not necessary to convert the input data so that the matrix operation can be performed, and the original input data is duplicated. There is no need to handle the converted data. Therefore, the increase in hardware and data processing is avoided, and the power consumption in the convolution arithmetic unit is reduced.
  • a plurality of input window areas can be switched with each other in the shift register 40. That is, all the storage elements 42 included in the plurality of input window areas are connected to the multiplexer, and by selecting the input data elements input from the storage elements 42 in the multiplexer, the plurality of input window areas can be switched to each other. It has become like.
  • a filter of 3 rows 3 columns, 4 rows 4 columns, 5 rows 5 columns is used in the convolution operation, 3 rows 3 columns, 4 rows 4 columns, 5 rows 5 columns corresponding to each filter.
  • the 0th to 2nd input window areas including the storage elements 42 of the above can be switched between each other.
  • a 0th to 2nd input window area for example, (0) a 0th input including a storage element 42 in rows 0 to 2 and columns 0 to 2 in 3 rows and 3 columns.
  • 1st input window area including storage elements 42 of 4 rows and 4 columns of 0th to 3rd rows and 0th to 3rd columns, (2) 0th to 4th rows Moreover, it is possible to use the second input window area including the storage element 42 of 5 rows and 5 columns of columns 0 to 4.
  • the shift amount can be switched in the shift register 40. That is, the flip-flop 48 of the storage element 42 next to s 1 , next to s 2 , ..., S n next to each other (n ⁇ 2) is connected to the multiplexer 46 of each storage element 42 in each of the up, down, left, and right directions. ing. Then, in the multiplexer 46 of each storage element 42, the data element input from the flip-flop 48 of any of the storage elements 42 s 1 adjacent, s 2 adjacent, ..., s n adjacent (n ⁇ 2) is selected. The shift amount can be switched by switching whether or not to perform.
  • the flip-flops 48 of the two adjacent storage elements 42 are connected to the multiplexer 46 of each storage element 42 in each of the up, down, left, and right directions.
  • the shift amount is changed by switching which of the adjacent storage elements 42 and the two adjacent storage elements 42 to select the data element input from the storage element 42. Is switched between 1 and 2.
  • FIGS. 9 and 10 A second embodiment of the present disclosure will be described with reference to FIGS. 9 and 10.
  • a plurality of input windows 44a-44d are set in the shift register 40.
  • the signal lines are not shown between the storage elements 42 between the top row and the bottom row, and between the storage elements 42 between the leftmost column and the rightmost column. are doing.
  • the 0th to 3rd input windows 44a-44d are set.
  • the 0th to 3rd input windows 44a-44d (0) the 0th input window 44a including the storage elements 42 of the 0th row to the 2nd row and the 0th row to the 2nd column of the 3rd row and 3rd column.
  • a third input window 44d, including 42, is used.
  • the input data d a to d d from the storage element 42 in the 0th to 3rd input windows 44 are input to the 0th to 3rd multiply-accumulate calculators 50a to 50d, respectively, and the 0th to 3rd product sums are added.
  • Output data Y a to Y d are generated in the arithmetic units 50 a to 50 d .
  • a series of shift operations are executed in the shift register 40.
  • a shift operation with a shift amount of 1 and a shift number of 1 is performed in one cycle from input data selection to the next input data selection, and eight shift operations are performed in eight cycles.
  • the shift is performed.
  • Nine 1-row, 1-column output data Y m n , Y m 3 + n , Y 3 + m n , Y 3 + m 3 + n are generated.
  • the total output data Z of 6 rows and 6 columns having 36 output data Y kl as the element z kl is generated.
  • the number of shifts in the convolution operation is eight. Further, the total number of multiplications is 324 times by multiplying 9 times, which is the number of multiplications in the product-sum operation, 4 times, which is the number of input windows 44a to 44d, and 9 times, which is the number of times input data is selected. ..
  • the convolution calculation circuit of the present embodiment has the following effects.
  • the convolution calculation circuit of the present embodiment since a plurality of input windows 44a to 44d are set in the shift register 40, the same output is performed with a smaller number of shifts as compared with the case where a single input window 44 is set. Can be obtained, and the convolution operation can be executed at high speed.
  • FIGS. 11 to 13 A third embodiment of the present disclosure will be described with reference to FIGS. 11 to 13.
  • the convolution calculation circuit of the present embodiment performs a product-sum calculation based on the Winograd algorithm, selects input data of 5 rows and 5 columns for a filter of 3 rows and 3 columns, and selects 3 rows and 3 columns. Generate the output data of.
  • FIG. 11 as in FIG. 9, for the sake of simplification of the figure, the space between the storage elements 42 in the top row and the bottom row and the space between the storage elements 42 in the leftmost column and the rightmost column are shown. The illustration of the signal line is omitted.
  • an input window 44 including the storage elements 42 of rows 0 to 4 and columns 0 to 4 of 5 rows and 5 columns is set.
  • the product-sum calculation unit 50 performs a product-sum calculation of the input data d and the weight data g based on the Winograd algorithm, as shown in the following equation (2).
  • G, B, and A are constant matrices.
  • the output data Y of 3 rows and 3 columns is generated by the product-sum calculation of the input data d of 5 rows and 5 columns and the weight data g of 3 rows and 3 columns.
  • the constant matrices G, B, and A are as shown in FIG. It is pre-calculated for the weight section GGG T. Therefore, in the present embodiment, the number of multiplications in the product-sum operation is 25 times. Further, as shown in FIG. 12, the constant matrices B and A have one of the elements 1, 2, 3, and 4, and the multiplication operation can be executed only by the bit shift operation and the addition operation. It has become.
  • a shift operation with a shift amount of 1 and a shift number of 3 is performed in one cycle from input data selection to the next input data selection, and nine shift operations are performed in three cycles.
  • the shift is performed.
  • four 5 rows and 5 columns of input data d kl are selected, including before the start of the cycle, and 4 3 rows and 3 columns are selected from the 4 5 rows and 5 columns input data d kl.
  • Output data Y kl of is generated.
  • the number of shifts in the convolution operation is nine.
  • the total number of multiplications is 100 by multiplying 25 times, which is the number of multiplications in the product-sum operation, and 4 times, which is the number of times the input data is selected.
  • the convolution calculation circuit of the present embodiment has the following effects.
  • the number of multiplications and the number of shifts can be significantly reduced by performing the product-sum calculation based on the Winograd algorithm.
  • the multiplication operation can be performed only by the bit shift operation and the addition operation. It is possible to do it. Therefore, it is possible to execute the convolution operation at sufficiently high speed and with low power consumption.
  • the shift amount is set to 3 in the shift register 40 of the third embodiment.
  • each storage element 42 is connected to three adjacent storage elements 42, and the data element is shifted between each storage element 42 and the three adjacent storage elements 42.
  • a shift with a shift amount of 3 can be realized.
  • the shift register 40 a shift operation with a shift amount of 3 and a shift number of 1 is performed in one cycle from input data selection to the next input data selection, and three shifts are executed in three cycles. Therefore, the number of shifts in this modification is three.
  • the number of shifts in the convolution operation is further reduced, and the convolution operation can be executed at higher speed and lower power consumption.
  • the shift register 40 of the third embodiment is capable of switching between the 0th to 3rd input window areas instead of the shift operation. That is, as the 0th to 3rd input window areas, (0) the 0th input window area including the storage elements 42 in rows 0 to 4 and columns 0 to 4 in rows 5 and 5.
  • a first input window area including the storage elements 42 of rows 0 to 4 and columns 3 to 7 of 5 rows and 5 columns, (2) rows 3 to 7 and 0
  • a second input window area that includes a storage element 42 of 5 rows and 5 columns from column to 4th column, (3) a storage element of 3 rows and 3 columns of 3rd to 7th rows and 3rd to 7th columns.
  • a third input window area is used that includes 42. Then, the 0th to 3rd input window areas are sequentially switched to select input data, sequentially output data is generated from the input data, and total output data is generated from the output data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

畳込み演算装置は、二次元的に配置されデータを夫々記憶する複数の記憶素子（４２）を有し、前記複数の記憶素子間で前記データを循環的にシフト可能であり、所定の領域に入力ウィンドウ（４４）が設定されており、当該入力ウィンドウ内の前記記憶素子に記憶されたデータを入力データ（ｄ）として選択する、二次元循環シフトレジスタ部（４０）と、前記レジスタ部から入力された前記入力データと所定のフィルタをなすウェイトデータとを積和演算して出力データ（Ｙ）を生成する積和演算部（５０）と、を具備する。

Description

畳込み演算装置 関連出願への相互参照
　本出願は、２０１９年３月２８日に出願された日本特許出願番号２０１９－６２７４４号に基づくものであって、その優先権の利益を主張するものであり、その特許出願の全ての内容が、参照により本明細書に組み入れられる。
　本開示は、畳込み演算を行う畳込み演算装置に関する。
　畳込み演算では、入力データに、所定のフィルタをなすウェイトデータを畳込むことで、出力データを生成する。従来の畳込み装置装置では、畳込み演算を行列演算に変換することで、畳込み演算を処理している（例えば、特許文献１参照）。
米国特許第９７４７５４８号明細書
　発明者の詳細な検討の結果、従来の畳込み演算装置では、畳込み演算を行列演算に変換しているため、行列演算が可能なように入力データを変換する必要があり、また、元々の入力データを重複させた変換データを取り扱う必要があることから、ハードウェアやデータ処理が増大し、消費電力が増大してしまうという課題が見出された。
　本開示の目的は、消費電力が低減された畳込み演算装置を提供することにある。
　本開示の一実施態様は、二次元的に配置されデータを夫々記憶する複数の記憶素子を有し、前記複数の記憶素子間で前記データを循環的にシフト可能であり、所定の領域に入力ウィンドウが設定されており、当該入力ウィンドウ内の前記記憶素子に記憶されたデータを入力データとして選択する、二次元循環シフトレジスタ部と、前記レジスタ部から入力された前記入力データと所定のフィルタをなすウェイトデータとを積和演算して出力データを生成する積和演算部と、を具備する畳込み演算装置である。
　これによれば、畳込み演算装置における消費電力が低減されている。
　本開示についての上記目的及びその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、本開示の第１実施形態のＤＦＰシステムを示すブロック図であり、 図２は、本開示の第１実施形態のＤＦＰを示すブロック図であり、 図３は、本開示の第１実施形態の畳込み演算回路を示すブロック図であり、 図４は、本開示の第１実施形態の記憶素子を示すブロック図であり、 図５は、本開示の第１実施形態の積和演算器を示すブロック図であり、 図６は、本開示の第１実施形態のシフトによる入力データの選択を示す模式図であり、 図７は、本開示の第１実施形態の入力データ範囲の移動を示す概念図であり、 図８は、本開示の第１実施形態の一連のシフト動作を示す表図であり、 図９は、本開示の第２実施形態の畳込み演算回路を示すブロック図であり、 図１０は、本開示の第２実施形態の一連のシフト動作を示す表図であり、 図１１は、本開示の第３実施形態の畳込み演算回路を示すブロック図であり、 図１２は、本開示の第３実施形態の積和演算で用いられる定数行列を示す表図であり、 図１３は、本開示の第３実施形態の入力データ範囲の移動を示す概念図である。
［第１実施形態］
　図１乃至図８を参照して、本開示の第１実施形態について説明する。
　畳込み演算回路については、自動運転の画像認識や物体検知に用いられるデータフロープロセッサ（Ｄａｔａ　Ｆｌｏｗ　Ｐｒｏｃｅｓｓｏｒ、以下「ＤＦＰ」という。）等に用いられるものである。
　本実施形態の畳込み演算回路では、シフトレジスタ４０において、二次元的に配置された多数の記憶素子４２にデータ要素が記憶され、所定の領域に設定された入力ウィンドウ４４内の記憶素子４２のデータ要素を入力データｄとして選択する。積和演算器５０において、シフトレジスタ４０から入力された入力データｄと、所定のフィルタをなすウェイトデータｇとを積和演算して、出力データＹを生成する。ここで、シフトレジスタ４０において総データ要素を順次シフトさせて、入力ウィンドウ４４内のデータ要素を順次入力データｄとして選択し、当該入力データｄから順次生成された出力データＹから総出力データＺを生成する。
　図１を参照して、ＤＦＰシステム１０について概説する。
　本実施形態のＤＦＰシステム１０では、ＤＦＰ１１については、ホストＣＰＵ１２の重い演算負荷に対処する個別のマスタとして機能し、プログラム及び独自の命令フェッチが可能であり、イベントハンドラ１３が生成した割込み処理をサポートする。ＤＦＰ１１、ホストＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１５及び外部インターフェイス１６は、システムバス１７を介して、データの送受信を行う。
　図２を参照して、ＤＦＰ１１について概説する。
　ＤＦＰ１１については、多量のスレッドに対して、ハードウェアによる動的レジスタ配置及びスレッド・スケジューリングにより、異なる命令ストリームに対してであっても複数のスレッドを並列実行することを可能とする。なお、このような多量のスレッドについては、コンパイラによって、プログラムコードを自動ベクトル化し、プログラムのタスク並列性及びグラフ並列性を保持するグラフ構造を抽出することにより、生成することが可能である。
　ＤＦＰ１１において、複数の実行コア２２は、夫々、独立してスケジューリング可能な多数のパイプラインを備え、４つのプロセッシングエレメントＰＥ＃０、ＰＥ＃１、ＰＥ＃２、ＰＥ＃３間でリソースを共有する。スレッドスケジューラ２４は、多数のスレッドを跨いだスケジューリングを実現し、多数のスレッドを同時実行する。コマンドユニット２６は、コンフィグ・インターフェイス２８との間でデータを送受信し、コマンド・バッファとして機能する。メモリサブシステム３０は、アービタ３２、Ｌ１キャッシュ３４ａ及びＬ２キャッシュ３４ｂによって形成され、システムバス・インターフェイス３６及びＲＯＭインターフェイス３８との間でデータを送受信する。
　本実施形態では、畳込み演算回路については、ＤＦＰ１１が備える複数の実行コア２２の内の１つの実行コア２２として用いられる。
　図３を参照して、畳込み演算回路について説明する。
　畳込み演算回路は、二次元循環シフトレジスタ４０及び積和演算器５０によって形成されている。
　シフトレジスタ４０では、多数の記憶素子４２が二次元的に配置されている。本実施形態では、第０行から第７行かつ第０列から第７列の８行８列の６４個の記憶素子４２が用いられている。
　各記憶素子４２には、データ要素が記憶される。各記憶素子４２は当該記憶素子４２の上下左右に配置された記憶素子４２と接続されており、各記憶素子４２のデータ要素は上下左右に配置された記憶素子４２にシフト可能である。シフトレジスタ４０については、二次元循環型であり、最上行、最下行、最左列、最右列の記憶素子４２の上、下、左、右に、夫々、最下行、最上行、最右列、最左列の記憶素子４２が配置されているものとする。ここで、各記憶素子４２がｎ個隣の記憶素子４２に接続され、各記憶素子４２とｎ個隣の記憶素子４２との間でデータ要素がシフトされる場合に、シフト量がｎであるとする。本実施形態では、各記憶素子４２は上下左右に隣接した記憶素子４２とのみ接続されており、各記憶素子４２のデータ要素は上下左右に隣接した記憶素子４２にのみシフト可能であるため、シフト量は１となる。
　シフトレジスタ４０には、メモリインターフェース６０が接続されている。メモリインターフェース６０からシフトレジスタ４０の最下行の各記憶素子４２にデータ要素が順次入力される。最下行の各記憶素子４２に入力されたデータ要素を順次上方向にシフトさせていくことで、全ての記憶素子４２にデータ要素が記憶される。
　シフトレジスタ４０において、所定の領域に入力ウィンドウ４４が設定されている。入力ウィンドウ４４内の記憶素子４２に記憶されているデータ要素が入力データｄとして選択され、積和演算器５０へと出力される。本実施形態では、第０行から第２行かつ第０列から第２列の３行３列の記憶素子４２を包含する領域に入力ウィンドウ４４が設定されている。そして、８行８列の総データ要素から３行３列の入力データｄが選択され、３行３列の入力データｄが積和演算器５０に出力される。
　図４を参照して、シフトレジスタ４０の記憶素子４２について詳細に説明する。
　記憶素子４２は、マルチプレクサ４６（ＭＵＸ）及びフリップフロップ４８（ＦＦ）から形成されている。本実施形態では、マルチプレクサ４６には、上下左右に隣接した記憶素子４２のフリップフロップ４８からデータ要素が入力される。マルチプレクサ４６は、入力された４個のデータ要素の内から１個のデータ要素を選択して、当該記憶素子４２のフリップフロップ４８に出力する。フリップフロップ４８は、マルチプレクサ４６から入力されたデータ要素を保持する。
　図５を参照して、積和演算器５０について説明する。
　積和演算器５０では、入力データｄと所定のフィルタなすウェイトデータｗとの積和演算を行い、出力データＹを生成する。即ち、以下の式（１）で示されるように、入力データｄとウェイトデータｇとのフロベニウス積を出力データＹとする。ここで、ｄｑｒは入力データｄをなす入力データ要素、ｇｑｒはウェイトデータｇをなすウェイトデータ要素である。
Figure JPOXMLDOC01-appb-M000001
　本実施形態では、３行３列の入力データｄ（ｄｑｒ：ｑ＝０～２；ｒ＝０～２）と３行３列のウェイトデータｇ（ｇｑｒ：ｑ＝０～２；ｒ＝０～２）とから１行１列の出力データＹを生成する。このため、積和演算における乗算回数は９回となる。
　積和演算器５０は、入力レジスタ５２、ウェイトレジスタ５４、乗算器５６及び加算器ツリー５８から形成されている。入力レジスタ５２は、シフトレジスタ４０から入力された入力データｄをなす入力データ要素ｄｑｒを保持する。ウェイトレジスタ５４は、図示しないインターフェイスから入力されたウェイトデータｇをなすウェイトデータ要素ｇｑｒを保持する。本実施形態では、入力レジスタ５２及びウェイトレジスタ５４は、夫々、９個の記憶領域を備える。各乗算器５６は、入力レジスタ５２の各入力データ要素ｄｑｒと、ウェイトレジスタ５４の各ウェイトデータ要素ｇｑｒとの乗算を行い、加算器ツリー５８は、各乗算器５６で算出された全乗算結果を加算する。本実施形態では、９個の乗算器５６が用いられ、加算器ツリー５８により９個の乗算結果が加算される。
　図６乃至図８を参照して、本実施形態の畳込み演算処理について説明する。
　図６に示されるように、シフトレジスタ４０において、総データ要素を順次シフトさせ、入力ウィンドウ４４内のデータ要素を順次入力データｄとして選択する。本実施形態では、８行８列の総データ要素ｉｊ（ｉ＝０～７；ｊ＝０～７）を順次シフトさせ、第０行から第２行かつ第０列から第２列の３行３列の入力ウィンドウ４４内のデータ要素を、順次入力データｄとして選択する。
　図７に示されるように、シフトレジスタ４０におけるシフトによる入力データｄの選択については、総データ要素における入力データ範囲Ｄの移動に対応する。ここで、シフトレジスタ４０における上下左右方向へのシフトについては、総データ要素における入力データ範囲Ｄの逆方向への移動に対応する。以下では、最上左を基準として、下方向及び右方向に夫々ｋ及びｌだけ変位した入力データ範囲Ｄの入力データをｄｋｌとし、当該入力データｄｋｌから生成される出力データをＹｋｌとする。本実施形態では、８行８列の総データ要素ｉｊ（ｉ＝０～７；ｊ＝０～７）において、３行３列の入力データ範囲Ｄが下方向及び右方向に夫々ｋ及びｌ（ｋ＝０～５；ｌ＝０～５）だけ変位することになる。
　図８に示されるように、一連のシフト動作では、入力データ選択から次の入力データ選択までの１サイクルで、シフト量１及びシフト回数１のシフト動作がなされ、３５回のサイクルで３５回のシフトが実行される。当該３５回のサイクルにより、サイクル開始前も含め、３６個の３行３列の入力データｄｋｌが選択され、当該３６個の３行３列の入力データｄｋｌから３６個の１行１列の出力データＹｋｌが生成される。そして、３６個の出力データＹｋｌを要素ｚｋｌとする６行６列の総出力データＺが生成される。
　本実施形態では、畳込み演算におけるシフト回数は３５回となる。また、総乗算回数は、積和演算における乗算回数である９回と、入力データの選択回数である３６回とを乗じて、３２４回となる。
　本実施形態の畳込み演算回路については、以下の効果を奏する。
　本実施形態の畳込み演算回路では、畳込み演算を行列演算に変換しているわけではないため、行列演算が可能なように入力データを変換する必要はなく、また、元々の入力データを重複させた変換データを取り扱う必要もない。このため、ハードウェアやデータ処理の増大が回避されており、畳込み演算装置における消費電力が低減されている。
［第１実施形態の第１変形例］
　以下、本開示の第１実施形態の第１変形例について説明する。
　本変形例の畳込み演算回路では、シフトレジスタ４０において、複数の入力ウィンドウ領域を互いに切替可能としたものである。即ち、複数の入力ウィンドウ領域に包含される全記憶素子４２がマルチプレクサに接続されており、マルチプレクサにおいて記憶素子４２から入力される入力データ要素を選択することで、複数の入力ウィンドウ領域が互いに切り替えられるようになっている。
　例えば、畳込み演算で３行３列、４行４列、５行５列のフィルタが用いられる場合に、当該各フィルタに対応して、３行３列、４行４列、５行５列の記憶素子４２を夫々包含する第０乃至第２の入力ウィンドウ領域を互いに切替可能とする。このような第０乃至第２の入力ウィンドウ領域として、例えば、（０）第０行から第２行かつ第０列から第２列の３行３列の記憶素子４２を包含する第０の入力ウィンドウ領域、（１）第０行から第３行かつ第０列から第３列の４行４列の記憶素子４２を包含する第１の入力ウィンドウ領域、（２）第０行から第４行かつ第０列から第４列の５行５列の記憶素子４２を包含する第２の入力ウィンドウ領域を用いることが可能である。
　本変形例の畳込み演算回路については、シフトレジスタ４０において、複数の入力ウィンドウ領域が互いに切替可能であるため、様々な種類の畳込み演算に対応可能であり、汎用性の高い畳込み演算回路が実現されている。
［第１実施形態の第２変形例］
　以下、本開示の第１実施形態の第２変形例について説明する。
　本変形例の畳込み演算回路については、シフトレジスタ４０において、シフト量を切替可能としたものである。即ち、各記憶素子４２のマルチプレクサ４６に、上下左右の方向毎に、ｓ１個隣、ｓ２個隣、…、ｓｎ個隣（ｎ≧２）の記憶素子４２のフリップフロップ４８が接続されている。そして、各記憶素子４２のマルチプレクサ４６において、ｓ１個隣、ｓ２個隣、…、ｓｎ個隣（ｎ≧２）のいずれの記憶素子４２のフリップフロップ４８から入力されたデータ要素を選択するかを切り替えることにより、シフト量が切り替えられる。
　例えば、シフトレジスタ４０において、各記憶素子４２のマルチプレクサ４６に、上下左右の方向毎に、隣接する記憶素子４２のフリップフロップ４８に加えて、２個隣の記憶素子４２のフリップフロップ４８が接続されており、各記憶素子４２のマルチプレクサ４６において、隣接する記憶素子４２と、２個隣の記憶素子４２とのいずれの記憶素子４２から入力されたデータ要素を選択するかを切り替えることにより、シフト量が１と２との間で切り替えられる。
　本変形例の畳込み演算回路では、シフトレジスタ４０において、シフト量が切替可能であるため、様々な種類の畳込み演算に対応可能であり、汎用性の高い畳込み演算回路が実現されている。
　さらに、第１実施形態の第１変形例と第２変形例とを組み合わせて、シフトレジスタ４０において、入力データ領域及びシフト量を切替可能とすることで、さらに汎用性の高い畳込み演算回路を実現することが可能である。
［第２実施形態］
　図９及び図１０を参照して、本開示の第２実施形態について説明する。
　本実施形態の畳込み演算回路については、シフトレジスタ４０において、複数の入力ウィンドウ４４ａ－４４ｄを設定したものである。
　なお、図９では、図の簡略化のため、最上行と最下行との各記憶素子４２間、並びに、最左列と最右列との各記憶素子４２間について、信号線の図示を省略している。
　図９に示されるように、本実施形態のシフトレジスタ４０では、第０乃至第３の入力ウィンドウ４４ａ－４４ｄが設定されている。第０乃至第３の入力ウィンドウ４４ａ－４４ｄとして、（０）第０行から第２行かつ第０列から第２列の３行３列の記憶素子４２を包含する第０の入力ウィンドウ４４ａ、（１）第０行から第２行かつ第３列から第５列の３行３列の記憶素子４２を包含する第１の入力ウィンドウ４４ｂ、（２）第３行から第５行かつ第０列から第２列の３行３列の記憶素子４２を包含する第２の入力ウィンドウ４４ｃ、（４）第３行から第５行かつ第３列から第５列の３行３列の記憶素子４２を包含する第３の入力ウィンドウ４４ｄが用いられる。第０乃至第３の入力ウィンドウ４４内の記憶素子４２からの入力データｄａ～ｄｄは夫々第０乃至第３の積和演算器５０ａ～５０ｄに入力され、第０乃至第３の積和演算器５０ａ～５０ｄにおいて出力データＹａ～Ｙｄが生成される。
　畳込み演算処理では、シフトレジスタ４０において、一連のシフト動作を実行する。図１０に示されるように、一連のシフト動作では、入力データ選択から次の入力データ選択までの１サイクルで、シフト量１かつシフト回数１のシフト動作がなされ、８回のサイクルで８回のシフトが実行される。当該８回のサイクルにより、サイクル開始前も含め、第０乃至第３の入力ウィンドウ４４ａ～４４ｄによって、夫々、各９個の３行３列の入力データｄｍ　ｎ、ｄｍ　３＋ｎ、ｄ３＋ｍ　ｎ、ｄ３＋ｍ　３＋ｎ（ｍ＝０～２；ｎ＝０～２）が選択され、当該各９個の３行３列の入力データｄｍ　ｎ、ｄｍ　３＋ｎ、ｄ３＋ｍ　ｎ、ｄ３＋ｍ　３＋ｎから各９個の１行１列の出力データＹｍ　ｎ、Ｙｍ　３＋ｎ、Ｙ３＋ｍ　ｎ、Ｙ３＋ｍ　３＋ｎが生成される。そして、第１実施形態と同様に、３６個の出力データＹｋｌを要素ｚｋｌとする６行６列の総出力データＺが生成される。
　本実施形態では、畳込み演算におけるシフト回数は８回となる。また、総乗算回数は、積和演算における乗算回数である９回と、入力ウィンドウ４４ａ～４４ｄの個数である４個と、入力データの選択回数である９回とを乗じて、３２４回となる。
　本実施形態の畳込み演算回路については、以下の効果を奏する。
　本実施形態の畳込み演算回路では、シフトレジスタ４０において複数の入力ウィンドウ４４ａ～４４ｄを設定しているため、単一の入力ウィンドウ４４を設定する場合と比較して、少ないシフト回数で同一の出力を得ることができ、畳込み演算を高速で実行することが可能となっている。
［第３実施形態］
　図１１乃至図１３を参照して、本開示の第３実施形態について説明する。
　本実施形態の畳込み演算回路については、ウィノグラードアルゴリズムに基づく積和演算を行うものであり、３行３列のフィルタに対して、５行５列の入力データを選択し、３行３列の出力データを生成する。
　なお、図１１では、図９と同様に、図の簡略化のため、最上行と最下行との各記憶素子４２間、並びに、最左列と最右列との各記憶素子４２間について、信号線の図示を省略している。
　図１１に示されるように、シフトレジスタ４０では、第０行から第４行かつ第０列から第４列の５行５列の記憶素子４２を包含する入力ウィンドウ４４が設定されている。
　積和演算器５０では、以下の式（２）に示されるように、ウィノグラードアルゴリズムに基づき入力データｄとウェイトデータｇとの積和演算を行う。ここで、Ｇ、Ｂ、Ａは定数行列である。
Figure JPOXMLDOC01-appb-M000002
　本実施形態では、５行５列の入力データｄと３行３列のウェイトデータｇとの積和演算により、３行３列の出力データＹが生成される。定数行列Ｇ、Ｂ、Ａについては図１２に示されるとおりである。ウェイト項ＧｇＧＴについては予め算出されている。このため、本実施形態では、積和演算における乗算回数は２５回となる。また、図１２に示されるように、定数行列Ｂ及びＡについては、要素が１、２、３、４のいずれかとなっており、乗算演算をビットシフト演算と加算演算のみで実行することが可能となっている。
　図１３を参照して、本実施形態の畳込み演算処理について説明する。
　本実施形態では、図１３に示されるように、８行８列の総データ要素ｉｊ（ｉ＝０～７；ｊ＝０～７）において、５行５列の入力データ範囲Ｄが右方向及び下方向に夫々ｋ及びｌ（ｋ＝０，３；ｌ＝０，３）だけ変位されることになる。
　図１３に示されるように、一連のシフト動作では、入力データ選択から次の入力データ選択までの１サイクルで、シフト量１かつシフト回数３のシフト動作がなされ、３回のサイクルで９回のシフトが実行される。当該３回のサイクルにより、サイクル開始前も含め、４個の５行５列の入力データｄｋｌが選択され、当該４個の５行５列の入力データｄｋｌから４個の３行３列の出力データＹｋｌが生成される。そして、各３行３列の出力データＹｋｌの出力データ要素ｙｋｌ ｏｐ（ｏ＝０～２；ｐ＝０～２）を要素ｚｋ＋ｏ　ｌ＋ｐとする６行６列の総出力データＺが生成される。
　本実施形態では、畳込み演算におけるシフト回数は９回となる。また、総乗算回数は、積和演算における乗算回数である２５回と、入力データの選択回数である４回とを乗じて、１００回となる。
　本実施形態の畳込み演算回路については、以下の効果を奏する。
　本実施形態の畳込み演算回路では、ウィノグラードアルゴリズムに基づく積和演算を行うようにすることで、乗算回数及びシフト回数を大幅に削減することが可能である。また、３行３列のフィルタに対して、５行５列の入力データを選択し、３行３列の出力データを生成するようにすることで、乗算演算をビットシフト演算と加算演算のみで実行することが可能である。このため、畳込み演算を充分に高速かつ低消費電力で実行することが可能となっている。
［第３実施形態の第１変形例］
　以下、第３実施形態の第１変形例について説明する。
　本変形例の畳込み演算回路については、第３実施形態のシフトレジスタ４０において、シフト量を３としたものである。第１実施形態で説明したように、各記憶素子４２を３個隣の記憶素子４２に接続し、各記憶素子４２と３個隣の記憶素子４２との間でデータ要素をシフトさせることで、シフト量３のシフトを実現可能である。当該シフトレジスタ４０では、入力データ選択から次の入力データ選択までの１サイクルで、シフト量３かつシフト回数１のシフト動作がなされ、３回のサイクルで３回のシフトが実行される。このため、本変形例のシフト回数は３回である。
　このように、本変形例では、畳込み演算におけるシフト回数がさらに削減されており、畳込み演算をさらに高速かつ低消費電力で実行することが可能となっている。
［第３実施形態の第２変形例］
　以下、第３実施形態の第２変形例について説明する。
　本変形例の畳込み演算回路については、第３実施形態のシフトレジスタ４０において、シフト動作に代えて、第０乃至第３の入力ウィンドウ領域を互いに切替可能としたものである。即ち、第０乃至第３の入力ウィンドウ領域として、（０）第０行から第４行かつ第０列から第４列の５行５列の記憶素子４２を包含する第０の入力ウィンドウ領域、（１）第０行から第４行かつ第３列から第７列の５行５列の記憶素子４２を包含する第１の入力ウィンドウ領域、（２）第３行から第７行かつ第０列から第４列の５行５列の記憶素子４２を包含する第２の入力ウィンドウ領域、（３）第３行から第７行かつ第３列から第７列の３行３列の記憶素子４２を包含する第３の入力ウィンドウ領域が用いられる。そして、第０乃至第３の入力ウィンドウ領域を順次切り替えて入力データを選択し、当該入力データから順次出力データを生成して、出力データから総出力データを生成する。
　このように、本変形例では、畳込み演算において、入力ウィンドウ領域の切替えを行うことで、シフト動作を不要としており、畳込み演算をさらに高速かつ低消費電力で実行することが可能となっている。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それら一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (4)

  1. 　二次元的に配置されデータを夫々記憶する複数の記憶素子（４２）を有し、前記複数の記憶素子間で前記データを循環的にシフト可能であり、所定の領域に入力ウィンドウ（４４，４４ａ～４４ｄ）が設定されており、当該入力ウィンドウ内の前記記憶素子に記憶されたデータを入力データ（ｄ，ｄａ～ｄｄ）として選択する、二次元循環シフトレジスタ部（４０）と、
    　前記レジスタ部から入力された前記入力データと所定のフィルタをなすウェイトデータとを積和演算して出力データ（Ｙ，Ｙａ～Ｙｄ）を生成する積和演算部（５０，５０ａ～５０ｄ）と、
    　を具備する畳込み演算装置。
  2. 　前記積和演算部は、ウィノグラードアルゴリズムに基づく積和演算を行い、
    　前記フィルタは、３行３列のフィルタであり、
    　前記入力データは、５行５列の入力データであり、
    　前記出力データは、３行３列の出力データである、
    　請求項１に記載の畳込み演算装置。
  3. 　前記レジスタ部は、複数の前記入力ウィンドウを有し、複数の前記入力データを選択可能であり、
    　前記畳込み演算装置は、前記レジスタ部から前記複数の入力データが夫々入力される複数の前記積和演算器をさらに具備する、
    　請求項１に記載の畳込み演算装置。
  4. 　前記レジスタ部は、前記入力ウィンドウの領域又は前記シフトのシフト量を切替可能である、
    　請求項１に記載の畳込み演算装置。
PCT/JP2020/012728 2019-02-01 2020-03-23 畳込み演算装置 WO2020196407A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20778810.0A EP3951637A4 (en) 2019-03-28 2020-03-23 DEVICE FOR CONVOLUTION CALCULATION
US17/480,925 US20220004364A1 (en) 2019-02-01 2021-09-21 Convolutional computation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-062744 2019-03-28
JP2019062744A JP7408289B2 (ja) 2019-03-28 2019-03-28 畳込み演算装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/480,925 Continuation US20220004364A1 (en) 2019-02-01 2021-09-21 Convolutional computation device

Publications (1)

Publication Number Publication Date
WO2020196407A1 true WO2020196407A1 (ja) 2020-10-01

Family

ID=72611069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012728 WO2020196407A1 (ja) 2019-02-01 2020-03-23 畳込み演算装置

Country Status (3)

Country Link
EP (1) EP3951637A4 (ja)
JP (1) JP7408289B2 (ja)
WO (1) WO2020196407A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399036A (zh) * 2022-01-12 2022-04-26 电子科技大学 一种基于一维Winograd算法的高效卷积计算单元
CN115469826A (zh) * 2022-09-16 2022-12-13 深圳思谋信息科技有限公司 数据处理方法、装置、计算机设备及计算机可读存储介质
WO2023004762A1 (zh) * 2021-07-30 2023-02-02 华为技术有限公司 计算机系统和数据处理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783163B2 (en) * 2020-06-15 2023-10-10 Arm Limited Hardware accelerator for IM2COL operation
CN116323688A (zh) 2020-09-25 2023-06-23 株式会社日本触媒 吸水性树脂粉末的制造方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06318194A (ja) * 1993-05-07 1994-11-15 Fujitsu Ltd 並列データ処理方式
JPH0962653A (ja) * 1995-08-29 1997-03-07 Mitsubishi Electric Corp 積和演算装置、積和演算器集積回路装置及び累積加算器
US9747548B2 (en) 2015-05-21 2017-08-29 Google Inc. Rotating data for neural network computations

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546211B2 (en) * 2016-07-01 2020-01-28 Google Llc Convolutional neural network on programmable two dimensional image processor
US10120649B2 (en) * 2016-07-29 2018-11-06 Microunity Systems Engineering, Inc. Processor and method for outer product accumulate operations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06318194A (ja) * 1993-05-07 1994-11-15 Fujitsu Ltd 並列データ処理方式
JPH0962653A (ja) * 1995-08-29 1997-03-07 Mitsubishi Electric Corp 積和演算装置、積和演算器集積回路装置及び累積加算器
US9747548B2 (en) 2015-05-21 2017-08-29 Google Inc. Rotating data for neural network computations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3951637A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023004762A1 (zh) * 2021-07-30 2023-02-02 华为技术有限公司 计算机系统和数据处理方法
CN114399036A (zh) * 2022-01-12 2022-04-26 电子科技大学 一种基于一维Winograd算法的高效卷积计算单元
CN114399036B (zh) * 2022-01-12 2023-08-22 电子科技大学 一种基于一维Winograd算法的高效卷积计算单元
CN115469826A (zh) * 2022-09-16 2022-12-13 深圳思谋信息科技有限公司 数据处理方法、装置、计算机设备及计算机可读存储介质
CN115469826B (zh) * 2022-09-16 2023-04-07 深圳思谋信息科技有限公司 数据处理方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3951637A1 (en) 2022-02-09
JP7408289B2 (ja) 2024-01-05
EP3951637A4 (en) 2022-06-22
JP2020161054A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
WO2020196407A1 (ja) 畳込み演算装置
US11775313B2 (en) Hardware accelerator for convolutional neural networks and method of operation thereof
US11175920B2 (en) Efficient work execution in a parallel computing system
Shen et al. Escher: A CNN accelerator with flexible buffering to minimize off-chip transfer
CN110678840B (zh) 张量寄存器文件
TWI639119B (zh) 執行卷積計算的系統及方法
CN110678841B (zh) 张量处理器指令集架构
US9405538B2 (en) Functional unit having tree structure to support vector sorting algorithm and other algorithms
WO2017185389A1 (zh) 一种用于执行矩阵乘运算的装置和方法
US20170206089A1 (en) Information processing apparatus and computational method
CN112506567B (zh) 数据读取方法和数据读取电路
US20220004364A1 (en) Convolutional computation device
US7013321B2 (en) Methods and apparatus for performing parallel integer multiply accumulate operations
EP3931688B1 (en) Data processing
TW201901483A (zh) 執行雙輸入值絕對值及加總運算的電路
US7558816B2 (en) Methods and apparatus for performing pixel average operations
US11409840B2 (en) Dynamically adaptable arrays for vector and matrix operations
JP6712052B2 (ja) 演算処理装置及び演算処理装置の制御方法
JP2021108104A (ja) 部分的読み取り／書き込みが可能な再構成可能なシストリックアレイのシステム及び方法
CN112074810B (zh) 并行处理设备
WO2022121273A1 (zh) Simt指令处理方法及装置
Siddiqui et al. Design space exploration of embedded applications on heterogeneous cpu-gpu platforms
Tokura et al. An efficient GPU implementation of bulk computation of the eigenvalue problem for many small real non-symmetric matrices
Venieris et al. Towards heterogeneous solvers for large-scale linear systems
Ciobanu et al. On implementability of polymorphic register files

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778810

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020778810

Country of ref document: EP

Effective date: 20211028