JP6776696B2 - 並列情報処理装置、情報処理方法、およびプログラム - Google Patents
並列情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6776696B2 JP6776696B2 JP2016146731A JP2016146731A JP6776696B2 JP 6776696 B2 JP6776696 B2 JP 6776696B2 JP 2016146731 A JP2016146731 A JP 2016146731A JP 2016146731 A JP2016146731 A JP 2016146731A JP 6776696 B2 JP6776696 B2 JP 6776696B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- coefficient
- change
- amount
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 43
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 364
- 238000012545 processing Methods 0.000 claims description 363
- 230000008569 process Effects 0.000 claims description 351
- 230000008859 change Effects 0.000 claims description 192
- 238000004364 calculation method Methods 0.000 claims description 154
- 238000004220 aggregation Methods 0.000 claims description 122
- 230000002776 aggregation Effects 0.000 claims description 122
- 238000012546 transfer Methods 0.000 claims description 95
- 230000006854 communication Effects 0.000 claims description 66
- 238000004891 communication Methods 0.000 claims description 55
- 238000003860 storage Methods 0.000 claims description 9
- 238000013517 stratification Methods 0.000 claims 3
- 210000002569 neuron Anatomy 0.000 description 201
- 239000000872 buffer Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 14
- 230000000052 comparative effect Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000010923 batch production Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 102220328583 rs111822347 Human genes 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 102200012170 rs10084168 Human genes 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 102200029231 rs11551768 Human genes 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 241000270728 Alligator Species 0.000 description 1
- 102220471545 Single-stranded DNA cytosine deaminase_S26A_mutation Human genes 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 102220171488 rs760746448 Human genes 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
- Multi Processors (AREA)
Description
処理対象のデータに対する係数による演算処理を実行し、演算処理の結果を基に係数の変化量を算出し、算出した係数の変化量を処理部に転送するとともに、係数の変化量を並列情報処理装置内の他のノードとの間で授受する処理の実行を処理部に要求する。
そして、演算部および処理部の少なくとも一方が積算された係数の変化量を基に次回以降の演算処理で使用される係数を更新する。
<深層学習の処理例>
を認識し、識別するためのフォーワード方向の処理と、フォーワード方向の処理で使用するパラメータを決定するバックワード方向の処理(バックワードプロパゲーションともいう)を実行する。
理とを実行し、画像の特徴を抽出し、画像を識別する。すなわち、図1では、フォーワード方向の処理が例示されている。
<構成>
Signal Processor(DSP)、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われても良い。また、上記各部の少なくとも一部の処理は、集積回路(IC)、その他のディジタル回路で実行されてもよい。また、上記各部の少なくとも一部にアナログ回路が含まれても良い。集積回路は、LSI,Application Specific Integrated Circuit(ASIC),プログラマブルロジックデバイス(PLD)を含む。PLDは、例えば、Field−Programmable Gate Array(FPGA)を含む。
<複数ノードによる学習処理>
クワード方向の処理が各ニューロン層に対して順次実行される。ここで、バッチ単位とは、学習処理の対象をまとめた処理の単位である。例えば、ニューラルネットワークが画像の認識を行う場合に、バッチ単位として、数十枚から数千枚分の画像のデータが学習処理に用いられ、画像の認識と、正解判定が繰り返し実行される。
roadcast(Bcast), Reduce_scatter+Allgather等の方式を用いてもよい。このようなノード間通信処理は、MPI AllReduce処理として、コンピュータプログラムが提供されている。なお、以下の実施の形態説明では、MPI AllReduce処理が実装された計算ノード10を用いて説明するが、計算ノード10間の通信処理がMPI AllReduce処理に限定される訳ではない。また、計算ノード10間の通信処理が実行されるネットワーク構成に限定がある訳ではなく、どのようなネットワーク構成が用いられてもよい。
<比較例>
<実施形態1>
が主体となって処理すると、処理手順としては、図4のフローチャートと同様であり、重み(w)の変化量(Δw)をノード間通信で授受し、集約処理、反映処理を実行する時間が無視できない。
(1)学習処理
(2)メモリ転送(GPU13からCPU11への転送)
転送する。これによって、演算部(GPU13)は、ニューロン層ごとに、ノード間通信・集約処理、反映処理を処理部(CPU11)に開始させる。ニューロン層ごとにノード間通信・集約処理、反映処理を開始することで、次のバッチ単位での学習処理の開始を早め、高速化が実現される。
11への転送)用処理スレッドは、キューを受けると転送対象のデータをGPU13から
CPU11へ転送し、最後に集約処理のキューをCPU11に発行する。図6では、ニューロン層として、ニューロン層4(LAYER4)から層1(LAYER1)のバックワード処理で、重みの変化量としてそれぞれ、Δ WL4−1、Δ WL3、Δ WL2、Δ WL1が算出されている。
(3)集約処理および(4)ノード間通信
assing Interface(MPI)リクエストを、ノンブロッキング通信を指定してMPI通信プログラムに投入する。リクエストに対応する通信が完了した時点で、MPI通信プログラムから集約処理用スレッドへ通信完了が通知され、集約処理用スレッドにしたがい集約処理が実行される。集約処理には多数回の演算が実行されるため、集約処理は複数のスレッドを並列で実行することで高速化を実現する。すなわち、計算ノード10に複数のCPU11が搭載される場合には、複数のスレッドを並列で実行することで、CPU11による並列処理が実行される。また、単一のCPU11がマルチコアを有する場合も同様である。
(5)メモリ転送(CPU11からGPU13への転送)
(6)反映処理
るとともに、集約処理を実行するCPU11のスレッドにキューを登録する(S13)。したがって、実施形態1では、各ニューロン層(L)でバックワード処理が終了するごとに、CPU11に対して、重み(w)の変化量(Δw)の集約処理の起動が要求される。S13の処理は、算出した係数の変化量を処理部に転送するとともに、係数の変化量を並列情報処理装置内の他のノードとの間で授受する処理の実行を処理部に要求することの一例である。S13の処理は、算出した係数の変化量を処理部に転送することの一例でもある。
算ノード10−1〜10−4の間でニューロン層Lの重み(w)の変化量(Δw)が集約される。ニューロン層Lの重み(w)の変化量(Δw)が集約されると、CPU11は、集約されたニューロン層Lの重み(w)の変化量(Δw)をメモリ転送し、GPU13に戻す(S26)。計算ノード10は、S21からS26の処理をキューの蓄積順にすべてのニューロン層Lについて繰り返し実行する。
のデータ(変化量Δw1とΔw2)を加算する。ここでは、加算結果は集約された重みの変化量としてΔw2に保持されるとする。ノード数が3以上の場合には、矢印A2−2からA3がノード間通信のアルゴリズムで実行される回数だけ繰り返される。
算性能が発揮されやすい。
<実施形態2>
は、未学習のバッチが残っている場合には(S16でN)、次のバッチの学習を実行する。
<実施形態3>
1、・・・、ΔpX)のように分割する。
3は、学習の繰り返しの終了か否かを判定し、未学習のバッチがある場合に、処理をS11に戻し、次のバッチの学習を実行する。
<実施形態4>
しない場合は何もしない。一方、処理が要求されているキューが存在する場合、後続処理(キュー処理スレッド)は、要求された処理を実行し、処理が終了すると処理完了フラグ情報を更新する。処理完了フラグ情報は、例えば、完了した処理数(または未完了の処理数)のカウンタである。なお、ある前処理が、それ以前に実行される前処理(例えば、処理A−1、処理A−2)に依存する場合には、処理を行う前に、依存する前処理の完了を確認してから処理を開始する。
例3における重みのパラメータ細分化後の部分列単位で実行される。各処理スレッドは、次のスレッドへのキューの登録時、通常First In First Out(FIFO)方式でキューを登録する。一方、実施形態4では、各処理スレッドは、処理順序の変更条件(キューが優先順でない状態)が検知された場合には、優先順の位置にキューを登録する。
ューロン層の集約処理の完了を待つ。
発行対象のニューロン層のキューを登録する(S44)。
そして、キュー発行スレッドは、処理順序の変更をMPI ALLReduceのアルゴリズムで他の計算ノード10に通知する(S46)。
<実施形態5>
処理で使用される係数を更新する処理とが複数回繰り返して実行される場合の一例である。
、実施形態2のように、ニューロン層単位で行ってもよい。また、これらの処理は、実施形態3のように、ニューロン層単位よりも細かく分割したパラメータの部分列の単位で行ってもよい。
<実施形態6>
<記録媒体>
、コンピュータ等に固定された記録媒体としても利用可能である。
10 計算ノード
11 CPU
12、14 メモリ
13 GPU
14 バス
15 ノード間インターフェース
Claims (10)
- 演算部と処理部とを有するノードを複数備えた並列情報処理装置において、
それぞれのノードの演算部は、処理対象のデータに対する係数による演算処理の結果と前記処理対象のデータに対する前記演算処理の正解値との差分値を基に更新される前記係数の現在値によって前記処理対象のデータに対する前記演算処理を実行し、前記演算処理の結果と前記正解値との差分値を算出し、次回の演算処理において前記差分値を現在の差分値より小さくするための前記係数の変化量を算出し、算出した係数の変化量を前記処理部に転送するとともに、前記係数の変化量を前記並列情報処理装置内の他のノードとの間で授受する処理の実行を前記処理部に要求し、
前記それぞれのノードの処理部は、前記演算部から転送された係数の変化量を前記並列情報処理装置の他のノードに送信するとともに前記他のノードで算出された係数の変化量を受信する通信処理と、前記演算部から転送された係数の変化量と前記他のノードで算出された係数の変化量とを積算する集約処理とを実行し、
前記演算部および前記処理部の少なくとも一方が前記積算された係数の変化量を基に次回以降の演算処理で使用される係数を更新する並列情報処理装置。 - 前記演算処理は、所定順序で実行される複数階層の層別処理を有し、それぞれの階層の層別処理はそれぞれの階層の前の階層から入力されるデータに前記係数による演算を実行して次の階層に出力する処理であり、
前記演算部は、それぞれの階層での前記層別処理の結果を基に前記それぞれの階層での前記係数の変化量を算出し、前記算出した係数の変化量を前記処理部に転送し、
前記処理部は、前記それぞれの階層での前記係数の変化量に対する前記集約処理を2以上並列に実行する請求項1に記載の並列情報処理装置。 - 前記係数は、前記複数階層のそれぞれにおいて複数使用され、係数列を形成し、
前記演算部は、前記複数階層のそれぞれの前記係数列を複数の部分列に分割して部分列ごとに前記変化量を前記処理部に転送するとともに、前記部分列ごとに前記授受する処理の実行を前記処理部に要求する請求項2に記載の並列情報処理装置。 - 前記演算部は、前記複数階層のうち、前記演算処理の実行の順序が早い階層の係数の変
化量を優先して前記処理部に転送し、前記授受する処理の実行を要求する請求項2または3に記載の並列情報処理装置。 - 前記処理部は、前記複数階層のうち前記演算処理の実行の順序が早い階層の係数を優先して前記演算部に前記次回以降の演算処理で使用される係数を更新させる請求項2から4のいずれか1項に記載の並列情報処理装置。
- 前記演算部は、前記複数階層の層別処理を前記所定順に繰り返して実行し、前記複数階層のうち、実行の順序が先の階層で使用される係数に対して前記積算された変化量を基に前記次回以降の演算処理で使用される係数が更新された場合には、実行の順序が後の階層で使用される係数に対する前記積算された変化量の反映を待たないで、次の演算処理における前記実行順が先の階層の層別処理を開始する請求項2から5のいずれか1項に記載の並列情報処理装置。
- 前記演算処理と前記積算された変化量を基に前記次回以降の演算処理で使用される係数を更新する処理とが複数回繰り返して実行される場合に、前記演算部は、現在の演算処理による変化量を基に前記次回以降の演算処理で使用される係数が更新される前に次の演算処理を開始し、前記現在の演算処理による変化量を基に次々回の演算処理で使用される係数が更新される請求項2から6のいずれか1項に記載の並列情報処理装置。
- 前記係数を格納するための2組以上の記憶部を有し、
前記演算部は第1の記憶部に格納した係数を用いて前記演算処理を実行し、前記演算処理による変化量を基に更新した係数を第2の記憶部に格納する請求項1から7のいずれか1項に記載の並列情報処理装置。 - 演算部と処理部とを有するノードを複数備えた並列情報処理装置における情報処理方法であって、
それぞれのノードの演算部は、処理対象のデータに対する係数による演算処理の結果と前記処理対象のデータに対する前記演算処理の正解値との差分値を基に更新される前記係数の現在値によって前記処理対象のデータに対する前記演算処理を実行し、前記演算処理の結果と前記正解値との差分値を算出し、次回の演算処理において前記差分値を現在の差分値より小さくするための前記係数の変化量を算出し、算出した係数の変化量を前記処理部に転送するとともに、前記係数の変化量を前記並列情報処理装置内の他のノードとの間で授受する処理の実行を前記処理部に要求し、
前記それぞれのノードの処理部は、前記演算部から転送された係数の変化量を前記並列情報処理装置の他のノードに送信するとともに前記他のノードで算出された係数の変化量を受信する通信処理と、前記演算部から転送された係数の変化量と前記他のノードで算出された係数の変化量とを積算する集約処理とを実行し、
前記演算部および前記処理部の少なくとも一方が前記積算された係数の変化量を基に次回以降の演算処理で使用される係数を更新する情報処理方法。 - 演算部と処理部とを有するノードを複数備えた並列情報処理装置に実行させるためのプログラムであり、
それぞれのノードの演算部に、処理対象のデータに対する係数による演算処理の結果と前記処理対象のデータに対する前記演算処理の正解値との差分値を基に更新される前記係数の現在値によって前記処理対象のデータに対する前記演算処理を実行し、前記演算処理の結果と前記正解値との差分値を算出し、次回の演算処理において前記差分値を現在の差分値より小さくするための前記係数の変化量を算出し、算出した係数の変化量を前記処理部に転送するとともに、前記係数の変化量を前記並列情報処理装置内の他のノードとの間で授受する処理の実行を前記処理部に要求することを実行させるプログラムと、
前記それぞれのノードの処理部に、前記演算部から転送された係数の変化量を前記並列情報処理装置の他のノードに送信するとともに前記他のノードで算出された係数の変化量を受信する通信処理と、前記演算部から転送された係数の変化量と前記他のノードで算出された係数の変化量とを積算する集約処理とを実行させるプログラムとを含み、
前記演算部および前記処理部の少なくとも一方に前記積算された係数の変化量を基に次回以降の演算処理で使用される係数を更新させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146731A JP6776696B2 (ja) | 2016-07-26 | 2016-07-26 | 並列情報処理装置、情報処理方法、およびプログラム |
US15/633,861 US20180032911A1 (en) | 2016-07-26 | 2017-06-27 | Parallel information processing apparatus, information processing method and non-transitory recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146731A JP6776696B2 (ja) | 2016-07-26 | 2016-07-26 | 並列情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018018220A JP2018018220A (ja) | 2018-02-01 |
JP6776696B2 true JP6776696B2 (ja) | 2020-10-28 |
Family
ID=61009686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016146731A Expired - Fee Related JP6776696B2 (ja) | 2016-07-26 | 2016-07-26 | 並列情報処理装置、情報処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180032911A1 (ja) |
JP (1) | JP6776696B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10387740B2 (en) * | 2016-10-10 | 2019-08-20 | Gyrfalcon Technology Inc. | Object detection and recognition apparatus based on CNN based integrated circuits |
US10261903B2 (en) * | 2017-04-17 | 2019-04-16 | Intel Corporation | Extend GPU/CPU coherency to multi-GPU cores |
CN109344840B (zh) * | 2018-08-07 | 2022-04-01 | 深圳市商汤科技有限公司 | 图像处理方法和装置、电子设备、存储介质、程序产品 |
US11645534B2 (en) * | 2018-09-11 | 2023-05-09 | Intel Corporation | Triggered operations to improve allreduce overlap |
CN109359732B (zh) * | 2018-09-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 一种芯片及基于其的数据处理方法 |
US11526759B2 (en) * | 2018-11-05 | 2022-12-13 | International Business Machines Corporation | Large model support in deep learning |
JP2020077300A (ja) * | 2018-11-09 | 2020-05-21 | 日本電信電話株式会社 | 分散深層学習システムおよびデータ転送方法 |
JP7227769B2 (ja) * | 2019-01-10 | 2023-02-22 | キヤノン株式会社 | 情報処理装置及びメモリ制御方法 |
JP6791540B2 (ja) * | 2019-02-28 | 2020-11-25 | Necプラットフォームズ株式会社 | 畳み込み演算処理装置および畳み込み演算処理方法 |
JP7370158B2 (ja) * | 2019-04-03 | 2023-10-27 | 株式会社Preferred Networks | 情報処理装置および情報処理方法 |
JP7208528B2 (ja) | 2019-05-23 | 2023-01-19 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
WO2020245864A1 (ja) * | 2019-06-03 | 2020-12-10 | 日本電信電話株式会社 | 分散処理システムおよび分散処理方法 |
CN110889492B (zh) * | 2019-11-25 | 2022-03-08 | 北京百度网讯科技有限公司 | 用于训练深度学习模型的方法和装置 |
CN111461290B (zh) * | 2020-03-11 | 2023-09-22 | 北京百度网讯科技有限公司 | 模型参数更新方法及装置 |
GB2593756B (en) | 2020-04-02 | 2022-03-30 | Graphcore Ltd | Control of data transfer between processing nodes |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07306845A (ja) * | 1994-05-12 | 1995-11-21 | Chubu Denki Kk | 神経系学習装置用の並列処理装置 |
US20150324690A1 (en) * | 2014-05-08 | 2015-11-12 | Microsoft Corporation | Deep Learning Training System |
-
2016
- 2016-07-26 JP JP2016146731A patent/JP6776696B2/ja not_active Expired - Fee Related
-
2017
- 2017-06-27 US US15/633,861 patent/US20180032911A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2018018220A (ja) | 2018-02-01 |
US20180032911A1 (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6776696B2 (ja) | 並列情報処理装置、情報処理方法、およびプログラム | |
US20230334294A1 (en) | Multi-memory on-chip computational network | |
US11960934B2 (en) | Systems and methods for improved neural network execution | |
CN110741342B (zh) | 区块链交易提交排序 | |
US20190180183A1 (en) | On-chip computational network | |
EP2003548B1 (en) | Resource management in multi-processor system | |
US20190179795A1 (en) | Fast context switching for computational networks | |
US11294599B1 (en) | Registers for restricted memory | |
US20210295168A1 (en) | Gradient compression for distributed training | |
CN111465943B (zh) | 一种集成电路和用于神经网络处理的方法 | |
CN113469355B (zh) | 分布式系统中的多模型训练管道 | |
WO2017124649A1 (zh) | 用于向量运算的数据读写调度器及保留站 | |
US10614004B2 (en) | Memory transaction prioritization | |
US20220229668A1 (en) | Accelerator, method of operating the accelerator, and device including the accelerator | |
WO2022057310A1 (zh) | 一种图神经网络训练的方法、装置及系统 | |
TW202134861A (zh) | 交錯記憶體請求以加速記憶體存取 | |
US11790232B2 (en) | Method and apparatus with neural network data input and output control | |
JP2019067084A (ja) | 情報処理システム、情報処理装置、及び、転送先決定方法 | |
CN114514536A (zh) | 分布式系统中的神经网络训练 | |
US11093276B2 (en) | System and method for batch accessing | |
US20230127869A1 (en) | Method and apparatus with process scheduling | |
WO2024001870A1 (zh) | 一种人工智能模型的训练方法及相关设备 | |
US20240069965A1 (en) | Systems and methods for executing compute functions | |
US20240232630A1 (en) | Neural network training in a distributed system | |
US20240005127A1 (en) | Smart memory extension to processors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6776696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |