JP7447241B2 - 円環コンピュータネットワークへのリングの組み込み - Google Patents
円環コンピュータネットワークへのリングの組み込み Download PDFInfo
- Publication number
- JP7447241B2 JP7447241B2 JP2022508517A JP2022508517A JP7447241B2 JP 7447241 B2 JP7447241 B2 JP 7447241B2 JP 2022508517 A JP2022508517 A JP 2022508517A JP 2022508517 A JP2022508517 A JP 2022508517A JP 7447241 B2 JP7447241 B2 JP 7447241B2
- Authority
- JP
- Japan
- Prior art keywords
- links
- bandwidth
- layer
- computer
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 211
- 239000010410 layer Substances 0.000 claims description 129
- 239000012634 fragment Substances 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 66
- 230000005540 biological transmission Effects 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 29
- 239000011229 interlayer Substances 0.000 claims description 22
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 35
- 230000006870 function Effects 0.000 description 24
- 230000002776 aggregation Effects 0.000 description 22
- 238000004220 aggregation Methods 0.000 description 22
- 238000012549 training Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000006854 communication Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 12
- 239000004020 conductor Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 102100030083 Epsin-2 Human genes 0.000 description 2
- 102100036445 Epsin-3 Human genes 0.000 description 2
- 101001012093 Homo sapiens Epsin-2 Proteins 0.000 description 2
- 101000851955 Homo sapiens Epsin-3 Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17306—Intercommunication techniques
- G06F15/17318—Parallel communications techniques, e.g. gather, scatter, reduce, roadcast, multicast, all to all
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17356—Indirect interconnection networks
- G06F15/17368—Indirect interconnection networks non hierarchical topologies
- G06F15/17381—Two dimensional, e.g. mesh, torus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4063—Device-to-bus coupling
- G06F13/4068—Electrical coupling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17356—Indirect interconnection networks
- G06F15/17368—Indirect interconnection networks non hierarchical topologies
- G06F15/17375—One dimensional, e.g. linear array, ring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17356—Indirect interconnection networks
- G06F15/17368—Indirect interconnection networks non hierarchical topologies
- G06F15/17387—Three dimensional, e.g. hypercubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multi Processors (AREA)
Description
各層は、隣接する処理ノードの各ペア間のリンクの層内の組により、非軸方向の第1の次元のリング状に接続された複数の処理ノードを含み、各組のリンクは、同時に動作するように適合され、
各層内の処理ノードは、軸に沿って第2の次元のリングを形成するために、層間リンクによって、隣接する層内の対応するノードに接続され、
コンピュータは、複数の組み込み1次元論理経路が同時に動作するように、複数の組み込み1次元論理経路を周回してデータを送信するようにプログラムされ、各論理経路は、リングシーケンス内のコンピュータの全ての処理ノードを使用する、コンピュータが提供される。
各層は、隣接する処理ノードの各ペア間のリンクの層内の組により、非軸方向の第1の次元のリング状に接続された複数の処理ノードを含み、各組のリンクは、同時に動作するように適合され、
各層内の処理ノードは、軸に沿って第2の次元のリングを形成するために、層間リンクによって、隣接する層内の対応するノードに接続され、
本方法は、
各プログラムについて、そのプログラムを実行する処理ノードからデータが送信されるデータ送信段階を定義するための少なくとも1つのデータ送信命令を生成するステップであって、データ送信命令は、そのデータ送信段階でデータが送信される出力リンクを定義するリンク識別子を含む、ステップと、
複数の組み込み1次元論理経路が同時に動作するように、複数の組み込み1次元論理経路を周回してデータを送信するためにリンク識別子を決定するステップであって、各論理経路は、コンピュータの全ての処理ノードを順次使用する、ステップと、
を含む、方法を提供する。
各層は、隣接する処理ノードの各ペア間のリンクの層内の組により、非軸方向の第1の次元のリング状に接続された複数の処理ノードを含み、各組のリンクは、同時に動作するように適合され、
各層内の処理ノードは、軸に沿って第2の次元のリングを形成するために、層間リンクによって、隣接する層内の対応するノードに接続され、
本方法は、
各プログラムにおいて、そのプログラムを実行する処理ノードからデータが送信されるデータ送信段階を定義するための少なくとも1つのデータ送信命令を実行するステップであって、データ送信命令は、そのデータ送信段階でデータが送信される出力リンクを定義するリンク識別子を含む、ステップを含み、
リンク識別子は、複数の組み込み1次元論理経路が同時に動作するように、処理ノード及びリンクのそれぞれの組によって形成された複数の組み込み1次元論理経路の各々を周回してデータを送信するために決定されており、各論理経路は、コンピュータの全ての処理ノードを順次使用する、方法を提供する。
Claims (30)
- 相互接続されたノードの複数の層が軸に沿って配置される円環構成で配置された複数の相互接続された処理ノードを含むコンピュータであって、
各層は、少なくとも、隣接する処理ノードの各ペア間のリンクの層内の組により、非軸方向平面においてリング状に接続された複数の処理ノードを含み、各組の前記リンクは、同時に動作するように適合され、
各層内の前記処理ノードの各々は、前記軸に沿ってリングを形成するために、層間リンクによって、隣接する層内の対応するノードに接続され、
前記コンピュータは、複数の組み込み1次元論理経路を提供し、前記複数の組み込み1次元論理経路が同時に動作するように、前記組み込み1次元論理経路の各々を周回してデータを送信するようにプログラムされ、各論理経路は、前記コンピュータの全ての処理ノードを順次使用し、
前記コンピュータは、前記リンクの層内の組において第1帯域幅でデータを送信し、前記層間リンクにおいて前記第1帯域幅とは異なる第2帯域幅でデータを送信することにより、非対称な帯域幅で前記データを送信するようにプログラムされる、
コンピュータ。 - 層内リンク帯域幅は、前記軸に沿った帯域幅よりも大きい、請求項1に記載のコンピュータ。
- 前記組み込み1次元論理経路は同型である、請求項1又は2に記載のコンピュータ。
- 層内リンクの組は、2つのリンクを含み、前記帯域幅は、前記軸に沿ってB/6であり、各層内でB/3であり、ここで、Bは、各処理ノードの総帯域幅である、請求項1~3のいずれか一項に記載のコンピュータ。
- 3つの論理経路が組み込まれる、請求項4に記載のコンピュータ。
- 層内リンクの組は、3つのリンクを含み、前記帯域幅は、各層内で3B/8であり、前記軸に沿ってB/8であり、ここで、Bは、各処理ノードの総帯域幅である、請求項1~3のいずれか一項に記載のコンピュータ。
- 4つの論理経路が組み込まれる、請求項6に記載のコンピュータ。
- 各論理経路が、反時計回り及び時計回りの方向の一方で辿られる各層内の処理ノードのシーケンスを含むように構成される、請求項1~7のいずれか一項に記載のコンピュータ。
- 連続的な層の前記ノードは、同じ方向に辿られる、請求項8に記載のコンピュータ。
- 連続的な層の前記ノードは、反対方向に辿られる、請求項8に記載のコンピュータ。
- 各処理ノードは、reduce scatterフェーズで交換される準備ができているデータ項目の配列を保存するように構成されたメモリを含み、各データ項目は、それぞれ前記配列に配置され、対応するデータ項目は、それぞれ他の処理ノードの前記配列内の対応する位置に配置される、請求項1~10のいずれか一項に記載のコンピュータ。
- 処理ノードは、reduce-scatterフェーズにおいて、各論理経路を周回して、その隣接する接続された処理ノードにデータ項目を順方向に送信するようにそれぞれプログラムされる、請求項11に記載のコンピュータ。
- 各処理ノードは、計算ステップで部分デルタのベクトルを生成し、そのベクトルを、前記組み込み1次元論理経路のそれぞれの利用のために部分配列に分割するようにプログラムされる、請求項11又は12に記載のコンピュータ。
- 前記処理ノードの各々は、データ送信ステップで使用されない層間及び層内リンクのいずれも無効化するようにプログラムされる、請求項1~13のいずれか一項に記載のコンピュータ。
- 各処理ノードは、前記ノードのそれぞれの部分ベクトルをフラグメントに分割し、前記データを、連続的なフラグメントの形式で各組み込み1次元経路を周回して送信するようにプログラムされる、請求項1~14のいずれか一項に記載のコンピュータ。
- 各経路を論理リングの組として動作させるようにプログラムされ、前記連続的なフラグメントは、同時送信ステップで各論理リングを周回して送信される、請求項15に記載のコンピュータ。
- 各処理ノードは、層内及び層間リンクの組の各々において、それぞれのフラグメントを同時に出力するように構成される、請求項16に記載のコンピュータ。
- 各処理ノードは、入力フラグメントを対応する局所的に保存されたフラグメントと共に集約するように構成される、請求項15~17のいずれか一項に記載のコンピュータ。
- 各処理ノードは、AllreduceコレクティブのAllgatherフェーズにおいて、完全に集約されたフラグメントをリンクの各々で同時に送信するように構成される、請求項18に記載のコンピュータ。
- リンクは、前記リンクを介して両方向にデータを送信することができるように双方向性を有する、請求項1~19のいずれか一項に記載のコンピュータ。
- 軸に沿って配置された複数の層を有する円環構成で配置された複数の相互接続された処理ノードを含むコンピュータで並列に実行されるプログラムの組を生成する方法であって、
各層は、隣接する処理ノードの各ペア間のリンクの層内の組により、非軸方向平面においてリング状に接続された複数の処理ノードを含み、各組の前記リンクは、同時に動作するように適合され、
各層内の前記処理ノードは、前記軸に沿ってリングを形成するために、層間リンクによって、隣接する層内の対応するノードに接続され、
前記方法は、
各プログラムについて、前記プログラムを実行する前記処理ノードからデータが送信されるデータ送信段階を定義するための少なくとも1つのデータ送信命令を生成するステップであって、前記データ送信命令は、前記データ送信段階でデータが送信される出力リンクを定義するリンク識別子を含む、ステップと、
複数の組み込み1次元論理経路が同時に動作するように、複数の組み込み1次元論理経路を周回してデータを送信するために前記リンク識別子を決定するステップであって、各論理経路は、前記コンピュータの全ての処理ノードを順次使用する、ステップと、
を含み、
前記プログラムは、前記リンクの層内の組において第1帯域幅でデータを送信し、前記層間リンクにおいて前記第1帯域幅とは異なる第2帯域幅でデータを送信することにより、非対称な帯域幅で前記データを送信するように生成される、
方法。 - 層内リンク帯域幅は、前記軸に沿った帯域幅よりも大きい、請求項21に記載の方法。
- 各プログラムは、データ送信ステップで使用されない層間及び層内リンクのいずれも無効化するための1つ以上の命令を含む、請求項21又は22に記載の方法。
- 各プログラムは、前記プログラムが実行される前記処理ノードのそれぞれの部分ベクトルをフラグメントに分割し、前記それぞれに定義されたリンクを介して前記データを連続的なフラグメントの形式で送信するための1つ以上の命令を含む、請求項21~23のいずれか一項に記載の方法。
- 各プログラムは、それぞれのフラグメントを複数のリンクの各々で同時に出力するための1つ以上の命令を含む、請求項24に記載の方法。
- 各プログラムは、入力フラグメントを対応する局所的に保存されたフラグメントと共に集約するための1つ以上の命令を含む、請求項24又は25に記載の方法。
- 各プログラムは、AllreduceコレクティブのAllgatherフェーズにおいて、完全に集約されたフラグメントをリンクの各々で同時に送信するための1つ以上の命令を含む、請求項21~26のいずれか一項に記載の方法。
- 軸に沿って配置された複数の層を有する円環構成で配置された複数の相互接続された処理ノードを含むコンピュータでプログラムの組を並列に実行する方法であって、
各層は、隣接する処理ノードの各ペア間のリンクの層内の組により、非軸方向平面においてリング状に接続された複数の処理ノードを含み、各組の前記リンクは、同時に動作するように適合され、
各層内の処理ノードは、前記軸に沿って第2の次元のリングを形成するために、層間リンクによって、隣接する層内の対応するノードに接続され、
前記方法は、
各プログラムにおいて、前記プログラムを実行する前記処理ノードからデータが送信されるデータ送信段階を定義するための少なくとも1つのデータ送信命令を実行するステップであって、前記データ送信命令は、前記データ送信段階でデータが送信される出力リンクを定義するリンク識別子を含む、ステップを含み、
前記リンク識別子は、複数の組み込み1次元論理経路が同時に動作するように、処理ノード及びリンクのそれぞれの組によって形成された複数の組み込み1次元論理経路の各々を周回してデータを送信するために決定されており、各論理経路は、前記コンピュータの全ての処理ノードを順次使用し、
前記データは、前記リンクの層内の組において第1帯域幅で送信され、前記層間リンクにおいて前記第1帯域幅とは異なる第2帯域幅で送信されることにより、非対称な帯域幅で送信される、
方法。 - 層内リンク帯域幅は、前記軸に沿った帯域幅よりも大きい、請求項28に記載の方法。
- 前記プログラムを実行するステップは、各経路を論理リングの組として動作させ、各処理ノードで提供される部分ベクトルの連続的なフラグメントは、同時送信ステップで各論理リングを周回して送信される、請求項28又は29に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB2004430.1A GB202004430D0 (en) | 2020-03-26 | 2020-03-26 | Embedding rings on a toroid computer network |
GB2004430.1 | 2020-03-26 | ||
GBGB2006402.8A GB202006402D0 (en) | 2020-04-30 | 2020-04-30 | A network computer with two embedded rings |
GB2006402.8 | 2020-04-30 | ||
PCT/EP2021/057563 WO2021191272A1 (en) | 2020-03-26 | 2021-03-24 | Embedding rings on a toroid computer network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022543886A JP2022543886A (ja) | 2022-10-14 |
JP7447241B2 true JP7447241B2 (ja) | 2024-03-11 |
Family
ID=75302548
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022507331A Pending JP2022543814A (ja) | 2020-03-26 | 2021-03-24 | 2つの組み込みリングを有するネットワークコンピュータ |
JP2022508517A Active JP7447241B2 (ja) | 2020-03-26 | 2021-03-24 | 円環コンピュータネットワークへのリングの組み込み |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022507331A Pending JP2022543814A (ja) | 2020-03-26 | 2021-03-24 | 2つの組み込みリングを有するネットワークコンピュータ |
Country Status (6)
Country | Link |
---|---|
US (2) | US11531637B2 (ja) |
EP (2) | EP3973405A1 (ja) |
JP (2) | JP2022543814A (ja) |
KR (2) | KR20220006122A (ja) |
CN (2) | CN114026551A (ja) |
WO (2) | WO2021191271A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201904265D0 (en) * | 2019-03-27 | 2019-05-08 | Graphcore Ltd | A partitionable networked computer |
EP3973405A1 (en) * | 2020-03-26 | 2022-03-30 | Graphcore Limited | A network computer with two embedded rings |
CN116501691B (zh) * | 2023-06-27 | 2023-09-22 | 北京燧原智能科技有限公司 | 互联系统的自动化布局方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118855A (ja) | 1995-10-31 | 2004-04-15 | Cray Res Inc | マルチプロセッサコンピュータシステムを保全する方法 |
US20090307467A1 (en) | 2008-05-21 | 2009-12-10 | International Business Machines Corporation | Performing An Allreduce Operation On A Plurality Of Compute Nodes Of A Parallel Computer |
US20180240039A1 (en) | 2017-02-21 | 2018-08-23 | Google Llc | Parallel processing of reduction and broadcast operations on large datasets of non-scalar data |
WO2018211042A1 (en) | 2017-05-17 | 2018-11-22 | Derrick John Hamlin | Digital processing connectivity |
US20190045003A1 (en) | 2018-01-09 | 2019-02-07 | Intel Corporation | Collective communication operation |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689647A (en) * | 1989-03-14 | 1997-11-18 | Sanyo Electric Co., Ltd. | Parallel computing system with processing element number setting mode and shortest route determination with matrix size information |
US5533198A (en) * | 1992-11-30 | 1996-07-02 | Cray Research, Inc. | Direction order priority routing of packets between nodes in a networked system |
JPH06290158A (ja) * | 1993-03-31 | 1994-10-18 | Fujitsu Ltd | 再構成可能なトーラス・ネットワーク方式 |
US6167502A (en) * | 1997-10-10 | 2000-12-26 | Billions Of Operations Per Second, Inc. | Method and apparatus for manifold array processing |
EP1370966B1 (en) * | 2001-02-24 | 2010-08-25 | International Business Machines Corporation | A novel massively parrallel supercomputer |
US7613900B2 (en) * | 2003-03-31 | 2009-11-03 | Stretch, Inc. | Systems and methods for selecting input/output configuration in an integrated circuit |
JP2006215816A (ja) * | 2005-02-03 | 2006-08-17 | Fujitsu Ltd | 情報処理システムおよび情報処理システムの制御方法 |
US7581079B2 (en) * | 2005-03-28 | 2009-08-25 | Gerald George Pechanek | Processor composed of memory nodes that execute memory access instructions and cooperate with execution nodes to execute function instructions |
US7809006B2 (en) * | 2007-08-16 | 2010-10-05 | D. E. Shaw Research, Llc | Routing with virtual channels |
US8484440B2 (en) | 2008-05-21 | 2013-07-09 | International Business Machines Corporation | Performing an allreduce operation on a plurality of compute nodes of a parallel computer |
US20100017655A1 (en) * | 2008-07-16 | 2010-01-21 | International Business Machines Corporation | Error Recovery During Execution Of An Application On A Parallel Computer |
US20100158005A1 (en) * | 2008-12-23 | 2010-06-24 | Suvhasis Mukhopadhyay | System-On-a-Chip and Multi-Chip Systems Supporting Advanced Telecommunication Functions |
US7957385B2 (en) * | 2009-03-26 | 2011-06-07 | Terascale Supercomputing Inc. | Method and apparatus for packet routing |
US9081501B2 (en) * | 2010-01-08 | 2015-07-14 | International Business Machines Corporation | Multi-petascale highly efficient parallel supercomputer |
US20130191437A1 (en) * | 2010-10-01 | 2013-07-25 | Hitachi, Ltd. | Distributed processing system and method of node distribution in distributed processing system |
JP5696779B2 (ja) * | 2011-03-22 | 2015-04-08 | 富士通株式会社 | 並列計算機システム及び並列計算機システムの制御方法 |
JP5786088B2 (ja) * | 2012-03-09 | 2015-09-30 | 株式会社日立製作所 | 情報処理システム |
US9077616B2 (en) * | 2012-08-08 | 2015-07-07 | International Business Machines Corporation | T-star interconnection network topology |
US9280504B2 (en) * | 2012-08-24 | 2016-03-08 | Intel Corporation | Methods and apparatus for sharing a network interface controller |
JP6122135B2 (ja) * | 2012-11-21 | 2017-04-26 | コーヒレント・ロジックス・インコーポレーテッド | 分散型プロセッサを有する処理システム |
US20140149715A1 (en) * | 2012-11-28 | 2014-05-29 | Los Alamos National Security, Llc | Scalable and programmable computer systems |
US9424229B2 (en) * | 2013-02-13 | 2016-08-23 | Advanced Micro Devices, Inc. | Parallel torus network interconnect |
US9742630B2 (en) * | 2014-09-22 | 2017-08-22 | Netspeed Systems | Configurable router for a network on chip (NoC) |
US10587534B2 (en) * | 2017-04-04 | 2020-03-10 | Gray Research LLC | Composing cores and FPGAS at massive scale with directional, two dimensional routers and interconnection networks |
NO343359B1 (en) * | 2017-05-02 | 2019-02-11 | Numascale As | Interconnect switch in multiprocessor systems |
GB201717303D0 (en) | 2017-10-20 | 2017-12-06 | Graphcore Ltd | Scheduling tasks in a multi-threaded processor |
GB201717295D0 (en) | 2017-10-20 | 2017-12-06 | Graphcore Ltd | Synchronization in a multi-tile processing array |
GB2569275B (en) | 2017-10-20 | 2020-06-03 | Graphcore Ltd | Time deterministic exchange |
US20200065659A1 (en) * | 2018-08-24 | 2020-02-27 | Samsung Electronics Co., Ltd. | Method of accelerating training process of neural network and neural network device thereof |
EP3973405A1 (en) * | 2020-03-26 | 2022-03-30 | Graphcore Limited | A network computer with two embedded rings |
-
2021
- 2021-03-24 EP EP21715533.2A patent/EP3973405A1/en active Pending
- 2021-03-24 EP EP21715534.0A patent/EP3973406A1/en active Pending
- 2021-03-24 KR KR1020217041190A patent/KR20220006122A/ko unknown
- 2021-03-24 JP JP2022507331A patent/JP2022543814A/ja active Pending
- 2021-03-24 KR KR1020217040950A patent/KR20220003621A/ko unknown
- 2021-03-24 CN CN202180004037.XA patent/CN114026551A/zh active Pending
- 2021-03-24 WO PCT/EP2021/057558 patent/WO2021191271A1/en unknown
- 2021-03-24 WO PCT/EP2021/057563 patent/WO2021191272A1/en unknown
- 2021-03-24 JP JP2022508517A patent/JP7447241B2/ja active Active
- 2021-03-24 CN CN202180004027.6A patent/CN114008602A/zh active Pending
- 2021-03-24 US US17/211,202 patent/US11531637B2/en active Active
- 2021-03-24 US US17/211,232 patent/US11625356B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118855A (ja) | 1995-10-31 | 2004-04-15 | Cray Res Inc | マルチプロセッサコンピュータシステムを保全する方法 |
US20090307467A1 (en) | 2008-05-21 | 2009-12-10 | International Business Machines Corporation | Performing An Allreduce Operation On A Plurality Of Compute Nodes Of A Parallel Computer |
US20180240039A1 (en) | 2017-02-21 | 2018-08-23 | Google Llc | Parallel processing of reduction and broadcast operations on large datasets of non-scalar data |
WO2018211042A1 (en) | 2017-05-17 | 2018-11-22 | Derrick John Hamlin | Digital processing connectivity |
US20190045003A1 (en) | 2018-01-09 | 2019-02-07 | Intel Corporation | Collective communication operation |
Non-Patent Citations (1)
Title |
---|
CARLO H. SEQUIN,Doublytwisted torus networks for VLSI processor arrays,ISCA'81:Proceedingsof the 8th annual symposium on Computer Architecture,米国,ACM,1981年05月12日,Pages 471-480 |
Also Published As
Publication number | Publication date |
---|---|
WO2021191272A1 (en) | 2021-09-30 |
KR20220003621A (ko) | 2022-01-10 |
US11625356B2 (en) | 2023-04-11 |
JP2022543886A (ja) | 2022-10-14 |
WO2021191271A1 (en) | 2021-09-30 |
CN114026551A (zh) | 2022-02-08 |
CN114008602A (zh) | 2022-02-01 |
EP3973406A1 (en) | 2022-03-30 |
EP3973405A1 (en) | 2022-03-30 |
KR20220006122A (ko) | 2022-01-14 |
JP2022543814A (ja) | 2022-10-14 |
US20210349847A1 (en) | 2021-11-11 |
US11531637B2 (en) | 2022-12-20 |
US20210303505A1 (en) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7447241B2 (ja) | 円環コンピュータネットワークへのリングの組み込み | |
CN111630487A (zh) | 用于神经网络处理的共享存储器的集中式-分布式混合组织 | |
JP7344981B2 (ja) | 環状コンピュータネットワークにおけるリングの組み込み | |
US11614946B2 (en) | Networked computer | |
JP7463397B2 (ja) | 組み込みリング領域を有するネットワークコンピュータ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |