JP7003021B2 - ニューラルネットワーク装置 - Google Patents

ニューラルネットワーク装置 Download PDF

Info

Publication number
JP7003021B2
JP7003021B2 JP2018173649A JP2018173649A JP7003021B2 JP 7003021 B2 JP7003021 B2 JP 7003021B2 JP 2018173649 A JP2018173649 A JP 2018173649A JP 2018173649 A JP2018173649 A JP 2018173649A JP 7003021 B2 JP7003021 B2 JP 7003021B2
Authority
JP
Japan
Prior art keywords
data
region
routers
router
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018173649A
Other languages
English (en)
Other versions
JP2020046821A (ja
Inventor
久美子 野村
孝生 丸亀
義史 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2018173649A priority Critical patent/JP7003021B2/ja
Priority to US16/299,634 priority patent/US11455526B2/en
Publication of JP2020046821A publication Critical patent/JP2020046821A/ja
Application granted granted Critical
Publication of JP7003021B2 publication Critical patent/JP7003021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明の実施形態は、ニューラルネットワーク装置に関する。
近年、ハードウェア化したニューラルネットワークを用いて、脳型プロセッサを実現する技術が提案されている。脳型プロセッサでは、内部で学習器がニューラルネットワークに誤差データを与えて、ニューラルネットワークに設定されている重み係数等を最適化する。
従来のニューラルネットワークは、通常の演算処理を停止した状態で学習処理を実行し、重み係数を最適化する。このため、従来のニューラルネットワークは、外部のプロセッサにより学習処理を実行させることができた。
しかし、脳型プロセッサを実現する場合、ニューラルネットワークは、演算処理と学習処理とを並行して実行しなければならない。従って、この場合、ニューラルネットワークは、外部装置から受信した演算対象データを順方向に伝播させる処理と、学習用の誤差データを逆方向に伝播させる処理とを並行して実行しなければならない。
しかし、ニューラルネットワークに対して順方向にデータを伝播させる処理と逆方向にデータを伝播させる処理とを並行に実行した場合、ニューラルネットワーク内でのトラフィックが停滞し、コストの増大および処理時間の増加を招いてしまう。
特開平4-130968号公報 米国特許出願公開第2016/0336064号明細書 米国特許出願公開第2016/0284400号明細書 米国特許出願公開第2015/0088797号明細書
Geoffrey W. Burr, "Analog resistive neuromorphic hardware", IBM Research - Almaden., BioComp Summer School, 2017年6月30日
本発明が解決しようとする課題は、演算処理と学習処理とを並行に実行しつつ、内部でのトラフィックの停滞を軽減したニューラルネットワーク装置を提供することにある。
実施形態に係るニューラルューラルネットワーク装置は、ニューラルネットワークにおけるデータ処理と学習処理とを並行に実行する。前記ニューラルネットワーク装置は、複数のコアと、複数のルータとを備える。前記複数のコアは、それぞれが、前記ニューラルネットワークにおける前記データ処理および前記学習処理の一部の演算および処理を実行する。前記複数のルータは、前記複数のコアのそれぞれから出力されたデータを、前記複数のコアの何れか1つのコアに転送する。前記複数のコアのそれぞれから出力される前記データは、実態データと、データ種別とを含む。前記実体データは、前記ニューラルネットワークを順方向に伝播する順方向データ、または、前記ニューラルネットワークを逆方向に伝播する逆方向データである前記データ種別は、前記実体データが前記順方向データであるか前記逆方向データであるかを識別する情報である。前記複数のルータは、前記複数のコアのそれぞれから出力された前記順方向データを含む前記データを前記データ処理における次の処理がされるように前記複数のコアの何れか1つのコアに転送し、前記複数のコアのそれぞれから出力された前記逆方向データを含む前記データを前記学習処理における次の処理がされるように前記複数のコアの何れか1つのコアに転送する。前記複数のルータのそれぞれは、複数の部分領域の何れか1つに含まれている。前記複数の部分領域のそれぞれは、順方向領域または逆方向領域である。前記複数のルータのそれぞれは、前記データを受け取った場合、受け取った前記データに含まれる前記実体データに対して自身に接続されたコアにより次の処理が実行されるか否かを判断する。前記複数のルータのそれぞれは、前記実体データに対して自身に接続されたコアにより次の処理が実行される場合、受け取った前記データを自身に接続されたコアに送信する。前記複数のルータのそれぞれは、前記実体データに対して自身に接続されたコアにより次の処理が実行されない場合、前記データ種別に基づき、受け取った前記データが前記順方向データまたは前記逆方向データの何れを含むかを判断する。前記順方向領域に含まれるルータは、前記逆方向データを含む前記データを受け取ったと判断した場合、他の部分領域内の他のルータに対して前記逆方向データを含む前記データを送信する。前記逆方向領域に含まれるルータは、前記順方向データを含む前記データを受け取ったと判断した場合、他の部分領域内の他のルータに対して前記順方向データを含む前記データを送信する。前記順方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記順方向データを含む前記データを送信する。前記逆方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記逆方向データを含む前記データを送信する。
実施形態に係るニューラルネットワーク装置の構成図。 通常の演算処理(順方向処理)の内容を示す図。 学習処理(逆方向処理)の内容を示す図。 データ処理部の構成を示す図。 ニューラルネットワークに含まれる構成要素とコアとの対応関係図。 データ処理部内の複数の部分領域を示す図。 複数のコアおよび複数のルータの間で送受信されるデータを示す図。 複数のコアおよび複数のルータの間で送受信されるデータを示す図。 複数の部分領域のそれぞれの種類を示す図。 ルータの構成を示す図。 ルーティング部の処理手順を示すフローチャートである。 順方向領域に含まれるルータが送信するデータを示す図。 逆方向領域に含まれるルータが送信するデータを示す図。 順方向領域に含まれるルータから送信された逆方向データの経路図。 逆方向領域に含まれるルータから送信された順方向データの経路図。 データ処理部の構成の変形例を示す図。
以下、図面を参照しながら実施形態に係るニューラルネットワーク装置10について説明する。実施形態に係るニューラルネットワーク装置10は、ニューラルネットワークにおける通常のデータ処理と学習処理とを並行に実行しつつ、内部でのトラフィックの混雑を軽減することができる。
図1は、実施形態に係るニューラルネットワーク装置10の構成を示す図である。ニューラルネットワーク装置10は、データ処理部20と、通信部22と、学習部24と、設定部26とを備える。
データ処理部20、通信部22、学習部24および設定部26は、1つの半導体装置内に実装されてもよいし、1つの基板上に設けられた複数の半導体装置に実装されていてもよいし、複数の基板に設けられた複数の半導体装置に実装されていてもよい。また、学習部24および設定部26は、同一のプロセッサにより実現されてもよい。
ニューラルネットワーク装置10は、外部装置から入力データを受信する。ニューラルネットワーク装置10は、受信した入力データに対してニューラルネットワークに従った演算処理を実行する。そして、ニューラルネットワーク装置10は、ニューラルネットワークに従った演算処理の結果である出力データを外部装置に送信する。
データ処理部20は、ニューラルネットワークに基づく通常の演算処理を実行する。データ処理部20は、例えば、ニューラルネットワークに基づく通常の演算処理として、パターン認識処理、データ解析処理および制御処理等の様々な情報処理を実行する。
また、データ処理部20は、通常の演算処理と並行して、学習処理を実行する。データ処理部20は、学習処理により、通常の演算処理をより適切に行うように、ニューラルネットワークに含まれる複数の係数(重み)を変更する。
通信部22は、外部装置とデータの送受信をする。具体的には、通常の演算処理において、通信部22は、外部装置から、演算対象となる入力データを受信する。また、通信部22は、外部装置へ、演算結果である出力データを送信する。
学習部24は、通常の演算処理においてデータ処理部20から出力された出力データを取得する。そして、学習処理において、学習部24は、出力データの誤差を表す誤差データを算出して、データ処理部20に与える。
さらに、学習部24は、データ処理部20が複数の層に対して誤差データを逆方向に伝播した結果得られた情報に基づき、ニューラルネットワークに含まれる複数の係数(重み)を変更する。例えば、学習部24は、ニューラルネットワークに含まれる複数の係数のそれぞれについて、誤差の勾配を算出する。そして、学習部24は、誤差の勾配を例えば0とする方向に、複数の係数を変更する。
設定部26は、学習部24によりニューラルネットワークに含まれる複数の係数が変更された場合、データ処理部20に対して、変更後の係数を設定する。
図2は、ニューラルネットワークにおける通常の演算処理(順方向処理)の内容を示す図である。
ニューラルネットワークは、複数の層を含む。複数の層のそれぞれは、受け取ったデータに対して所定の演算および処理をする。ニューラルネットワークに含まれる複数の層のそれぞれは、複数のノードを含む。1つの層に含まれるノードの数は、層毎に異なってもよい。
それぞれのノードには、活性化関数が設定されている。活性化関数は、層毎に異なってもよい。また、同一の層において、ノード毎に活性化関数が異なってもよい。また、それぞれのノードとノードとを結ぶリンクには、係数(重み)が設定されている。ニューラルネットワークは、ノードから次のノードへとデータを伝播する場合に、そのデータに対してリンクに設定された係数を乗じる。これらの係数は、学習処理により適切に変更される。
データ処理部20は、ニューラルネットワークにおける通常の演算処理において、ニューラルネットワークにおける複数の層に対して計算データを順方向に伝播させながら演算を実行させる順方向処理を実行する。例えば、順方向処理において、データ処理部20は、入力層に入力データを与える。続いて、順方向処理において、データ処理部20は、それぞれの層から出力された計算データを、直後の層へと順方向に伝播させる。そして、順方向処理において、データ処理部20は、出力層から出力された計算データを、出力データとして外部装置へと送信する。
ここで、本実施形態においては、ニューラルネットワークにおける通常の演算処理において、複数の層を順方向に伝播するデータを、順方向データと呼ぶ。
図3は、ニューラルネットワークにおける学習処理(逆方向処理)の内容を示す図である。それぞれのノードには、誤差関数が設定されている。誤差関数は、そのノードに設定されている活性化関数の導関数である。すなわち、誤差関数は、そのノードに設定されている活性化関数の微分である。
学習部24は、順方向処理が終了した場合、順方向処理で出力された出力データに対する誤差を表す誤差データを算出する。続いて、逆方向処理において、データ処理部20は、学習部24により生成された誤差データを出力層に与える。そして、逆方向処理において、データ処理部20は、それぞれの層から出力された複数のデータを、直前の層へと逆方向に伝播させる。
ここで、本実施形態においては、ニューラルネットワークにおける学習処理において、複数の層を逆方向に伝播するデータを、逆方向データと呼ぶ。
図4は、データ処理部20の構成を示す図である。データ処理部20は、複数のコア30と、複数のルータ40と、複数の通信路42とを有する。
複数のコア30は、それぞれが、ニューラルネットワークにおける一部の構成要素の演算および処理を実行する。複数のコア30のそれぞれは、プロセッサであってもよいし、専用のハードウェア回路であってもよいし、デジタル回路であってもよいし、アナログ回路であってもよい。また、複数のコア30のそれぞれは、記憶部を有し、ニューラルネットワークに含まれる係数を記憶してもよい。
複数のルータ40は、複数のコア30のそれぞれから出力されたデータを、ニューラルネットワークの構成に従って演算および処理が実行されるように、通信路42を介して複数のコア30の何れか1つのコア30に転送する。
例えば、複数のルータ40のそれぞれは、通信路42の分岐点に配置される。複数のルータ40のそれぞれは、通信路42を介して複数の他のルータ40と直接接続される。複数のルータ40のそれぞれは、通信路42を介して直接接続された他のルータ40とデータを送受信する。
また、複数のルータ40のうちの所定のルータ40は、さらに、1または複数のコア30と接続され、接続されたコア30とデータを送受信してもよい。本実施形態においては、複数のコア30は、複数のルータ40に対して一対一に対応して設けられ、対応して設けられたルータ40とデータを送受信する。
このような複数のルータ40のそれぞれは、当該ルータ40と接続された送信元であるルータ40またはコア30から受信したデータを、送信先である当該ルータ40と接続された他のルータ40またはコア30へとデータを転送する。
図5は、ニューラルネットワークに含まれる構成要素と、その構成要素での処理を実行するコア30との対応関係を示す図である。
複数のコア30のそれぞれには、ニューラルネットワークに含まれる複数の構成要素のうちの何れかが予め割り当てられている。複数のコア30のそれぞれは、ニューラルネットワークに含まれる複数の構成要素のうち、予め割り当てられた構成要素の演算または処理を実行する。
ニューラルネットワークに含まれる構成要素とは、例えば、ノードにおける活性化関数の演算および誤差関数の演算、リンクに設定された係数の乗算、および、係数が乗算されたデータの加算、外部装置からのデータの入力、外部装置へのデータの出力、誤差データの取得、および、勾配データの出力等である。ニューラルネットワークに含まれる全ての構成要素が少なくとも何れかのコア30で実行されるように、複数のコア30のそれぞれに構成要素が割り当てられている。
1つのコア30において実行される処理は、例えば、1つのノードで実行される処理であってもよい。例えば、ある1つのコア30は、ある層のある1つのノードにおける、リンクに設定された係数の乗算、前段の層から受け取った複数のデータの加算、活性化関数の演算または誤差関数の演算等を実行する。
また、1つのコア30において実行される演算および処理は、1つのノードの一部分の演算であってもよい。例えば、ある1つのコア30は、1つのノードにおける活性化関数の演算を実行し、他の1つのコア30は、そのノードにおける係数の乗算および加算を実行してもよい。また、1つのコア30において実行される演算および処理は、1つの層に含まれる複数のノードにおける全ての処理であってもよい。
このようにデータ処理部20は、ニューラルネットワークに含まれる複数の構成要素の処理を複数のコア30に分散して実行することができる。
図6は、複数の部分領域28を示す図である。データ処理部20は、複数の部分領域28を含む。複数のコア30および複数のルータ40は、複数の部分領域28の何れか1つに含まれる。
1つの部分領域28は、例えば、回路内の全部または一部分の領域である。また、1つの部分領域28は、半導体装置における、一部分の領域であってもよい。また、1つの部分領域28は、半導体装置における、積層された複数の基板層のうちの1つであってもよい。
本実施形態においては、複数の部分領域28のそれぞれは、半導体装置内の回路である。複数の部分領域28は、半導体装置内において垂直方向に積層された層に形成されている。例えば、少なくとも上下に隣接した2つの部分領域28は、電気的に接続可能である。なお、複数の部分領域28は、例えば、3次元実装された複数の半導体チップであってもよし、1つのパッケージにモジュール化される複数の回路基板であってもよい。
本実施形態において、複数の部分領域28のそれぞれは、M(Mは2以上)×N(Nは2以上)個のコア30と、M×N個のルータ40とを含む。M×N個のコア30は、M×N個のルータ40に対して一対一に対応して設けられる。M×N個のコア30のそれぞれは、対応するルータ40と接続される。
M×N個のルータ40は、行方向(第1配列方向)および列方向(第2配列方向)に並べてマトリクス状に配列される。例えば、列方向は、行方向に対して直交する方向である。
複数の部分領域28のそれぞれは、複数の第1通信路42-1と、複数の第2通信路42-2とを含む。複数の第1通信路42-1および複数の第2通信路42-2は、クロスバーネットワークを構成する。すなわち、複数の第1通信路42-1は、部分領域28内において、それぞれが列方向に直線上に延び、行方向に等間隔で配列される。複数の第2通信路42-2は、部分領域28内において、それぞれが行方向に直線上に延び、列方向に等間隔で配列される。そして、複数の第1通信路42-1のそれぞれは、複数の第2通信路42-2の全てと交差する。
M×N個のルータ40は、このようなクロスバーネットワークにおける、第1通信路42-1と第2通信路42-2との全ての交点に設けられる。これにより、M×N個のルータ40は、部分領域28内において、何れかのコア30から出力されたデータを、M×N個のコア30の何れにも転送することができる。
データ処理部20は、さらに、複数の第3通信路42-3を含む。複数の第3通信路42-3のそれぞれは、高さ方向に隣接する2つの部分領域28に含まれる同一のマトリクス位置の2つのルータ40を接続する。従って、ある部分領域28に含まれるルータ40は、直上および直下の他の部分領域28に含まれる同一のマトリクス位置の他のルータ40に、第3通信路42-3を介して接続される。なお、最も上の部分領域28に含まれるルータ40は、直下の他の部分領域28に含まれる同一のマトリクス位置の他のルータ40にのみ接続される。また、最も下の部分領域28に含まれるルータ40は、直上の他の部分領域28に含まれる同一のマトリクス位置の他のルータ40にのみ接続される。
これにより、データ処理部20に含まれる複数のルータ40は、データ処理部20に含まれる何れかのコア30から出力されたデータを、データ処理部20に含まれる複数のコア30の何れにも転送することができる。
なお、本実施形態では、MおよびNは、2以上としている。しかし、MおよびNのうち、一方が1以上、他方が2以上であってもよい。この場合、複数の部分領域28のそれぞれは、1行のネットワークまたは1列のネットワークとなる。
図7は、複数のコア30および複数のルータ40の間で送受信されるデータの一例を示す図である。順方向データおよび逆方向データは、例えば、実体データと、ヘッダとを含む。実体データは、ニューラルネットワークにおいて演算および処理がされる対象である。ヘッダは、パケットを目的のコア30へと転送させるために必要な情報、および、実体データに対して演算および処理をするために必要な情報等を含む。
例えば、ヘッダは、IDと、データ種別と、前処理アドレスと、次処理アドレスと、を含む。IDは、当該実体データの元となる入力データを識別するための情報である。
データ種別は、実体データが、順方向に伝播される順方向データ(通常の演算処理において伝播されるデータ)であるか、逆方向に伝播される逆方向データ(学習処理において伝播されるデータ)であるかを識別する情報である。
前処理アドレスは、当該データを出力したコア30を識別するアドレスである。前処理アドレスは、ニューラルネットワークにおける当該データを生成した層およびノードを識別する情報であってもよい。
次処理アドレスは、ニューラルネットワークにおける当該データに対して次に演算または処理をするコア30を識別するアドレスである。次処理アドレスは、ニューラルネットワークにおける、当該データに対して演算または処理をする構成要素(層またはノード等)を識別する情報であってもよい。
なお、データ処理装置20が、図6に示したようなネットワークを高さ方向に積層した構成の場合、前処理アドレスおよび次処理アドレスは、高さ方向の位置(例えば、基板層を識別する番号または部分領域28を識別する番号)を表す高さアドレスと、ネットワーク内の位置(部分領域28内でのマトリクス位置、または、クロスバーネットワークの交点位置)を表す平面内アドレスとを含んでもよい。
ヘッダは、以上のような構成に限らず、ルータ40が、実体データをニューラルネットワークの構成に従って演算および処理が実行されるように適切なコア30に転送することができれば、他の構成であってもよい。
図8は、複数のコア30および複数のルータ40の間で送受信されるデータを示す図である。
複数のコア30のそれぞれは、ニューラルネットワークを順方向に伝播する順方向データ、および、ニューラルネットワークを逆方向に伝播する逆方向データの少なくとも一方を、当該コア30に接続されたルータ40に送信する。
複数のルータ40のそれぞれは、コア30または他のルータ40からデータを受信した場合、受信したデータを解析して、自身に接続された複数のルータ40のうち、受信したデータを次処理アドレスに示されたコア30に転送させるために適切な1つのルータ40を特定する。そして、複数のルータ40のそれぞれは、特定したルータ40に、受信したデータを送信する。また、複数のルータ40のそれぞれは、受信したデータを解析した結果、次処理アドレスに示されたコア30が自身に接続されたコア30である場合、受信したデータを、自身に接続されたコア30に送信する。
これにより、複数のコア30は、例えば、図8に示すように、ある任意のコア30から出力されたデータ(順方向データまたは逆方向データ)を、次処理アドレスに示された他のコア30に転送することができる。
図9は、複数の部分領域28のそれぞれの種類を示す図である。複数の部分領域28のそれぞれは、順方向領域28-Fまたは逆方向領域28-Rの何れかに設定されている。例えば、複数の部分領域28は、順方向領域28-Fと逆方向領域28-Rとが交互に積層されている。
順方向領域28-Fに含まれるルータ40は、同一部分領域内に含まれる他のルータ40に対して、順方向データのみを送受信し、逆方向データを送受信しない。また、順方向領域28-Fに含まれるルータ40は、同一部分領域内に含まれる他のルータ40に対して、逆方向データのみを送受信し、順方向データを送受信しない。
なお、順方向領域28-Fに含まれるルータ40と、逆方向領域28-Rに含まれるルータ40との間では、順方向データおよび逆方向データの両方が送受信される。また、全てのルータ40は、接続されたコア30との間では、順方向データおよび逆方向データの両方を送受信する。
図10は、ルータ40の構成を示す図である。ルータ40は、コア送信部54と、コア受信部56と、領域外送信部58と、領域外受信部60と、領域内送信部62と、領域内受信部64と、ルーティング部70とを有する。
コア送信部54およびコア受信部56は、このルータ40に対応して設けられたコア30に接続される。コア送信部54は、順方向データおよび逆方向データを、接続されたコア30に送信する。コア受信部56は、順方向データおよび逆方向データを接続されたコア30から受信する。
領域外送信部58および領域外受信部60は、このルータ40が含まれる部分領域28とは異なる他の部分領域28に含まれる他のルータ40に接続される。すなわち、領域外送信部58および領域外受信部60は、他の部分領域28に含まれる何れかの他のルータ40に接続される。
領域外送信部58は、順方向データおよび逆方向データを接続された他のルータ40に送信する。また、領域外受信部60は、順方向データおよび逆方向データを接続された他のルータ40から受信する。
領域内送信部62および領域内受信部64は、このルータ40が含まれる部分領域28に含まれる他のルータ40に接続される。すなわち、領域内送信部62および領域内受信部64は、同一部分領域内に含まれる何れかの他のルータ40に接続される。
順方向領域28-Fに含まれるルータ40が有する領域内送信部62は、順方向データのみを、接続された他のルータ40に送信する。つまり、順方向領域28-Fに含まれるルータ40が有する領域内送信部62は、逆方向データを接続された他のルータ40に送信しない。
また、順方向領域28-Fに含まれるルータ40が有する領域内受信部64は、順方向データのみを、接続された他のルータ40から受信する。つまり、順方向領域28-Fに含まれるルータ40が有する領域内受信部64は、逆方向データを接続された他のルータ40から受信しない。
また、逆方向領域28-Rに含まれるルータ40が有する領域内送信部62は、逆方向データのみを、接続された他のルータ40に送信する。つまり、逆方向領域28-Rに含まれるルータ40が有する領域内送信部62は、順方向データを接続された他のルータ40に送信しない。
また、逆方向領域28-Rに含まれるルータ40が有する領域内受信部64は、逆方向データのみを、接続された他のルータ40から受信する。つまり、逆方向領域28-Rに含まれるルータ40が有する領域内受信部64は、順方向データを、接続された他のルータ40から受信しない。
ルーティング部70は、コア受信部56、領域外受信部60および領域内受信部64が受信した順方向データまたは逆方向データを受け取る。ルーティング部70は、受け取った順方向データまたは逆方向データを解析して、次に順方向データまたは逆方向データを受け取るべきルータ40またはコア30を特定する。そして、ルーティング部70は、特定したルータ40またはコア30に接続された、コア送信部54、領域外送信部58または領域内送信部62に、受信した順方向データまたは逆方向データを与える。
ここで、複数の部分領域28が図9に示したような積層構造となっている場合、ルータ40は、領域外送信部58および領域外受信部60を含む第1組81と、領域外送信部58および領域外受信部60を含む第2組82とを有する。
第1組81の領域外送信部58および領域外受信部60は、直下の部分領域28に含まれる同一のマトリクス位置の他のルータ40に接続される。なお、最も下の部分領域28に含まれる第2組82の領域外送信部58および領域外受信部60は、他のルータ40に接続されない。
第2組82に含まれる領域外送信部58および領域外受信部60は、直上の部分領域28に含まれる同一のマトリクス位置の他のルータ40に接続される。なお、最も上の部分領域28に含まれる第2組82の領域外送信部58および領域外受信部60は、他のルータ40に接続されない。
また、複数の部分領域28が図9に示したような積層構造となっている場合、ルータ40は、領域内送信部62および領域内受信部64を含む第3組83と、領域内送信部62および領域内受信部64を含む第4組84と、領域内送信部62および領域内受信部64を含む第5組85と、領域内送信部62および領域内受信部64を含む第6組86とを有する。
第3組83の領域内送信部62および領域内受信部64は、同一部分領域内における行方向(第1配列方向)に隣接する他のルータ40に接続される。第4組84の領域内送信部62および領域内受信部64は、同一部分領域内における、第3組83とは逆の行方向(第1配列方向)に隣接する他のルータ40に接続される。なお、行方向の最も端のルータ40は、第3組83および第4組84の一方が他のルータ40に接続されない。
第5組85の領域内送信部62および領域内受信部64は、同一部分領域内における列方向(第2配列方向)に隣接する他のルータ40に接続される。第6組86の領域内送信部62および領域内受信部64は、同一部分領域内における、第5組85とは逆の列方向(第2配列方向)に隣接する他のルータ40に接続される。なお、列方向の最も端のルータ40は、第5組85および第6組86の一方が他のルータ40に接続されない。
図11は、ルーティング部70がデータを受信した場合の処理手順を示すフローチャートである。ルーティング部70は、コア受信部56、領域外受信部60および領域内受信部64から順方向データまたは逆方向データを受け取った場合、図11に示すような処理を実行する。
まず、ルーティング部70は、受け取ったデータに示された次処理アドレスが、自身に接続されたコア30を指しているか否かを判断する。次処理アドレスが自身に接続されたコア30を指している場合(S11のYes)、ルーティング部70は、処理をS12に進める。S12において、ルーティング部70は、受け取った順方向データまたは逆方向データを、コア送信部54に出力する。ルーティング部70は、S12を終えると、本フローを終了する。
次処理アドレスが自身に接続されたコア30を指していない場合(S11のNo)、ルーティング部70は、処理をS13に進める。
S13の処理は、順方向領域28-Fに含まれるルータ40が有するルーティング部70か、逆方向領域28-Rに含まれるルータ40が有するルーティング部70かで、内容が異なる。
順方向領域28-Fに含まれるルータ40が有するルーティング部70は、S13において、受け取ったデータが順方向データか否かを判断する。順方向領域28-Fに含まれるルータ40が有するルーティング部70は、受け取ったデータが順方向データである場合(S13のYes)、処理をS14に進め、受け取ったデータが順方向データではない場合(S13のNo)、処理をS16に進める。
逆方向領域28-Rに含まれるルータ40が有するルーティング部70は、S13において、受け取ったデータが逆方向データか否かを判断する。逆方向領域28-Rに含まれるルータ40が有するルーティング部70は、受け取ったデータが逆方向データである場合(S13のYes)、処理をS14に進め、受け取ったデータが逆方向データではない場合(S13のNo)、処理をS16に進める。
S14において、ルーティング部70は、受け取ったデータに示された次処理アドレスが、同一部分領域内に設けられたコア30を指しているか否かを判断する。次処理アドレスが、同一部分領域内に設けられたコア30を指しているか、または、転送距離を縮められる場合(S14のYes)、ルーティング部70は、処理をS18に進める。次処理アドレスが、同一部分領域内に設けられたコア30を指していない場合(S14のNo)、ルーティング部70は、処理をS15に進める。
S15において、ルーティング部70は、受け取ったデータに示された次処理アドレスに含まれる平面内アドレスが、自身に接続されたコア30の平面内アドレスと一致するかを判断する。つまり、ルーティング部70は、次処理アドレスに示されたコア30が、自身に接続されたコア30と、同一のマトリクス位置(クロスバーネットワーク上の同一の交点位置)であるか否かを判断する。同一のマトリクス位置である場合には、受け取ったデータは、部分領域28内での転送が無くても、次処理アドレスに示されたコア30へ到達可能である。しかし、同一のマトリクス位置ではない場合には、受け取ったデータは、部分領域28内でさらに転送されなければ、次処理アドレスに示されたコア30へは到達できない。そこで、ルーティング部70は、平面内アドレスが一致する場合(S15のYes)、処理をS16に進める。ルーティング部70は、平面内アドレスが一致しない場合(S15のNo)、処理をS18に進める。
S16において、ルーティング部70は、次処理アドレスに基づき、接続されている1または複数の他の部分領域28のうち、受け取った順方向データまたは逆方向データを、次に受信すべき部分領域28を特定する。続いて、S17において、ルーティング部70は、受け取った順方向データまたは逆方向データを、特定した部分領域28に含まれるルータ40に接続された領域外送信部58に出力する。ルーティング部70は、S17を終えると、本フローを終了する。
S18において、ルーティング部70は、次処理アドレスに基づき、同一部分領域内の隣接する複数のルータ40のうち、受け取った順方向データまたは逆方向データを、次に受信すべきルータ40を特定する。続いて、S19において、ルーティング部70は、受け取った順方向データまたは逆方向データを、特定したルータ40に接続された領域内送信部62に出力する。ルーティング部70は、S19を終えると、本フローを終了する。
図12は、順方向領域28-Fに含まれるルータ40が送信するデータを示す図である。順方向領域28-Fに含まれるルータ40は、同一部分領域内に含まれる他のルータ40に対して、順方向データを送信することができる。しかし、順方向領域28-Fに含まれるルータ40は、同一部分領域内に含まれる他のルータ40に対して、逆方向データを送信することができない。ただし、順方向領域28-Fに含まれるルータ40は、他の部分領域28に含まれる他のルータ40に対しては、順方向データおよび逆方向データの両方を送信することができる。
図13は、逆方向領域28-Rに含まれるルータ40が送信するデータを示す図である。逆方向領域28-Rに含まれるルータ40は、同一部分領域内に含まれる他のルータ40に対して、逆方向データを送信することができる。しかし、逆方向領域28-Rに含まれるルータ40は、同一部分領域内に含まれる他のルータ40に対して、順方向データを送信することができない。ただし、逆方向領域28-Rに含まれるルータ40は、他の部分領域28に含まれる他のルータ40に対しては、順方向データおよび逆方向データの両方を送信することができる。
図14は、順方向領域28-Fに含まれるルータ40から送信された逆方向データの経路の一例を示す図である。このような構成のデータ処理部20では、例えば、順方向領域28-Fに含まれるルータ40から、同一部分領域内に含まれる他のルータ40へと逆方向データを転送する場合、逆方向領域28-Rを経由する経路で、逆方向データが転送される。
図15は、逆方向領域28-Rに含まれるルータ40から送信された順方向データの経路の一例を示す図である。このような構成のデータ処理部20では、例えば、逆方向領域28-Rに含まれるルータ40から、同一部分領域内に含まれる他のルータ40へと順方向データを転送する場合、順方向領域28-Fを経由する経路で、順方向データが転送される。
図16は、データ処理部20の構成の変形例を示す図である。データ処理部20は、垂直方向に積層された複数の部分領域28を含む構成に限られない。例えば、データ処理部20は、図16に示すように、1枚の基板または1つの半導体層の別々の領域に形成されていてもよい。また、データ処理部20は、複数の部分領域28を含む基板または半導体層が、さらに積層された構成であってもよい。また、データ処理部20は、物理的に分離した別個の基板に設けられた複数の部分領域28を含んでもよい。
以上のように本実施形態に係るニューラルネットワーク装置10は、ニューラルネットワークにおける通常の演算処理(順方向処理)において伝播される順方向データを送受信する順方向領域28-F、および、学習処理(逆方向処理)において伝播される逆方向データを送受信する逆方向領域28-Rを含む。これにより、ニューラルネットワーク装置10は、ニューラルネットワークにおける通常のデータ処理と学習処理とを並行に実行した場合であっても、内部でのトラフィックの混雑を軽減することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
10 ニューラルネットワーク装置
20 データ処理部
22 通信部
24 学習部
26 設定部
28 部分領域
28-F 順方向領域
28-R 逆方向領域
30 コア
40 ルータ
42 通信路
54 コア送信部
56 コア受信部
58 領域外送信部
60 領域外受信部
62 領域内送信部
64 領域内受信部
70 ルーティング部

Claims (12)

  1. ニューラルネットワークにおけるデータ処理と学習処理とを並行に実行するニューラルネットワーク装置であって、
    それぞれが、前記ニューラルネットワークにおける前記データ処理および前記学習処理の一部の演算および処理を実行する複数のコアと、
    前記複数のコアのそれぞれから出力されたデータを、前記複数のコアの何れか1つのコアに転送する複数のルータと
    を備え、
    前記複数のコアのそれぞれから出力される前記データは、実体データと、データ種別とを含み、
    前記実体データは、前記ニューラルネットワークを順方向に伝播する順方向データ、または、前記ニューラルネットワークを逆方向に伝播する逆方向データであり、
    前記データ種別は、前記実体データが前記順方向データであるか前記逆方向データであるかを識別する情報であり、
    前記複数のルータは、前記複数のコアのそれぞれから出力された前記順方向データを含む前記データを前記データ処理における次の処理がされるように前記複数のコアの何れか1つのコアに転送し、前記複数のコアのそれぞれから出力された前記逆方向データを含む前記データを前記学習処理における次の処理がされるように前記複数のコアの何れか1つのコアに転送し、
    前記複数のルータのそれぞれは、複数の部分領域の何れか1つに含まれており、
    前記複数の部分領域のそれぞれは、順方向領域または逆方向領域であり、
    前記複数のルータのそれぞれは、
    前記データを受け取った場合、受け取った前記データに含まれる前記実体データに対して自身に接続されたコアにより次の処理が実行されるか否かを判断し、
    前記実体データに対して自身に接続されたコアにより次の処理が実行される場合、受け取った前記データを自身に接続されたコアに送信し、
    前記実体データに対して自身に接続されたコアにより次の処理が実行されない場合、前記データ種別に基づき、受け取った前記データが前記順方向データまたは前記逆方向データの何れを含むかを判断し、
    前記順方向領域に含まれるルータは、前記逆方向データを含む前記データを受け取ったと判断した場合、他の部分領域内の他のルータに対して前記逆方向データを含む前記データを送信し、
    前記逆方向領域に含まれるルータは、前記順方向データを含む前記データを受け取ったと判断した場合、他の部分領域内の他のルータに対して前記順方向データを含む前記データを送信し、
    前記順方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記順方向データを含む前記データを送信し、
    前記逆方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記逆方向データを含む前記データを送信する
    ニューラルネットワーク装置。
  2. 前記順方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記逆方向データを含む前記データを送信せず、
    前記逆方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記順方向データを含む前記データを送信しない
    請求項1に記載のニューラルネットワーク装置。
  3. 前記複数のルータのそれぞれは、他の部分領域に含まれる何れかの他のルータに接続された領域外送信部および領域外受信部を有し、
    前記領域外送信部は、前記データを前記接続された他のルータに送信し、
    前記領域外受信部は、前記データを前記接続された他のルータから受信する
    請求項1または2に記載のニューラルネットワーク装置。
  4. 前記複数のルータのそれぞれは、同一部分領域内に含まれる何れかの他のルータに接続された領域内送信部および領域内受信部をさらに有し、
    前記順方向領域に含まれるルータが有する前記領域内送信部は、前記順方向データを含む前記データを前記接続された他のルータに送信し、
    前記順方向領域に含まれるルータが有する前記領域内受信部は、前記順方向データを含む前記データを前記接続された他のルータから受信する
    請求項3に記載のニューラルネットワーク装置。
  5. 前記逆方向領域に含まれるルータが有する前記領域内送信部は、前記逆方向データを含む前記データを前記接続された他のルータに送信し、
    前記逆方向領域に含まれるルータが有する前記領域内受信部は、前記逆方向データを含む前記データを前記接続された他のルータから受信する
    請求項4に記載のニューラルネットワーク装置。
  6. 前記複数のルータのうちの所定のルータは、前記複数のコアのうちの何れかのコアに接続されたコア送信部およびコア受信部をさらに有し、
    前記コア送信部は、前記データを前記接続されたコアに送信し、
    前記コア受信部は、前記データを前記接続されたコアから受信する
    請求項5に記載のニューラルネットワーク装置。
  7. 前記複数の部分領域は、垂直方向に積層される複数の回路である
    請求項6に記載のニューラルネットワーク装置。
  8. 前記複数の部分領域のそれぞれは、
    マトリクス状に配置されたM(Mは2以上)×N(Nは2以上)個のルータと、
    前記M×N個のルータに一対一に対応したM×N個のコアと、
    を含む請求項7に記載のニューラルネットワーク装置。
  9. 前記複数のルータのそれぞれは、
    直下の層に形成された部分領域に含まれる同一のマトリクス位置の他のルータに接続される前記領域外送信部および前記領域外受信部を含む第1組と、
    直上の層に形成された部分領域に含まれる同一のマトリクス位置の他のルータに接続される前記領域外送信部および前記領域外受信部を含む第2組と、
    を有する請求項8に記載のニューラルネットワーク装置。
  10. 前記複数のルータのそれぞれは、
    同一部分領域内の行方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第3組と、
    同一部分領域内の前記第3組とは逆の行方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第4組と、
    同一部分領域内の列方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第5組と、
    同一部分領域内の前記第5組とは逆の列方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第6組と、
    をさらに有する
    請求項9に記載のニューラルネットワーク装置。
  11. 前記複数の部分領域のそれぞれは、
    M(Mは1以上)×N(Nは2以上)個のルータと、
    前記M×N個のルータに一対一に対応したM×N個のコアと、
    を含む請求項7に記載のニューラルネットワーク装置。
  12. 前記複数の部分領域は、前記順方向領域と前記逆方向領域とが交互に積層されている
    請求項7から11の何れか1項に記載のニューラルネットワーク装置。
JP2018173649A 2018-09-18 2018-09-18 ニューラルネットワーク装置 Active JP7003021B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018173649A JP7003021B2 (ja) 2018-09-18 2018-09-18 ニューラルネットワーク装置
US16/299,634 US11455526B2 (en) 2018-09-18 2019-03-12 Neural network device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018173649A JP7003021B2 (ja) 2018-09-18 2018-09-18 ニューラルネットワーク装置

Publications (2)

Publication Number Publication Date
JP2020046821A JP2020046821A (ja) 2020-03-26
JP7003021B2 true JP7003021B2 (ja) 2022-01-20

Family

ID=69772959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018173649A Active JP7003021B2 (ja) 2018-09-18 2018-09-18 ニューラルネットワーク装置

Country Status (2)

Country Link
US (1) US11455526B2 (ja)
JP (1) JP7003021B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502418A (ja) 2013-12-30 2017-01-19 ネットスピード システムズ 可変な数のコア群、入出力(i/o)装置、ディレクトリ構造、及びコヒーレンシポイントを有する、キャッシュコヒーレントnoc(ネットワークオンチップ)
US20170193361A1 (en) 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Neural network training performance optimization framework
JP2018097716A (ja) 2016-12-15 2018-06-21 富士通株式会社 電子回路装置
US20180192265A1 (en) 2016-12-30 2018-07-05 Riseio, Inc. System and Method for a Building-Integrated Predictive Service Communications Platform
WO2018154494A1 (en) 2017-02-23 2018-08-30 Cerebras Systems Inc. Accelerated deep learning

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04130968A (ja) 1990-09-21 1992-05-01 Toshiba Corp ニューラルネットワークを用いた配線方式
JPH05197707A (ja) * 1992-08-05 1993-08-06 Hitachi Ltd 情報処理システム
WO2008067676A1 (en) * 2006-12-08 2008-06-12 Medhat Moussa Architecture, system and method for artificial neural network implementation
US9135215B1 (en) 2009-09-21 2015-09-15 Tilera Corporation Route prediction in packet switched networks
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
KR20150034900A (ko) 2013-09-26 2015-04-06 삼성전자주식회사 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로
US9886275B1 (en) 2013-10-09 2018-02-06 Mellanox Technologies Ltd. Multi-core processor using three dimensional integration
US10474948B2 (en) 2015-03-27 2019-11-12 University Of Dayton Analog neuromorphic circuit implemented using resistive memories
US9934463B2 (en) 2015-05-15 2018-04-03 Arizona Board Of Regents On Behalf Of Arizona State University Neuromorphic computational system(s) using resistive synaptic devices
US11195079B2 (en) * 2017-11-22 2021-12-07 Intel Corporation Reconfigurable neuro-synaptic cores for spiking neural network
US20190236444A1 (en) * 2018-01-30 2019-08-01 International Business Machines Corporation Functional synthesis of networks of neurosynaptic cores on neuromorphic substrates

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502418A (ja) 2013-12-30 2017-01-19 ネットスピード システムズ 可変な数のコア群、入出力(i/o)装置、ディレクトリ構造、及びコヒーレンシポイントを有する、キャッシュコヒーレントnoc(ネットワークオンチップ)
US20170193361A1 (en) 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Neural network training performance optimization framework
JP2018097716A (ja) 2016-12-15 2018-06-21 富士通株式会社 電子回路装置
US20180192265A1 (en) 2016-12-30 2018-07-05 Riseio, Inc. System and Method for a Building-Integrated Predictive Service Communications Platform
WO2018154494A1 (en) 2017-02-23 2018-08-30 Cerebras Systems Inc. Accelerated deep learning

Also Published As

Publication number Publication date
JP2020046821A (ja) 2020-03-26
US20200090037A1 (en) 2020-03-19
US11455526B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
JP6794336B2 (ja) ニューラルネットワーク装置
US10728176B2 (en) Ruled-based network traffic interception and distribution scheme
Bogatyrev et al. Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters
CN102365846B (zh) 路由设置服务器、路由设置方法和路由设置程序
US10623303B2 (en) Method of routing data and switch in a network
US20180026878A1 (en) Scalable deadlock-free deterministic minimal-path routing for dragonfly networks
CN102656850B (zh) 用于处理多个数据的方法和用于交换通信分组的交换设备
US11620501B2 (en) Neural network apparatus
US8837487B2 (en) Cascaded memory tables for searching
US20050286511A1 (en) Method and apparatus for source authentication in a communications network
WO2022012576A1 (zh) 路径规划方法、装置、路径规划设备及存储介质
Wang et al. SprintNet: A high performance server-centric network architecture for data centers
CN110011930A (zh) 一种区块链中多联盟链的负载均衡方法及装置
CN105634974A (zh) 软件定义网络中的路由确定方法和装置
JP7003021B2 (ja) ニューラルネットワーク装置
CN107409102A (zh) 对多机架以太信道对等体的自动发现和配设
CN105224501B (zh) 改进圆环面网络及其确定数据包传输路径的方法和装置
US10333794B2 (en) Validating routing tables of routing devices
CN105122744A (zh) 通过按需路径更新的msdc扩展
JPH01175660A (ja) マルチプロセッサシステム
CN113568863A (zh) 数据传输方法、路由节点、众核系统、计算机可读介质
WO2018028457A1 (zh) 一种确定路由的方法、装置及通信设备
Choi et al. Design and performance analysis of load-distributing fault-tolerant network
US6807594B1 (en) Randomized arbiters for eliminating congestion
CN106656808A (zh) 一种二级全连接互连网络的容错完全自适应路由方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211228