JPH05108595A - ニユーラルネツトワークの分散学習装置 - Google Patents
ニユーラルネツトワークの分散学習装置Info
- Publication number
- JPH05108595A JPH05108595A JP3269252A JP26925291A JPH05108595A JP H05108595 A JPH05108595 A JP H05108595A JP 3269252 A JP3269252 A JP 3269252A JP 26925291 A JP26925291 A JP 26925291A JP H05108595 A JPH05108595 A JP H05108595A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- layer
- neural network
- computers
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】ＢＰ法は、基本的には山登り法のため繰返し回
数が多く一台の計算機で実行すると学習が収束するまで
に時間がかかるという問題がある。本発明では、複数の
計算機で学習を分散実行させることにより、学習時間を
少なくする。 【構成】図１に示すように、ニューラルネットワークを
分割するために、まず計算機１にニューラルネットワー
クの情報と入出力パターンを入力する。次に、計算機１
はそれにつながれている計算機２から計算機Ｎと通信を
行い、それぞれの計算機の性能と通信時間を測定する。
測定したデータとニューラルネットワークの情報により
計算機１は分割方法を決定する。決定された分割方法に
従いニューラルネットワークを分割し、互いに通信しな
がら学習を分散実行する。
数が多く一台の計算機で実行すると学習が収束するまで
に時間がかかるという問題がある。本発明では、複数の
計算機で学習を分散実行させることにより、学習時間を
少なくする。 【構成】図１に示すように、ニューラルネットワークを
分割するために、まず計算機１にニューラルネットワー
クの情報と入出力パターンを入力する。次に、計算機１
はそれにつながれている計算機２から計算機Ｎと通信を
行い、それぞれの計算機の性能と通信時間を測定する。
測定したデータとニューラルネットワークの情報により
計算機１は分割方法を決定する。決定された分割方法に
従いニューラルネットワークを分割し、互いに通信しな
がら学習を分散実行する。
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、多層型ニューラルネッ
トワークの学習装置に係り、特に計算機を複数台用いて
学習を高速に実行するニューラルネットワークの分散学
習装置に関する。
トワークの学習装置に係り、特に計算機を複数台用いて
学習を高速に実行するニューラルネットワークの分散学
習装置に関する。
【０００２】
【従来の技術】バックプロパゲーション法を用いたニュ
ーラルネットワークの学習は、一般に計算回数が膨大に
なるため、単一処理装置構成の汎用計算機上で実行する
と長時間の計算が必要である。そもそもニューラルネッ
トワークは並列計算機と親和性がよく、その実現方法に
よっては並列度を上げることが可能である。そこで、並
列処理によって高速計算する試みがなされており、その
一つに電子情報通信学会技術研究報告書，ＭＥとバイオ
サイバネテイツクス８８−１３４（１９８９）に報告さ
れた試みがある。この試みでは、複数個の処理装置（Ｄ
ＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓ
ｓｏｒとローカルメモリからなる）をリング状に配置す
る。一つの処理装置に隣接する層のノードを一つ以上割
り当て、あるノードの割り当てられた処理装置のローカ
ル・メモリ上にそのノードの属する上位層との重み係数
を格納する。入力層から出力層に向かって前向きに積和
計算を実行する時は、ある層に属する各処理装置は、そ
れぞれ独立に、ノ−ドの値と上位層への重みとの積を順
順にリングに乗せ、目的とする処理装置に到達するま
で、リング上を回転させる。出力層から入力層に向かっ
て逆向きに積和計算を実行する時は、各処理装置上に必
要な重みが格納されているためリング上に乗せる必要は
ないが、出力層からの誤差データは下位の層に伝える必
要があるので、目的とする処理装置に到達するまでリン
グ上を回転させる。すなわち、Ｎ離れたノードにデータ
を転送するには、Ｎ回リング上を回転させる必要があ
る。従って、処理装置の数が多くなると、データ転送に
要する時間が増加する。このデータ転送に伴うオーバー
ヘッドをなくすためには、処理装置の結合形態をリング
状からバス状にするのが有効である。バス型結合におい
ては、どれだけ離れていても同じ時間遅れでデータを転
送出来る。
ーラルネットワークの学習は、一般に計算回数が膨大に
なるため、単一処理装置構成の汎用計算機上で実行する
と長時間の計算が必要である。そもそもニューラルネッ
トワークは並列計算機と親和性がよく、その実現方法に
よっては並列度を上げることが可能である。そこで、並
列処理によって高速計算する試みがなされており、その
一つに電子情報通信学会技術研究報告書，ＭＥとバイオ
サイバネテイツクス８８−１３４（１９８９）に報告さ
れた試みがある。この試みでは、複数個の処理装置（Ｄ
ＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓ
ｓｏｒとローカルメモリからなる）をリング状に配置す
る。一つの処理装置に隣接する層のノードを一つ以上割
り当て、あるノードの割り当てられた処理装置のローカ
ル・メモリ上にそのノードの属する上位層との重み係数
を格納する。入力層から出力層に向かって前向きに積和
計算を実行する時は、ある層に属する各処理装置は、そ
れぞれ独立に、ノ−ドの値と上位層への重みとの積を順
順にリングに乗せ、目的とする処理装置に到達するま
で、リング上を回転させる。出力層から入力層に向かっ
て逆向きに積和計算を実行する時は、各処理装置上に必
要な重みが格納されているためリング上に乗せる必要は
ないが、出力層からの誤差データは下位の層に伝える必
要があるので、目的とする処理装置に到達するまでリン
グ上を回転させる。すなわち、Ｎ離れたノードにデータ
を転送するには、Ｎ回リング上を回転させる必要があ
る。従って、処理装置の数が多くなると、データ転送に
要する時間が増加する。このデータ転送に伴うオーバー
ヘッドをなくすためには、処理装置の結合形態をリング
状からバス状にするのが有効である。バス型結合におい
ては、どれだけ離れていても同じ時間遅れでデータを転
送出来る。
【０００３】
【発明が解決しようとする課題】バス型結合において
は、ある処理装置がバスに乗せたデータを複数の処理装
置が同時に受け取る事が可能で、積和計算が並列に実行
出来る。下位層への重みを処理装置が保持する構成とす
ると、前向き計算時、下位層の処理装置が順順にバスに
出力を乗せ、上位層の処理装置は各接続に対応した重み
から積和を計算出来る。しかし、逆方向に積和計算を実
行する時は、積和を実行する処理装置上に必要な重みが
格納されていないため、重みを上位層から下位層に転送
しなければならない。しかし、上位層と下位層はバスで
結合されているためデータを並列に転送できなくなり、
処理装置の数に比例した速度向上を期待出来なくなると
いう問題があった。
は、ある処理装置がバスに乗せたデータを複数の処理装
置が同時に受け取る事が可能で、積和計算が並列に実行
出来る。下位層への重みを処理装置が保持する構成とす
ると、前向き計算時、下位層の処理装置が順順にバスに
出力を乗せ、上位層の処理装置は各接続に対応した重み
から積和を計算出来る。しかし、逆方向に積和計算を実
行する時は、積和を実行する処理装置上に必要な重みが
格納されていないため、重みを上位層から下位層に転送
しなければならない。しかし、上位層と下位層はバスで
結合されているためデータを並列に転送できなくなり、
処理装置の数に比例した速度向上を期待出来なくなると
いう問題があった。
【０００４】同一発明者による特開平３−１８５５５３
号公報「多層型ネットワークの学習方法」では、並列処
理によるバックプロパゲーション法を高速計算する時に
発生する上記の問題の解決方法を明らかにしている。多
層型ネットワークの重みを、中間層に属する処理装置に
ついて、下位層に対する重みだけでなく、上位層に対す
る重みも格納することにより、データの通信量を減らす
方法である。
号公報「多層型ネットワークの学習方法」では、並列処
理によるバックプロパゲーション法を高速計算する時に
発生する上記の問題の解決方法を明らかにしている。多
層型ネットワークの重みを、中間層に属する処理装置に
ついて、下位層に対する重みだけでなく、上位層に対す
る重みも格納することにより、データの通信量を減らす
方法である。
【０００５】しかしそれでは、一般の計算機をいくつか
使用して並列処理を行おうとした時、ニューラルネット
ワークの分割方法を明らかにしていなかった。
使用して並列処理を行おうとした時、ニューラルネット
ワークの分割方法を明らかにしていなかった。
【０００６】本発明は、ニューラルネットワークの分割
方法を明らかにし、一般の計算機を複数台用いて分散学
習を行い、学習速度を上げることを目的としている。
方法を明らかにし、一般の計算機を複数台用いて分散学
習を行い、学習速度を上げることを目的としている。
【０００７】
【課題を解決するための手段】上記の目的を解決するた
め、本発明では、ニューラルネットワークの規模、使用
出来る計算機の数、計算機間の通信時間、そして計算機
の性能から分割方法を決定する手段を設ける。また、通
信時間を短縮する為、必要なデータをまとめて通信する
為のデータ記憶手段を設ける。
め、本発明では、ニューラルネットワークの規模、使用
出来る計算機の数、計算機間の通信時間、そして計算機
の性能から分割方法を決定する手段を設ける。また、通
信時間を短縮する為、必要なデータをまとめて通信する
為のデータ記憶手段を設ける。
【０００８】
【作用】上記の分割方法を用いることにより、ニューラ
ルネットワークの学習は、一般の計算機を複数台用い、
並列処理を行うことが出来る。
ルネットワークの学習は、一般の計算機を複数台用い、
並列処理を行うことが出来る。
【０００９】
【実施例】以下図面を用いて本発明の実施例について説
明する。
明する。
【００１０】図１は、ニューラルネットワークの分散学
習を実現するシステムの構成を示す。ニューラルネット
ワークを分割するために、まず計算機１にネットワーク
情報９と入出力パターン８とを入力する。次に計算機１
はそれに接続されている計算機２から計算機Ｎと通信を
行い、それぞれの計算機の性能と通信時間を測定する。
計算機１は測定したデータとニューラルネットワークの
情報により分割方法を決定する。
習を実現するシステムの構成を示す。ニューラルネット
ワークを分割するために、まず計算機１にネットワーク
情報９と入出力パターン８とを入力する。次に計算機１
はそれに接続されている計算機２から計算機Ｎと通信を
行い、それぞれの計算機の性能と通信時間を測定する。
計算機１は測定したデータとニューラルネットワークの
情報により分割方法を決定する。
【００１１】図２は計算機１の機能的な構成を示す。分
割方法決定手段は入力されたネットワーク情報９を記憶
する手段と、計算機２〜ＮそれぞれにＭ回の積和計算を
させてその所要時間を測定する。計算機性能測定手段
と、計算機２〜ＮそれぞれとＫバイトのデータ通信を行
いその所要時間を測定する通信時間測定手段とより構成
され、ニューラルネットワークの分割方法を決定する。
またニューラルネットワーク計算手段は入力された入出
力パターン８を記憶する手段と、通信データを記憶する
手段と、担当重みを記憶する手段とから構成され、決定
された分割方法に従って所要の計算を行う。
割方法決定手段は入力されたネットワーク情報９を記憶
する手段と、計算機２〜ＮそれぞれにＭ回の積和計算を
させてその所要時間を測定する。計算機性能測定手段
と、計算機２〜ＮそれぞれとＫバイトのデータ通信を行
いその所要時間を測定する通信時間測定手段とより構成
され、ニューラルネットワークの分割方法を決定する。
またニューラルネットワーク計算手段は入力された入出
力パターン８を記憶する手段と、通信データを記憶する
手段と、担当重みを記憶する手段とから構成され、決定
された分割方法に従って所要の計算を行う。
【００１２】図３は計算機２〜Ｎの機能的な構成を示
す。ニューラルネットワーク計算手段は計算機１のもの
と同じである。なお計算機２〜Ｎには入出力パターンが
割り当てられているかどうかを示す割当てフラグがあ
る。
す。ニューラルネットワーク計算手段は計算機１のもの
と同じである。なお計算機２〜Ｎには入出力パターンが
割り当てられているかどうかを示す割当てフラグがあ
る。
【００１３】図２に示す計算機性能は、積和計算一回に
必要な時間で単位は秒であり、通信時間は、データ１バ
イト通信するのに必要な時間で単位は秒である。ネット
ワーク情報９の内容を図１４に示す。層数１４０１は、
ニューラルネットワークの層が入力層と出力層を含めて
何層あるかを示す。ノード数１４０２は、各層のノード
数がいくつあるかを示し、入力層、入力層の次の層、
…、出力層という順に並ぶ。結合情報１４０３は、完全
結合か部分結合かなど層間のノードの結合状態を示す。
分割数１４０４は、ニューラルネットワークの分散数を
示す。つまり、計算機の数Ｎと等しい数である。情報１
４０５は、計算機と通信を行う時に必要な情報を示す。
この情報をもとに、各計算機を管理し通信を制御する。
情報１４０５は分割数だけくり返される。図１５に入出
力パターン８の内容を示す。入出力パータン８は学習を
行う時の教師となるパターンである。１５０１は入力デ
ータで、入力層のノード数で１パターンとなり、それが
パターン数だけ必要となる。１５０２は出力データで教
師値とも言われ、入力パターンを入力した時、出力して
欲しい値である。これも、出力層のノード数で１パター
ンとなり、それがパターン数だけ必要となる。また、入
力パターンと出力パターンは一対一の対応になってい
る。計算機１が分割方法を決定する処理の流れを図１３
に示す。ステップ１３０１で計算機１は図１４に示され
たネットワーク情報９を読み込む。ステップ１３０２で
ｎ＝２とし、ステップ１３０４からステップ１３０５
を、計算機２〜Ｎについて調べる。ステップ１３０４で
は、計算機１が計算機ｎと通信を行う。そしてステップ
１３０５で計算機１は、計算機ｎの性能と通信時間を調
べる。ステップ１３０７で計算機１は各計算機の性能を
比較し、その差がある値以下の時はステップ１３０８
へ、そうでない時はステップ１３１５へ処理を進める。
ステップ１３０８で各層の計算量を計算し、比較する。
各層の計算量を求める式は、次の通りである。
必要な時間で単位は秒であり、通信時間は、データ１バ
イト通信するのに必要な時間で単位は秒である。ネット
ワーク情報９の内容を図１４に示す。層数１４０１は、
ニューラルネットワークの層が入力層と出力層を含めて
何層あるかを示す。ノード数１４０２は、各層のノード
数がいくつあるかを示し、入力層、入力層の次の層、
…、出力層という順に並ぶ。結合情報１４０３は、完全
結合か部分結合かなど層間のノードの結合状態を示す。
分割数１４０４は、ニューラルネットワークの分散数を
示す。つまり、計算機の数Ｎと等しい数である。情報１
４０５は、計算機と通信を行う時に必要な情報を示す。
この情報をもとに、各計算機を管理し通信を制御する。
情報１４０５は分割数だけくり返される。図１５に入出
力パターン８の内容を示す。入出力パータン８は学習を
行う時の教師となるパターンである。１５０１は入力デ
ータで、入力層のノード数で１パターンとなり、それが
パターン数だけ必要となる。１５０２は出力データで教
師値とも言われ、入力パターンを入力した時、出力して
欲しい値である。これも、出力層のノード数で１パター
ンとなり、それがパターン数だけ必要となる。また、入
力パターンと出力パターンは一対一の対応になってい
る。計算機１が分割方法を決定する処理の流れを図１３
に示す。ステップ１３０１で計算機１は図１４に示され
たネットワーク情報９を読み込む。ステップ１３０２で
ｎ＝２とし、ステップ１３０４からステップ１３０５
を、計算機２〜Ｎについて調べる。ステップ１３０４で
は、計算機１が計算機ｎと通信を行う。そしてステップ
１３０５で計算機１は、計算機ｎの性能と通信時間を調
べる。ステップ１３０７で計算機１は各計算機の性能を
比較し、その差がある値以下の時はステップ１３０８
へ、そうでない時はステップ１３１５へ処理を進める。
ステップ１３０８で各層の計算量を計算し、比較する。
各層の計算量を求める式は、次の通りである。
【００１４】ｊ：層番号（１：入力層，…，Ｊ：出力
層） Ｄ：ノード数 Ｋ：計算量
層） Ｄ：ノード数 Ｋ：計算量
【００１５】
【数１】
【００１６】で求まる。ここでＫｊはｊ層の計算量、Ｄ
ｊはｊ層のノード数１４０２である。ステップ１３０８
で各層の計算量の差がある値以下の時はステップ１３０
９へ、そうでない時はステップ１３１１へ処理を進め
る。ステップ１３０９では、層数−１が分割数１４０４
と等しい時、ステップ１３１０の方法１を採用する。そ
うでない時は、ステップ１３１１へ処理を進める。ステ
ップ１３１１では、数式１で求めた各層の計算量の比が
簡単な整数比で表される時ステップ１３１２へ、そうで
ない時ステップ１３１５へ処理を進める。ステップ１３
１２では、各層の計算量の比の値の合計の整数倍が、図
１４に示す分割数１４０４である時ステップ１３１３
へ、そうでない時ステップ１３１５へ処理を進める。ス
テップ１３１３では、各計算機の割当てノード数≧１の
時ステップ１３１４の方法２を採用し、そうでない時は
ステップ１３１５の方法３を採用する。
ｊはｊ層のノード数１４０２である。ステップ１３０８
で各層の計算量の差がある値以下の時はステップ１３０
９へ、そうでない時はステップ１３１１へ処理を進め
る。ステップ１３０９では、層数−１が分割数１４０４
と等しい時、ステップ１３１０の方法１を採用する。そ
うでない時は、ステップ１３１１へ処理を進める。ステ
ップ１３１１では、数式１で求めた各層の計算量の比が
簡単な整数比で表される時ステップ１３１２へ、そうで
ない時ステップ１３１５へ処理を進める。ステップ１３
１２では、各層の計算量の比の値の合計の整数倍が、図
１４に示す分割数１４０４である時ステップ１３１３
へ、そうでない時ステップ１３１５へ処理を進める。ス
テップ１３１３では、各計算機の割当てノード数≧１の
時ステップ１３１４の方法２を採用し、そうでない時は
ステップ１３１５の方法３を採用する。
【００１７】ここで分割方法についてまとめる。分割方
法は三つの方法に分けられる。一つは図４のように入力
層を除く各層対応に分割する方法で、層数−１と計算機
数が等しくかつ各層に割り当てられた計算機の計算時間
が等しい場合に用いられる。各層のノード数が等しい場
合かつノード数が少ない場合有効である（方法１）。も
う一つは図５のように、各層で分割し、同一層の中でも
又いくつかに分割する方法で、計算機の性能がほぼ等し
く、各層の計算量の比が簡単な整数で表される時、各層
の比の値の合計数を整数倍した数が割り当てられる計算
機の数でありかつ、計算機には最低１ノード以上割り当
てられる場合に用いられる。各層のノード数が違う場合
かつノード数が多い場合有効である（方法２）。もう一
つは上記二つ以外の場合に用いられ、図６のように各層
においてノードの数が同じぐらいの数になるよう層間に
またがって分割する方法である。出力層のノード数に比
べて計算機の数が少ない場合有効である（方法３） 次に、上記三つの方法について詳しく説明する。方法１
を用いてニューラルネットワークを分割した例を図７
に、その時のタイムチャートを図８に示す。入力パター
ンは計算機１に、出力パターンは計算機２に割り当て
る。再学習の時は、既に入出力パターンが割り当てられ
ているかどうかフラグを見て割り当てられていると転送
しない判断をする。図８のブロックＡにおいて計算機１
では、入力層のノード出力Ｏ７〜Ｏ９と重みＷ１０〜Ｗ
１８から中間層のノード出力Ｏ４〜Ｏ６が求められる。
ブロックＢで計算機１は、計算機２にノード出力Ｏ４〜
Ｏ６を送信する。ブロックＣでは、計算機１は次のパタ
ーンの入力層のノード出力Ｏ７〜Ｏ９と重みＷ１０〜Ｗ
１８から中間層のノード出力Ｏ４〜Ｏ６を求める。計算
機２は中間層のノード出力Ｏ４〜Ｏ６と重みＷ１〜Ｗ９
から出力層のノード出力Ｏ１〜Ｏ３を求め、出力層のノ
ード出力Ｏ１〜Ｏ３と教師信号Ｔ１〜Ｔ３より、出力層
のノード誤差δ１〜δ３を求める。ブロックＤで計算機
１は中間層のノード出力Ｏ４〜Ｏ６を計算機２に送信
し、その後計算機２は計算機１にノード誤差δ１〜δ３
を送信する。ブロックＥでは、計算機１は出力層のノー
ド誤差δ１〜δ３よりＷ１〜Ｗ９の修正量ΔＷ１〜ΔＷ
９を求め、出力層のノード誤差δ１〜δ３と重みＷ１〜
Ｗ９から中間層のノード誤差δ４〜δ６が求まり、それ
を使いＷ１０〜Ｗ１８の修正量ΔＷ１０〜ΔＷ１８を求
める。計算機２は、出力層のノード誤差δ１〜δ３より
重みＷ１〜Ｗ９の修正量ΔＷ１〜ΔＷ９を求める。その
後ブロックＣ、Ｄ、Ｅを繰り返す。この時、ブロック
Ｃ、Ｅにおいて、計算機１と計算機２の計算量が等し
く、パイプライン的な処理ができ、分散による効率が良
くなる。
法は三つの方法に分けられる。一つは図４のように入力
層を除く各層対応に分割する方法で、層数−１と計算機
数が等しくかつ各層に割り当てられた計算機の計算時間
が等しい場合に用いられる。各層のノード数が等しい場
合かつノード数が少ない場合有効である（方法１）。も
う一つは図５のように、各層で分割し、同一層の中でも
又いくつかに分割する方法で、計算機の性能がほぼ等し
く、各層の計算量の比が簡単な整数で表される時、各層
の比の値の合計数を整数倍した数が割り当てられる計算
機の数でありかつ、計算機には最低１ノード以上割り当
てられる場合に用いられる。各層のノード数が違う場合
かつノード数が多い場合有効である（方法２）。もう一
つは上記二つ以外の場合に用いられ、図６のように各層
においてノードの数が同じぐらいの数になるよう層間に
またがって分割する方法である。出力層のノード数に比
べて計算機の数が少ない場合有効である（方法３） 次に、上記三つの方法について詳しく説明する。方法１
を用いてニューラルネットワークを分割した例を図７
に、その時のタイムチャートを図８に示す。入力パター
ンは計算機１に、出力パターンは計算機２に割り当て
る。再学習の時は、既に入出力パターンが割り当てられ
ているかどうかフラグを見て割り当てられていると転送
しない判断をする。図８のブロックＡにおいて計算機１
では、入力層のノード出力Ｏ７〜Ｏ９と重みＷ１０〜Ｗ
１８から中間層のノード出力Ｏ４〜Ｏ６が求められる。
ブロックＢで計算機１は、計算機２にノード出力Ｏ４〜
Ｏ６を送信する。ブロックＣでは、計算機１は次のパタ
ーンの入力層のノード出力Ｏ７〜Ｏ９と重みＷ１０〜Ｗ
１８から中間層のノード出力Ｏ４〜Ｏ６を求める。計算
機２は中間層のノード出力Ｏ４〜Ｏ６と重みＷ１〜Ｗ９
から出力層のノード出力Ｏ１〜Ｏ３を求め、出力層のノ
ード出力Ｏ１〜Ｏ３と教師信号Ｔ１〜Ｔ３より、出力層
のノード誤差δ１〜δ３を求める。ブロックＤで計算機
１は中間層のノード出力Ｏ４〜Ｏ６を計算機２に送信
し、その後計算機２は計算機１にノード誤差δ１〜δ３
を送信する。ブロックＥでは、計算機１は出力層のノー
ド誤差δ１〜δ３よりＷ１〜Ｗ９の修正量ΔＷ１〜ΔＷ
９を求め、出力層のノード誤差δ１〜δ３と重みＷ１〜
Ｗ９から中間層のノード誤差δ４〜δ６が求まり、それ
を使いＷ１０〜Ｗ１８の修正量ΔＷ１０〜ΔＷ１８を求
める。計算機２は、出力層のノード誤差δ１〜δ３より
重みＷ１〜Ｗ９の修正量ΔＷ１〜ΔＷ９を求める。その
後ブロックＣ、Ｄ、Ｅを繰り返す。この時、ブロック
Ｃ、Ｅにおいて、計算機１と計算機２の計算量が等し
く、パイプライン的な処理ができ、分散による効率が良
くなる。
【００１８】方法２を用いてニューラルネットワークを
分割した例を図９に、その時のタイムチャートを図１０
に示す。入力パターンは計算機１と２に、出力パターン
は計算機３に割り当てる。再学習の時は、既に入出力パ
ターンが割り当てられているかどうかフラグを見て割り
当てられていると転送しない判断をする。図１０のブロ
ックＡにおいて計算機１では、入力層のノード出力Ｏ７
〜Ｏ２２と重みＷ９〜Ｗ４２から中間層のノード出力Ｏ
３〜Ｏ４が求められる。計算機２は、入力層のノード出
力Ｏ７〜Ｏ２２と重みＷ４３〜Ｗ７６から中間層のノー
ド出力Ｏ５〜Ｏ６が求められる。ブロックＢで計算機１
は計算機３にノード出力Ｏ３〜Ｏ４を送信する。その後
計算機２は計算機３にノード出力Ｏ５〜Ｏ６を送信す
る。ブロックＣでは、計算機１は次のパターンの入力層
のノード出力Ｏ７〜Ｏ２２と重みＷ９〜Ｗ４２から中間
層のノード出力Ｏ３〜Ｏ４を求める。計算機２は次のパ
ターンの入力層のノード出力Ｏ７〜Ｏ２２と重みＷ４３
〜Ｗ７６から中間層のノード出力Ｏ５〜Ｏ６を求める。
計算機３は中間層のノード出力Ｏ３〜Ｏ６と重みＷ１〜
Ｗ８から出力層のノード出力Ｏ１〜Ｏ２を求め、出力層
のノード出力Ｏ１〜Ｏ２と教師信号Ｔ１〜Ｔ２より、出
力層のノード誤差δ１〜δ２を求める。ブロックＤで
は、計算機１、２は中間層のノード出力Ｏ３〜Ｏ６を計
算機３に送信し、その後計算機３は計算機１、計算機２
にノード誤差δ１〜δ２を送信する。ブロックＥでは、
計算機１は出力層のノード誤差δ１〜δ２よりＷ１、Ｗ
５、Ｗ２、Ｗ６の修正量ΔＷ１，５，２，６を求め、δ
１〜δ２とＷ１、Ｗ５、Ｗ２、Ｗ６から中間層のノード
誤差δ３〜δ４が求まり、それを使いＷ９〜Ｗ４２の修
正量ΔＷ９〜ΔＷ４２を求める。計算機２は出力層のノ
ード誤差δ１〜δ２よりＷ３、Ｗ７、Ｗ４、Ｗ８の修正
量ΔＷ３，７，４，８を求め、δ１〜δ２とＷ３、Ｗ
７、Ｗ４、Ｗ８から中間層のノード誤差δ５〜δ６が求
まり、それを使いＷ４３〜Ｗ７６の修正量ΔＷ４３〜Δ
Ｗ７６を求める。計算機３は、出力層のノード誤差δ１
〜δ２より重みＷ１〜Ｗ８の修正量ΔＷ１〜ΔＷ８を求
める。この後ブロックＣ、Ｄ、Ｅを繰り返す。この時、
ブロックＣ、Ｅにおいて、計算機３と計算機１、計算機
２の計算量が等しく、パイプライン的な処理ができ、分
散による効率が良くなる。
分割した例を図９に、その時のタイムチャートを図１０
に示す。入力パターンは計算機１と２に、出力パターン
は計算機３に割り当てる。再学習の時は、既に入出力パ
ターンが割り当てられているかどうかフラグを見て割り
当てられていると転送しない判断をする。図１０のブロ
ックＡにおいて計算機１では、入力層のノード出力Ｏ７
〜Ｏ２２と重みＷ９〜Ｗ４２から中間層のノード出力Ｏ
３〜Ｏ４が求められる。計算機２は、入力層のノード出
力Ｏ７〜Ｏ２２と重みＷ４３〜Ｗ７６から中間層のノー
ド出力Ｏ５〜Ｏ６が求められる。ブロックＢで計算機１
は計算機３にノード出力Ｏ３〜Ｏ４を送信する。その後
計算機２は計算機３にノード出力Ｏ５〜Ｏ６を送信す
る。ブロックＣでは、計算機１は次のパターンの入力層
のノード出力Ｏ７〜Ｏ２２と重みＷ９〜Ｗ４２から中間
層のノード出力Ｏ３〜Ｏ４を求める。計算機２は次のパ
ターンの入力層のノード出力Ｏ７〜Ｏ２２と重みＷ４３
〜Ｗ７６から中間層のノード出力Ｏ５〜Ｏ６を求める。
計算機３は中間層のノード出力Ｏ３〜Ｏ６と重みＷ１〜
Ｗ８から出力層のノード出力Ｏ１〜Ｏ２を求め、出力層
のノード出力Ｏ１〜Ｏ２と教師信号Ｔ１〜Ｔ２より、出
力層のノード誤差δ１〜δ２を求める。ブロックＤで
は、計算機１、２は中間層のノード出力Ｏ３〜Ｏ６を計
算機３に送信し、その後計算機３は計算機１、計算機２
にノード誤差δ１〜δ２を送信する。ブロックＥでは、
計算機１は出力層のノード誤差δ１〜δ２よりＷ１、Ｗ
５、Ｗ２、Ｗ６の修正量ΔＷ１，５，２，６を求め、δ
１〜δ２とＷ１、Ｗ５、Ｗ２、Ｗ６から中間層のノード
誤差δ３〜δ４が求まり、それを使いＷ９〜Ｗ４２の修
正量ΔＷ９〜ΔＷ４２を求める。計算機２は出力層のノ
ード誤差δ１〜δ２よりＷ３、Ｗ７、Ｗ４、Ｗ８の修正
量ΔＷ３，７，４，８を求め、δ１〜δ２とＷ３、Ｗ
７、Ｗ４、Ｗ８から中間層のノード誤差δ５〜δ６が求
まり、それを使いＷ４３〜Ｗ７６の修正量ΔＷ４３〜Δ
Ｗ７６を求める。計算機３は、出力層のノード誤差δ１
〜δ２より重みＷ１〜Ｗ８の修正量ΔＷ１〜ΔＷ８を求
める。この後ブロックＣ、Ｄ、Ｅを繰り返す。この時、
ブロックＣ、Ｅにおいて、計算機３と計算機１、計算機
２の計算量が等しく、パイプライン的な処理ができ、分
散による効率が良くなる。
【００１９】方法３を用いてニューラルネットワークを
分割した例を図１１に、その時のタイムチャートを図１
２に示す。入出力パターンは予め計算機１、計算機２に
割り当てられており、再学習の時は、既に入出力パター
ンが割り当てられているかどうかフラグを見て割り当て
られていると転送しない判断をする。図１２のブロック
Ａでは、計算機１は入力層のノード出力Ｏ７〜Ｏ２２と
重みＷ９〜Ｗ４２から、中間層ノード出力Ｏ３〜Ｏ４が
求まる。計算機２は入力層ノード出力Ｏ７〜Ｏ２２と重
みＷ４３〜Ｗ７６から、中間層ノード出力Ｏ５〜Ｏ６が
求まる。ブロックＢでは、計算機１は中間層ノード出力
Ｏ３〜Ｏ４を計算機２へ、計算機２は中間層ノード出力
Ｏ５〜Ｏ６を計算機１へ送信する。ブロックＣでは、計
算機１は中間層ノード出力Ｏ３〜Ｏ６と重みＷ１〜Ｗ４
から出力層ノード出力Ｏ１を求め、出力層ノード出力Ｏ
１と教師信号Ｔ１から出力層ノード誤差δ１が求めら
れ、出力層ノード誤差δ１から重みＷ１〜Ｗ４の修正量
ΔＷ１〜ΔＷ４が求められる。計算機２は中間層ノード
出力Ｏ３〜Ｏ６と重みＷ５〜Ｗ８から出力層ノード出力
Ｏ２を求め、出力層ノード出力Ｏ２と教師信号Ｔ２から
出力層ノード誤差δ２が求められ、出力層ノード誤差δ
２から重みＷ５〜Ｗ８の修正量ΔＷ５〜ΔＷ８が求めら
れる。ブロックＤでは、計算機１は出力層ノード誤差δ
１を計算機２へ送信し、計算機２は出力層ノード誤差δ
２を計算機１へ送信する。ブロックＥでは、計算機１は
出力層ノード誤差δ２から重みＷ５、Ｗ６の修正量ΔＷ
５，６を求め、出力層ノード誤差δ１〜δ２と重みＷ
１、Ｗ５から中間層ノード誤差δ３、出力層ノード誤差
δ１〜δ２と重みＷ２、Ｗ６から中間層ノード誤差δ４
を求め、中間層ノード誤差δ３〜δ４から重みＷ９〜Ｗ
４２の修正量ΔＷ９〜ΔＷ４２が求まる。計算機２は出
力層ノード誤差δ１から重みＷ３、Ｗ４の修正量ΔＷ
３，４を求め、出力層ノード誤差δ１〜δ２と重みＷ
３、Ｗ７から中間層ノード誤差δ５、出力層ノード誤差
δ１〜δ２と重みＷ４、Ｗ８から中間層ノード誤差δ６
を求め、中間層ノード誤差δ５〜δ６から重みＷ４３〜
Ｗ７６の修正量ΔＷ４３〜ΔＷ７６が求まる。このよう
に、計算機１と計算機２の計算量が等しくなり、分散に
よる効率は良くなる。
分割した例を図１１に、その時のタイムチャートを図１
２に示す。入出力パターンは予め計算機１、計算機２に
割り当てられており、再学習の時は、既に入出力パター
ンが割り当てられているかどうかフラグを見て割り当て
られていると転送しない判断をする。図１２のブロック
Ａでは、計算機１は入力層のノード出力Ｏ７〜Ｏ２２と
重みＷ９〜Ｗ４２から、中間層ノード出力Ｏ３〜Ｏ４が
求まる。計算機２は入力層ノード出力Ｏ７〜Ｏ２２と重
みＷ４３〜Ｗ７６から、中間層ノード出力Ｏ５〜Ｏ６が
求まる。ブロックＢでは、計算機１は中間層ノード出力
Ｏ３〜Ｏ４を計算機２へ、計算機２は中間層ノード出力
Ｏ５〜Ｏ６を計算機１へ送信する。ブロックＣでは、計
算機１は中間層ノード出力Ｏ３〜Ｏ６と重みＷ１〜Ｗ４
から出力層ノード出力Ｏ１を求め、出力層ノード出力Ｏ
１と教師信号Ｔ１から出力層ノード誤差δ１が求めら
れ、出力層ノード誤差δ１から重みＷ１〜Ｗ４の修正量
ΔＷ１〜ΔＷ４が求められる。計算機２は中間層ノード
出力Ｏ３〜Ｏ６と重みＷ５〜Ｗ８から出力層ノード出力
Ｏ２を求め、出力層ノード出力Ｏ２と教師信号Ｔ２から
出力層ノード誤差δ２が求められ、出力層ノード誤差δ
２から重みＷ５〜Ｗ８の修正量ΔＷ５〜ΔＷ８が求めら
れる。ブロックＤでは、計算機１は出力層ノード誤差δ
１を計算機２へ送信し、計算機２は出力層ノード誤差δ
２を計算機１へ送信する。ブロックＥでは、計算機１は
出力層ノード誤差δ２から重みＷ５、Ｗ６の修正量ΔＷ
５，６を求め、出力層ノード誤差δ１〜δ２と重みＷ
１、Ｗ５から中間層ノード誤差δ３、出力層ノード誤差
δ１〜δ２と重みＷ２、Ｗ６から中間層ノード誤差δ４
を求め、中間層ノード誤差δ３〜δ４から重みＷ９〜Ｗ
４２の修正量ΔＷ９〜ΔＷ４２が求まる。計算機２は出
力層ノード誤差δ１から重みＷ３、Ｗ４の修正量ΔＷ
３，４を求め、出力層ノード誤差δ１〜δ２と重みＷ
３、Ｗ７から中間層ノード誤差δ５、出力層ノード誤差
δ１〜δ２と重みＷ４、Ｗ８から中間層ノード誤差δ６
を求め、中間層ノード誤差δ５〜δ６から重みＷ４３〜
Ｗ７６の修正量ΔＷ４３〜ΔＷ７６が求まる。このよう
に、計算機１と計算機２の計算量が等しくなり、分散に
よる効率は良くなる。
【００２０】しかし、この方法も分割数が増えると計算
機間の通信によるロスが多くなってしまう。そこで図１
２のブロックＣつまり出力層の計算を全てそれぞれの計
算機で行いブロックＤつまり出力層ノード誤差の通信を
省いてしまう。この時、出力層のノード誤差の通信を行
った時と行わない時の計算時間を比較し、通信を行わな
い方が優れていれば、この方式を使う。
機間の通信によるロスが多くなってしまう。そこで図１
２のブロックＣつまり出力層の計算を全てそれぞれの計
算機で行いブロックＤつまり出力層ノード誤差の通信を
省いてしまう。この時、出力層のノード誤差の通信を行
った時と行わない時の計算時間を比較し、通信を行わな
い方が優れていれば、この方式を使う。
【００２１】また、学習パターン数が多い時は、通信電
文の前後につくヘッダによるロスを少なくするため、一
度に数パターンのデータをまとめて通信する方式が有効
である。この方式を用いると、ブロックＡ、Ｃ、Ｅは、
まとめるパターン数回反復され、ブロックＤ、Ｅは、ま
とめるパターン数分の一回になり、通信回数を減らすこ
とが出来る。
文の前後につくヘッダによるロスを少なくするため、一
度に数パターンのデータをまとめて通信する方式が有効
である。この方式を用いると、ブロックＡ、Ｃ、Ｅは、
まとめるパターン数回反復され、ブロックＤ、Ｅは、ま
とめるパターン数分の一回になり、通信回数を減らすこ
とが出来る。
【００２２】
【発明の効果】本発明によれば、複数の計算機にニュー
ラルネットワークの学習を分散実行させる事により、学
習時間を短縮することができる。
ラルネットワークの学習を分散実行させる事により、学
習時間を短縮することができる。
【図１】ニューラルネットワークの分散学習装置の全体
構成図である。
構成図である。
【図２】計算機１の構成を示す図である。
【図３】計算機２〜Ｎの構成を示す図である。
【図４】ニューラルネットワークの分割方法１を示す図
である。
である。
【図５】ニューラルネットワークの分割方法２を示す図
である。
である。
【図６】ニューラルネットワークの分割方法３を示す図
である。
である。
【図７】中間層と出力層の計算量が等しい時のニューラ
ルネットワークの分割例を示す図である。
ルネットワークの分割例を示す図である。
【図８】図７についてのタイムチャートである。
【図９】中間層と出力層の計算量が違う時のニューラル
ネットワークを層ごとに分割し、中間層をさらに二つに
分割した分割例を示す図である。
ネットワークを層ごとに分割し、中間層をさらに二つに
分割した分割例を示す図である。
【図１０】図９についてのタイムチャートである。
【図１１】ニューラルネットワークを中間層と出力層の
ノードが各層で同じぐらいの数になるように分割した分
割例を示す図である。
ノードが各層で同じぐらいの数になるように分割した分
割例を示す図である。
【図１２】図１１についてのタイムチャートである。
【図１３】分割方法を決定する処理の流れを示すフロー
チャートである。
チャートである。
【図１４】ネットワーク情報のデータ構成を示す図であ
る。
る。
【図１５】入出力パターンのデータ構成を示す図であ
る。
る。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原 幸 神奈川県横浜市戸塚区戸塚町5030番地株式 会社日立製作所ソフトウエア開発本部内
Claims (6)
- 【請求項１】パターンを入力する複数のノードから構成
される入力層と、パターンを出力する複数のノードから
構成される出力層と、複数のノードから構成される層を
１層以上有する中間層とを有する多層型のニューラルネ
ットワークの学習装置において、 計算量に応じて、前記中間層を構成する各層対応に割り
当てられる１台以上の計算機と、前記出力層に割り当て
られる別の１台の計算機とを有し、複数の前記計算機の
うちの１台は前記計算機の割り当てを行い、複数の前記
計算機は互いに通信を行いながら重み係数の調節を行う
ことを特徴とするニューラルネットワークの分散学習装
置。 - 【請求項２】前記入力層と接続される前記中間層が割り
当てられる前記計算機に、全ての入力パターンを割り当
てることを特徴とする請求項１記載のニューラルネット
ワークの分散学習装置。 - 【請求項３】前記出力層の割り当てられた前記計算機
に、全ての出力パターンを割り当てることを特徴とする
請求項１記載のニューラルネットワークの分散学習装
置。 - 【請求項４】パターンを入力する複数のノードから構成
される入力層と、パターンを出力する複数のノードから
構成される出力層と、複数のノードから構成される層を
１層以上有する中間層とを有する多層型のニューラルネ
ットワークの学習装置において、 計算量に応じて、同一の層に対して少なくとも１ノード
を含むように割り当てられる２台以上の計算機と、他の
同一の層に対して少なくとも１ノードを含むように割り
当てられる１台以上の計算機とを有し、複数の前記計算
機のうちの１台は前記計算機の割り当てを行い、複数の
前記計算機は互いに通信を行いながら重み係数の調節を
行うことを特徴とするニューラルネットワークの分散学
習装置。 - 【請求項５】パターンを入力する複数のノードから構成
される入力層と、パターンを出力する複数のノードから
構成される出力層と、複数のノードから構成される層を
１層以上有する中間層とを有する多層型のニューラルネ
ットワークの学習装置において、 計算量に応じて、各々の計算機が前記中間層と出力層に
またがってそれぞれの層について少なくとも１つのノー
ドを含むように割り当てられる複数台の計算機を有し、
複数台の前記計算機のうちの１台は前記計算機の割り当
てを行い、複数台の前記計算機は互いに通信を行いなが
ら重み係数の調節を行うことを特徴とするニューラルネ
ットワークの分散学習装置。 - 【請求項６】すべての入出力パターンをあらかじめすべ
ての前記計算機に割り当てることを特徴とする請求項５
記載のニューラルネットワークの分散学習装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3269252A JPH05108595A (ja) | 1991-10-17 | 1991-10-17 | ニユーラルネツトワークの分散学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3269252A JPH05108595A (ja) | 1991-10-17 | 1991-10-17 | ニユーラルネツトワークの分散学習装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05108595A true JPH05108595A (ja) | 1993-04-30 |
Family
ID=17469770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3269252A Pending JPH05108595A (ja) | 1991-10-17 | 1991-10-17 | ニユーラルネツトワークの分散学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05108595A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012022558A (ja) * | 2010-07-15 | 2012-02-02 | Hitachi Ltd | 分散計算システム |
| JP2018097612A (ja) * | 2016-12-13 | 2018-06-21 | 富士通株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| KR20180077218A (ko) * | 2015-10-28 | 2018-07-06 | 구글 엘엘씨 | 계산 그래프들 프로세싱 |
| JP2018124754A (ja) * | 2017-01-31 | 2018-08-09 | 日本電信電話株式会社 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
| WO2018155232A1 (ja) | 2017-02-23 | 2018-08-30 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
| JP2018195200A (ja) * | 2017-05-19 | 2018-12-06 | 日本電信電話株式会社 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
| JP2019020915A (ja) * | 2017-07-13 | 2019-02-07 | 日本電信電話株式会社 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
| JP2019045970A (ja) * | 2017-08-30 | 2019-03-22 | 日本電気株式会社 | 分散システム、バックエンドサービス、エッジサーバ、及びその方法 |
| JP2019121141A (ja) * | 2017-12-29 | 2019-07-22 | 大日本印刷株式会社 | デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法 |
| JP2019144864A (ja) * | 2018-02-21 | 2019-08-29 | 日本電気株式会社 | エッジコンピューティングシステム、エッジサーバ、システム制御方法、及びプログラム |
| JP2020512639A (ja) * | 2017-03-24 | 2020-04-23 | グーグル エルエルシー | 強化学習を用いたデバイス配置最適化 |
| JPWO2020245864A1 (ja) * | 2019-06-03 | 2020-12-10 | ||
| JPWO2021111491A1 (ja) * | 2019-12-02 | 2021-06-10 |
-
1991
- 1991-10-17 JP JP3269252A patent/JPH05108595A/ja active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012022558A (ja) * | 2010-07-15 | 2012-02-02 | Hitachi Ltd | 分散計算システム |
| KR20200015829A (ko) * | 2015-10-28 | 2020-02-12 | 구글 엘엘씨 | 계산 그래프들 프로세싱 |
| KR20180077218A (ko) * | 2015-10-28 | 2018-07-06 | 구글 엘엘씨 | 계산 그래프들 프로세싱 |
| JP2018538607A (ja) * | 2015-10-28 | 2018-12-27 | グーグル エルエルシー | 計算グラフの処理 |
| US11769061B2 (en) | 2015-10-28 | 2023-09-26 | Google Llc | Processing computational graphs |
| US10860925B2 (en) | 2015-10-28 | 2020-12-08 | Google Llc | Processing computational graphs |
| JP2020129404A (ja) * | 2015-10-28 | 2020-08-27 | グーグル エルエルシー | 計算グラフの処理 |
| US10534997B2 (en) | 2015-10-28 | 2020-01-14 | Google Llc | Processing computational graphs |
| JP2018097612A (ja) * | 2016-12-13 | 2018-06-21 | 富士通株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| JP2018124754A (ja) * | 2017-01-31 | 2018-08-09 | 日本電信電話株式会社 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
| WO2018155232A1 (ja) | 2017-02-23 | 2018-08-30 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
| JP2020512639A (ja) * | 2017-03-24 | 2020-04-23 | グーグル エルエルシー | 強化学習を用いたデバイス配置最適化 |
| JP2018195200A (ja) * | 2017-05-19 | 2018-12-06 | 日本電信電話株式会社 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
| JP2019020915A (ja) * | 2017-07-13 | 2019-02-07 | 日本電信電話株式会社 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
| JP2019045970A (ja) * | 2017-08-30 | 2019-03-22 | 日本電気株式会社 | 分散システム、バックエンドサービス、エッジサーバ、及びその方法 |
| JP2019121141A (ja) * | 2017-12-29 | 2019-07-22 | 大日本印刷株式会社 | デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法 |
| JP2019144864A (ja) * | 2018-02-21 | 2019-08-29 | 日本電気株式会社 | エッジコンピューティングシステム、エッジサーバ、システム制御方法、及びプログラム |
| JPWO2020245864A1 (ja) * | 2019-06-03 | 2020-12-10 | ||
| WO2020245864A1 (ja) * | 2019-06-03 | 2020-12-10 | 日本電信電話株式会社 | 分散処理システムおよび分散処理方法 |
| JPWO2021111491A1 (ja) * | 2019-12-02 | 2021-06-10 | ||
| WO2021111491A1 (ja) * | 2019-12-02 | 2021-06-10 | 日本電信電話株式会社 | 分散深層学習システムおよび分散深層学習方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH05108595A (ja) | ニユーラルネツトワークの分散学習装置 | |
| Tiwari et al. | Priority structure in fuzzy goal programming | |
| WO2019198959A1 (ko) | 소자 결점을 보완하기 위한 구간 선형 정류 유닛을 사용하는 인공신경망 시스템 | |
| Zhao et al. | Queueing analysis of a jockeying model | |
| US11620501B2 (en) | Neural network apparatus | |
| CN115473901A (zh) | 一种分布式算力集群智慧调度方法、装置及计算机设备 | |
| CN114595652B (zh) | 一种用于硬件仿真平台的主频评估方法 | |
| Funabiki et al. | A parallel algorithm for channel routing problems (VLSI) | |
| JP2810170B2 (ja) | 多層型ネットワークの学習装置 | |
| CN110766321A (zh) | 基于物资可靠性的应急物流网络风险传播方法及其系统 | |
| US20230153587A1 (en) | Stacked-Die Neural Network with Integrated High-Bandwidth Memory | |
| CN114979000B (zh) | 一种数据传输系统、方法及相关设备 | |
| JPH076146A (ja) | 並列データ処理システム | |
| CN115171433A (zh) | 一种车雾辅助无人机灾后救援任务卸载方法 | |
| US5142686A (en) | Multiprocessor system having processors and switches with each pair of processors connected through a single switch using Latin square matrix | |
| JPH04182769A (ja) | デジタル・ニューロプロセッサ | |
| JP2003067354A (ja) | 並列計算機システム及びプロセッサ間通信処理方法 | |
| JP3271186B2 (ja) | 学習処理装置 | |
| JP2606663B2 (ja) | 共通重み和積演算計算ネットワーク及びそれらを用いたファジィ推論装置 | |
| Swartzlander et al. | A routing algorithm for signal processing networks | |
| KR102574824B1 (ko) | 가변 비트 수를 지원하는 병렬 처리 장치 | |
| JPH06110864A (ja) | 学習処理装置 | |
| JPS63240667A (ja) | 並列デ−タ処理装置 | |
| GB2622523A (en) | System and method for decentralised, scalable, and secure consensus between cooperating blockchain systems | |
| JPH02236658A (ja) | 情報処理装置 |