JPH05250346A - ニューラルネットワークシミュレーション装置 - Google Patents
ニューラルネットワークシミュレーション装置Info
- Publication number
- JPH05250346A JPH05250346A JP4046468A JP4646892A JPH05250346A JP H05250346 A JPH05250346 A JP H05250346A JP 4046468 A JP4046468 A JP 4046468A JP 4646892 A JP4646892 A JP 4646892A JP H05250346 A JPH05250346 A JP H05250346A
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- neural network
- processors
- node
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Neurology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【構成】ノードベクトル保持手段４はニューラルネット
ワークの全ノードの出力を保持する。部分重み行列保持
手段５は、自己が担当する部分ネットワークのノード群
への入力となるリンクの重みを保持する。温度レジスタ
７はボルツマンマシンの動作温度を保持する。演算制御
ユニット３は、ノードの出力を他のプロセッサとは非同
期に計算し、かつ温度レジスタ７に設定されたニューラ
ルネットワークの中の自己が処理を担当する部分ネット
ワークの温度に従ってシミュレーションを行う。通信制
御ユニット６は、計算したノードの出力を他のプロセッ
サのノードベクトル保持手段４に非同期に送出する。プ
ロセッサ１ｃは、焼きなまし処理において、温度の冷却
スケジュールに従って温度を決定し、他の全プロセッサ
１ａ〜１ｂの温度レジスタ７の値を非同期に書き換え
る。 【効果】高速なボルツマンマシンのシミュレーションを
行うことができる。
ワークの全ノードの出力を保持する。部分重み行列保持
手段５は、自己が担当する部分ネットワークのノード群
への入力となるリンクの重みを保持する。温度レジスタ
７はボルツマンマシンの動作温度を保持する。演算制御
ユニット３は、ノードの出力を他のプロセッサとは非同
期に計算し、かつ温度レジスタ７に設定されたニューラ
ルネットワークの中の自己が処理を担当する部分ネット
ワークの温度に従ってシミュレーションを行う。通信制
御ユニット６は、計算したノードの出力を他のプロセッ
サのノードベクトル保持手段４に非同期に送出する。プ
ロセッサ１ｃは、焼きなまし処理において、温度の冷却
スケジュールに従って温度を決定し、他の全プロセッサ
１ａ〜１ｂの温度レジスタ７の値を非同期に書き換え
る。 【効果】高速なボルツマンマシンのシミュレーションを
行うことができる。
Description
【０００１】
【産業上の利用分野】本発明はニューラルネットワーク
シミュレーション装置に関する。
シミュレーション装置に関する。
【０００２】
【従来の技術】従来、複数のプロセッサでボルツマンマ
シンのシミュレーションを並列処理する場合、焼きなま
し処理において温度のスケジューリングに従って温度を
変化させるには、各プロセッサが担当する複数ノードの
１ステップのシミュレーションを完了後、全プロセッサ
が同期して次ステップにおける温度を設定していた。
シンのシミュレーションを並列処理する場合、焼きなま
し処理において温度のスケジューリングに従って温度を
変化させるには、各プロセッサが担当する複数ノードの
１ステップのシミュレーションを完了後、全プロセッサ
が同期して次ステップにおける温度を設定していた。
【０００３】
【発明が解決しようとする課題】上述した従来のシミュ
レーション処理では、並列処理において複数のプロセッ
サの同期はオーバーヘッドとなり、並列処理による処理
速度の向上を防げるという欠点を有していた。
レーション処理では、並列処理において複数のプロセッ
サの同期はオーバーヘッドとなり、並列処理による処理
速度の向上を防げるという欠点を有していた。
【０００４】本発明の目的は、高速なボルツマンマシン
のシミュレーションを行うことができるニューラルネッ
トワークシミュレーション装置を提供することにある。
のシミュレーションを行うことができるニューラルネッ
トワークシミュレーション装置を提供することにある。
【０００５】
【課題を解決するための手段】本発明のニューラルネッ
トワークシミュレーション装置は、相互にデータを転送
するための通信路で接続されたＭ個（２以上の正の整
数）のプロセッサを備え、シミュレーションの対象とな
るニューラルネットワークのＮ個（２以上の正の整数）
のノードの出力を１次元のノードベクトルとして表現
し、前記ニューラルネットワークのＮ×Ｎ個の重みつき
リンクはＮ×Ｎの２次元の重み行列として表現し、前記
ニューラルネットワークをＭ個の部分ネットワークに分
割し、分割された前記部分ネットワークを前記Ｍ個のプ
ロセッサに割り当てて、前記各ノードが非同期に確率的
に動作するニューラルネットワークモデルであるボルツ
マンマシンのシミュレーションを行うニューラルネット
ワークシミュレーション装置であって、前記プロセッサ
が、（Ａ）前記ニューラルネットワークの全ノードの出
力を保持するノードベクトル保持手段、（Ｂ）自己が担
当する前記部分ネットワークに含まれるノード群への入
力となるリンクの重みを保持する部分重み行列保持手
段、（Ｃ）前記ボルツマンマシンの動作温度が保持され
る温度レジスタ、（Ｄ）前記ニューラルネットワークの
ノードベクトルと部分重み行列とから、前記ニューラル
ネットワークの中の自己が処理を担当する部分ネットワ
ークのノードの出力を他の前記プロセッサとは非同期に
計算し、かつ前記温度レジスタに設定された前記ニュー
ラルネットワークの中の自己が処理を担当する部分ネッ
トワークの温度に従って前記部分ネットワークのシミュ
レーションを行う演算制御ユニット、（Ｅ）前記演算制
御ユニットが計算したノードの出力を前記通信路を介し
て他のプロセッサの前記ノードベクトル保持手段に非同
期に送出し前記ノードベクトル保持手段の値を書き換え
る通信制御ユニット、を備え、さらにボルツマンマシン
の焼きなまし処理を行うとき、前記プロセッサのうちの
１個のプロセッサの前記演算制御ユニットが、温度の冷
却スケジュールに従って温度を決定し、その温度を前記
通信制御ユニットを使用して前記他の全プロセッサの前
記温度レジスタの値を前記全プロセッサとは非同期に書
き換えるように構成されている。
トワークシミュレーション装置は、相互にデータを転送
するための通信路で接続されたＭ個（２以上の正の整
数）のプロセッサを備え、シミュレーションの対象とな
るニューラルネットワークのＮ個（２以上の正の整数）
のノードの出力を１次元のノードベクトルとして表現
し、前記ニューラルネットワークのＮ×Ｎ個の重みつき
リンクはＮ×Ｎの２次元の重み行列として表現し、前記
ニューラルネットワークをＭ個の部分ネットワークに分
割し、分割された前記部分ネットワークを前記Ｍ個のプ
ロセッサに割り当てて、前記各ノードが非同期に確率的
に動作するニューラルネットワークモデルであるボルツ
マンマシンのシミュレーションを行うニューラルネット
ワークシミュレーション装置であって、前記プロセッサ
が、（Ａ）前記ニューラルネットワークの全ノードの出
力を保持するノードベクトル保持手段、（Ｂ）自己が担
当する前記部分ネットワークに含まれるノード群への入
力となるリンクの重みを保持する部分重み行列保持手
段、（Ｃ）前記ボルツマンマシンの動作温度が保持され
る温度レジスタ、（Ｄ）前記ニューラルネットワークの
ノードベクトルと部分重み行列とから、前記ニューラル
ネットワークの中の自己が処理を担当する部分ネットワ
ークのノードの出力を他の前記プロセッサとは非同期に
計算し、かつ前記温度レジスタに設定された前記ニュー
ラルネットワークの中の自己が処理を担当する部分ネッ
トワークの温度に従って前記部分ネットワークのシミュ
レーションを行う演算制御ユニット、（Ｅ）前記演算制
御ユニットが計算したノードの出力を前記通信路を介し
て他のプロセッサの前記ノードベクトル保持手段に非同
期に送出し前記ノードベクトル保持手段の値を書き換え
る通信制御ユニット、を備え、さらにボルツマンマシン
の焼きなまし処理を行うとき、前記プロセッサのうちの
１個のプロセッサの前記演算制御ユニットが、温度の冷
却スケジュールに従って温度を決定し、その温度を前記
通信制御ユニットを使用して前記他の全プロセッサの前
記温度レジスタの値を前記全プロセッサとは非同期に書
き換えるように構成されている。
【０００６】
【作用】本発明においては、装置を構成するプロセッサ
は、シミュレーションの対象であるネットワークの全ノ
ードの出力を保持するノードベクトル保持手段を持ち、
またそのプロセッサが処理を担当する部分ネットワーク
に含まれるノード群への入力となるリンクの重みを保持
する部分重み行列保持手段を持つので、そのプロセッサ
の担当する部分ネットワークに含まれるノードの出力
を、他のプロセッサとは非同期に計算することができ
る。そのプロセッサのノードの出力の計算結果は、他の
プロセッサの保持するノードベクトル保持手段に転送す
る必要があるが、ボルツマンマシンはそれぞれのノード
が非同期に出力を変化させる非同期な計算モデルなの
で、あるプロセッサのノードの出力は他のプロセッサの
シミュレーションの進行とは非同期に行うことができ
る。それぞれのプロセッサは他のプロセッサのノードベ
クトル保持手段の値を、他のプロセッサとは非同期に書
き換える通信制御ユニットを持ち、プロセッサ間の非同
期のデータ転送をこれで実現している。
は、シミュレーションの対象であるネットワークの全ノ
ードの出力を保持するノードベクトル保持手段を持ち、
またそのプロセッサが処理を担当する部分ネットワーク
に含まれるノード群への入力となるリンクの重みを保持
する部分重み行列保持手段を持つので、そのプロセッサ
の担当する部分ネットワークに含まれるノードの出力
を、他のプロセッサとは非同期に計算することができ
る。そのプロセッサのノードの出力の計算結果は、他の
プロセッサの保持するノードベクトル保持手段に転送す
る必要があるが、ボルツマンマシンはそれぞれのノード
が非同期に出力を変化させる非同期な計算モデルなの
で、あるプロセッサのノードの出力は他のプロセッサの
シミュレーションの進行とは非同期に行うことができ
る。それぞれのプロセッサは他のプロセッサのノードベ
クトル保持手段の値を、他のプロセッサとは非同期に書
き換える通信制御ユニットを持ち、プロセッサ間の非同
期のデータ転送をこれで実現している。
【０００７】また、ボルツマンマシンの焼きなまし処理
において、複数のプロセッサのうち１台は、温度の冷却
スケジュールに従って温度を決定し、その温度を通信ユ
ニットを使用して全プロセッサの温度レジスタに送り、
全プロセッサの温度レジスタの値を全プロセッサとは非
同期に書き換えることにより、全プロセッサが同期する
ことなく温度を変更することができる。
において、複数のプロセッサのうち１台は、温度の冷却
スケジュールに従って温度を決定し、その温度を通信ユ
ニットを使用して全プロセッサの温度レジスタに送り、
全プロセッサの温度レジスタの値を全プロセッサとは非
同期に書き換えることにより、全プロセッサが同期する
ことなく温度を変更することができる。
【０００８】以上の動作により、複数のプロセッサが非
同期に処理を進めることができるボルツマンマシンの並
列シミュレーションを実現している。
同期に処理を進めることができるボルツマンマシンの並
列シミュレーションを実現している。
【０００９】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【００１０】図１は、本発明のニューラルネットワーク
シミュレーション装置の一実施例を示すブロック図であ
る。
シミュレーション装置の一実施例を示すブロック図であ
る。
【００１１】図１に示す本実施例のニューラルネットワ
ークシミュレーション装置は、Ｍ個（２以上の正の整
数）のプロセッサ１ａ〜１ｃ、プロセッサ１ａ〜１ｃを
相互に接続するプロセッサ間通信路２から構成されてい
る。
ークシミュレーション装置は、Ｍ個（２以上の正の整
数）のプロセッサ１ａ〜１ｃ、プロセッサ１ａ〜１ｃを
相互に接続するプロセッサ間通信路２から構成されてい
る。
【００１２】また、プロセッサ１ａ〜１ｃは、ニューラ
ルネットワークの全ノードの出力を保持するノードベク
トル保持手段４、自己が担当する部分ネットワークに含
まれるノード群への入力となるリンクの重みを保持する
部分重み行列保持手段５、ボルツマンマシンの動作温度
が保持される温度レジスタ７、ニューラルネットワーク
のノードベクトルと部分重み行列とから、ニューラルネ
ットワークの中の自己が処理を担当する部分ネットワー
クのノードの出力を他のプロセッサとは非同期に計算
し、かつ温度レジスタ７に設定されたニューラルネット
ワークの中の自己が処理を担当する部分ネットワークの
温度に従って部分ネットワークのシミュレーションを行
う演算制御ユニット３、演算制御ユニット３が計算した
ノードの出力をプロセッサ通信路２を介して他のプロセ
ッサのノードベクトル保持手段４に非同期に送出しノー
ドベクトル保持手段４の値を書き換える通信制御ユニッ
ト６から構成されている。
ルネットワークの全ノードの出力を保持するノードベク
トル保持手段４、自己が担当する部分ネットワークに含
まれるノード群への入力となるリンクの重みを保持する
部分重み行列保持手段５、ボルツマンマシンの動作温度
が保持される温度レジスタ７、ニューラルネットワーク
のノードベクトルと部分重み行列とから、ニューラルネ
ットワークの中の自己が処理を担当する部分ネットワー
クのノードの出力を他のプロセッサとは非同期に計算
し、かつ温度レジスタ７に設定されたニューラルネット
ワークの中の自己が処理を担当する部分ネットワークの
温度に従って部分ネットワークのシミュレーションを行
う演算制御ユニット３、演算制御ユニット３が計算した
ノードの出力をプロセッサ通信路２を介して他のプロセ
ッサのノードベクトル保持手段４に非同期に送出しノー
ドベクトル保持手段４の値を書き換える通信制御ユニッ
ト６から構成されている。
【００１３】また、プロセッサ１ｃは、ボルツマンマシ
ンの焼きなまし処理を行うとき、焼きなまし処理の温度
を制御する温度マスタプロセッサとして動作し、内蔵す
る演算制御ユニット３が、温度の冷却スケジュールに従
って温度を決定し、その温度を通信制御ユニット６を使
用して他の全プロセッサ１ａ〜１ｂの温度レジスタ７の
値を全プロセッサ１ａ〜１ｂとは非同期に書き換えるよ
うに動作する。
ンの焼きなまし処理を行うとき、焼きなまし処理の温度
を制御する温度マスタプロセッサとして動作し、内蔵す
る演算制御ユニット３が、温度の冷却スケジュールに従
って温度を決定し、その温度を通信制御ユニット６を使
用して他の全プロセッサ１ａ〜１ｂの温度レジスタ７の
値を全プロセッサ１ａ〜１ｂとは非同期に書き換えるよ
うに動作する。
【００１４】なお、本発明のニューラルネットワークシ
ミュレーション装置は、シミュレーションの対象となる
ニューラルネットワークのＮ個（２以上の正の整数）の
ノードの出力を１次元のノードベクトルとして表現し、
ニューラルネットワークのＮ×Ｎ個の重みつきリンクは
Ｎ×Ｎの２次元の重み行列として表現し、ニューラルネ
ットワークをＭ個の部分ネットワークに分割し、分割さ
れた部分ネットワークをＭ個のプロセッサ１ａ〜１ｃに
割り当てて、各ノードが非同期に確率的に動作するニュ
ーラルネットワークモデルであるボルツマンマシンのシ
ミュレーションを行うものである。
ミュレーション装置は、シミュレーションの対象となる
ニューラルネットワークのＮ個（２以上の正の整数）の
ノードの出力を１次元のノードベクトルとして表現し、
ニューラルネットワークのＮ×Ｎ個の重みつきリンクは
Ｎ×Ｎの２次元の重み行列として表現し、ニューラルネ
ットワークをＭ個の部分ネットワークに分割し、分割さ
れた部分ネットワークをＭ個のプロセッサ１ａ〜１ｃに
割り当てて、各ノードが非同期に確率的に動作するニュ
ーラルネットワークモデルであるボルツマンマシンのシ
ミュレーションを行うものである。
【００１５】次に、動作を説明する。
【００１６】図１において、演算制御ユニット３は、同
じプロセッサ内のノードベクトル保持部４の値と部分重
み行列保持部５の値とから、そのプロセッサが担当する
部分ネットワークに含まれるノードの出力を計算する。
この値を他のプロセッサの保持するノードベクトル保持
部４に転送しなければならない。
じプロセッサ内のノードベクトル保持部４の値と部分重
み行列保持部５の値とから、そのプロセッサが担当する
部分ネットワークに含まれるノードの出力を計算する。
この値を他のプロセッサの保持するノードベクトル保持
部４に転送しなければならない。
【００１７】また、演算制御ユニット３は、同じプロセ
ッサ内の通信制御ユニット６に、転送すべきノード識別
番号（ノードアドレス）と計算した出力値とを伝える。
通信制御ユニット６は、ノード識別番号を元にプロセッ
サ間通信路２を介して他のプロセッサのノードベクトル
保持部４に保持されたノードベクトルの要素のうち、ノ
ード識別番号で指定される要素の値を、自プロセッサ内
の演算制御ユニット３で計算された出力値に書き換え
る。このとき、ノードベクトル保持部４の値を書き換え
られる他のプロセッサは、ノードの出力を計算しその値
を送ってきたプロセッサとは非同期に同様のシミュレー
ションを続行する。ボルツマンマシンは各ノードが非同
期動作をすることができるニューラルネットワークモデ
ルなので、シミュレーションを行っているプロセッサ
が、別のプロセッサにより書き換えられたノードベクト
ル保持部を同時に参照していたとしてもシミュレーショ
ンは不正確にはならない。
ッサ内の通信制御ユニット６に、転送すべきノード識別
番号（ノードアドレス）と計算した出力値とを伝える。
通信制御ユニット６は、ノード識別番号を元にプロセッ
サ間通信路２を介して他のプロセッサのノードベクトル
保持部４に保持されたノードベクトルの要素のうち、ノ
ード識別番号で指定される要素の値を、自プロセッサ内
の演算制御ユニット３で計算された出力値に書き換え
る。このとき、ノードベクトル保持部４の値を書き換え
られる他のプロセッサは、ノードの出力を計算しその値
を送ってきたプロセッサとは非同期に同様のシミュレー
ションを続行する。ボルツマンマシンは各ノードが非同
期動作をすることができるニューラルネットワークモデ
ルなので、シミュレーションを行っているプロセッサ
が、別のプロセッサにより書き換えられたノードベクト
ル保持部を同時に参照していたとしてもシミュレーショ
ンは不正確にはならない。
【００１８】また、ボルツマンマシンの焼きなまし処理
において、複数のプロセッサのうち温度マスタプロセッ
サとして動作するプロセッサ１ｃは、温度の冷却スケジ
ュールに従って温度を決定し、その温度を自己の通信制
御ユニット６を使用して全プロセッサの温度レジスタ７
の値を他のプロセッサとは非同期に書き換える。温度マ
スタプロセッサ１ｃ以外のプロセッサ１ａ〜１ｂは、温
度レジスタ７に保持された温度を参照しながらシミュレ
ーションを行う。これにより全プロセッサ１ａ〜１ｃが
同期することなく、温度を変更することができ、複数の
プロセッサが非同期に処理を進めながら焼きなまし処理
を行うことができる。
において、複数のプロセッサのうち温度マスタプロセッ
サとして動作するプロセッサ１ｃは、温度の冷却スケジ
ュールに従って温度を決定し、その温度を自己の通信制
御ユニット６を使用して全プロセッサの温度レジスタ７
の値を他のプロセッサとは非同期に書き換える。温度マ
スタプロセッサ１ｃ以外のプロセッサ１ａ〜１ｂは、温
度レジスタ７に保持された温度を参照しながらシミュレ
ーションを行う。これにより全プロセッサ１ａ〜１ｃが
同期することなく、温度を変更することができ、複数の
プロセッサが非同期に処理を進めながら焼きなまし処理
を行うことができる。
【００１９】このように、各プロセッサが、他のプロセ
ッサと非同期に、自己の担当する部分ネットワークに含
まれるノードの出力を計算して通信路を介して他のプロ
セッサに転送し、また焼きなまし処理における温度の設
定を行うために、特定のプロセッサが温度マスタプロセ
ッサとして他のプロセッサと非同期に、設定温度を決定
し通信路を介して他のプロセッサに転送するように構成
することにより、全プロセッサが同期することなく設定
温度を変更でき、非同期に処理を進めることができるの
で、プロセッサ間での同期のオーバーヘッドのない高速
なボルツマンマシンのシミュレーションを行うことがで
きる。
ッサと非同期に、自己の担当する部分ネットワークに含
まれるノードの出力を計算して通信路を介して他のプロ
セッサに転送し、また焼きなまし処理における温度の設
定を行うために、特定のプロセッサが温度マスタプロセ
ッサとして他のプロセッサと非同期に、設定温度を決定
し通信路を介して他のプロセッサに転送するように構成
することにより、全プロセッサが同期することなく設定
温度を変更でき、非同期に処理を進めることができるの
で、プロセッサ間での同期のオーバーヘッドのない高速
なボルツマンマシンのシミュレーションを行うことがで
きる。
【００２０】
【発明の効果】以上説明したように、本発明のニューラ
ルネットワークシミュレーション装置は、各プロセッサ
が、他のプロセッサと非同期に、自己の担当する部分ネ
ットワークに含まれるノードの出力を計算して通信路を
介して他のプロセッサに転送し、また焼きなまし処理に
おける温度の設定を行うために、特定のプロセッサが温
度マスタプロセッサとして他のプロセッサと非同期に、
設定温度を決定し通信路を介して他のプロセッサに転送
するように構成することにより、全プロセッサが同期す
ることなく設定温度を変更でき、非同期に処理を進める
ことができるので、プロセッサ間での同期のオーバーヘ
ッドのない高速なボルツマンマシンのシミュレーション
を行うことができるという効果を有している。
ルネットワークシミュレーション装置は、各プロセッサ
が、他のプロセッサと非同期に、自己の担当する部分ネ
ットワークに含まれるノードの出力を計算して通信路を
介して他のプロセッサに転送し、また焼きなまし処理に
おける温度の設定を行うために、特定のプロセッサが温
度マスタプロセッサとして他のプロセッサと非同期に、
設定温度を決定し通信路を介して他のプロセッサに転送
するように構成することにより、全プロセッサが同期す
ることなく設定温度を変更でき、非同期に処理を進める
ことができるので、プロセッサ間での同期のオーバーヘ
ッドのない高速なボルツマンマシンのシミュレーション
を行うことができるという効果を有している。
【図１】本発明のニューラルネットワークシミュレーシ
ョン装置の一実施例を示すブロック図である。
ョン装置の一実施例を示すブロック図である。
１ａ〜１ｃ プロセッサ ２ プロセッサ間通信路 ３ 演算制御ユニット ４ ノードベクトル保持部 ５ 部分重み行列保持部 ６ 通信制御ユニット ７ 温度レジスタ
Claims (1)
- 【請求項１】 相互にデータを転送するための通信路で
接続されたＭ個（２以上の正の整数）のプロセッサを備
え、シミュレーションの対象となるニューラルネットワ
ークのＮ個（２以上の正の整数）のノードの出力を１次
元のノードベクトルとして表現し、前記ニューラルネッ
トワークのＮ×Ｎ個の重みつきリンクはＮ×Ｎの２次元
の重み行列として表現し、前記ニューラルネットワーク
をＭ個の部分ネットワークに分割し、分割された前記部
分ネットワークを前記Ｍ個のプロセッサに割り当てて、
前記各ノードが非同期に確率的に動作するニューラルネ
ットワークモデルであるボルツマンマシンのシミュレー
ションを行うニューラルネットワークシミュレーション
装置であって、前記プロセッサが、（Ａ）前記ニューラ
ルネットワークの全ノードの出力を保持するノードベク
トル保持手段、（Ｂ）自己が担当する前記部分ネットワ
ークに含まれるノード群への入力となるリンクの重みを
保持する部分重み行列保持手段、（Ｃ）前記ボルツマン
マシンの動作温度が保持される温度レジスタ、（Ｄ）前
記ニューラルネットワークのノードベクトルと部分重み
行列とから、前記ニューラルネットワークの中の自己が
処理を担当する部分ネットワークのノードの出力を他の
前記プロセッサとは非同期に計算し、かつ前記温度レジ
スタに設定された前記ニューラルネットワークの中の自
己が処理を担当する部分ネットワークの温度に従って前
記部分ネットワークのシミュレーションを行う演算制御
ユニット、（Ｅ）前記演算制御ユニットが計算したノー
ドの出力を前記通信路を介して他のプロセッサの前記ノ
ードベクトル保持手段に非同期に送出し前記ノードベク
トル保持手段の値を書き換える通信制御ユニット、を備
え、さらにボルツマンマシンの焼きなまし処理を行うと
き、前記プロセッサのうちの１個のプロセッサの前記演
算制御ユニットが、温度の冷却スケジュールに従って温
度を決定し、その温度を前記通信制御ユニットを使用し
て前記他の全プロセッサの前記温度レジスタの値を前記
全プロセッサとは非同期に書き換えることを特徴とする
ニューラルネットワークシミュレーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4046468A JPH05250346A (ja) | 1992-03-04 | 1992-03-04 | ニューラルネットワークシミュレーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4046468A JPH05250346A (ja) | 1992-03-04 | 1992-03-04 | ニューラルネットワークシミュレーション装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05250346A true JPH05250346A (ja) | 1993-09-28 |
Family
ID=12748007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4046468A Withdrawn JPH05250346A (ja) | 1992-03-04 | 1992-03-04 | ニューラルネットワークシミュレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05250346A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005541A (ja) * | 2016-07-01 | 2018-01-11 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
| US10534576B2 (en) | 2018-02-01 | 2020-01-14 | Fujitsu Limited | Optimization apparatus and control method thereof |
| WO2020054024A1 (ja) * | 2018-09-13 | 2020-03-19 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
| WO2020054046A1 (ja) * | 2018-09-14 | 2020-03-19 | 富士通株式会社 | 最適化装置、最適化装置の制御方法および最適化装置の制御プログラム |
| US11275995B2 (en) | 2016-07-13 | 2022-03-15 | Fujitsu Limited | Information processing apparatus, ising device, and control method for information processing apparatus |
-
1992
- 1992-03-04 JP JP4046468A patent/JPH05250346A/ja not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005541A (ja) * | 2016-07-01 | 2018-01-11 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
| US10929750B2 (en) | 2016-07-01 | 2021-02-23 | Fujitsu Limited | Information processing apparatus, Ising device, and method for controlling information processing apparatus |
| US11275995B2 (en) | 2016-07-13 | 2022-03-15 | Fujitsu Limited | Information processing apparatus, ising device, and control method for information processing apparatus |
| US10534576B2 (en) | 2018-02-01 | 2020-01-14 | Fujitsu Limited | Optimization apparatus and control method thereof |
| WO2020054024A1 (ja) * | 2018-09-13 | 2020-03-19 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
| JPWO2020054024A1 (ja) * | 2018-09-13 | 2021-08-30 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
| US11928403B2 (en) | 2018-09-13 | 2024-03-12 | Fujitsu Limited | Optimization apparatus and optimization method for annealing circuits |
| WO2020054046A1 (ja) * | 2018-09-14 | 2020-03-19 | 富士通株式会社 | 最適化装置、最適化装置の制御方法および最適化装置の制御プログラム |
| JPWO2020054046A1 (ja) * | 2018-09-14 | 2021-05-13 | 富士通株式会社 | 最適化装置、最適化装置の制御方法および最適化装置の制御プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108737149A (zh) | 网络拓扑实机仿真方法与系统 | |
| JPH05250346A (ja) | ニューラルネットワークシミュレーション装置 | |
| JP4733695B2 (ja) | 自動化システムのシミュレーションのための方法及び装置 | |
| CN114258538B (zh) | 片上操作的显式调度 | |
| JPH0594429A (ja) | ボルツマンマシンシミユレーシヨン装置 | |
| JPH11265297A (ja) | 分散シミュレータシステム | |
| JPH0769893B2 (ja) | ニューラルネットワークシミュレータ | |
| Gundall et al. | Computation offloading at field level: Motivation and break-even point calculation | |
| US11907725B2 (en) | Communication in a computer having multiple processors | |
| JP3887989B2 (ja) | プログラマブルコントローラ、及びその入出力制御方法 | |
| US11625357B2 (en) | Control of data transfer between processors | |
| JPH11338523A (ja) | プログラマブルコントローラにおける入出力制御方式 | |
| JP2731252B2 (ja) | 発電プラントシミュレーション装置およびこの装置用のシミュレーションコード生成装置 | |
| JPH0830578A (ja) | Ｖｈｄｌハードウェアシミュレータ | |
| Mitchell et al. | Experience with an XTP implementation for embedded systems | |
| Toda et al. | A parallel processing simulator for a network system using multimicroprocessors | |
| JPS63291156A (ja) | 計算機間の処理の同期方式 | |
| JPH021571A (ja) | 故障シミュレーション装置 | |
| JP3371793B2 (ja) | データ転送スケジュリング方式 | |
| JPH064513A (ja) | 設計システムの負荷予測装置 | |
| JPH02259843A (ja) | ソフトウェア論理シミュレーション方式 | |
| JPH02204854A (ja) | シミュレーション処理方法 | |
| JPH045748A (ja) | 情報処理装置 | |
| JPH0342768A (ja) | ニューロコンピュータ回路 | |
| Akil | Implementation and Evaluation of Algorithms for Image Processing by Means of Transputer Network. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19990518 |