JPH03167655A

JPH03167655A - ニューラルネットワーク

Info

Publication number: JPH03167655A
Application number: JP1306510A
Authority: JP
Inventors: Shigeru Koyanagi; 滋小柳
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1989-11-28
Filing date: 1989-11-28
Publication date: 1991-07-19
Also published as: EP0430638A3; EP0430638A2; US5438645A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の目的〕（産業上の利用分野）本発明は組合せ最適化問題を効率良く解くためのニュー
ラルネットワークに関する。

（従来の技術）最近、人間の右脳に似た情報処理能力を実現する方法と
して、ニューラルネットワークが注目されている。ニュ
ーラルネットワークでは神経細胞をモデルとし、入力信
号の重みつき総和をとり、これに非線型関数を作用させ
ることにより出力を生成するニューロンが多数個結合さ
れたものである。

第８図はニューラルネノトワークの概略構成図である。

８１はニューロンで実際にはプロセッサが割り当てられ
、入力された重みつき総和信号から所定の値を減算し、
これの関数値を出力する機能を有する。（アナログ値を
扱うニューロンの場合は可変の膜電位を有する）８２は
シナプスで実際には乗算器が割り当てられ、２つのニュ
ーロン間の結合重みを夫々有する。ここでは入力信号と
自身の重みを乗じてこれに接続されているニューロン８
１へ出力する機能を有する。ニューラルネットワークは
組み合せ最適化問題を解くのに適していると云われる。

組合せ最適化問題とは、決められた条件下でコスト最小
となる種々の方法を決定するもので、たとえば巡回セー
ルスマン問題（ｎ個の都市を１人のセールスマンがいか
に最小の労力で訪問するか），ＬＳＩレイアウト問題（
回路をカット数が最小となるように分割する）等が該当
する。

ここでニューラルネットワークを用いて組合せ最適化問
題を解く手法として、｝Ｉｏｐｆｉｅｌｄの提案する手
法が知られている。このＨｏｐｆｉｅｌｄの手法を計算
機上でシミュレートする方法には、デジタル値を扱う確
率的離散モデルとアナログ値を扱う決定的連続モデルの
２つが存在する。

確率的離散モデルでは、ニューロンの出力値は通常１あ
るいは０の２状態のみをとり，確率的にサンプリングさ
れたニューロンが次の式に従って出力値を決定する。

？．＝ｆ（ΣＴｉｊＶ■−ＩＪ）ｆ（・）＝（ＡＨ壱こただし、　ニューロンｉの出力値をｖエ，ニューロンｌ
ｙｊ間の結合を重みをＴよ，，ニューロンｉの外部入力
をＩエと表している。

一方、決定的連続モデルでは、ニューロンの出力値は通
常ｌから０の連続値をとり，全てのニューロンが並列に
次の式に従って出方値を計算する。

ｄ　ｕ　ｌ　　＝Ｋ（ΣＴｉｊＶｊ　　Ｉ　、ｕ　ｉ）
ｄｔ　　　　　　　ｊ ■よ＝　ｆ　（ｕエ）タタし、　ニューロンｉの膜電位をｕｌとし、ｆはＯか
ら１の範囲をとる単調増加関数（通常はｓｉｇｍｏｉｄ
関数）とし，Ｋは定数である。

いずれの方式についても、ニューラルネット全体はエＦ＝−，ΣΣＴｉｊＶｉＶｊ＋ΣＩｉＶｉ　　　−・・
■で表わされるエルネギーの極小値に向かって収束する
ことが知られている。従ってこの式からＴエｊ，■、を
求めれば、　これより最適化問題の解が得られる。

具体的な例として、第９図に示すグラフの２分割問題に
ついて説明する。本問題はＬＳＩのレイアウトの基本ア
ルゴリズムのＹつであり、回路をカット数が最小となる
ように２分割することに対応する。グラフの各ノードは
回路を構成するモジュールに相当し、グラフのリンクは
モジュール間の接続に相当する。グラフの各ノードＸに
は面積Ｓえが与えれ、　ノードＸとノードｙ間のリンク
には接続本数ＣＸｙが与えられるとする。また、ＬＳ■
の外部ピンに対応して、グラフのノードＸと外部との接
続本数をＵＸ，ＬＸとする。ただしグラフは上下に２分
割するものとし，各ノードと上端との接続本数をＵＸで
、下端との接続本数をＬＸで表わす。

ここでは、確率的離散モデルについて説明する。

ニューロンは出力｛あるいは−１をとるものとし、各ノ
ードが夫々割り当てられる。すなわちニューロンｖＸの
出力が１ならばノードＸは上側に属し、一｛ならばノー
ドＸは下側に属するとする。

この問題のエネルギー関数は次のように表わせる。

右辺第１項は回路を２分割したときのカノト数を表わす
項である。ＶｘＶｙ”１　　（すなわちｖＸとｖｙが同
一グループに属する）のときにはφとなり，ＶｘＶｙ＝
−１（すなわち■ウとｖｙが事なるグループに属する）
のときにはｃｘｙがＸｒ’／間のカット数を表わし、そ
の総和を表わしている。

右辺第２項は２つのグループ間の面積の差の２乗を表わ
している。２つのグループが等面積のとき、この項はφ
となる。

右辺第３項は回路と外部ピンとの接続によるカット数を
表わす項である。ｖｘ＝１のとき上側，ＶＸ＝−１　　
のとき下側のグループに属すると考え１ると２　Ｕ　ｘ　（　Ｉ　　Ｖ　ｘ　）は下側のグルー
プに属するモジュールと上端との結合により生じるカッ
ト数１を表わし、ＴＬＸ（ｖ，＋１）は上側のグループに属す
るモジュールと下端との結合により生じるカット数であ
る。

これら■式が最小となるような分割が最も望ましい分割
と考えられる。ここで■式を変形すると？， ”４−『（Ｕｘ　　Ｌｘ）Ｖｘ＋［定数項コとなるため
、これを■式と係数比較することによりニューロン間の
重みＴｉｊと外部入力エ■はＴｘｙ”’Ｋ１Ｃｘｙ−２
Ｋ２ＳｘＳｙ　　　　　　　　・・・■と設定すれば、
　これはＨｏｐｆｅｌ．ｄモデルで表現できるよことに
なる。この中でＫエ，　Ｋ，，　Ｋ，は定数であり、Ｋ
１とＫ，はカット数を表わす評価関数に相当し、Ｋ２は
面積均等の制約条件に相当する。

従来のＨｏｐｆｅｌｄモデルでは定数Ｋ，，　Ｋ．，　
Ｋ，を適当に決めて重みを設定するが，この決め方が非
常に困難であり，制約条件を満たさない解を出力するこ
とが多いという欠点があった。　また、Ｋ２を充分大き
くとると、制約条件は満たすが解の質が悪いという欠点
があった。

ここで第９図のグラフに対し、これの２分割について詳
しく説明する。このグラフは４つのノードＡ，Ｂ，Ｃ，
Ｄにより構成されている。Ａ，Ｂ，Ｃ，Ｄの各々の面積
を１とし、第９図に示すような接続の強さをもつとする
。外部との接続がないとするとき、このグラフを２分割
するためのニュ〜ロン間の重みは■式より次のように与
えられる。

ここで前述のように定数Ｋ，，Ｋ２の値を適当に設定す
ることによりニューラルネットワークを用いて本問題を
解くことができる。

第ｌＯ図はニューラルネットワークが確率的離散モデル
を扱う際の従来のフローチャートである。

従来方式では各シナプスに付与される重みが予め設定さ
れている。ここでは先ずニューロンの出力値Ｖｊを初期
化する（ステップ１０１）。次に乱数を用いてランダム
に選択したニューロンについてΣＴよＩｊ　の値を計算
しくステップ１０２，　１０３）、その値が外部入カエ
、以上であればニューロンの出力値を１とし、さもなけ
れば出力を一工とする（ステップ１０４，　１０５，　
］０６）　．　，ｍれを数回繰り返し、各ニューロンの
出力値が変化しなくなった時、系が収束状態になったと
見なし、終了と判定する（ステップ１０７）　．このフ
ローチャートに従い、■式でＫ２”　２　，　Ｋ　ｚ　
＝　０．５として計算を行う例を第１１図に示す。

第ｌ１図では乱数によりｉを選ぶ代わりにｉを１から４
の順に設定している。各々の場合についてΣＴ　ｉ　ｊ
　Ｖ　ｊの計算を行い、その結果によりｖ１を１か−１
に設定している。この場合，４回のくり返し後にニュー
ロンの出力値は（−１　　−１　　−１　　１）となり
、この後は何回くり返しても変化しない。

すなわち収束状態である。これはＡ，Ｂ，ＣとＤの２組
に分割したことを表わしている。明らかに本問題では面
積が均等となることを制約条件としているが，Ｋ２の値
が小さかったため、制約条件を満たさない解に収束した
ことを表わしている。

次に、Ｋ．＝２，Ｋ．＝８とした場合の計算例を第１２
図に示す。

第１２図でも同様に乱数の代わりにｉをｌから４の順に
設定している。この場合、初期値（１−１１−１）で安
定となり、この後何回くり返しても変化しない。これは
ＡとＣ，ＢとＤの２組に分割したことを表わしている。

この場合カット数は６となるが，ＡとＢ，ＣとＤの２組
に分割した時の最適のカット数４に比κで大きい。すな
わちＫ２の値が大き過ぎたため、制約条件は満たしてい
るが評価関数の最小でない所に収束したことを表わして
いる。このようにＫエ，Ｋ２を適当な値に設定すること
は困難であり、　Ｋ２が小さ過ぎると制約条件を満たさ
ない解を出力することが多く、　Ｋ２が大き過ぎると評
価関数の質が低い解を出力することが多いという欠点が
ある。

（発明が解決しようとする課題）以上述べた様にニューラルネットワークで組合せ最適化
問題を解く場合には、制約条件と評価関数の和の形でエ
ネルギー関数を表現してニューロン間の重みを求めるた
め、評価関数に対応する係数（Ｋ１）及び制約条件に対
応する係数（Ｋ２）の決め方が難しい。

つまり係数の決め方によっては制約条件を満たさない解
を出力したり、評価関数の質が低い解を出力するという
欠点があった。

本発明の目的は、ニューロン間の重みを求めるための上
述の係数を効率良く決定して最適化問題の解を得るニュ
ーラルネットワークを提供することにある。

〔発明の構或〕

（課題を解決するための手段）本発明は最適化問題を解く際に、制約条件と評価関数の
和の形で表わされたエネルギー関数よりニューロン間の
重みを決定するニューラルネットワークにおいて、各ニ
ューロンの出力値を監視するモニタ素子及びこのモニタ
素子の指示により各ニューロン間の重みを変更する重み
計算部を有する。

モニタ素子はニューロンの出力値を監視しており、その
出力値の分布が制約条件を満足しない等の不当な状態と
なったとき、重み計算部に指示を出す。重み計算部はこ
の指示を受ける毎に、例えば制約条件に対応する係数を
２倍する等してニューロン間の重みを変更する。

つまり本発明によるニューラルネットワークは，ニュー
ロンの出力値の分布状況に応じて各ニューロン間の重み
を動的に変更する機能を有するものである。

（作用）本発明では制約条件と評価関数の和の形でエネルギー関
数を表現してニューロン間の重みを求める際、例えば最
初は制約条件に対応する係数を評価関数に対応する係数
に比べて小さくしておく。

そしてニューロンの出力値の分布が不当な状態に収束す
ると制約条件に対応する係数を大きくして再びニューロ
ンから出力値を得る。この動作を各ニューロンの出力値
の分布が満足できる状態に収束するまで繰り返す。

つまり本発明は最初は制約条件の弱い状態で自由度を与
えて良質な解を探索し，次第に制約条件を強くすること
により或る程度良質であって且つ制約条件を満足する解
を求めるものである。

（実施例）以下、本発明の実施例を図面を参照して説明する。

第ｉ図は本発明の一実施例の概略構或図である。

ここではＮ個のニューロン１１，これら各ニューロン間
の重みが設定されるＮ２個のシナプス１２から成る構或
は従来のものと同様であるが、これにモ二夕素子１３，
重み計算部１４を備えている事が特徴である。モニタ素
子１３はＮ個のニューロン１１からの出力値を監視して
おり、これら出力値の分布が不当な状態（制約条件を満
足しない等）に収束したとき，重み計算部１４に指示信
号を与える。重み計算部１４ではこの指示信号を受ける
と、後述する様に制約条件に対応する係数を大きくして
各ニューロン間の重みを計算し、これら変更された重み
をシナプスｌ２に再設定するものである。この重み変更
動作はニューロンｌ１の出力値の分布が満足できる状態
に収束するまで繰り返し行なわれる。

第２図は本発明を確率的離散モデルに適用した場合のフ
ローチャートである。ここでは先ず各シナプス１２に付
与すべき重みＴｉ，を初期設定すると共に各ニューロン
１■の出力値を初期化する（ステップ２１．　２２）。

ここでＴエ，の決定方法として上述した様トこ，制約条
件と評価関数の和の形でエネルギー関数を表現し、制約
条件の係数Ｋ２を評価関数の係数Ｋエより小さく設定す
ることによりＴよ，の初期値を求める。次に出力値を得
るべきニューロンｉを乱数により決定し（ステップ２３
），そのニューロンｉについて全ニューロンからの初期
ＬＢ力信号の重みつき総和を得る（ステップ２４）。得
られた重みつき総和を該ニューロンｉへ外部から与えら
れる入力信号Ｉエと比較し（ステップ２５），この値以
上のときは該ニューロンｉからの出力値■、を１とし、
値より小のときはＶエをーｌとする（ステッフ２６．　
２７）。これを各ニューロンについて繰り返して行ない
、全ニューロンからの出力値の分布が不変となったとき
系が収束したと見て終了と判定する（ステップ２８）。

この収束状態の出力値が制約条件を満足しているか否か
チェックし（ステップ２９），満足していなければ制約
条件の係数Ｋ２を大きくしてＴエＪを新たに計算し，　
これをシナプス１２に再設定する（ステップ３０．　３
１）　．これを各ニューロンからの収束した出力値分布
が制約条件を満足するまで繰り返し行なう。

次に確率的離散モデルについ．て具体的数値を用いて本
発明の処理例を第３図により説明する。ここでは第９図
に示したグラフの２分割について先ずＫ２をＫエより小
さい値で開始し、出力値が収束した時点で制約条件を満
たしているか否かチェノクし、満たしていない場合にＫ
２を２倍して重みＴエｊを再計算してニューラルネット
ワークの処理を繰り返すものである。先ず第３図（ａ）
に示す様にＫエ＝２，Ｋ．＝０．５として重みＴエ，を
求め開始する。第１図の場合と同様にこれは７回の繰り
返しによりニューロンの出力信号Ｖ＝（−１，−１，−
１．１）なって収束する。つまり４つのノードＡ，Ｂ．
Ｃ，ＤはＡ，Ｂ，ＣとＤの２組に分割される。

この収束状態はグラフを等しく２分割するという制約条
件を満たしていない。よってモニタ素子の指示により重
み計算部は第３図（ｂ）に示す様にＫ．＝上　として重
みＴｉｊを再計算してこれを各シナプスに再設定する。

又各ニューロンの出力信号は第３図（ａ）の収束状態の
出力信号Ｖ＝（−１，−１，−１．１）を初期値として
処理を継続する。

ここでも４回の繰り返しで収束した出力値がＶ＝（一↓
，−１，−１．１）で第３図（ａ）の状態と変っていな
い。そこで重み計算部は第３図（ｃ）に示す様にＫ２＝
２　として重みＴエ，を再計算してこれを各シナプスに
再設定する。又，ニューロンの出力信号は第３図（ｂ）
の収束状態の出力信号Ｖ＝（−１．−１，−１．１）を
初期値として処理を継続する。

ここでも４回の繰り返しで収束値に変化がない。

従って重み計算部は第３図（ｄ）に示す様にＫ２＝４と
して重みを再計算し、同様にして処理を継続する。ここ
では６回の繰り返しにより収束値■＝（−１，−１．１
，ｌ）が得られる。　これはグラフがＡとＢ，ＣとＤの
２組へ分割されており制約条件を満たしている。又、分
割箇所の接続線カット数も４と最小である。

このようにＫ２の値を徐々に増やすことにより制約条件
を満たす良質の解を得ることができる。

以上は確率的離散モデルについての説明であったが、決
定的連続モデルについても同様の手法を用いることがで
きる。

このニューラルネットワークの構或は第ｌ図と同様であ
るが、各ニューロンｉが自身の膜電位Ｖエを有している
。　ここで各シナプスｉｊは対応するニューロンの出力
Ｖｊ　に白身の重みＴＬｊを乗算した結果Ｔ　ｉ　ｊ　
Ｖ　ｊを対応するニューロン■、へ送る。

？のニューロンＶエはシナプス演算の総和ΣＴ■ｊＶｊ
　を入力し、その値に基いて自身の膜電位Ｖ■を変位さ
せ、　この変位後の膜電位に従って出力値を決定するも
のである。この構或は従来通りであるが、本発明によれ
ばここでも確率的離散モデルと同様にモニタ素子及び重
み計算部を有する。その処理手順を第４図のフローチャ
ートを用いて説明する。先ず各シナプスの重みＴＬＪを
初期設定すると共に各ニューロンのｖＸ電位を初期化す
る（ステップ４１．　４２）。次にｔ番目のニューロン
を指定しこの膜電位をシナプス演算の総和ΣＴＬ．ＶＪ
，外部からの入力信号Ｉエに基いて変化させる（ステノ
プ４３，　４４）。ここで膜電位の変化率？戊ｉ　二Ｋ　（ΣＴエ，４Ｖ，Ｈ　−　Ｉ　Ｌ　−　
ｖエ）ｄｔをオイラー法により解くため、変位後のサ■はヅエ←（
１−δ）Ｖエ＋δ（ΣＴよｊＶｊ−Ｉ■）として表わさ
れる。この変位後の膜電位に関数を作用させることによ
り出力信号■、が得られる（ステップ４５）。この処理
をＮ個のニューロン全てについて行なう（ステップ４６
）。これを数回繰り返すうちに全ての出力信号が収束し
てくれば（つまり前回と今回の出力信号の差が殆ど無く
なれば）制約条件を満たすか否かチェックする（ステッ
プ４７．　４８）。満たしていない場合は確率的離散モ
デルと同様にＫ２の値を大きくして重みＴエ，を再計算
し、シナプスに再設定する（ステップ４９）。そして再
度ステップ４２からの処理を繰り返す。この繰り返し後
に、得られた収束値の分布が制約条件を満たしていれば
終了する。

第８図はこのフローチャートに従って決定的連続モデル
を処理した具体的数値例である。ここでも第ｌＯ図のグ
ラフの２分割を組合せ最適化問題として扱っている。先
ず評価関数の係数Ｋよ＝２に対し制約条件の係数Ｋ２＝
０．５としてＴｉｊを初期設定する。そしてニューロン
ＡからＤまで順番に膜電位を変化させつつ出力信号Ｖエ
を得る。　これを数回繰り返し夫々のニューロンの前回
と今回との出力信号の差が殆ど無くなった時点で収束し
たと見なし終了判定する。ここでの出力信号は第５図に
示す様にＶ　Ａ　＝　　０　．　９　９　，　Ｖ　Ｂ　
＝　　０　．　９　９　Ｈ　Ｖ　ｃ　＝　−０．９２，
　Ｖ，＝０．７５であるが、正のものｌ個と負のもの３
個で制約条件を満たしていない。従ってＫ２＝１として
２回目のＴＩＪを計算して再設定する。そして上述の処
理を行なうと収束値が正１個，負３個で制約条件を未だ
満たしていない。従ってＫ２＝２として３回目のＴエ，
を計算して再設定する。そして上述の処理を行なうと収
束値が依然として正１個，負３個で制約条件を満たして
いない。

（ここでニューロンＣの収束値は−０．３３となって正
に近づいており、　Ｋ２の増加が効を奏していることが
分る）そこでＫ２＝４として４回目のＴエＪを計算して
上述の処理を行なうと、収束値が正２個，負２個となっ
て制約条件を満たす。これはグラフがＡとＢ，ＣとＤの
２組へ分割され、接続線カット数も４となる事を示して
いる。

上述した決定的連続モデルを扱う実施例の変形として、
ニューロンの出力値が収束していない時点で制約条件を
満たしているか否かをチェックする方法も考えられ，以
下これを説明する。

第６図はその処理フローチャートである。ここではニュ
ーロンの出力信号の絶対値が一定値以上になればその収
束値を予測できる事に着目し、モニタ素子が毎回のニュ
ーロンの出力値を監視するものである。先ず各シナプス
の重みＴよ，を初期設定すると共に各ニューロンの膜電
位を初期化する（ステップ６１．　６２）。次にｒ番目
のニューロンに対し１この膜電位をシナプス演算の総和
ΣＴ　．．　Ｖ　ｊ，外部からの入力信号■、に基づい
て変化させる（ステノプ６３．　６４）。この変位後の
膜電位に関数を作用させて出力イ直を求め（ステソプ６
５），これを全ニューロンに対して順番に行なう　（ス
テッフ６６）。

ここまでの処理は上述した第４図のフローチャートと同
一である５次に出揃った全ニューロンの出力値に対しモ
ニタ素子が制約条件を満たしているか否かのチェックを
行ない（ステップ６７）、満たしていれば制約条件の係
数Ｋ２　を大きくしててよ，を計算し直し、各シナプス
に′再設定する（ステップ６８）。このときニューロン
の膜電位も初期化する（ステップ６９）。例えば現在の
ｖｉの膜電位の半分にする等が考えられる。これは？７
ｉを一度にＯ近辺へ初期化するよりも、各ニューロンに
現在の状態の影響を或る程度残した方が後の収束効率が
向上するためである。こうしてステップ６３〜６６の処
理を繰り返し、全ニューロンの２回目の出力値を得ると
，再び制約条件のチェックを行なう。

ここでも制約条件を満たさなければ、制約条件の係数Ｋ
２　を更に大きくしてＴよ，，ニューロンの膜電位を再
設定し，上述の処理を行なう。こうして第ｎ回目の全ニ
ューロンの出力値が制約条件を満たし。その絶対値が一
定値以上であれば、Ｔエ，，膜電位は変化せずにステソ
プ６３〜６７の処理を行なう（ステップ７０）。これを
繰り返すと最終的な全ニューロンの出力は１，−１のい
ずれかとなって？了となる。

本例の具体的数値を用いた処理例を第７図を参照して説
明する。初期設定としてＫエ＝２，Ｋ２＝０．５として
重みＴエ」を決定し、　１回目の全ニューロンノ出力Ｖ
Ａ＝−０．２，　ｖ，＝ｏ．ｔ，　Ｖ。＝０．１，　ｖ
．＝０．２が得られるが、これらは制約条件を満足して
いない。従って．Ｋ，＝２，Ｋ，＝１として重みＴｉｊ
を決定し、２回目の全ニューロンの出力を得るが、これ
も満足していない。この処理を繰り返した後、ｎ回目の
全ニューロンの出力がｖＡ＝０　．　６　，　Ｖ　Ｂ　
”　　０　．　５　＋　Ｖ　Ｃ＝　０　．　５　，　Ｖ
　■＝０　．　６が得られる。これは制約条件を満足す
ると共に夫々の絶対値が予め定められたしきい値０．５
以上であるため、このままＴエ，を放置しても出力値が
１，−１と収束すると予測される．従って以後はＫ１，
　Ｋ．を変える事無く全ニューロンの出力処理を繰り返
させて最終的な収束状態へ遷移させる。

尚、この例ではモニタ素子が全ニューロンの出力信号を
毎回監視する方法を採っているが、適当な時間間隔を予
め設定し、この一定時間毎に出力信号を監視する方式を
採っても良い。

更に本発明では制約条件の係数Ｋ２　を評価関数の係数
Ｋエよりも小さく初期設定し、徐々に増大させる方式を
採っているが、Ｋ２をＫエより大きく初期設定して徐々
に減少させる方式を採っても良い。この場合には最初の
数回は制約条件が強く効いているため制約条件を満足す
る解が得られる。

従って制約条件を満足しない解が生じた時点で、直前に
得られた制約条件を満たす解のみを選択すれば良い。（
この場合は制約条件を強い状態から徐々に弱くするため
、上記直前に得られた制約条件を満たす解が相対的に評
価関数の最も高いものとなる。）〔発明の効果〕以上述べた様に本発明によれば、ニューロンの出力値を
モニタ素子が監視し、この結果に基いて重み計算部が各
ニューロン間の重みを動的に変更する構成を有し、特に
重みの変更方法として組合せ最適化問題の制約条件の係
数を順次変える方法を採っている。従って或る程度良質
であって且つ制約条件を満足する解を得る事が効率良く
出来るため、ニューラルネットワークを用いて組合せ最
適化問題を解く際の実用的利点が格段に向上する。

【図面の簡単な説明】

第１図は本発明のニューラルネットワークの概略構或図
、第２図は本発明による確率的離散モデルの処理フロー
チャート，第３図は本発明の一実施例によるグラフ２分
割の計算例を示す図、第４図は本発明による決定的連続
モデルの処理フローチャート、第５図は第４図のフロー
チャートに従った具体的数値例を示す図、第６図は本発
明による決定的連続モデルの他の処理フローチャート第
７図は第６図のフローチャートに従った具体的数値例を
示す図、第８図は従来のニューラルネットワークの概略
構成図、第９図はグラフ２分割の組合せ最適化問題の例
を示す図、第１０図は従来の確率的離散モデルのフロー
チャート、第１１図・第１２図は第１０図のフローチャ
ートに従った具体的数値例を示す図である。１１，８１・・・ニューロン、１２，８２・・・シナプスｌ３・・・モニタ素子、１４・・・重み計算部

Claims

【特許請求の範囲】

（１）夫々が入力信号に対応した信号を出力する複数個
のニューロンと、これらニューロンの出力信号に対し各
ニューロンに対応した重みを演算処理した信号を該ニュ
ーロンへ出力するシナプスと、前記ニューロンの出力信
号を監視するモニタ手段と、このモニタ手段の監視結果
に基いて前記シナプスの各ニューロンに対応した重みを
変更する重み計算手段とを備えたことを特徴とするニュ
ーラルネットワーク。
（２）夫々が入力信号に対応したデジタル信号を出力す
るＮ個のニューロンと、これらＮ個のニューロン夫々に
Ｎ個づつ接続され夫々が前記Ｎ個のニューロンの出力信
号夫々に対し出力元のニューロン及び接続先のニューロ
ンに対応した重みを乗算した結果を接続先のニューロン
へ出力するＮ＾２個のシナプスと、前記Ｎ個のニューロ
ンの出力信号夫々がほぼ変化しなくなったときこれらが
制約条件を満たすか否か判定し満たさない場合に指示信
号を出力するモニタ手段と、このモニタ手段の指示信号
に呼応して前記シナプスの出力元のニューロン及び接続
先のニューロンに対応した重みを変更する重み計算手段
とを備えたことを特徴とするニューラルネットワーク。
（３）夫々が入力信号に基いて膜電位を変化させると共
にアナログ信号を出力するＮ個のニューロンと、これら
Ｎ個のニューロン夫々に対しＮ個づつ接続され夫々が前
記Ｎ個のニューロンの出力信号夫々に対し出力元のニュ
ーロン及び接続先のニューロンに対応した重みを乗算し
た結果を接続先のニューロンへ出力するＮ＾２個のシナ
プスと、前記Ｎ個のニューロンの出力信号夫々がほぼ変
化しなくなったときこれらが制約条件を満たすか否か判
定し満たさない場合に指示信号を出力するモニタ手段と
、このモニタ手段の指示信号に呼応して前記シナプスの
出力元のニューロン及び接続先のニューロンに対応した
重みを変更すると共に前記ニューロンの膜電位を初期化
する重み計算手段とを備えたことを特徴とするニューラ
ルネットワーク。
（４）重み計算手段は与えられた組合せ最適化問題に対
し制約条件及び評価関数の係数和の形でニューロンの出
力信号を変数としたエネルギー関数で表現し、Ｈｏｐｆ
ｉｅｌｄモデルと比較することにより前記シナプスの重
みを決定するものである請求項１乃至３記載のニューラ
ルネットワーク。
（５）重み計算手段は前記シナプスの重みを決定すると
き、制約条件に対応する係数を評価関数に対応する係数
より小さくしたものを初期値とし、前記モニタ手段より
指示信号を入力する毎に制約条件に対応する係数を順次
増大させるものである請求項４記載のニューラルネット
ワーク。
（６）重み計算手段は前記シナプスの重みを決定すると
き、制約条件に対応する係数を評価関数に対応する係数
より大きくしたものを初期値とし、前記モニタ手段より
指示信号を入力する毎に制約条件に対応する係数を順次
減少させるものである請求項４記載のニューラルネット
ワーク。
（７）ニューロンは自身に接続されたＮ個のシナプスよ
り入力された乗算結果の総和と外部からの入力信号を比
較することにより１又は−１のデジタル信号を出力する
ものである請求項２記載のニューラルネットワーク。
（８）ニューロンは自身に接続されたＮ個のシナプスよ
り入力した乗算結果の総和及び外部からの入力信号の差
と自身の膜電位とを係数加算することにより膜電位を変
化させ、これの関数値に従って出力信号を決定するもの
である請求項３記載のニューラルネットワーク。
（９）シナプスからの乗算結果に従ってデジタル信号を
出力すべきニューロンは、乱数により指定されるもので
ある請求項２記載のニューラルネットワーク。
（１０）シナプスから乗算結果に従って膜電位を変化さ
せると共にアナログ信号を出力すべきニューロンは、順
番にＮ個まで指定されるものである請求項３記載のニュ
ーラルネットワーク。
（１１）モニタ手段は前記Ｎ個のニューロンからの出力
信号が全て出揃う毎にこれらが制約条件を満足するか否
かを判定するものである請求項１０記載のニューラルネ
ットワーク。
（１２）モニタ手段は前記Ｎ個のニューロンからの出力
信号に対し一定時間毎にこれらが制約条件を満足するか
否かを判定するものである請求項１０記載のニューラル
ネットワーク。
（１３）重み計算手段は前記ニューロンの膜電位を初期
化するとき、該時点の膜電位のほぼ半分に設定するもの
である請求項第３項記載のニューラルネットワーク。
（１４）モニタ手段は前記重み計算手段により前記シナ
プスの重みが変更されてこれに伴なう前記Ｎ個のニュー
ロンの出力信号がほぼ変化しなくなる毎にこれらが制約
条件を満たすか否か判定し、最初に制約条件を満たすＮ
個の出力信号を解とするものである請求項５記載のニュ
ーラルネットワーク。
（１５）モニタ手段は前記重み計算手段により前記シナ
プスの重みが変更されてこれに伴う前記Ｎ個のニューロ
ンの出力信号がほぼ変化しなくなる毎にこれらが制約条
件を満たすか否か判定し、最初に制約条件を満たさなく
なったときに直前に制約条件を満たしたＮ個の出力信号
を解とするものである請求項６記載のニューラルネット
ワーク。