JPH08137822A - 最適化装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、局所最適解に捕らわれず、大域的
な最適解に迅速に到達することにある。 【構成】 多数の解集合の中から最適解を探索する最適
化装置において、複数のノードを用いて解集合の要素を
表現する複数のニューラルネットワーク１，２と、これ
らのニューラルネットワークにそれぞれ異なる初期値を
設定する初期値設定手段１２と、前記各ニューラルネッ
トワーク間に相互結合し、初期値設定手段から設定され
る異なる初期値によって生ずる前記各ニューラルネット
ワークの状態変化に伴う相互作用を予め定めた演算式に
従って演算し、得られた演算結果を結合関係にあるニュ
ーラルネットワークに対して影響を及ぼすことにより、
各ニューラルネットワークの出力を局所最適解を容易に
移動させながら最も極小となる大域的な最適解に導いて
いく相互結合手段１１とを設けた最適化装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は電力系統の経済負荷配分
問題や鉄鋼，紙パルプ，石油化学などのようなエネルギ
ー多消費型プラントのエネルギー最適運用問題など，多
数の解集合の中から最適解を探索する場合に利用される
最適化装置に関する。

【０００２】

【従来の技術】一般に、線形計画法は、目的関数および
制約条件とも変数の線形関数となっているので、過去の
実績に基づくアルゴリズムを用いて容易に最適解を探索
することができるが、例えば電力系統の経済負荷配分問
題などの場合には、定式化を行ったとき、その目的関
数，等式制約，不等式制約の中に非線形要素を含める必
要があり、いわゆる非線形計画問題として考えなければ
ならない。

【０００３】そこで、このような電力系統の経済負荷配
分問題などのように非線形計画法における最適化手法と
しては、ラグランジュ法などのごとき従来手法の他に、
１）Hopfield型ニューラルネットワーク、２）カオスニ
ューラルネットワークなどの新手法が考え出されてい
る。

【０００４】以下、これらのニューラルネットワークの
概要について説明する。 １） Hopfield型ニューラルネットワークについて このHopfield型ニューラルネットワークは、非線形の入
出力関数をもった複数のノードと、これらの各ノード間
を結合する結合手段とによって構成され、このニューラ
ルネットワークを構成するノードの数やノード間の結合
強度を調整することにより、最適化問題をニューラルネ
ットワーク上に表現する。そして、これら複数のノード
を同時に動作させることにより、局所最適解（図８の
イ，ロ，ハ，ニ参照）を求める構成となっている。

【０００５】このHopfield型ニューラルネットワークの
特徴は、各ノード間の結合が原則として対称結合であ
り、何れのノードの方向から見ても同じ強さで結合され
ていること。また、各ノードの状態変化は非同期であ
り、各ノードとも勝手なタイミングで入力される入力信
号を検知し、その総和の値によって状態を遷移し、その
状態遷移によって生ずる信号を出力することにある。 ２） カオスニューラルネットワークについて カオスニューラルネットワークは、Hopfield型ニューラ
ルネットワークのノード間結合を非対称にしたり、各ノ
ードの自己結合を導入することにより、ニューラルネッ
トワーク全体として周期的振動解やカオス解を示すよう
な構成としている。特に、カオスニューラルネットワー
クは、局所最適解に捕らわれず、大域的な最適解（図８
のロ参照）を探索することにある。

【０００６】

【発明が解決しようとする課題】しかしながら、以上の
ようなニューラルネットワークのうち、Hopfield型ニュ
ーラルネットワークでは、ある状態で初期条件を与えた
とき、その初期条件から最急降下法により解を探索する
ので、局所最適解を求めることは可能であるが、解空間
全体の中から大域的な最適解を求めることは困難であ
る。

【０００７】ここで、局所最適解と大域的最適解につい
て、図８を参照して説明する。同図は、横軸に解空間
（最小化したい目的関数の説明変数空間）を、縦軸に目
的関数の値を表してなる、解空間に対する目的関数の値
を示す図である。一般に、目的関数は、複数の谷からな
っており、それぞれの谷底となるdf(v)/dv＝０，d ² f
(v)/dv ² ≧０の点を局所最適解または極小値といい、
そのうち最も目的関数の値の小さい解を大域的最適解と
いう。従って、図８の状態イ，ロ，ハ，ニが局所最適
解、状態ロが大域的最適解となる。

【０００８】ゆえに、例えば状態ホにおいて初期条件を
与える一方、最急降下法によって最適化を行うと、ボー
ルが谷底へ転がるような状態変化を起こして状態ニに移
行し、これにより局所最適解ニが得られる。しかし、こ
の局所最適解の状態ニで平衡状態となれば、この局所最
適解の状態ニから脱出することはできない。

【０００９】この局所最適解から脱出して他の最適解を
選択する手法としては、ニューラルネットワークに外乱
（ノイズ）を与えてゆらぎ状態を作り出すことが考えら
れるが、外乱の与え方に関する法則性が明確となってい
ないので、ランダムサーチと同様な手法で最適解を探索
する必要があり、解の探索に長時間を要する問題があ
る。

【００１０】一方、カオスニューラルネットワークは、
ノード間の結合を非対称にしたり、各ノードの自己結合
を導入することにより、局所最適解に捕らわれずに、大
域的な最適解を探索することにあるが、各ノード間の結
合値が異なるので、自己結合に対する挙動の相転移も異
なってしまう。その結果、最適解探索のパラメータであ
る自己結合の調整が非常に難しく、迅速に大域的最適解
を探索するのが困難である。本発明は上記実情に鑑みて
なされたもので、局所最適解に捕らわれずに大域的な最
適解を迅速に求める最適化装置を提供することを目的と
する。

【００１１】

【課題を解決するための手段】上記課題を解決するため
に、請求項１に対応する発明は、多数の解集合の中から
最適解を探索する最適化装置において、複数のノードを
用いて解集合の要素を表現する複数のニューラルネット
ワークと、これらのニューラルネットワークにそれぞれ
異なる初期値を設定する初期値設定手段と、前記各ニュ
ーラルネットワーク間に設けられ、前記初期値設定手段
から設定される初期値によって生ずる前記各ニューラル
ネットワークの状態変化に伴う相互作用を演算し、この
演算結果を該当するニューラルネットワークに作用し、
各ニューラルネットワークの出力を極小状態に導く相互
結合手段とを設けた最適化装置である。

【００１２】請求項２に対応する発明は、多数の解集合
の中から最適解を探索する最適化装置において、複数の
ノードを用いて解集合の要素を表現するとともに、各ノ
ード間の結合を非対称とし、かつ、各ノードに自己結合
を持たせることにより、振動解を発生する振動ニューラ
ルネットワークと、複数のノードを用いて解集合の要素
を表現する複数のニューラルネットワークと、この複数
のニューラルネットワークおよび前記振動ニューラルネ
ットワークにそれぞれ初期値を設定する初期値設定手段
と、前記振動ニューラルネットワークと複数のニューラ
ルネットワークとの間にそれぞれ設けられ、前記初期値
設定手段から設定される初期値によって生ずるニューラ
ルネットワークの状態変化に伴う相互作用を演算し、こ
の演算結果を該当するニューラルネットワークに作用
し、各ニューラルネットワークの出力を極小状態に導く
相互結合手段とを設けた最適化装置である。

【００１３】次に、請求項３に対応する発明は、多数の
解集合の中から最適解を探索する最適化装置において、
複数のノードを用いて解集合の要素を表現するととも
に、各ノード間の結合を非対称とし、かつ、各ノードに
自己結合を持たせることにより、振動解を発生する複数
の振動ニューラルネットワークと、これらの振動ニュー
ラルネットワークにそれぞれ初期値を設定する初期値設
定手段と、前記各振動ニューラルネットワーク間にそれ
ぞれ設けられ、前記初期値設定手段から設定される初期
値によって生ずる前記各振動ニューラルネットワークの
状態変化に伴う相互作用を演算し、この演算結果を該当
する振動ニューラルネットワークに作用し、各振動ニュ
ーラルネットワークの出力を極小状態に導く相互結合手
段とを設けた最適化装置である。

【００１４】さらに、請求項４に対応する発明は、多数
の解集合の中から最適解を探索する最適化装置におい
て、複数のノードを用いて解集合の要素を表現するとと
もに、各ノード間の結合を非対称とし、かつ、各ノード
に自己結合を持たせることにより、振動解を発生する複
数の振動ニューラルネットワークと、これらの振動ニュ
ーラルネットワークにそれぞれ初期値を設定する初期値
設定手段と、この初期値設定手段から設定される初期値
によって生ずる前記各振動ニューラルネットワークの状
態変化を取り出して目的関数値を求める目的関数値算出
手段と、この目的関数値算出手段によって得られる目的
関数値に基づいて対応する各振動ニューラルネットワー
クの非対称性の強さおよび自己結合の強さを調整する結
合調整手段とを設けた最適化装置である。

【００１５】

【作用】従って、請求項１に対応する発明は、以上のよ
うな手段を講じたことにより、初期値設定手段から各ニ
ューラルネットワークにそれぞれ異なる初期値を設定す
ると、各ニューラルネットワークを構成する各ノードの
出力が低い方向に状態変化するが、このとき相互結合手
段による結合作用により各ニューラルネットワークの各
ノードの状態変化に伴う相互作用を演算し、その演算結
果を該当するニューラルネットワークのノードに及ぼす
ので、局所的最適解に陥っても、そこから脱出して大域
的な最適解に容易に到達できる。

【００１６】次に、請求項２に対応する発明は、初期値
設定手段から振動ニューラルネットワークおよび複数の
非振動ニューラルネットワークにそれぞれ初期値を設定
すると、各ニューラルネットワークのノード出力が状態
変化するが、このとき振動ニューラルネットワークのノ
ード間の非対称結合および各ノードの自己結合によって
極小値の状態が不安定になり、周期的な振動やカオス状
態を示す。そして、振動ニューラルネットワークによる
周期的な振動やカオス状態が結合作用によって非振動ニ
ューラルネットワークに影響を与えるので、非振動ニュ
ーラルネットワークによる不安定な極小状態の収束が妨
げられ、結局、振動解を発生する振動ニューラルネット
ワークによる大域的な解の探索と、非振動ニューラルネ
ットワークによる局所的な解の探索とが互いに作用し合
い、最も極小値となる大域的最適解に迅速に到達でき
る。

【００１７】さらに、請求項３に対応する発明は、初期
値設定手段から各振動ニューラルネットワークに初期値
を設定すると、各振動ニューラルネットワークの出力が
状態変化するが、このとき各振動ニューラルネットワー
クの非対称性の強さおよび自己結合の強さがそれぞれ異
なるので、それぞれ異なる状態変化を示しながら相互結
合手段を介して各振動ニューラルネットワークに互いに
作用し合うので不安定な極小状態を移動し、大域的な最
適解に接近したときに相互に強く引き込まれ、最も極小
値となる大域的な最適解に迅速に到達できる。

【００１８】さらに、請求項４に対応する発明は、初期
値設定手段から各振動ニューラルネットワークに初期値
を設定すると、各振動ニューラルネットワークの出力が
状態変化する。そこで、目的関数値算出手段は、各振動
ニューラルネットワークの状態変化出力からそれぞれ目
的関数値を求めた後、結合調整手段に送出する。ここ
で、結合調整手段は、相互の目的関数値を確認しなが
ら、最も目的関数値に近づくように他の振動ニューラル
ネットワークを構成するノードの非対称性の強さおよび
自己結合の強さを修正するので、振動ニューラルネット
ワークの解の探索範囲を調整しながら最も極小値となる
大域的な最適解に迅速に到達できる。

【００１９】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。 （実施例１）図１および図２は請求項１に係わる発明の
一実施例を示す図である。

【００２０】この実施例は、電力系統における経済負荷
配分（Economic Load Dispatching:以下、ＥＬＤと略称
する）問題の最適解を求める例である。このＥＬＤ問題
は、例えばｎ台の火力発電機のみを考慮し、これら発電
機の発電出力の送電損失を無視すれば、 １）発電機の総発電量が電力需要負荷と等しいこと、 ２）各発電機の発電量が予め定められた上下限値の範囲
内にあること、 等の条件の下に総発電コストを最小化することにある。

【００２１】従って、以上の条件を考慮しつつ定式化を
行うと、次のような式で表すことができる。 （目的関数→最小化）

【００２２】

【数１】

【００２３】但し、Ｆ：総発電コスト、ｆ_i ( ) ：発電
機ｉの発電コスト（ｉ＝１，…，ｎ）、ｘ_i ：発電機ｉ
の出力、ａ_i ，ｂ_i ，ｃ_i ：発電機ｉの発電コストに関
する定数である。（制約条件）

【００２４】

【数２】

【００２５】但し、Ｐ：総発電出力、ｘ_i ^m ：発電機ｉ
の出力の下限値、ｘ_i ^M ：発電機ｉの出力の上限値であ
る。 図１および図２は前記（１）式〜（３）式に基づいて最
適解を求める例を具体化した構成図である。図１は本発
明装置の概略構成図、図２はニューラルネットワークに
着目した構成図である。

【００２６】この最適化装置は、複数のノードを用いて
解集合の要素を表現し、所要とする各種のデータを入力
して所定のノードから発電機出力を取り出すサブネット
ワーク１と、このサブネットワーク１と同様に複数のノ
ードを用いて解集合の要素を表現し、所要とする各種の
データを入力しサブネットワーク１との相互作用の下に
所定のノードから発電機出力を取り出すサブネットワー
ク２と、これら２つのサブネットワーク１，２のノード
間を結合する相互結合部１１と、各サブネットワーク
１，２の各ノードに、サブネットワークごとに異なる初
期値を設定する初期値設定部１２とが設けられている。

【００２７】また、最適化装置は、図１に示すように、
例えば実発電機の出力または発電機のシミユレーション
モデル出力或いは発電機の動作制御に用いる目標発電量
等の発電機出力相当信号，つまりｎ台の発電機の出力ｘ
₁ …ｘ_n を発生する発電機相当信号発生部１３₁ …１３
_n と、これらの発電機の出力ｘ₁ …ｘ_n を取り込むプロ
セスインタフェース１４と、このプロセスインタフェー
ス１４を介して入力される各発電機の出力の総和である
総発電出力Ｐを求める総発電出力演算部１５とが設けら
れ、ここで得られた総発電出力Ｐが各サブネットワーク
１，２に供給される。

【００２８】さらに、最適化装置は、所要とする各種の
データを入力するキーボード，マウス等を含む入力機器
１６、ＣＲＴなどの出力機器１７および図示されていな
いメモリやＣＰＵを含むデータ処理部１８の他、入力機
器１６，メモリ等から入力される各種のデータ，例えば
各発電機出力の上下限値等，前記（１）式ないし（３）
式に必要なデータを取り込んで各サブネットワーク１，
２に導入するマンマシンインタフェース１９などが設け
られている。

【００２９】以下、本発明装置の要部となるサブネット
ワーク１，２、相互結合部１１および初期値設定部１２
について具体的に説明する。前記サブネットワーク１
は、図２に示すように、前記（１）式に示す発電機ｉの
出力ｘ_i を出力するノードｘ₁ ⁽¹⁾ …ｘ_n ⁽¹⁾ と、前記
（２）式の制約条件を表すノードｙ₁ ⁽¹⁾ ，ｙ₂ ⁽¹⁾
と、前記（３）式の制約条件を表すノードｙ₃ ⁽¹⁾ …ｙ
_2n+2 ⁽¹⁾ とによって構成され、各ノードｙ₁ ⁽¹⁾ ，ｙ₂
⁽¹⁾ には総発電出力Ｐが入力され、また各ノードｙ₃
⁽¹⁾ …ｙ_2n+2 ⁽¹⁾ に発電機の出力上下限値ｘ_i ^m ，ｘ_i
^M が入力されている。また、前記ノードｘ₁ ⁽¹⁾ …ｘ_n
⁽¹⁾ にはノードｙ₁ ⁽¹⁾ …ｙ_n ⁽¹⁾ の制約条件となる重
みづけＴ_ijが付されている。なお、ａ_i は前記（１）式
で表す重み付け、ｂ_i は前記（１）式で表す重み付けを
示している。

【００３０】前記サブネットワーク２は、サブネットワ
ーク１と同様な構成を有しており、前記（１）式に示す
発電機ｉの出力ｘ_i を出力するノードをｘ_i ⁽²⁾ 、前記
（２）式の制約条件を表すノードをｙ_j ⁽²⁾ とする。

【００３１】前記相互結合部１１は、サブネットワーク
１の各ノードｘ_i ⁽¹⁾ の出力とサブネットワーク２の各
ノードｘ_i ⁽²⁾ の出力から両者の相互作用を計算し、そ
の計算結果を各ノードｘ_i ⁽¹⁾ ，各ノードｘ_i ⁽²⁾ に入
力する。この相互作用は後記する（１０）式および（１
１）式によって求められる。

【００３２】前記初期値設定部１２は、サブネットワー
ク１，２の各ノードｘ_i ⁽¹⁾ ，ｘ_i ⁽²⁾ に初期値を設定
するもので、サブネットワーク１，２ごとに異なる初期
値を設定する。この初期値の設定方法は、初期値設定部
１２または入力機器１６から自動的または人為的に０か
ら１までの値をランダムに設定するとか、対象系の経験
的知識を下に適宜な値を設定する。例えばＥＬＤ問題で
は、現在の負荷配分値から連続的に新しい負荷配分値を
求めるという知識を用いれば、初期値は現在の負荷配分
値となる。

【００３３】次に、以上のように構成された装置の動作
について説明する。先ず、入力機器１６からの動作開始
指示に基づき、プログラムに従って図示されていないメ
モリから必要なデータ例えば発電機出力上下限値等を取
り出してサブネットワーク１，２に設定する。また、同
様に相互作用の演算上必要とする場合には前記メモリか
ら必要なデータを取り出して相互結合部１１に設定す
る。さらに、必要に応じてプロセスインタフェース１４
側からも必要なデータを取り込んでサブネットワーク
１，２に与える。このようにして装置の動作準備が完了
した後、入力機器１６から初期値設定指示を出すと、図
示されていないメモリから、或いは初期値設定部１２か
らマンマシンインタフェース１９を介してサブネットワ
ーク１，２の各ノードｘ_i ⁽¹⁾ ，ｘ_i ⁽²⁾ に対して、サ
ブネットワーク１，２ごとにそれぞれ異なる初期値を設
定する。

【００３４】以上のようにして各サブネットワーク１，
２の各ノードｘ_i ⁽¹⁾ ，ｘ_i ⁽²⁾ に初期値を設定する
と、各ノードｘ_i ⁽¹⁾ ，ｘ_i ⁽²⁾ は次の式に示すように
状態変化する。

【００３５】

【数３】

【００３６】一方、前記（４）式の右辺第３項は、
（２）式，（３）式の制約条件からの違反量を表してお
り、ノードｘ_i ⁽¹⁾ は当該違反量を減少させる方向に状
態変化する。

【００３７】このとき、相互結合部１１においては、前
記（１０）式，（１１）式に基づいてサブネットワーク
１，２間の相互作用を計算する。つまり、相互結合部１
１は各サブネットワーク１，２の各ノードｘ_i ⁽¹⁾ ，ｘ
_i ⁽²⁾ の状態変化を取り込んで（１０）式，（１１）式
に基づいて相互作用値を求めた後、前記（４）式の右辺
第４項の相互作用項Ｇ⁽¹⁾ （ｘ_i ⁽¹⁾ ，ｘ_i ⁽²⁾ ）に反
映することにより、ノードｘ_i ⁽¹⁾ に対し、両サブネッ
トワーク１，２のノードｘ_i ⁽¹⁾ とノードｘ_i ⁽²⁾ の平
均値に近づくような動作を行う。（５）式についても、
（４）式と同様である。

【００３８】以上のようにして各ノードｘ_i ⁽¹⁾ ，ｘ_i
⁽²⁾ の出力は、上式に基づいて状態変化を繰り返すこと
により、サブネットワーク１，２は、制約条件を満た
し、かつ、総発電コストが極小となる状態に到達する。

【００３９】このとき、多数のノードｘ_i ⁽¹⁾ ，ｘ_i
⁽²⁾ のうち、最も極小値を示すノードの出力がＥＬＤ問
題の最適解となる。従って、従来のニューラルネットワ
ークの場合には、ニューラルネットワークを構成するノ
ードの数やノード間の結合強度を変えて最適化問題を実
現しようとしたが、この場合には局所最適解に到達でき
るものの、この局所最適解に陥ったときには、その局所
最適解から脱出して大域的な最適解に到達するのが難し
かった。

【００４０】これに対し、本実施例に示すような構成に
よれば、両サブネットワーク１，２間に相互結合部１１
を介挿し、（１０）式および（１１）式に従って相互作
用を求め、得られた相互作用を（４）式および（５）式
に及ぼすようにしたので、局所的な最適解を脱出して迅
速に大域的な最適解に到達することが容易になる。

【００４１】なお、上記実施例は、２つのサブネットワ
ーク１，２を相互結合するようにしたが、２つ以上のサ
ブネットワークを結合し、大域的な最適解を探索するこ
とも可能である。

【００４２】（実施例２）図３は請求項１に係わるもう
一つの実施例を示す構成図である。この実施例は、実施
例１（図１，図２参照）と同様に２つのサブネットワー
ク１，２からなり、これらネットワーク１，２にはそれ
ぞれ多数のノードをもつ変数用ニューロン部１Ａ，２Ａ
および複数のノードをもつ制約用ニューロン部１Ｂ，２
Ｂが設けられ、そのうち各変数用ニューロン部１Ａ，２
Ａの各ノード間はそれぞれ相互結合部１１によって相互
結合されている。

【００４３】このサブネットワーク１，２は、Ｎ都市巡
回セールスマン問題（ＴＳＰ）に関し、多数のノードを
用いて下記（１２）式〜（１６）式を解明するようにネ
ットワーク化した構成である。

【００４４】すなわち、このＮ都市巡回セールスマン問
題は、サブネットワーク１について定式化を行うと、以
下のような式で表現することができる。 （目的関数）

【００４５】

【数４】

【００４６】上式においてｄ_XY：ＸＹ都市（２つのノー
ド）間の距離、Ｖ_xi ¹ ：サブネットワーク１の各ノード
の出力である。 （制約条件） ＊ 各都市を一度だけしか訪問できない制約

【００４７】

【数５】 ＊ 同時に１つの都市しか訪問できない制約

【００４８】

【数６】

【００４９】ゆえに、前記目的関数は、縦横がそれぞれ
Ｎ個とするとＮ² 個のノードからなる変数用ニューロン
部となり、一方、制約条件は４Ｎ個のノードをもつ制約
用ニューロン部となる。

【００５０】なお、前記（１２）式〜（１６）式は、サ
ブネットワーク１について述べたものであるが、サブネ
ットワーク２についても同様である。このサブネットワ
ーク２の各ノード出力はＶ_xi ² に置き換えるものとす
る。

【００５１】前記相互結合部１１は、サブネットワーク
１の変数用ニューロン部１Ａにおけるノードの内部電位
ｕ_xi ¹ とサブネットワーク２の変数用ニューロン部２Ａ
のノード（以下、変数用ニューロン部１Ａ，２Ａのノー
ドを変数用ノードと呼ぶ）の内部電位ｕ_xi ² との相互作
用を計算し、得られた相互作用値を各変数用ノードに入
力する。

【００５２】前記初期値設定部１２は、サブネットワー
ク１，２の変数用ノードの内部電位の初期値を、各サブ
ネットワーク１，２ごとに異なるように設定する。次
に、以上のように構成された実施例２の動作について説
明する。

【００５３】装置の動作準備後、入力機器１６から初期
値設定指示を出し、図示されていないメモリから、或い
は初期値設定部１２からマンマシンインタフェース１９
を介してサブネットワーク１，２の変数用ノードの内部
電位ｕ_xi ¹ ，ｕ_xi ² の初期値をそれぞれ設定する。そう
すると、各変数用ノードは以下の式により状態変化す
る。

【００５４】

【数７】

【００５５】その結果、各サブネットワーク１，２は、
各々の目的関数の極小値方向に向ってノード内部電位が
変化するが、これら変化したノードの内部電位が相互結
合部１１に導入され、ここで前記（１９）式，（２０）
式の演算を行って前記（１７）式，（１８）式に影響を
及ぼし、より目的関数の値の低い方向に状態変化する。
そして、サブネットワーク１，２は、制約条件を満た
し、かつ、目的関数が最も極小となる状態，つまり大域
的な最適解に容易に到達することができる。このとき、
各ノードの出力関数の値Ｖ_xi ¹ が巡回セールスマン問題
の解となる。

【００５６】従って、以上のような実施例２の構成によ
れば、実施例１と同様な効果を有する。つまり、従来の
ニューラルネットワークでは、局所的な最適解を脱出し
て大域的な最適解に到達することが困難であったが、本
実施例では、サブネットワーク１，２間の相互作用によ
り、局所的最適解の脱出が可能となり、これにより大域
的最適解に到達することが非常に容易になる。

【００５７】なお、本実施例では、２つのサブネットワ
ーク１，２を相互結合する構成としたが、例えば２つ以
上のサブネットワーク１，２を相互結合し、大域的な最
適解を探索することも可能である。このとき、ｋ番目の
サブネットワークに働く相互作用は、

【００５８】

【数８】 となり、より効率のよい探索結果が得られる。

【００５９】（実施例３）図４および図５は請求項２に
係わる発明の一実施例を示す図である。図４は本発明装
置の概略構成図、図５はニューラルネットワークに着目
した構成図である。

【００６０】この実施例は、実施例２に示すニューラル
ネットワークの構成を前提とし、サブネットワーク１の
変数用ノードと複数のサブネットワーク２ａ，２ｂの各
変数用ノードとをそれぞれ相互結合部１１ａ，１１ｂに
より個別に相互結合してなる構成である。

【００６１】このサブネットワーク１は、各変数用ノー
ド間結合を非対称性とするとともに、変数用ノードに自
己結合を導入することにより、振動解を発生する構成と
する。

【００６２】なお、各変数用ノード間の結合を非対称性
とする場合、外部の入力機器１６を含むデータ処理部１
８または予め非対称性設定部（図示せず）から各ノード
の入側方向と出側方向の重みづけ等を変えることによ
り、予め非対称の強さを設定する。また、予め設計段階
で非対称性の強さを設定してもよい。また、変数用ノー
ドの自己結合の強さは、予めノード自体の内部パラメー
タの値を可変することにより実現する構成でもよい。こ
の非対称性および自己結合は、サブネットワーク１にお
ける各ノード間の距離（ＸＹ都市間の距離）をもって表
すと、次のようになる。

【００６３】

【数９】

【００６４】但し、δは非対称の強さ、εは自己結合の
強さである。従って、前記（２２）式のような各ノード
間の距離を導入すると、目的関数は、

【００６５】

【数１０】 となる。

【００６６】前記サブネットワーク２ａ，２ｂは、実施
例２の各サブネットワークと同様な構成となっている。
相互結合部１１ａ，１１ｂは、サブネットワーク１の各
ノードとサブネットワーク２ａの各ノードとの間、サブ
ネットワーク１の各ノードとサブネットワーク２ｂの各
ノードとの間に設けられ、実施例２で述べた（１９）
式，（２０）式と同様の要領で相互作用を計算し、各変
数用ノードに入力する。すなわち、

【００６７】

【数１１】 となる。

【００６８】次に、実施例３の動作について説明する。
入力機器１６からの動作開始指示により、データ処理部
１８ではメモリからデータを取り出し、サブネットワー
ク１，２ａ，２ｂおよび相互結合部１１ａ，１１ｂに必
要なデータを設定する。このデータには必要に応じてノ
ード間の非対称性の強さや自己結合の強さを定めるデー
タを含むものとする。

【００６９】以上のようにして動作準備が完了すると、
入力機器１６から初期値設定指示を出し、図示されてい
ないメモリから、或いは初期値設定部１２からマンマシ
ンインタフェース１９を介してサブネットワーク１，２
ａ，２ｂの各ノードに初期値を設定する。

【００７０】この初期値の設定により、各サブネットワ
ーク１，２ａ，２ｂの各ノードが実施例２と同様に状態
変化するが、このときサブネットワーク１においては、
ノード間の非対称結合および自己結合により、振動解を
発生する状態となっているので、極小値の状態が不安定
となり、周期的な振動やカオス状態を示す。

【００７１】一方、サブネットワーク２ａ，２ｂは、振
動状態を示す状態となっていないが、これらサブネット
ワーク２ａ，２ｂとサブネットワーク１とが相互結合部
１１ａ，１１ｂで相互結合されているので、サブネット
ワーク１からの振動状態がサブネットワーク２ａ，２ｂ
に相互作用として影響を与える。サブネットワーク２ａ
に対する相互作用は（２４）式に示す通りとなり、一
方、サブネットワーク２ｂに対する相互作用は（２５）
式に示す通りとなる。

【００７２】その結果、これらサブネットワーク２ａ，
２ｂは、振動解を発生するサブネットワーク１の相互作
用を受けて、局所安定状態への収束が妨げられ、より目
的関数の値の低い状態に向っていく。そして、これらサ
ブネットワーク２ａ，２ｂは、制約条件を満たし、か
つ、目的関数が極小となる状態に到達する。つまり、大
域的最適解に到達する。

【００７３】従って、この実施例の構成によれば、カオ
スニューラルネットワークとしての役割を果たすサブネ
ットワーク１による大域的な最適解の探索機能とサブネ
ットワーク２ａ，２ｂによる局所的な解の探索機能とが
相互結合部１１ａ，１１ｂを介して相互に影響を及ぼし
合い、しかも各サブネットワーク２ａ，２ｂではカオス
ニューラルネットワークとしての役割を果たすサブネッ
トワーク１の相互作用を受けることにより、局所安定状
態への収束が妨げられ、より目的関数の値の低い大域的
な最適解に迅速に到達する。

【００７４】（実施例４）図６は請求項３に係わる発明
の一実施例を示す構成図である。この実施例は、サブネ
ットワーク１、サブネットワーク２およびサブネットワ
ーク３がそれぞれ実施例３の図５に示すサブネットワー
ク１と同様に振動解を発生するネットワークによって構
成されている。つまり、各サブネットワーク１，２，３
を構成する各ノード間を非対称接続とし、かつ、各ノー
ドに自己結合を持たせるとともに、各サブネットワーク
１，２，３ごとに非対称性の強さδおよび自己結合の強
さεを異にするように設定する。

【００７５】また、各サブネットワーク１，２，３相互
の各ノード間にはそれぞれ相互結合部１１が接続されて
いる。これら相互結合部１１は、以下の式に示すような
相互作用を計算し、その計算結果を各サブネットワーク
１，２，３の各ノードに入力する構成となっている。

【００７６】

【数１２】

【００７７】次に、以上のような実施例の動作について
説明する。入力機器１６からの動作開始指示により、デ
ータ処理部１８ではメモリからデータを取り出し、サブ
ネットワーク１，２，３および相互結合部１１に必要な
データを設定する。このデータにはノード間の非対称性
の強さや自己結合の強さを定めるデータを含むものとす
る。

【００７８】以上のようにして動作準備が完了すると、
入力機器１６から初期値設定指示を出し、図示されてい
ないメモリから、或いは初期値設定部１２からマンマシ
ンインタフェース１９を介して各サブネットワーク１，
２，３の各ノードに初期値を設定する。

【００７９】この初期値の設定後、各サブネットワーク
１，２，３の各ノード出力は状態変化するが、このと
き、各ノード間が非対称結合、かつ、自己結合となって
いるので、振動解を発生し、極小値の状態が不安定とな
り、周期的な振動やカオス状態を示している。しかも、
各サブネットワーク１，２，３の非対称の強さおよび自
己結合の強さはそれぞれ異なっているので、異なる振動
モードで状態変化しようとする。

【００８０】一方、各サブネットワーク１，２，３相互
のノードは互いに相互結合部１１で接続され、前記（２
６）式，（２７）式および（２８）式により相互作用を
計算し、各サブネットワーク１，２，３に互いに相互作
用を及ぼすことにより、不安定な局所的最適解を容易に
移動し、より安定で平衡状態を維持する極小状態に移動
する。

【００８１】そして、相互結合部１１による相互作用に
より、何れかのサブネットワーク例えば１のノートが大
域的最適解に接近すると、当該最適解に強く引き込ま
れ、これに伴って順次全てのサブネットワーク２，３も
引き込まれる。

【００８２】このようにして全てのサブネットワーク
１，２，３が制約条件を満たし、かつ、目的関数が最も
極小となる状態である大域的最適解に到達する。従っ
て、この実施例の構成によれば、異なる振動モードをも
った各サブネットワーク１，２，３間の引き込み作用を
通じて、より目的関数が小さくなる最適解を探索し、最
も極小状態である大域的最適解を迅速に求めることがで
きる。

【００８３】（実施例５）図７は請求項４に係わる発明
の一実施例を示す構成図である。この実施例は、それぞ
れ非対称性の強さδおよび自己結合の強さεを異にする
３つのサブネットワーク１，２，３と、初期値の設定後
に状態変化する各サブネットワーク１，２，３の出力か
らそれぞれ目的関数値を求めた後、これら目的関数値ま
たは目的関数値に相当する評価値を出力する目的関数値
算出部２１と、この目的関数値評価部２１から送られて
くる各サブネットワーク１，２，３対応の目的関数値ま
たは評価結果に基づいて各サブネットワークの各ノード
の非対称性の強さδおよび自己結合の強さεを修正し、
各サブネットワーク１，２，３の目的関数が最も極小と
なるように調整する結合調整部２２とによって構成され
ている。

【００８４】次に、以上のように構成された実施例の動
作について説明する。初期値設定部１２から各サブネッ
トワーク１，２，３の各ノードに初期値を設定すると、
各サブネットワーク１，２，３では非対称性の強さδお
よび自己結合の強さεをそれぞれ異にしているので、各
サブネットワーク１，２，３のノードは実施例４と同様
に異なる振動モードで状態変化する。

【００８５】ここで、目的関数値評価部２１は、各サブ
ネットワーク１，２，３の出力を取り込んでそれぞれ目
的関数値を求めた後、これら目的関数値または評価用参
照データに従って当該目的関数値を評価値に変換し、結
合調整部２２に送出する。この結合調整部２２では、例
えば次のようにな手順に従って各サブネットワーク１，
２，３の非対称性の強さδおよび自己結合の強さεを修
正する。いま、サブネットワーク１の非対称性の強さδ
１，自己結合の強さε１のとき、 目的関数値ｆ１ サブネットワーク２の非対称性の強さδ２，自己結合の
強さε２のとき、 目的関数値ｆ２ サブネットワーク３の非対称性の強さδ３，自己結合の
強さε３のとき、目的関数値ｆ３とする。

【００８６】そこで、目的関数値評価部２１では、目的
関数値ｆ１，ｆ２，ｆ３を算出し、これら相互の値がｆ
１＜ｆ２＜ｆ３の関係になったものとする。そこで、結
合調整部２２においては、前記目的関数値ｆ１，ｆ２，
ｆ３のうち最も望ましい，すなわち最も目的関数値の低
い目的関数値ｆ１を有するサブネットワーク１に非対称
性の強さδおよび自己結合の強さεが近ずくように、サ
ブネットワーク２，３の非対称性の強さδ２，δ３およ
び自己結合の強さε２，ε３を調整する。この結合調整
部２２では、各サブネットワーク１，２，３の結合パラ
メータ値に対してノイズを加えることにより、さらに目
的関数値が低くなるように結合パラメータ値を探索す
る。以下に示す式は、ノイズσを加えたときのサブネッ
トワーク１，２，３の非対称性の強さδおよび自己結合
の強さεを表している。

【００８７】

【数１３】

【００８８】但し、上式においてｋ：０＜ｋ＜１の定
数、σ：平均０，分散σ時のガウシアンホワイトノイズ
である。そして、以上のようにして目的関数値が最も低
くなる結合パラメータ値を探索する。その結果、当該結
合パラメータ値によって最適解を探索でき、ひいては目
的関数の最も極小な値となる大域的な最適解を得ること
ができる。

【００８９】従って、以上のような実施例の構成によれ
ば、それぞれ非対称性の強さδおよび自己結合の強さε
を異にする複数の振動ニューラルネットワーク１〜３を
それぞれ振動モードで並列的に動作させつつ、それら振
動ニューラルネットワーク１〜３の目的関数値が最も最
小となる結合パラメータ付近を探索することにより、振
動ニューラルネットワーク１〜３の解の探索範囲を調整
しながら大域的な最適解を探索することができる。

【００９０】なお、上記実施例４は複数の振動ニューラ
ルネットワーク１〜３および相互結合部１１…を有する
構成であり、一方、実施例５は相互結合部１１…を持た
ずに結合調整部２２にて非対称性の強さδおよび自己結
合の強さεを調整する構成であるが、これら実施例４お
よび実施例５を組合わせることにより、サブネットワー
ク間の引き込み作用と、サブネットワークの結合パラメ
ータの調整とを同時に実行し、さらに効率よく大域的な
最適解を探索することも可能である。

【００９１】

【発明の効果】以上説明したように本発明によれば、次
のような種々の効果を奏する。請求項１の発明は、複数
のニューラルネットワークにそれぞれ異なる初期値を設
定するとともに、これらニューラルネットワーク間を相
互結合することにより、異なった初期状態から局所最適
解を探索するが、その局所最適解を脱出してより極小な
最適解を探索できる。

【００９２】請求項２の発明では、振動ニューラルネッ
トワークと複数の非振動ニューラルネットワークとをそ
れぞれ相互結合することにより、振動ニューラルネット
ワークによる大域的な解の探索と、非振動ニューラルネ
ットワークによる局所的な解の探索とが互いに相互作用
を及ぼし合いながら並列実行することにより、各ニュー
ラルネットワークが局所最適解に捕らわれず、より極小
となる大域的な最適解を迅速に到達できる。

【００９３】次に、請求項３の発明では、複数の振動ニ
ューラルネットワークを相互に結合することにより、各
振動ニューラルネットワーク相互間の引き込みが生じ、
不安定な極小状態を移動し、大域的な最適解に接近した
ときに相互に強く引き込まれ、最も極小値となる大域的
な最適解に迅速に到達できる。

【００９４】さらに、請求項４に対応する発明は、各振
動ニューラルネットワークの振動モードを自動調整する
ことにより、振動ニューラルネットワークの解の探索範
囲を調整しながら最も極小値となる大域的な最適解に迅
速に到達できる。

【図面の簡単な説明】

【図１】請求項１に係わる発明の一実施例を示す概略構
成図。

【図２】請求項１に係わる発明の一実施例の構成のう
ち、専らニューラルネットワークを詳細に示す図。

【図３】請求項１に係わる発明の他の実施例の構成のう
ち、専らニューラルネットワークを詳細に示す図。

【図４】請求項２に係わる発明の一実施例を示す概略構
成図。

【図５】請求項２に係わる発明の一実施例の構成のう
ち、専らニューラルネットワークを詳細に示す図。

【図６】請求項３に係わる発明の一実施例を示す構成
図。

【図７】請求項４に係わる発明の一実施例を示す構成
図。

【図８】局所最適解と大域的最適解とを違いを説明する
図。

【符号の説明】

１〜３…サブネットワーク、１Ａ，２Ａ…変数用ノー
ド、１Ｂ，２Ｂ…制約用ノード、１１…相互結合部、１
２…初期値設定部、２１…目的関数値算出部、２２…結
合調整部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｇ 7/60

Claims (4)

【特許請求の範囲】
1. 【請求項１】 多数の解集合の中から最適解を探索する
   最適化装置において、 複数のノードを用いて解集合の要素を表現する複数のニ
   ューラルネットワークと、 これらのニューラルネットワークにそれぞれ異なる初期
   値を設定する初期値設定手段と、 前記各ニューラルネットワーク間に設けられ、前記初期
   値設定手段から設定される初期値によって生ずる前記各
   ニューラルネットワークの状態変化に伴う相互作用を演
   算し、この演算結果を該当するニューラルネットワーク
   に作用し、各ニューラルネットワークの出力を極小状態
   に導く相互結合手段と、 を備えたことを特徴とする最適化装置。
2. 【請求項２】 多数の解集合の中から最適解を探索する
   最適化装置において、 複数のノードを用いて解集合の要素を表現するととも
   に、各ノード間の結合を非対称とし、かつ、各ノードに
   自己結合を持たせることにより、振動解を発生する振動
   ニューラルネットワークと、 複数のノードを用いて解集合の要素を表現する複数のニ
   ューラルネットワークと、 この複数のニューラルネットワークおよび前記振動ニュ
   ーラルネットワークにそれぞれ初期値を設定する初期値
   設定手段と、 前記振動ニューラルネットワークと複数のニューラルネ
   ットワークとの間にそれぞれ設けられ、前記初期値設定
   手段から設定される初期値によって生ずるニューラルネ
   ットワークの状態変化に伴う相互作用を演算し、この演
   算結果を該当するニューラルネットワークに作用し、各
   ニューラルネットワークの出力を極小状態に導く相互結
   合手段と、 を備えたことを特徴とする最適化装置。
3. 【請求項３】 多数の解集合の中から最適解を探索する
   最適化装置において、 複数のノードを用いて解集合の要素を表現するととも
   に、各ノード間の結合を非対称とし、かつ、各ノードに
   自己結合を持たせることにより、振動解を発生する複数
   の振動ニューラルネットワークと、 これらの振動ニューラルネットワークにそれぞれ初期値
   を設定する初期値設定手段と、 前記各振動ニューラルネットワーク間にそれぞれ設けら
   れ、前記初期値設定手段から設定される初期値によって
   生ずる前記各振動ニューラルネットワークの状態変化に
   伴う相互作用を演算し、この演算結果を該当する振動ニ
   ューラルネットワークに作用し、各振動ニューラルネッ
   トワークの出力を極小状態に導く相互結合手段と、 を備えたことを特徴とする最適化装置。
4. 【請求項４】 多数の解集合の中から最適解を探索する
   最適化装置において、 複数のノードを用いて解集合の要素を表現するととも
   に、各ノード間の結合を非対称とし、かつ、各ノードに
   自己結合を持たせることにより、振動解を発生する複数
   の振動ニューラルネットワークと、 これらの振動ニューラルネットワークにそれぞれ初期値
   を設定する初期値設定手段と、 この初期値設定手段から設定される初期値によって生ず
   る前記各振動ニューラルネットワークの状態変化を取り
   出して目的関数値を求める目的関数値算出手段と、 この目的関数値算出手段によって得られる目的関数値に
   基づいて対応する各振動ニューラルネットワークの非対
   称性の強さおよび自己結合の強さを調整する結合調整手
   段と、 を備えたことを特徴とする最適化装置。