JPH04195246A - 最適化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】 本発明は巡回セールスマン問題等の最適化問題を解くた
めに使われる最適化装置に関する。 〔従来の技術〕 最適化問題としてＧ１　　組み合わせ対象としてＬＳＩ
内のモジュールの配置を総配線長などを考慮して最適化
する問題や、複数のプロセッサ上に相互交信のあるプロ
セスを割り当てる問題がある。 さらに、最適化問題は、画像処理の分野では画像復元　
エツジ抽出、２値化等への応用が考えられ、グラフ理論
と関連した多くの問題にも応用可能である。 このような最適化問題の求解に適した装置の従来例とし
ては、相互結合型ニューラルネットワークのエネルギ関
数が状態遷移とともに減少するという性質を利用して、
エネルギ関数の最小点を問題の最適解として対応づける
ことにより、最適化問題を解く装置が考えられている。 しかしながら、エネルギ関数は多くの極小点を持つため
、真の最適解への収束が困難であった。そこで、確率的
に状態遷移が行なわれるようなモデルが提案さ瓢アニー
リングの手法を用い、最適解への収束性能を向上させる
ことも考えられている。しかし、このような手法を用い
ても、最適解を得るには膨大な時間がかかってしまう欠
点があった。 【発明が解決しようとする課題〕 このように従来の最適化装置は最適化問題の最適解を高
速に、しかも高精度に求めることは非常に困難であった
。 本発明は上述した事情に対処すべきなされたもので、そ
の目的は、ニューラルネットワークの自己組織化機能を
用いて、最適化問題の最適解を高速に、しかも高精度に
求めることができる最適化装置を提供することである。 〔課題を解決するための手段〕 本発明は上記問題点を解決するために、複数のユニット
からなりデータが入力される入力層と、この入力層の個
々のユニットとある結合強度で接続された複数のユニッ
トからなる出力層とを有する階層型のニューラルネット
ワークを用いて最適化装置を構成している。 この最適化装置は、出力層の各ユニット毎に入力データ
と当該ユニットの結合強度との類似度を演算するととも
に、求解しようとする最適化問題を出力層における発火
ユニットの位置に対応づけることにより評価関数値を演
算する手段と、この演算手段の出力に基づいて出力層の
各ユニット毎に最適合ユニットであるか否かのチエツク
を行い、最適合ユニットを検出する手段と、この検出手
段で検出された最適合ユニットに関連する出力層の一部
のユニット群の結合強度を変化させる手段とを具備する
。ここで、評価関数に入力データと結合強度との類似度
が加算された値に基づいて評価されているので、評価関
数の極小点、極大点ではなく最小点、最大点が検出でき
る。この結合強度の変化、すなわちニューラルネットワ
ークの自己組織化により、出力層における発火ユニット
位置が求解しようとする最適化問題の構造に従って変化
する。この変化は最適化問題の評価関数値を最小イヒ　
または最大化する方向に起こるため、これにより、最適
化問題の求解が可能となる。 第１図は本発明の概念図である。入力層は入力データと
同数の（ここでは３つの）ユニット（図示○）からなる
、出力層は多数のユニット（図示○、・）が２次元的に
広がりを持つように配置されてなる。入力層の各ユニッ
トは出力層の各ユニットとある結合強度により接続され
ている。出力層のユニットの配置形状は求解しようとす
る最適化問題により種々変形される。すなわち、第１図
では出力層は２次元平面状に配置されたユニット群によ
り構成されているが、これ以外にも、例えば、　１次元
のライン状、またはリング状に配置されたユニット群、
　３次元のキューブ状に配置されたユニット群により構
成することも考えられる。 第１図において、出力層の行方向、列方向にそれぞれ求
解しようとする最適化問題の評価関数を対応づける１例
えば、最適化問題の中でも求解が困難とされるＮＰ完全
問題の１つである巡回セールスマン問題（ｒｎ節点（都
市）を持つネットワークにおいて、節点ｉから節点ｊへ
の距離をｄ、Ｊとするとき、全ての節点を１度づつ経由
する巡回路のうち、最短のものを見出せＪという問題）
で考えると、行方向に節点のナンバー、列方向にその節
点の巡回順序を定義した場合、第１図において・が発火
ユニットとすると、各節点の訪問順序はＮ２→Ｎ、→Ｎ
！→Ｎ４→Ｎ、となる。 本発明は出力層における発火ユニット位置を最適化問題
の評価関数の最小化方向、または最大化方向に変化させ
るべく、ニューラルネットの入出力層ユニット間の結合
強度を適応的に自己組織化させることを特徴とする。 〔作用〕 本発明による最適化装置によれば、ニューラルネットワ
ークの自己組織化機能を使うことにより、最適化問題の
評価関数を最小化、または最大化させることができ、そ
の結果、高速に、しかも高精度に最適化問題の最適解を
求めることができる。 〔実施例］ 以下、図面を参照して本発明による最適化装置の実施例
を説明する。第２図は第１実施例のブロック図である。 入力データ（ｘ）１は階層型のニューラルネットワーク
からなり本発明にかかる最適化装置２内の各二ニーロン
ユニット３に入力される、各二ニーロンユニット３は第
１図における出力層の各ユニットに対応しており、ベク
トル間距離演算回路４、シナプス結合強度Ｗを格納した
メモリ５と、最適化問題の評価関数演算回路６からなる
。メモリ５に格納されるシナプス結合強度Ｗは乱数発生
回路７から生成される微小な乱数により初期化される。 各二ニーロンユニット３に入力された入力データＸ　（
＝　ｘ　ｌ＋　　Ｘ　２１　　・・・ｘ、）はベクトル
間距離演算回路４に供給され、メモリ５から読み出され
たシナプス結合強度Ｗｊ　　（＝Ｗ、０．　　ＷＪ２．
　　・・・ＷＪ、）との類似度としての差分値り、＝Σ
（ｘ、−ｗ、、）”がｉ＝１ 計算される。ここで、ＷＪｌはｊ番目のニューロンユニ
ットからｉ番目の入力データに対するシナプス結合強度
、ｊはニューロンユニットナンバーである。また、評価
関数演算回路６では予め設定されている評価関数とメモ
リ９から読み出された最適合ニューロンユニットナンバ
ーとから、当該二ニーロンユニット３が発火ユニット、
つまり最適合ニューロンユニットであると仮定した時の
評価関数値Ｅを計算する。ここでの、評価関数は、差分
値は最適化状態では最小となるので、最適化状態で最小
値をとるような下に凸の関数とする。この関数の変数は
最適化問題の種類によって異なるが、巡回セールスマン
問題では都市名とその訪問順番である。 各二ニーロンユニット３で算出された差分値りと評価関
数Ｅとの和Ｄ＋Ｅは最小値検出回路８に入力され、Ｄ＋
Ｅが最小となるニューロンユニット３が選択される。こ
のため、評価関数の最小値が確実に検出できる０選択さ
れたニューロンユニットのナンバーは最適合ニューロン
ユニットナンバーとしてメモリ９に格納されるとともに
、シナプス結合強度演算回路１０にも供給される。シナ
プス結合強度演算回路１０は、供給された最適合ニュー
ロンユニットナンバーからその最適合ニューロンユニッ
トに関連する一群のニューロンユニット３のシナプス結
合強度Ｗ（ｔ＋１）を次式に従って計算し、当該二ニー
ロンユニット３のメモリ５内のシナプス結合強度Ｗを書
き換える。ここで、関連する二ニーロンユニットとは出
力層内で最適量ニューロンユニットの近傍のニューロン
ユニットである。 Ｗ（ｔ＋１）＝Ｗ（ｔ）＋α（Ｘ−Ｗ（ｔ））　　　−
（１）ここで、Ｗ　（ｔ）は書換え前のシナプス結合強
度、αは係数、Ｘは入力データである。 以上の動作を最適合ニューロンユニットの変動がなくな
るまで、すなわち、メモリ９に格納されるナンバーが、
ある繰り返し回数の間、変化しなくなるまで繰り返す、
この最適合ニューロンユニットの変動がなくなった状態
を収束状態とし、その時の出力データ、すなわち評価関
数演算回路６の出力の最小値を最適化問題の最適解とし
て出力する。同時に、その最小値の演算に使われた評価
関数の変数値も出力する。 このように第１実施例によれば、結合強度を更新するニ
ューラルネットワークの自己組織化機能を用いることに
より、最適化問題と発火ニューロンユニットとの相互関
係を表わす評価関数の最小値を求めることができ、その
結果、高精度で、かつ高速に最適解を求めることができ
る。 第３図は第２実施例のブロック図である。第１実施例は
ベクトル間距離演算回路４により入力データとシナプス
結合強度Ｗとの類似度として、差分値を計算していたの
に対し、第２実施例では、相関演算回路１１により入力
データとシナプス結合強度Ｗとの相関値Ｓ、＝Σ（ＸＩ
ＸＷＪＩ）／評１ （Ｆ丁７７ＸＱ）が類似度として計算される。相関値は
、最適化状態では最大値となるので、第２実施例の評価
関数は、第１実施例とは異なり、最適化状態で最大値を
とるように上に凸な関数とされ、評価関数演算回路６で
はこのような評価関数から評価関数値Ｅ′　を計算する
。 各二ニーロンユニット３で算出された相関値Ｓと評価関
数値Ｅ°との和Ｓ＋Ｅ゛は最大値検出回路１２に入力さ
れ、Ｓ＋Ｅ″が最大となるニューロンユニット３が選択
される。相関値を用いることにより、演算量は若干増え
るが、より正確な最適合ニューロンユニットの検出が可
能となる。 第４図に本発明を巡回セールスマン問題に適用した例を
示す、第１図とは異なり、出力層としては１次元のリン
グ状に配置されたユニット群を用いた。入力層には、都
市の座標（ｘ、　　ｙ）が入力される２つユニットを用
い、出力層は３０ユニツトとし、　１０都市を巡回する
最短距離を求めた。 巡回順序はリング上に並んだ各都市座標に対応する発火
ユニット、つまり最適合ニューロンユニットの順とする
。 比較として、巡回順路総数約１８万通りを全探索するア
ルゴリズムを用い、スーパーコンピュータ（ＦＡＣＯＭ
　ＶＰ−５０）上で実行サセタトコロ、約４０ＣＰＵ秒
かかった０本発明によれば、平均０．　３ＣＰＵ秒で最
適解に収束した。この差は巡回する都市数が増えれば増
える程、大きくなり、通常１５都市程度を越えると、全
探索アルゴリズムでは実用的に処理し得る演算量ではな
くなる。具体的には、ｖｐ−ｓｏでも数カ月間かかつて
しまう０本発明によれ＆Ｌ　これでも、数秒足らずで最
適解が求められる。 〔発明の効果］ 以上説明したように本発明によれば、従来膨大な時間を
費やしていた最適化問題の求解をニューラルネットの自
己組織化機能を利用することで、高速に、かつ効率よく
行なうことが可能な最適化装置を提供できる。そして、
ニューラルネットワークの並列処理性を利用すれば、さ
らなる高速化が可能である。

【図面の簡単な説明】

第１図は本発明による最適化装置の概略を示す図、第２
図は本発明による最適化装置の第１実施例のブロック図
、第３図は本発明の第２実施例のブロック図、第４図は
本発明を巡回セールスマン問題に適応した場合の概略を
示す図である。 １・・・入力データ、２・・・最適化袋Ｌ　３・・・二
ニーロンユニット、４・・・ベクトル間距離演算回路、
５・・・メモリ、６・・・評価関数演算回路、　７・・
・乱数発生回路、　８・・・最小値検出回路、　９・・
・メモリ、　１０・・・シナプス結合強度演算回路、　
１１・・・相関演算回路、１２・・・最大値検出回路。 出願人代理人　　弁理士　坪井淳 □列２ｒ藺０ｙ間用夷午１−ｎ） 第１図 第２図 第３図 第４図

Claims (1)

【特許請求の範囲】
1. 複数のユニットからなりデータが入力される入力層と、
   前記入力層の各ユニットとある結合強度により接続され
   る複数のユニットからなる出力層とを有するニューラル
   ネットワークを用いた最適化装置において、出力層の各
   ユニット毎に入力データと当該ユニットの結合強度との
   間の類似度と与えられた最適化問題の評価関数値との和
   を演算する手段と、前記演算手段の出力に基づいて最適
   合ユニットを検出する手段と、前記検出手段で検出され
   た最適合ユニットに関連する出力層の一部のユニット群
   の結合強度を変化させる手段とを具備することを特徴と
   する最適化装置。