JPH04319784A - 組合わせ最適解を求める方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データ処理装置及び方
法に関し、特に組合わせ最適化問題を求めるのに好適な
ニューラルネットに関する。

【０００２】

【従来の技術】ニューラルネットは、人間の脳をモデル
化したもので、入力があるしきい値に達するまでは不活
性状態で、しきい値を越えると活性化するという２つの
状態を取るニューロンを多数個接続して、現状のコンピ
ュータが不得意とする組み合わせ最適化問題や認識処理
を行なおうとするものである。

【０００３】ホップフィールド氏が提案したホップフィ
ールド型ニューラルネットは組合わせ最適化問題を解く
のに適しているが、組合わせ最適化問題とは、１と０と
いうようにとびとびの値しか取らないものをある条件を
最小（あるいは最大）にする組合わせを求めるものであ
る。従来この種の問題は問題の規模が大きくなると解く
のは極めて難しいとされていた。

【０００４】これに対して、米国特許第４６６０１６６
　号等において、ホップフィールド氏が組み合わせ問題
の中で最も解くのが難しいとされている巡回セールスマ
ン問題をニューラルネットにより高速かつ最適解に近い
解が求められることを示した。ここで巡回セールスマン
問題とは、各々の都市を一度だけ通るという制約のもと
で、ｎ都市を最小距離で巡回する経路を求めるもので、
ｎ都市に通してｎ！／２ｎ＝ｎ（ｎ−１）…２．１／２
ｎ　組の組合わせがあり、ｎの数が大きくなると爆発的
に組み合わせの数が増えるため、最適解を求めるのが極
めて難しくなる。

【０００５】ホップフィールド氏は、ｎ都市の各々にｎ
個のニューロンを対応させ（従って全体でｎ２　個のニ
ューロンを用いる）、各都市のｉ番目のニューロンが活
性化したときに、ｉ番目にその都市を訪れるという意味
を持たせた。また各ニューロンの間の結合は、各都市を
一度だけ通るという制約条件と距離の最小化条件によっ
て決め、これらの条件の重み付き和をエネルギーと定義
して、ニューロンの動作を、このエネルギーが時間の経
過とともに小さくなるようにモデル化した。これにより
各ニューロンに活性状態（１）と不活性状態（０）の間
の適当な値を設定すると、時間とともにエネルギーが減
少して、局所的にエネルギーが最小となるところで停る
ことになりｎ２　個のニューロンのうちｎ個が活性化し
て、制約条件を満たし距離が最小値に近い解を求めるこ
とができるものである。

【０００６】ここでエネルギー関数を用いて上記内容を
説明する。

【０００７】数２の線形制約のもとで数１の評価関数を
最小化することを考える。

【０００８】

【数１】

【０００９】

【数２】

【００１０】これによりエネルギー関数Ｅを次のように
定義する。

【００１１】

【数３】

【００１２】但しＡ，Ｂは重みでＥ２　は等号制約数２
に対応し、次式の様に数２の二乗を２で割り定数項を除
いたものである。

【００１３】

【数４】

【００１４】但し、

【００１５】

【数５】

【００１６】ここで、

【００１７】

【数６】

【００１８】

【数７】

【００１９】とすると、数３のＥは次のようになる。

【００２０】

【数８】

【００２１】従ってエネルギーＥに対するホップフィー
ルドモデルは、内部状態ベクトルｕを導入し、さらに変
数ｘｉ　の領域を〔０，１〕とすることにより次のよう
になる。

【００２２】

【数９】

【００２３】

【数１０】

【００２４】このとき容易にｄＥ／ｄｔ≦０が成立する
ことが分かる。従って数９，数１０を任意の初期値で積
分してエネルギーＥが極小化するという意味での極小解
を得ることができる。

【００２５】ここでニューロンとの対応は以下のとおり
である。ｎ個のニューロンのうち、ｉ番目のニューロン
の出力はｘｉ　で、入力は定数入力がｂｉ　，ｊ番目か
らの入力がＴｉｊｘｊ　、また自分の出力の自分への入
力はＴｉｉｘｉ　である。従ってＴｉｊは、ｊ番目のニ
ューロンからｉ番目のニューロンへの入力の結合の強さ
を示しており、特にＴｉｉはｉ番目のニューロンの出力
の自分自身への入力の結合の強さを示している。

【００２６】

【発明が解決しようとする課題】しかしながら上記従来
技術を適用するとエネルギー関数をどのようにして決め
たらよいか、重みはどのように決めるか等の方策がない
ために試行錯誤で適用しているのが現状である。

【００２７】本発明の目的は、上記問題点を解決し、ど
のような問題に対しても、最小限あるいはそれに近い解
を高速に与えることのできるニューラルネットを用いた
データ処理装置及び方法を提供することにある。

【００２８】

【課題を解決するための手段】本発明は、（イ）エネル
ギー関数の表現，（ロ）重みの決定，（ハ）初期値の設
定，（ニ）計算の高速化、等に特徴を有するものであり
、これらの独立した手段，方法のみならず、種々な組合
わせにもそれぞれ特徴がある。

【００２９】以下、問題点を解決するためのもとになる
理論をまず説明しその後に各手段の一例を説明する。

【００３０】極小解 組み合わせ最適化問題を考えているため、数８のエネル
ギー関数はｎ次元超立方体の頂点のエネルギーが変わら
ない範囲で変えることができる。このため自乗の項を次
のように除く。

【００３１】

【数１１】

【００３２】このため以下ではＴｉｉは全て零と仮定す
る。

【００３３】もともとホップフィールドモデルでは数９
のｆ（ｕｉ）はシグモイド関数と仮定している。しかし
ながら以下の解析ではこの仮定は不要で０＜ｘｉ　＜１
の間でｆ（ｕｉ）が単調で１か０に飽和すればよく、例
えば図２の区分線形関数でもよい。

【００３４】ここで超立方体と超立方体の内部を次のよ
うに定義する。

【００３５】

【数１２】

【００３６】

【数１３】

【００３７】さらに頂点ｃ＝（ｃ１，…，ｃｎ）に対し
てｎ個の隣接した頂点ｃ（ｉ）＝（ｃ１，…，ｃｉ−１
，１−ｃｉ，ｃｉ＋１，…，ｃｎ）定義する。

【００３８】数９，数１０を積分して得られる解は、次
の数９，数１０の平衡点の中の安定平衡点である。

【００３９】（イ）　　頂点ｃ＝（ｃ１，…，ｃｎ），
ｃｉ＝１，０，ｉ＝１，…，ｎ； （ロ）　　Ｔｘ＋ｂ＝０の解 （ハ）　　（イ）と（ロ）の組合わせ 但し（ロ），（ハ）の平衡点は１≧ｘｉ≧０，ｉ＝１，
…ｎを満足する。

【００４０】（ハ）の平衡点はＨの表面上の点である。 以下では上記平衡点の安定性を解析する。

【００４１】頂点の安定性 頂点の安定性を解析するためにまず頂点ｃとｃ（ｉ）と
を結ぶ辺上の点の安定性を解析する。

【００４２】即ち、

【００４３】

【数１４】

【００４４】数１０，数１４より

【００４５】

【数１５】

【００４６】が成立する。但しＴｉ　はＴのｉ行目の行
ベクトルである。ここでＴｉｉ＝０であるから次式が成
立する。

【００４７】

【数１６】

【００４８】これは０＜α＜１に対してｕｉ　の速度が
一定であることを意味している。従って区分線形関数と
シグモイド関数の違いは前者はｘｉが０あるいは１に一
定の速度で動くのに対して後者の場合は０あるいは１に
近づくにつれ段々遅くなることである。数１６はまた超
平面Ｔｉｘ＋ｂｉ＝０がｘｉ　軸に平行であることを意
味している。

【００４９】次式が成り立つことは容易に分かる。

【００５０】

【数１７】

【００５１】但しＥｃ　は頂点ｃにおけるエネルギーＥ
でありｃ′は次式で与えられる。

【００５２】ｃ′＝（ｃ１，…，ｃｉ−１，１／２，ｃ
ｉ＋１，…，ｃｎ） 従って、 （ｉ）　　Ｅｃ　＝Ｅｃｉのとき数１５の右辺は全て０
となり数１４で与えられるｘは数９，数１０の平衡点と
なる。

【００５３】（ｉｉ）　　Ｅｃ　＜Ｅｃｉのときｘはｃ
の方へ動き、Ｅｃ　＞Ｅｃｉのときｘはｃ（ｉ）の方へ
動く。

【００５４】ここでＥｃ　＝Ｅｃｉのとき頂点ｃ，ｃ（
ｉ）を縮退していると呼ぶことにする。これは超平面Ｔ
ｉｘ＋ｂｉ＝０が頂点ｃ，ｃ（ｉ）を含むのと等価であ
る。したがってｃ（ｉ）をｃに隣接した頂点と呼ぶこと
にする。

【００５５】次に超立方体内部Ｈのｘの動きを調べるた
め超平面Ｔｉｘ＋ｂｉ＝０によりＨが次のように分割さ
れるとする。

【００５６】

【数１８】

【００５７】数９，数１０式よりｘ∈Ｄ＋（ｉ）に対し
ｘがＤ＋（ｉ）にいる限りはｘｉ　は常に単調減少しヽ
ｘ∈Ｄ−（ｉ）に対するｘがＤ（ｉ）にいる限りはｘｉ
　は常に単調増加し、ｘ∈Ｄ０（ｉ）のときはｘｉ　は
変わらない。 従ってもしＤ＋（ｉ）あるいはＤ−（ｉ）が空ならばｘ
ｉは０＜ｘｉ　＜１で増加あるいは減少するからｘｉ　
は０＜ｘｉ　＜１を満たすどのような初期値から出発し
ても同一の０あるいは１の値に収束する。そこで頂点ｃ
に対して領域Ｄｃ　を次のように定義する。

【００５８】

【数１９】

【００５９】但し

【００６０】

【数２０】

【００６１】定義によりｘ∈Ｄｃ　に対してもし頂点ｃ
，ｃ（ｉ）が縮退していなければｘが領域Ｄｃ　に留ま
るかぎりｘｉ　は単調に動く。ここで領域Ｄｃ　を次の
ように分類する。

【００６２】（ｉ）　　Ｅｃ　≦Ｅｃｉ（ｉ＝１，…，
ｎ）が少なくとも一つのｉについて不等号が成立すると
きｘがＤｃ　に留まるかぎり縮退していない頂点ｃ，ｃ
（ｉ）に対するｘｉ　は単調にｃｉ　に収束する。もし
全てのｉについて不等号が成立するとき頂点ｃを強安定
、Ｄｃ　を強収束領域と呼ぶことにし、そうでないとき
ｃを弱安定、Ｄｃ　を弱収束領域と呼ぶことにする。

【００６３】（ｉｉ）　　Ｅｃ≧Ｅｃｉ（ｉ＝１，…，
ｎ）のとき ｘがＤｃ　に留まるかぎり縮退していない頂点ｃ，ｃ（
ｉ）に対するｘｉ　は単調にｃｉ　から離れていく。そ
こで頂点ｃを不安定、Ｄｃ　を発散領域と呼ぶことにす
る。

【００６４】（ｉｉｉ）　Ｅｃ≧ＥｃｉおよびＥｃ≦Ｅ
ｃｉ（ｉ＝１，…，ｎ）でどちらの向きの不等号も少な
くとも一つは成立するとき ｘがＤｃ　に留まるかぎりＥｃ＜Ｅｃｉに対するｘｉ　
は単調にｃｉ　の方向に動き、Ｅｃ　＞Ｅｃｉに対する
ｘｉ　は単調にｃｉ　から離れていく。そこで頂点ｃを
鞍型、Ｄｃ　を通過領域と呼ぶことにする。

【００６５】以上の定義より次の性質が成立する。

【００６６】性質１　　頂点ｃを強安定とするｘ∈Ｄｃ
　となる任意のｘは単調にｃに収束する。

【００６７】証明　　Ｅｃ＜Ｅｃｉ及び数１７により、
頂点ｃはＴｉｘ＋ｂｉ＝０を満足しない。従ってｘ∈Ｄ
ｃ　に対してｘはｃに向かって修正される。超平面Ｔｉ
　ｘ＋ｂｉ　＝０（ｉ＝１，…，ｎ）は軸ｘｉ　に平行
であるから、この超平面は修正された方向にない。従っ
て修正されたｘはＤｃ　に留まりｘは単調にｃに収束す
る（証明完）。上記の性質はエネルギーのことなる２つ
の隣接した頂点はホップフィールドモデルの安定点には
ならないことを示している。

【００６８】次の性質は明らかである。

【００６９】性質２　　頂点ｃを弱安定とするとＥｃ＜
Ｅｃｉ　となるｘｉ，（ｘ∈Ｄｃ）についてｘがＤｃ　
に留まるかぎり単調にｃｉ　に収束する。

【００７０】もし頂点が弱安定とするとｘ∈Ｄｃ　がｃ
に収束する保証はない。さらに頂点が縮退しているとき
は行列Ｔの対角要素が０でも０と１の間に収束する可能
性がある。図３に

【００７１】

【数２１】

【００７２】で０＜ｂ＜１のときの軌跡を示す。頂点（
０，０），（１，０）は縮退しておりＤ０，０＝Ｄ０，
１，Ｄ１，０＝Ｄ１，１また頂点（０，０），（１，１
）は不安定で、頂点（０，１）は強安定、頂点（１，０
）は弱安定である。 図からも明らかなように頂点（０，０）と（１，０）を
結ぶ辺上の点は平衡点でｂ＜ｘ１　≦１で安定である。

【００７３】頂点でない平衡の安定性 Ｔｘ＋ｂ＝０を満足する平衡点の安定性に関し次の性質
が成立する。

【００７４】性質３　　ｓをＴｘ＋ｂ＝０の解とし０≦
ｓｉ　≦１（ｉ＝１，…，ｎ）を満たすとする。あるｉ
について不等号が成立するとするとｓは不安定平衡点と
なり、もし強安定な頂点ｃが存在するとするとｓの近傍
にｘ∈Ｄｃ　が存在しｘは単調にｃを収束する。もしｓ
が頂点に一致するときはｓは不安定か、頂点のなかで最
小のエネルギーを持つ。特別の場合は全ての頂点が縮退
し全て同じエネルギーとなる。

【００７５】証明　　０＜ｓｉ　＜１が少なくとも１つ
のｉについて成立するとする。ｓの近傍にｘ∈Ｄ＋（ｉ
）あるいはＤ−（ｉ）をとる。ｘｉ　はｘｉ　軸に添っ
て単調に動くから、ｘはｓから離れてゆく。従ってｓは
安定点とはならない。強安定な頂点ｃが存在するとする
と、Ｄｃ　の定義からｓの近傍にｃに収束するｘ∈Ｄｃ
　が存在する。

【００７６】次にｓｉ　＝０，１（ｉ＝１，…，ｎ）と
し弱安定あるいは強安定な頂点ｃが存在するとする。こ
のときｓの近傍のｘ∈Ｄｃ　をとると、Ｅｃ＜Ｅｃｉ　
を満足するｘｉ　はｃｉに収束するからｓは不安定とな
る。（頂点ｓとそれに隣接した頂点は縮退していから頂
点ｃはｓと一致することはない。）もしそのような頂点
が存在しないときは、ｓとそれに隣接した頂点は頂点の
なかでエネルギーが最小となり、それらと頂点を結ぶ辺
は安定となる。そうでなければ全ての頂点が縮退し同一
のエネルギーを持つ（証明完）。

【００７７】残りの平衡点はＨの表面上の点である。こ
こでＳｋ　を｛１，…，ｎ｝からｋ個の整数を選んだ集
合とする。このとき表面上の平衡点は次の式を解くこと
により求まる。

【００７８】

【数２２】

【００７９】ここでｉ∈Ｓｋ　，ｋ＝１，…，ｎに対し
て０＜ｘｉ＜１とする。このとき０あるいは１となるｘ
ｉ　を削除することにより数９，数１０の次元をｎから
ｋまで下げることができる。ここで縮退したモデルでも
行列Ｔの対角要素は０であるから性質２が成立し、頂点
でない平衡点は不安定となる。従って次の性質が成立す
る。

【００８０】性質４　　数２２の解ｓが０≦ｓｉ　≦１
（ｉ＝１，…，ｎ）を満たすとし少なくとも一つのｉに
ついて不等号が成立すると、ｓは不安定平衡点である。

【００８１】以上の理論に基づいた問題点を解決するた
めの手段の一例を次に示す。

【００８２】（イ）　　エネルギー関数の表現エネルギ
ー関数のうちで評価関数の表し方にはそれほどの自由度
はないが制約条件にはなん通りもの表し方がある。求ま
る解の質は大きくはその制約でいくつのニューロンを規
定しているかが決まる。制約のなかに含まれるニューロ
ンの数が増えるほど、多数のニューロンが関連して制約
を満たす必要があるため制約条件の項が厳しくなり評価
関数の項が効きにくくなる。このため制約条件が部分的
か部分的でないかを判定することにより制約条件を決定
する手段、具体的には制約条件のなかに含まれるニュー
ロンの数を数えることにより制約条件を決定手段を設け
より部分的なあるいは制約条件のなかに含まれるニュー
ロン数がより少ない制約条件を選ぶようにする。

【００８３】（ロ）　　重みの決定 上記理論の性質１を用いて評価関数と制約条件との相対
関係により制約条件を満たさない解を不安定とするよう
に重みを決定する手段を設ければよい。

【００８４】（ハ）　　初期値の設定 性質３よりもし平衡点ｓが０≦ｓｉ　≦１（ｉ＝１，…
，ｎ）を満足すると任意の強安定な点に収束するｓの近
傍の点が存在する。従ってｓの近傍に初期値を設定する
手段を備えればよい。あるいはＴｘ＋ｂ＝０を解きたく
なければある初期値が強収束領域にあるか否かを判定す
ることにより初期値を設定する手段を設け初期値が強収
束領域に含まれないように初期値を選べばよい。

【００８５】（ニ）　　計算の高速化 計算途中で強収束領域にはいったか否か、あるいはニュ
ーロンの出力のうち飽和したもの（１あるいは０）があ
るか否かを判定することにより計算を終了する手段を設
け、強収束領域に入るか、飽和すれば計算を打切ればよ
い。

【００８６】

【作用】（イ）　　エネルギー関数の表現制約条件にか
かわるニューロンの数が少ない制約条件を選ぶことによ
り最適解が求まりやすくなる。

【００８７】（ロ）　　重みの決定 制約条件を満たさない解を不安定とすることにより制約
条件を満たす解が常に求まるようになる。

【００８８】（ハ）　　初期値の設定 平衡点の近傍あるいは通過領域，発散領域に設定するこ
とにより最適解が求まる可能性が高くなる。

【００８９】（ニ）　　計算の高速化 強収束領域に入った時点で計算を打ち切ることにより計
算を高速化することができる。

【００９０】

【実施例】以下本発明の実施例を図１により説明する。 図において１００は制約条件を決定するステップ、２０
０は重みを決定するステップ、３００は初期値を設定す
るステップ、４００は計算を打ち切るステップである。 以下各ステップを詳細に説明する。

【００９１】まず制約条件を決定するステップ１００を
説明する。制約条件を数２で表現するとき表現の仕方は
いろいろありうる。このとき数２の制約はｎ個のニュー
ロンに関係しているが実際にはｒｉ　のなかに０の要素
がある場合もありこのときは関連するニューロンの数が
ｎより少なくなる。いくつかの制約条件の表現法のなか
で関連するニューロンの数が少ないほうが制約がより部
分的になるから関連するニューロンの数が少ないものを
選ぶ。

【００９２】次に重みを決定するステップ２００を説明
する。上記理論より頂点でない平衡点は不安定となる。 従って頂点の制約条件を満たさない解（不要解）が不安
定となるように重みを決めればよい。ここで注意すべき
ことは通過領域でＨの表面に到達するかということであ
る。もしそうでなければ次元が下がることにより不安定
な解が安定になる可能性がでる。しかしながらこれは特
定のニューロンのｆ（ｕｉ）の傾斜を大きくするなどを
しないかぎりまれである。従ってｘはＨの表面に収束領
域で到達すると考えてよい。これによりｎ次元空間で不
安定となる制約条件を満たさない安定な頂点のみを抑圧
すればよいことになる。性質１より次のように不要解を
抑圧すればよい。

【００９３】（イ）　　制約条件を満たす解に隣接する
解を不安定にする。

【００９４】（ロ）　　制約条件を満たす解に隣接しな
い解を不安定にする。

【００９５】（イ）は比較的簡単である。性質１よりも
し全ての制約条件を満たす解が強安定となれば制約条件
に隣接する解は存在しない。そこでまず任意の制約条件
を満たす解を仮定する。その解はエネルギーが隣接して
いる解のエネルギーより小さければ強安定となる。従っ
てすべての制約条件を満たす解のエネルギーが隣接した
解（制約条件を満たす解の一つのニューロンの状態を１
から０あるいは０から１に変えた解）のエネルギーより
小さくなるように重みＡ，Ｂを設定すればよい。即ちＡ
，Ｂを制約条件を満たす頂点ｃ及びそれに隣接するｃ（
ｉ）が Ｅｃｉ＞Ｅｃ を満足するように決める。

【００９６】（ロ）はそれほど簡単ではない。このため
には性質１を用いてどのような頂点がエネルギーが極小
になるかを調べる必要があるからである。このようにし
て不要解が見つかったとき重みを変えることにより抑圧
可能かを調べる。もしそれが不可能であるが除くことが
必要なときはそのような不要解を抑圧できるような制約
を加える必要がある。

【００９７】次に初期値を設定するステップ３００を説
明する。性質３よりも平衡点ｓが０≦ｓｉ　≦１（ｉ＝
１，…，ｎ）を満足すると任意の強安定な点に収束する
ｓの近傍の点が存在する。従ってｓの近傍に初期値を設
定するのがよい。このために平衡点ｓを求めることによ
り初期値を設定する。ここでｓが０≦ｓｉ　≦１（ｉ＝
１，…，ｎ）を満足しない場合でもｓのまわりに設定し
て解を求めることができる。それは例えばｓｉ　＞１の
ときｘｉ　＝ｆ（ｕｉ）の領域を０≦ｘｉ　≦１から０
≦ｘｉ　≦ａ，ａ≧ｓｉ　に拡張しｘｉ　＝ｓｉ　−ε
，ε＞０とすればよい。

【００９８】あるいはＴｘ＋ｂ＝０を解きたくなければ
少なくとも強収束領域に初期値を設定すべきではない。 次善の手は発散領域あるいは通過領域に設定することで
ある。このためにはある初期値が強収束領域にあるか否
かを判定することにより初期値を設定する手段を設け初
期値が強収束領域に含まれないように初期値を選べばよ
い。ここで初期値ｘが強収束領域にあるかいないかの判
定は次のようにｉを１からｎまで変えて調べればよい。

【００９９】ｘ∈Ｄ＋（ｉ）　　のとき　　ｃｉ　＝０
とする。

【０１００】ｘ∈Ｄ−（ｉ）　　のとき　　ｃｉ　＝１
とする。

【０１０１】ｘ∈Ｄ０（ｉ）　　のとき　　ｘは強収束
領域にはないので終了する。

【０１０２】ｃが求まったときＥｃ＜Ｅｃｉ（ｉ＝１，
…，ｎ）が成立すれば強収束領域にある。

【０１０３】次に計算の打切りのステップ４００を説明
する。数９，数１０の計算はシグモイド関数の代わりに
図２の区分線形関数を用い、数１０にオイラー法を適用
すればよい。即ち

【０１０４】

【数２３】

【０１０５】

【数２４】

【０１０６】ここでΔｔは積分の刻み幅、ｊはベクトル
のｊ番目の要素で、ｃｏｎｓｔ　は１以下の定数である
。数２４はｘｉ　＝０．５（ｉ＝１，…，ｎ）における
修正量の最大値をｃｏｎｓｔ　に押さえることにより原
点に収束するのを防いでいる。なお解の質を改善するた
めにはアイジェーシーエンエンー８９（ＩＪＣＮＮ−８
９）第１巻、５５３−５４０頁にあるようにシミュレー
テイッドアニーリング法を適用することも可能である。

【０１０７】計算途中で強収束領域にはいると後は単調
に収束するから、強収束領域に入れば計算を打切ること
ができる。強収束領域に入ったか否かは３００で示した
手順で調べることができる。簡単な方法で行なうとすれ
ばニューロンの出力のうち飽和したもの（１あるいは０
）があるかいないかを判定し、飽和すれば計算を打ち切
ればよい。

【０１０８】次に巡回セールスマンの実施例を説明する
。巡回セールスマン問題はｎ都市を巡回する経路のうち
各都市を一度だけ通るという制約のもとででもっとも短
いものを求める組み合わせ問題である。ホップフィール
ドは各々の都市にｎ個のニューロンを割り当て都市のｉ
番目のニューロンが発火したときｉ番目にその都市をと
るという意味に定義した。またエネルギー関数を次のよ
うに定義した。

【０１０９】

【数２５】

【０１１０】　　但し　　Ｖｘｉ：都市ｘのｉ番目のニ
ューロン、０≦Ｖｘｉ≦１， ｄｘｙ：都市ｘ，ｙの間に距離 Ａ，Ｂ，Ｃ：重み 添字ｉ−１，ｉ＋１はモジューロｎで計算数２５の定式
化をホップフィールドのエネルギー関数と呼ぶことにす
る。エネルギー関数の第一項は都市ｘに対してＶｘｉ＝
１を満足するｉは多くてもひとつであることを示す。ま
た第二項は添え字ｉに対してＶｘｉ＝１を満足する都市
ｘは多くても一つであることを示す。第三番目の項は発
火するニューロン数がｎであることを規定する。最初の
３項は制約条件である。

【０１１１】不要解を抑圧するために重みは次の様にし
て決める。まず最初制約条件を満たす解に隣接した不要
解を抑圧することを考える。任意の制約条件を満たす解
を仮定し、一つのニューロンの状態を０から１に変える
。この変更により数２５の制約条件に違反ししかも巡回
する経路も増える。重みを正に設定するかぎりはエネル
ギーは上昇するからこの変更は考えなくてよい。

【０１１２】次にあるひとつのニューロンを１から０に
変えることを考える。この変更で数２５の最初の二つの
項は０のままであるが三番目の項は Ｃ／２ だけ増加し四番目の項は Ｄ（ｄｘｙ＋ｄｘｚ） だけ減少する。ここで都市ｘ，ｙ，ｚにおいて距離ｄｘ
ｙ＋ｄＸＺ，ｄｙｘ，ｄｚｘを加算する必要がある。従
って性質より次式が成立し

【０１１３】

【数２６】

【０１１４】かつ重みＡ，Ｂが正ならばすべての制約条
件を満足する解は安定となる。ここで制約条件が同等に
はたらくために

【０１１５】

【数２７】

【０１１６】とする。

【０１１７】次に制約条件を満たす解に隣接しない不要
解を調べる。ここで図４に場合分けした例を示す。図に
おいて６００，７００，８００は５都市の不要解の例で
ある。

【０１１８】（イ）　　第３番目の制約のみに違反する
解（６００） 第１及び２の制約に違反しないニューロンの状態から０
から１に変えることにより第３番目の制約のエネルギー
は少なくともＣ／２だけ減少し、第４番目の項は多くて
もＤ（ｄｘｙ＋ｄｘｚ）だけ増加する。従って数２６よ
りもとの解は安定解ではない。

【０１１９】（ロ）　　第１及び２の制約のみに違反す
る解（７００） 制約を満たさないニューロンを１から０に変えることに
より第１，２，４項は少なくともＡだけ減少し第３項は
Ｃ／２だけ増加する。従って数２７よりもとの解は安定
ではない。

【０１２０】（ハ）　　同一の列でｋ（＞１）ニューロ
ンが発火し全体でｎ−ｌニューロンが発火（８００）列
のニューロンの一つを１から０にすることにより、第１
，２，４項のエネルギーは少なくとも

【０１２１】

【数２８】

【０１２２】だけ減少し第３番目の項は

【０１２３】

【数２９】

【０１２４】だけ増加する。従って、不要解は

【０１２
５】

【数３０】

【０１２６】のとき存在する可能性がある。数２７より
数３０は

【０１２７】

【数３１】

【０１２８】となる。

【０１２９】またｋニューロンと同一の列の発火してい
ないニューロンでそのニューロンが含まれる行の全ての
ニューロンが発火していないものについて状態を０から
１に変えると第１，２，４項に対するエネルギーは少な
くともｋＡだけ増加し、第４項は（ｌ−１／２）減少す
る。従って

【０１３０】

【数３２】

【０１３１】が成立するとき、不要解が存在する可能性
がある。数２７より、数３２は

【０１３２】

【数３３】

【０１３３】となる。従って数３１，数３３より不要解
は

【０１３４】

【数３４】

【０１３５】のとき、存在する可能性がある。

【０１３６】ここで発火していないニューロンのうちで
状態を１に変えても第１および２の制約に違反しないも
ののうちで同一列のｋ個のニューロンに隣接したものの
状態を変える（ここで隣接はモジュロｎで考えるものと
する）。このとき第１，２，４項のエネルギーは多くて
も

【０１３７】

【数３５】

【０１３８】だけ増加する（８００参照）。但し和は都
市ｘへの距離のうちで最大値から２ｋ番目までの最大値
について取るものとする。第３番目の項は（ｍ−１／２
）Ｃ減少する。ここで数３５の最大値はｋ＝ｍ＋１のと
きであるから、

【０１３９】

【数３６】

【０１４０】が成立すると、不要解を抑圧することがで
きる。

【０１４１】

【数３７】

【０１４２】であるから、

【０１４３】

【数３８】

【０１４４】が成立する。従って数３６をｍ＝１につい
てのみ調べればよい。即ち

【０１４５】

【数３９】

【０１４６】数２６より数３９が成立すると全ての制約
条件を満たさない解は不安定となり制約条件を満たすも
ののみが安定となる。

【０１４７】ホップフィールドの定式化を変形した次の
ものを考える。

【０１４８】

【数４０】

【０１４９】これを修正エネルギー関数と呼ぶことにす
る。第一及び二項の制約はｘあるいはｉを１からｎまで
変えたときＶｘｉ＝１となるのは一個だけという制約で
ある。まず制約条件に隣接する不要解について考える。 あるニューロンを１から０に変えると第一番および第二
番目の制約に対するエネルギーは各々Ａ／２，Ｂ／２だ
け上昇する。これに対して三番目の項に対するエネルギ
ーは ２Ｄ（ｄｘｙ＋ｄｘｚ） だけ減少する。従ってすべての制約条件を満たす解が強
安定となるためにはつぎの不等式を満足する必要がある
。

【０１５０】

【数４１】

【０１５１】ここで二つの制約条件が同等にはたらくた
めに

【０１５２】

【数４２】

【０１５３】とすると数４１は次のようになる。

【０１５４】

【数４３】

【０１５５】次に制約条件を満たす解に隣接しない不要
解を抑圧することを考える。

【０１５６】（イ）　　列あるいは行で少なくとも一つ
のニューロンが発火（６００） 発火しているニューロンの数がｎより少ないとき制約を
違反しない範囲でニューロンの状態を１に変えることが
できる。これにより第１，２項のエネルギーは少なくと
も（Ａ＋Ｂ）／２だけ減少し、第３項は多くてもＤ（ｄ
ｘｙ＋ｄｙｚ）増える。従って数４３が成立するかぎり
もとの解は安定ではない。

【０１５７】（ロ）　　行あるいは列のｋ（＞２）ニュ
ーロンが発火 上記のニューロンの一つの状態を１から０にするエネル
ギーは常に減少するからもとの解は安定ではない。

【０１５８】（ハ）　　行あるいは列で二つのニューロ
ンが発火 もしＶｘｉ，Ｖｘｊ，Ｖｙｉ＝１とすると、Ｖｘｉを０
にすることによりエネルギーは減少するのでこの場合は
安定とはならない。また同様に上記のニューロンに隣接
した発火ニューロンがある場合も除外できる。それは隣
接したニューロンに接した二つのニューロンのうちの一
つの状態を０とすることにより、エネルギーが減少する
からである。

【０１５９】以上の議論より不要解は二つのニューロン
が行あるいは列で発火しそれらに隣接した発火状態のニ
ューロンが存在しないときである。図５にその例を示す
。図において９００，１０００は不要解の例を示す。 即ち （ニ）　　二つのニューロンが列で発火し（全体でｎ個
発火）それらには発火状態のニューロンが隣接していな
い発火状態のニューロンを０にしてもエネルギーは変わ
らない。したがってもとの状態は弱安定であり、重みを
変えても抑圧できない。この不要解はｎが偶数のとき生
じる（９００参照）。

【０１６０】（ｖ）　　少なくとも二つの列で二つのニ
ューロンが発火 最も厳しい条件として列ｉ及びｉ＋２で二つのニューロ
ンが発火しているとする。このときｉ＋１列の全てのニ
ューロンは発火していない。ｉ＋１列の制約条件は違反
しないニューロンを一個０から１に変えることにより第
１，２項のエネルギーは（Ａ＋Ｂ）／２だけ減少し第３
項は

【０１６１】

【数４４】

【０１６２】だけ増加するから

【０１６３】

【数４５】

【０１６４】が成立すればもとの解は不安定となる（１
０００参照）。

【０１６５】したがって修正エネルギー関数ではｎが偶
数のとき全ての不要解を抑圧することはできない。この
解は例えば数２５の第２項のように同一列で二つ以上ニ
ューロンが発火しない制約を加えることにより抑圧でき
る。

【０１６６】最適解の先見的な知識を持っていないので
初期値としては最適解が求まる可能性のある点に設定す
る必要がある。どちらのエネルギー関数でも平衡点ｓは
超立方体の内部に存在することが分かる。従って性質３
より初期値をｓのまわりに設定することにより最適解を
求めうる。ここでｓはＴｘ＋ｂ＝０を解くことなく求め
ることができる。初期値を超立方体の中点あるいは一般
化して

【０１６７】

【数４６】

【０１６８】とするとＶｘｉは、同様に振る舞いネット
ワークがｎ２　からｎ次元に縮退する。但し１は要素が
１のｎ次元ベクトル。Ｔの縮退した行列の対角要素が大
きい値となるためｓが唯一の安定な解となる。従って数
４６で初期値を与えるｓが求まる。これよりｓのまわり
に初期値を設定するには数４６に雑音を加えればよい。 従って例えば

【０１６９】

【数４７】

【０１７０】とすればよい。但しα：パラメータ、ＲＡ
ＮＤ：［−０．５，０．５］に分布する一様乱数上記数
２５，数４０のエネルギー関数のどちらを選べばよいか
はステップ１００を実行すればよい。即ち数２５の第３
項の制約条件はｎ２個のニューロンに関係しているがこ
れに対して数４０の１，２番目の制約条件はｎ個のニュ
ーロンに関係しているのみである。従って、数４０の制
約条件の方を選べばよい。

【０１７１】次にエルエスアイ（ＬＳＩ）のモジュール
配置問題の実施例を示す。回路をＬＳＩに配置する場合
回路を論理回路の集合であるモジュールに分割する。図
６はモジュール分割された回路の例を示している。図に
おいて１，…，６はモジュールで７，…，１６は端子で
ある。モジュール間及びモジュールと端子間は配線で結
ばれている。このようにモジュール分割された回路を図
７に示すＬＳＩ上のスロットに配置するときできるだけ
配線距離が短くなるように配置することが必要になる。 ただし図において２０，…，２９は端子を配置する外部
スロット、３０，…，３５はモジュールを配置する内部
スロットである。図８はモジュール配置した例を示す。 モジュール配置問題はこのようにｎ個のモジュールをｎ
個のスロットに配線長が最短となるように配置する問題
となり、各スロットに対してｎ個のニューロンを用意し
、従って全体でｎ２　個のニューロンを用意して、ｉ番
目のスロットのｊ番目のニューロンが１のときｉ番目の
スロットにｊ番目のモジュールを配置することにする。 即ち、モジュール配置問題はモジュールをスロットに１
対１に配置する制約条件のもとで配線長を最短にするこ
とになる。従って制約条件は巡回セールスマン問題と同
じに表現できるから制約条件としては数２５と数４０で
比較すれば数４０の第１，２項を取ればよい。また評価
関数も巡回セールスマン問題と同様に定義できるから重
みも巡回セールスマンと同じように定義できる。但し初
期値に関しては数４６のように設定してニューロンの縮
退は起こらないから平衡点のまわりあるいは強収束領域
にならないように設定すればよい。また計算の打切りも
以前の場合と同じである。

【０１７２】以上説明した本発明の実施例の効果を説明
する。

【０１７３】（イ）　　エネルギー関数の表現制約条件
をより部分的な制約条件となるように選ぶことにより最
適解への収束性がよくなる。例えば１０都市の巡回セー
ルスマン問題のとき数２５，数４０の評価関数に対して
１０００回の試行に対して数２５では１９回しか最適解
が求まらなかったのに対して数４０では４３２回求まり
最適解への収束性が大幅に改善された。

【０１７４】（ロ）　　重みの決定 制約条件を満たさない解を不安定とすることにより常に
制約条件を満たす解が求まるようになる。巡回セールス
マン問題のときは制約条件を満たす解に隣接した解を不
安定とすること、即ち数２６，数４３を満たすように重
みを決めることで１００％制約条件を満たす解を求める
ことができる。

【０１７５】（ハ）　　初期値の設定 初期値を平衡点のまわりに設定することにより最適解に
近い解を求めることができる。１０都市巡回セールスマ
ン問題では１０００回試行したときα＝１０−５のとき
最適解が２７３回求まったのに対してα＝１０−７では
４３２回に向上した。

【０１７６】（ニ）　　計算の高速化 強収束領域に入ったとき計算を打ち切ることにより計算
時間を大幅に短縮することが可能である。

【０１７７】

【発明の効果】本発明は組合わせ問題を解いて種々の産
業上のシステムに適用する際に、各種の定数が試行錯誤
を行なうことなく高速に最適解もしくは、最適解に近い
ものが得られるという効果を奏するものである。

【図面の簡単な説明】

【図１】具体的実施例を説明する図。

【図２】区分線形関数を説明する図。

【図３】２ニューロンネットワークの軌跡を示す図。

【図４】ホップフィールドのエネルギー関数の不要解を
説明した図。

【図５】修正エネルギー関数の不要解を説明した図。

【図６】ＬＳＩ配置問題のモジュールを説明した図。

【図７】ＬＳＩ配置問題のスロットを説明した図。

【図８】ＬＳＩ配置問題のモジュールの配置を示した図
。

【符号の説明】

１００…制約条件を決定するステップ、２００…重みを
決定するステップ、３００…初期値を設定するステップ
、４００…計算を打ち切るステップ。

Claims (11)

【特許請求の範囲】
1. 【請求項１】制約条件と評価関数の重み付き和で表され
   るエネルギー関数を用いて組合わせ最適解を求めるデー
   タ処理装置において複数の制約条件より演算に用いる制
   約条件を選択する手段を備えたことを特徴とするデータ
   処理装置。
2. 【請求項２】請求項１記載のデータ処理装置の制約条件
   を決定する手段において、制約条件が少なくとも、２以
   上の表現形式で表されるとき同一項の中に指定される要
   素の数が少ない制約条件を選択することを特徴とするデ
   ータ処理装置。
3. 【請求項３】制約条件と評価関数の重み付き和で表され
   るエネルギー関数を用いて組合わせ最適解を求めるデー
   タ処理装置において制約条件と評価関数との相対的関係
   により重みを決定する手段を備えたことを特徴とするデ
   ータ処理装置。
4. 【請求項４】請求項３記載のデータ処理装置及び方法の
   重みを決定する手段において、制約条件を満たさない解
   が不安定になるように重みを決めることを特徴とするデ
   ータ処理装置。
5. 【請求項５】請求項３記載のデータ処理装置の重みを決
   定する手段において、制約条件を満たす解に隣接した解
   が不安定になるように重みを決めることを特徴とするデ
   ータ処理装置。
6. 【請求項６】制約条件と評価関数の重み付き和で表され
   るエネルギー関数を用いて組合わせ最適解を求めるデー
   タ処理装置において組み合わせ解でない平衡解を求める
   ことにより初期値を設定する手段を備えたことを特徴と
   するデータ処理装置。
7. 【請求項７】請求項６記載のデータ処理装置の組み合わ
   せ解でない平衡解を求める手段により解を求め、その近
   傍に初期値を設定することを特徴とするデータ処理装置
   。
8. 【請求項８】制約条件と評価関数の重み付き和で表され
   るエネルギー関数を用いて組合わせ最適解を求めるデー
   タ処理装置においてある初期値が収束領域に含まれるか
   否かを調べることにより初期値に設定する手段を備え収
   束領域に含まれないように初期値を設定することを特徴
   とするデータ処理装置。
9. 【請求項９】制約条件と評価関数の重み付き和で表され
   るエネルギー関数を用いて組合わせ最適解を求めるデー
   タ処理装置において解の要素が飽和したか否かにより計
   算を打ち切る手段を設け、計算の途中で解の一つ以上の
   要素が飽和したときの計算を打切ることを特徴とするデ
   ータ処理装置。
10. 【請求項１０】制約条件と評価関数の重み付き和で表さ
    れるエネルギー関数を用いて組合わせ最適解を求める方
    法であって （１）　　部分的な制約条件を選択することにより制約
    条件を決め、 （２）　　制約条件と評価関数との相対的関係により重
    みを決定し、 （３）　　ある初期値が収束領域に含まれるか否かを調
    べることにより初期値を設定し、 （４）　　解の要素が飽和したか否かにより計算を打ち
    切る、の過程のうち少なくとも一つを備えたことを特徴
    とするデータ処理方法。
11. 【請求項１１】制約条件と評価関数の重み付き和で表さ
    れるエネルギー関数を用いてエルエスアイのモジュール
    配置の最適解を求める方法であって （１）　　部分的な制約条件を選択することにより制約
    条件を決め、 （２）　　制約条件と評価関数との相対的関係により重
    みを決定し、 （３）　　ある初期値が収束領域に含まれるか否かを調
    べることにより初期値を設定し、 （４）　　解の要素が飽和したか否かにより計算を打ち
    切る、の過程のうち少なくとも一つを備えたことを特徴
    とするモジュール配置方法。