JP2810083B2 - 組合せ最適解を求めるデータ処理装置及び方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、データ処理装置及び方法に関し、特に組合
せ最適化問題を求めるのに好適なニユーロコンピユータ
（ニユーラルネツト）に関する。

〔従来の技術〕 ニユーロコンピユータの研究開発が近年活発化し、ニ
ユーロコンピユータの代表的モデルとして、ホツプフイ
ールド型とラメルハート型が知られている。

ニユーロコンピユータは、人間の脳をモデル化したも
ので、入力がある閾値に達するまでは不活性状態で、閾
値を越えると活性化するという２つの状態をとるニユー
ロン（神経細胞）が、例えば何百億も結合して動作する
ことにより、現状のコンピユータが不得手とする組合せ
最適化問題や認識処理を行なおうとするものである。

ここで、先に述べたホツプフイールド型は組合せ最適
化問題を解くのに適しているが、組合せ最適化問題と
は、１と０というようにとびとびの値しかとらない物を
ある条件を最小（あるいは最大）にする組合せを求める
ものである。従来この問題を解く一般的な方法が知られ
ていないために、問題の規模が大きくなると解くことが
極めて難しかつた。

これに対して、米国特許第4660166号などにおいて、
ホツプフイールド氏が組合せ問題の中で最も解くのが難
しいとされている巡回セールスマン問題をニユーロコン
ピユーテイングにより高速かつ最適解に近い解を求めら
れることを示した。ここで巡回セールスマン問題とは、
各々の都市を一度だけ通るという制約のもとで、ｎ都市
を最小の距離で巡回する径路を求めるもので、ｎ都市に
対してn!/2n＝ｎ（ｎ−１）‥２・1/2n組の組合せがあ
り、ｎの数が大きくなると爆発的に組合せの数が増える
ため、最適な解を求めるのが極めて難しくなる。

ホツプフイールド氏は、ｎ都市の各々にｎ個のニユー
ロンを対応させ（従つて全体でn²個のニユーロンを用い
ている）、各都市のｉ番目のニユーロンが活発化したと
きに、ｉ番目にその町を訪れるという意味を持たせた。
また各ニユーロンの間の結合は、各都市を一度だけ通る
という制約条件と距離の最小化条件によつて決め、これ
らの条件の和をエネルギーと定義して、ニユーロンの動
作を、このエネルギーが時間の経過とともに小さくなる
ようにモデル化した。これにより各ニユーロンに活性状
態（１）と不活性状態（０）の間の適用な値を設定する
と、時間とともにエネルギーが減少して、局所的にエネ
ルギーが最小となるところで停まることになりn²個のニ
ユーロンのうちｎ個が活性化して、制約条件を満たし距
離が最小値に近い解を求めることができたものである。

ここで、エネルギー関数を用いて上記内容を説明する
と、エネルギー値Ｅが で与えられるとする。ここでx,T,bは各々ｎ次元変数ベ
クトル、ｎ×ｎ次元係数行列、ｎ次元入力ベクトル、ｔ
は転置を示す記号で とする。またＴは対称行列即ちT_ij＝T_jiとする。このエ
ネルギーＥをｘが０または１、あるいは−１、または１
の値を取るとき、Ｅを極小化するｘは、次の微分方程式
を解くことによつて得られていることが示されている。

x₁＝tanh u_i（−１x_i１のとき） …（３） x₁＝１＋tanh u_i/2 （０x_i１のとき） …（４） ここでニユーロンとの対応は以下のとおりである。ｎ
個のニユーロンのうち、ｉ番目のニユーロンの出力はx_i
で、入力は、定数入力b_i,i番目のニユーロンからの入力
が、T_ijx_j、また自分の出力の自分への入力はT_iix_iであ
る。従つてT_ijは、ｊ番目のニユーロンからｉ番目のニ
ユーロンへの入力の結合の強さを示しており、特にT_ij
はｉ番目のニユーロンの出力の自分自身の入力への結合
の強さを示している。

大規模組合せ最適化問題を解く方法としては、従来あ
まり効果率のよい方法が知られておらず、大規模な問題
を解くときは、極めて時間を要していたので、（２）を
解くことにより簡単に最適解に近い解を得ることができ
るようになつたのである。

〔発明が解決しようとする課題〕

しかしながら上記従来技術で得られる解は、あくまで
も極小値であり、最小値ではない。またその収束の特性
は、電子情報通信学会技術研究報告PRU88−６（1988）
（pp7−14）において多小論じられてはいるが、解明さ
れるまでには至つておらず、どのようにニユーロコンピ
ユータを制御してよいかは試行錯誤の状態であつた。

本発明の目的は、上記問題点を解決し、どのような問
題に対しても、最小値あるいはそれに近い解を高速に与
えることのできるニユーロコンピユータを用いたデータ
処理装置及び方法を提供することにある。

〔課題を解決するための手段〕

本発明は、（イ）エネルギー関数の表現，（ロ）重み
の決定，（ハ）積分の初期値の選択，（ニ）収束解の改
善，（ホ）積分方式，（ヘ）境界に収束した解、などに
特徴を有するものであり、これらの独立した手段，方法
のみならず、種々な組合せにも夫々特徴がある。

以下、問題点を解決するための手段の一例を理論的に
説明する。

（イ）エネルギー関数の表現 組み合わせ問題が−1,1の２値をとるか0,1の２値をと
るかにより、（２），（３）式を解くか、（２），
（４）式を解くかが決まる。各々の微分方程式は、時間
がたつに従い、エネルギーが減少してゆく特性を持ち物
理現象を表現したものということができる。ここで時間
が経過した後に−1,1あるいは0,1に達するということ
は、これらの点が物理現象でいう安定点であるからであ
る。まず（２），（３）式により、−1,1問題の端点の
安定性について述べる。（２），（３）式よりｕを消去
すれば、 となる。これにより（５）式の特異点、即ち時間が経過
してもその点に初期値が与えられればその点で停留する
点は、（５）式の右辺＝０とおいて、 x_i＝±１ ｉ＝1,…,n Tx＋ｂ＝０を満たすｘ 及び上記を組み合せた条件を満たす解 となる。

ここで超立方体上の端点ｃ＝（c₁,…,c_n）c_i＝±１
ｉ＝1,…,nの固有値を求める。

ｘ＝ｙ＋ｃ として（５）式に代入すると 端点ではc_i ²＝１であるから上式で線形項だけとり出
すと、 となる。但し である。従つて端点ｃの固有値λ_c,_iは、 λ_c,_i＝2c_i（T_ic＋b_i） …（７） ｉ＝1,…,n となる。端点ｃは、λ_c,_i＜０（ｉ＝1,…,n）のとき安
定で、近傍の初期値からその点へ収束する。

次に（２），（４）式の0,1問題について固有値を求
める。前の場合と区別するために（２）式を とする。これに（４）式を代入すると 超立方体上の端点をｄ＝（d_i,…,d_n）,d_i＝1,0,i＝1,
…,nとして、 ｘ＝ｙ＋ｄ を（ａ）式に代入すると d_i（１−d_i）＝０に着目して、上式を線形化すると、 となる。従つて端点ｄの固有値λ_d,_iは、 λ_d,_i＝２（2d_i−１）（S_id＋a₁） ｉ＝1,…,n …（11） となる。但し、 S_i＝（S_i1,……,S_in） である。端点ｄは、λ_d,_i＜０（ｉ＝1,…,n）のとき安
定である。

ここで0,1問題と−1,1問題の関係を調べるため、
（５）式のｘに を代入する。（この変換により、（５）式は−1,1問題
から、0,1問題となる。） 従つて、 （13）式の端点ｄの固有値は、（11）式より、 となるが、端点ｄに対する（５）式の端点ｃは、 ｃ＝2d−１ で与えられるから、（14）式に代入すると、 λ_c,_i＝2c_i（T_ic＋b_i）ｉ＝1,…,n であるから、これは、（７）式と一致する。従つて（1
2）式により−1,1問題を0,1問題に変換しても固有値は
変わらず、従つて安定な端点は安定のままである。

次に固有値とエネルギーの関係を明らかにする。ここ
で端点ｃ（ｄ）に対して、端点ｃ（ｉ）（ｄ（ｉ））を
次のように定義する。

ｃ（ｉ）＝（c₁,…,c_i−₁,−c_i,c_i＋_i,…c_n） ｄ（ｉ）＝（d₁,…,d_i−₁,（１−d_i）， d_i＋₁,…d_n） 即ちｃ（ｉ）,d（ｉ）は、c,dに隣接した端点であ
る。このとき、隣接した端点c,c（ｉ）あるいはd,d
（ｉ）のエネルギーE_c,E_c（_ｉ）あるいはE_d,E_d（_ｉ）と
固有値には次の関係がある。

それは次のようにして分かる。

また、 （15）式の関係は、エネルギーが隣接点より低くい時
は、対応する固有値の値も小さいことを意味している。

更にT_ii＝０（ｉ＝1,…,n）とすると、 E_c＜E_c（_ｉ） …（16） ｉ＝1,…,n あるいはE_d＜E_d（_ｉ） となる端点ｃあるいはｄは微分方程式（５）あるいは
（９）式の安定点となる。

これは、 とT_ii＝０により、λ_c,_i＝−λ_ｃ（_ｉ）,_i となり、また（15）式によりλ_c,_i＜λ_ｃ（_ｉ）,_iであ
るから、 λc,_i＜０ ｉ＝1,…,n …（17） となる。これより端点ｃは安定点である。

また、 とT_ii＝０により、λ_d,_i＝−λ_ｄ（_ｉ）,_iとなり、（1
5）式よりλ_d,_i＜λ_ｄ（_ｉ）,_iであるから λ_d,_i＜０ ｉ＝1,…,n …（18） となる。

このことは、T_ii＝０とすれば、隣接した端点よりも
エネルギーの低い端点は全て安定点となり、その近辺に
初期値を与えれば、微分方程式の解として得られること
を示している。即ち全ての極小値が安定となるために
は、T_ii＝０となれば良いことが分かる。ここで−1,1問
題では、T_iiの値を０としても各端点のエネルギー値
は、一様に上昇あるいは、下降するので問題はないが、
0,1問題では、１の点では、エネルギー値が変わるが０
の点では変わらない。このため0,1問題では、b_iに1/2T
_iiの値を加えて、T_iiを０とすることが必要である。

（ロ）重みの決定 エネルギー関数を最小化する時、ある制約条件のもと
で評価関数を最小化することが必要となることがある。
その例として、米国特許No.4,660,166で開示された巡回
セールスマン問題を考える。巡回セールスマン問題と
は、ｎ個の町を、１つの町を一度だけ通るという条件の
もとでｎ個の町を巡回する距離を最小化する問題であ
る。町ｘに対して、ベクトルV_xi（ｉ＝1,…,n）を持
ち、V_xiが１のとき町ｘをｉ番目に訪問することを示
す。このときのエネルギー関数は次のように定義でき
る。

（19）式の第１項は、１つの町を１回しか訪問しない
という条件であり、第２項は、一度に１つの町しか訪問
できないという条件である。第３項のd_xyはｘ町とｙ町
との距離で、巡回する距離を計算する評価関数である。
ここでA,B,Dは重みでこの重みをどう決めるかの方法が
分かつておらず従来は試行錯誤で決めていた。

ここで制約条件が複数個あるときは、各制約条件全て
を満足しなければならないため、特定の制約条件がよく
きくように重みつければ、制約条件を満足しない解が求
まる可能性がある。各制約条件が同等にきくようにする
ためには、解が制約条件を逸脱したときに各制約条件の
値の増加が等しくなるように重みを決めれば良い。（1
9）式の第1,2項では、第１項で、あるｘについて、V_xi
＝０ ｉ＝1,…,nあるいはV_xi＝V_xj＝１ ｊ≠ｊそれ以
外は０とすると、第１項の制約条件はA/2となる。また
第２項で同様にあるｉについてV_yi＝０、すべてのｙあ
るいはV_yi＝V_zi＝１ ｊ≠ｚそれ以外では０とすると、
制約条件はB/2となる。従つて Ａ＝Ｂ …（20） とすれば第１項と第２項の制約条件の効果を同一にする
ことができる。

次に制約条件と評価関数の間の重みは、制約条件を逸
脱することによる制約条件の増加分が、制約条件を満た
さなくなることによる評価関数の減少分より大きくして
おけば、制約条件からはずれた解が求まる可能性がなく
なる。（19）式の第1,2,3項の重みに関しては、第1,2項
が制約条件を満たしていた解から、１つ１から０になつ
たとする。このとき第1,第２項は、Ａ＝Ｂであるから A/2＋B/2＝Ａ …（21） だけ上昇する。これに対して第３項は、経路が２つなく
なること、及びx,y両方で距離を計算しているから、 だけ減少することになる。従つて訪問する町の数が少な
くなつたものが最適解とならないようにするためには、 とすれば良いことが分かる。

なおこのように制約条件を満たす解に対して１つだけ
１から０として重みを決めてよいのは、（イ）で示した
ように求まつた解は、隣接した解よりもエネルギーが低
いという理論的保証があるからである。

（ハ）積分の初期値の選択 組合せ最適化問題を積分により求める場合、多数の安
定点の中から最適解を求めるためには、変数ｘの初期値
の選択が極めて重要である。

ここで、Tx＋ｂ＝０（−１x_i１）の根、あるいは
Sy＋ａ＝０（０y_i１）の根即ち特異点が、x,yの領
域内に存在しないときには、孤立した２つ以上の極小点
は存在せず、従つて領域内の任意の点から最小値に収束
することが言える。しかしながらこのような場合は、実
際の問題では、ほとんどないと考えてよい。

特異点が領域内に存在し、かつ端点に安定点があると
すると（この条件はT_ii＝0,i＝1,…,nとすれば満足され
る。）、この特異点は不安定となることを示すことがで
きる。従つてこの特異点のまわりに初期値を設定すれ
ば、安定な端点への収束は保証されるが、この特異点か
らは全ての安定点への経路が存在するため最適解からは
遠い解が求まる可能性もある。前述の電子情報通信学会
技術研究報告では、原点のできるだけ近くに初期値を選
択すれば、最小値が求まりうることを実験的に示してい
るが、どのように近くの値を与えれば良いかについては
分かつていない。

ここで1,0問題、1,−１問題で変数の初期値をその変
化する範囲の中点に設定したときの効果について考え
る。中点とは1,0問題では1/2,1,−１問題では０であ
る。ここで の簡単なモデルを考える。このとき特異点が領域内に現
われる場合は|b₁|＜1,|b₂|＜１の場合である。このとき
b₁＝b₂とすると、特異点Ｓ＝（−b₁,−b₂）＝（−b₁,−
b₁）であり各端点の固有値は次のようになる。

これより（1,−１），（−1,1）とも安定でどちらも
エネルギー値は等しくどちらに収束してもよい。第２図
にb₁＝b₂＝1/2としたときに原点付近に初期値を与えた
ときの解の動きを示す。原点を初期値にすると、特異点
Ｓ＝（−1/2,−1/2）に収束するが、ｙ＞ｘとなるよう
に初期値を与えれば、（−1,1）へ、ｙ＜ｘとすれば
（1,−１）に収束する。

次に|b₁|＜1,|b₂|＜1,b₁≠b₂とすると、前と同様にb₁
＜b₂の時（1,−１）が最小値に、b₁＞b₂の時は、（−1,
1）が最小値となる。第３図に としたときの原点まわりの解の動きを示す。このときは
（1,−１）が最小値となるが原点に初期値を与えれば安
定点に収束する。

1,0問題は、1,−１問題に（12）式の変換を行なえば
よいので、1,0問題では、1/2の点が1,−１の原点に対応
する。

上記の例は、最小値が１個しか存在しない場合は、最
小値に収束する初期値領域は、変数の変化範囲の中点を
含むことを示しており、従つて中点を初期値として選べ
ばよいことを示している。これに対し最小値が複数個存
在する場合中点から出発しても端点に到達しない場合が
ある。このようなときは、中点の値から少しずれた値に
初期値を設定すればよい。

ここで1,0問題で N₁ ^∪N₂ ^∪……^∪N_m＝｛1,2,…,n｝ かつ N_{1 ∩}N_{2 ∩}……_∩N_m＝φ とする。但し、∪，∩は集合の和，積を示す演算を示
し、φは、空集合を表わすとする。このときN_l（ｌ＝1,
…,m）に含まれるi,j（ｉ≠ｊ）について、 でかつ ｜ω（０）_i|＝｜ω（０）_j|,|Sω（０）_i|＝Ｓω
（０）_j| となるω（０）がとれ、ω（０）_i,（Ｓω（０））_i, に対応するω（０）_i,（Ｓω（０））_j, の各符号が同じか、逆とする。

とする。このとき に初期値を選ぶと、系はｎ次元からｍ次元に縮退し、も
との系のTx＋ｂ＝０を満たす特異点が不安定でも、縮退
した系の対応する特異点が安定となる場合が生じる。従
つてこの場合、ｘ（０）を初期値にすると、この特異点
に収束する。

これは次のようにして分かる。（９）式に を代入すると、 となる。ω＝ω（０）とすると仮定よりN_lに含まれるｉ
に対応する全てのω_ｉの絶縁値は、ｔ０以降全く同じ
に変化する。即ち、N_lに含まれるｉに対するω_ｉの動き
は、１つのω_ｉの動きで代表される。従つてｎ個の変数
の系がｍ個の変数の系に縮退することになる。このとき
縮退した系の微分方程式で、N_lに含まれるｉでN_lを代表
させるとすると、この系の係数S_ii′は、 （但しｊ∈N_lは、ｊがN_lに含まれることを示す）とな
る。従つてもとの方程式ではS_ii＝０でも、縮退した系
では、S_ii′＞０となる場合が生じ、これにより後で述
べるように端点が不安定となり内部の特異点が安定とな
る場合が生じる。このとき と初期値を設定すると内部の特異点に収束する。

1,−１問題でも同様に、i,j∈N_lにおいて |b_i|＝|b_j| かつ ｜ω（０）_i|＝｜ω（０）_j|,|（Ｔω（０））_i|＝|T
ω（０））_j| となるω（０）がとれ、ω（０）_i,（Ｔω（０））_i,b_i
に対応するω（０）_j,（Ｔω（０））_j,b_jに対応する符
号が一致するか逆となるとき、ｘ（０）＝ω（０）に初
期値を選ぶと、内部の特異的に収束する場合が生じる。

以上の縮退をさけるためには、縮退の可能性があると
きは最低限あるN_l（ｌ＝1,…,s）についてi,j∈N₂とな
るあるi,jについて ｜ω（０）|_i≠｜ω（０）|_j とする必要がある。より確実には、 ｜ω（０）|_i≠｜ω（０）|_j ｉ≠j,i,j∈N₂ ｌ＝1,…,s とするか、 ｜ω（０）|_i≠｜ω（０）|_j ｉ≠j, i,j＝1,…,n とすればよい。

（ニ）収束解の改善 中点に初期値を与えたとしても最小限に収束する保証
はない。従つて解が求まつた時、更にエネルギー値が下
がる解がないか解の改良を図かることが必要となる。

ここで1,−１問題に対して次の性質がある。

T_iiの値をαだけふやせば、各端点ｃのエネルギー
は、αだけふえ、固有値λ_c,_iも２αだけふえる。

これは次のようにして分かる。（１）式よりT_iiに関
するエネルギーは、1/2x_i ²T_iiであるから、T_iiの値をα
だけ増やせば、端点においてエネルギーはα/2だけ増え
る。また であるから、固有値λ_c,_iは２αだけふえる。

0,1問題に対しては、次の性質がある。

S_iiの値をαだけふやしa_iの値をα/2だけへらせば、
各端点のエネルギーは変わらないが、端点ｄの固有値λ
_d,_iはαだけふえる。

これは次のようにして分かる。

（１）式よりS_ii,a_iに関するエネルギーは、 であるからS_iiをαふやし、a₁をα/2へらすとすると、 となる。また固有値λ_d,_iは であるからS_iiをαふやし、a₁をα/2へらすと固有値
は、 となる。

従つて1,−問題、0,1問題とも、ＴあるいはＳの対角
要素を上記の条件を守つてふやしてゆけば、安定点を不
安定化できることが分かる。

また求まつた解が最小値でないとき、その解よりエネ
ルギーの低い解との固有値の間に次の関係がある。

1,0問題において端点e,fのエネルギーE_eとE_fの差は固
有値により となる。

Ｓ＝｛i|i＝1,…,n,e_i≠f_i｝ （29）式は、1,−１問題のときは右辺の係数は1/2と
なる。0,1問題に対して成立することを示す。

ｅ＝（e₁,…,e_i,e_i＋₁,…e_n）^ｔ ｆ＝（（１−e₁），…，（１−e_i）,e_i＋₁, …e_n）^ｔ とすると、 従つて（29）式が成立することが分かる。

積分を行なうことによつて端点ｆが求まつたとき、端
点ｆよりエネルギーの低い安定な端点ｅがあつたとする
と（29）式より でかつλ_e,_i,λ_f,_iとも固有値は負または０であるか
ら、Ｓに含まれるｉのうち λ_e,_i＜λ_f,_i …（33） が成立するｉがある。

これより、積分によるある端点が求まつたとき、（3
3）式が成立するｉについてT_ii（S_ii）の値を増やすこ
とにより、 λ_e,_i＜０＜λ_f,_i …（34） とすることができる。これにより端点ｆが不安定となり
端点ｅを求めることが可能となる。このとき（33）式を
満たすｉは、前もつては知ることができないためいくつ
かの方式が考えられる。

その方法として以下のものが考えられる。

（ｉ）固有値の絶対値の小さいものを選び、それに対応
するＴ（あるいはＳ）の対角要素をふやす。

（ii）求まつた解のうち１が立つている要素に対応する
Ｔ（あるいはＳ）の対角要素をふやす。

（iii）固有値の絶対値の小さいものを選び、それに対
応する初期値の要素を増やす（あるいはへらす）。

（iv）求まつた解のうち１が立つている要素に対応する
初期値の要素を増やす（あるいはへらす）。

（iii），（iv）は、対角要素をふやすかわりに対応
する初期値を変えるもので同等の効果がある。

（ホ）積分方式 （２），（３）式、あるいは（２），（４）式をデイ
ジタル方式で積分するとすると次のようになる。

u_new＝u_old−（Tx_old＋ｂ）Δｔ …（35） x_new＝ｆ（u_new） …（36） 但し、u_new,u_old,x_new,x_oldは時間刻みΔｔの後と前
のu,xのベクトルでｆは、（３）あるいは（４）式の関
数とする。ここで時間が経過するに従いエネルギーが減
少する特性があるため、時間刻み幅ΔＴが適切に選ばれ
ているか確かめることができる。即ち E_xnew＞E_xold …（37） となつたときΔｔが大きすぎることを検出することがで
きまた E_xnew＜E_xold …（38） のときは、Δｔを大きくできる可能性があることが分か
る。このようにエネルギー値を監視することにより積分
の時間刻みを適正化できる。

ここで1,0問題では初期値は 近傍で、1,−１問題では、原点近傍であるから、 あるいは u_new＝−ｂΔｔ となる。Δｔが大きく設定されると、u_newの絶対値が大
きくなり、（36）式のｆに含まれるtanhの値が１あるい
は−１となり、不安定な解が求まる可能性がある。この
ため あるいは max|b_i|Δｔ＜u_max …（40） となるようにΔｔを決めればよい。このときu_maxは、５
〜10程度に設定する。

（ヘ）境界上に収束した解 行列Ｔ（ｓ）の対角要素が０でないとき、端点以外の
境界上の点に収束する場合がある。このとき次の性質が
ある。

端点c,c（ｉ）のエネルギーが E_c＜E_c（_ｉ） …（41） のとき、T_ii＞０でかつλ_c,_i＞０のときはｃとｃ（_ｉ）
の中点とｃとの間に特異点が存在する。

これは次のようにして分かる。どちらの場合も同じで
あるため1,−１問題で考える。（41）式と条件より λ_ｃ（_ｉ）,_i＞λ_c,_i＞０ …（42） である。このとき （c₁,…c_i−₁,y_i,c_i＋₁,…c_n） に対する（３）式の微分方程式は、 となる。従つて特異点は y_i＝±１ 及び ここで（40）式より ０＜２（T_ii−T_iic_iy_i）＜２（T_ii−T_iic_iy_i） 従つて T_ii＞T_iic_iy_i＞０ で T_ii＞０より １＞c_iy_i＞０ これによりy_iはc_iと同符号であり、特異点は中点とｃと
の間にあることがわかる。

以上の性質より、T_ii＞０で端点以外の境界の点が求
まつたときは、近い方の端点をとれば、エネルギーの低
い解が得られることが分かる。Ec＝Ec（_ｉ）の時は、ｃ
とｃ（_ｉ）を結ぶ線上全てが安定点となる可能性がある
が、このときはどちらの解をとつてもよい。

〔作用〕

（イ）エネルギー関数の表現 係数行列ＴあるいはＳの対角要素を０とすることによ
り、極小値の端点が全て安定点となり、極小値への収束
を可能にする。

（ロ）重みの決定 制約条件間の重みを、各々の制約条件が、制約を逸脱
したとき同じエネルギーの増加をとなるように設定し、
また制約条件と評価関数の間の重みは、制約条件をはず
れたときの制約条件のエネルギーの増加が、評価関数の
エネルギーの低下よりも大きくすることにより、制約条
件を満たす解が極小値となるようにすることができる。

（ハ）積分の初期値の選択 変数の増加する領域の中点に初期値を選ぶことによ
り、最小値あるいは最小値に近い極小値を求めることが
できる。

また中点の値に絶対値の値が異なる値を加えたものを
初期値とすることにより、領域の内部に収束することを
防止することができる。

（ニ）収束の改善 一度求まつた解に対して対角要素の値を増やしてその
解を不安定にして、再度解を求めることにより、よりエ
ネルギー値の近い解を求めることができる。

（ホ）積分方式 時間刻みΔｔ後のエネルギーの値が前のエネルギーの
値に対して減小するか否かを調べ、それによりΔｔの大
きさを調整することにより、安定な収束を保つことがで
きる。

Δｔの初期値を、 あるいはｂの絶対値の最大値に応じて決めることによ
り、エネルギーが極小値でない解が求まらないようにす
ることができる。

（ヘ）境界に収束した解 境界に解が収束したとき、Ｔ（Ｓ）の対角関素が正の
とき、近い方の端点を解とすることによりエネルギー値
の低い解を選択することができる。

〔実施例〕

以下本発明の実施例を第４図を用いて説明する。図に
おいて１はCPU、２はメモリ、３は組合せ最適化問題を
解くプログラム、４はプログラム３が使用するデータエ
リアである。組合せ問題を解くときは、プログラム３を
起動すると、プログラム３は、入力データに従つてデー
タエリア４を用いて計算を実行し、結果を出力する。

第１図にプログラム３の動作手順を示す。第１図にお
いて、100は、重みを決定するステツプ、200は、係数行
列を決定するステツプ、300は、積分の初期値を選択す
るステツプ、400は積分を実行するステツプ、500は収束
解を判定するステツプ、600は、500の結果に従つて処理
を終了して良い場合は、終了し、そうでない場合は、70
0へ進む処理を行なうステツプ、700は500の判定結果に
従つて、初期値を変更する場合は、300へ進み、そうで
ない場合は800へ進む処理を行なうステツプで、800は係
数行列の変更を行なうステツプである。

以下各ステツプを詳細に説明する。重みを決定するス
テツプ100は、第５図のようになる。エネルギーが Ｅ＝ω₀f＋ω₁g₁＋……＋ω_ng_n …（44） で表現されるとする。ここでｆは評価関数、g₁〜g_nは制
約条件、ω_０〜ω_ｎは重みである。

このとき第５図において 101…制約条件を１つ分だけ満たさないときの、制約条
件g₁〜g_nの増分値を計算する。

102…101で求まつたg₁〜g_nに対する増分値をΔg₁〜Δg_n
とするとω_１Δg₁〜ω_ｎΔg_nの値が等しくなるようにω
_１〜ω_ｎの比を決定する。これにより、制約項が ω_１（g₁＋α₂g₂＋…＋α_ng_n） …（45） と決まつたとする。α_２〜α_ｎは定数ω_１は以下の処理
で決まる。

103…（43）式に従つて制約条件を１つ分だけ満たさな
いときの制約条件の増分を計算しこれをω_１Δｇとす
る。またこのときの評価関数の微小分を計算（これを、
ω_０Δｆとする）。

104…ω_１Δｇ＞ω_０Δｆとなるようにω₁,ω_０の値を
決める。

次に係数行列を決定する200のステツプを第６図によ
り説明する。

201…エネルギー関数Ｅより、 となるｎ×ｎ次係数行列Ｔ及びｎ次入力ベクトルｂを決
定する。

202…0,1問題のときは、203へ進み、そうでないとき
は、204へ進む。

203…入力ベクトルの要素b_iを b_i←b_i＋T_ii/2 と修正し、それに伴ないT_iiを０にする。

204…係数行列Ｔの対角要素、T_iiを０とする。

次に初期値の選択ステツプ300を第７図を用いて説明
する。

301…ステツプ700からきたときは、303へそうでないと
きは302へ進む。

302…変数ｘの変化する領域の中点に初期値を設定す
る。0,1問題では（1/2…1/2）の点−1,1問題では原点で
ある。

303…もとの初期値のある要素（１つでも複数個でもよ
い）に微小量を加える。但し複数個に加えるときは絶対
値が異なるようにする。この微小量の大きさは、小さけ
れば小さい方がよい。

積分の実行ステツプ400を第８図を用いて説明する。

401…積分の刻みΔｔを決める。

この値は、1,0問題では、（39）式、即ち 1,−１問題では、（40）式即ち となるようにΔｔを決める。u_maxは、５〜10の範囲とす
ればよい。

402…（35），（36）式によりu_new,x_newの値を計算す
る。

403…微小量εにより、x_newとx_oldの対応する各要素の
差の絶対値が全てεより小さければ終了し、そうでなけ
れば404へ進む。

404…x_new,x_oldに基づいたエネルギー値Ex_new,Ex_oldの
差が負ならば405へそうでなければ407へ進む。

405…Δｔを増加させる場合は、406へそうでない場合
は、402へ進む。ここでΔｔを増加させるか否かの決定
は、以前Δｔを減小したか等により決める。

406…E_xnew−E_xold＜０の成立する範囲でΔｔを増加さ
せる。このときは、（35）式のΔｔをふやしてu_new,x
_newを計算し、上記条件を満足していることを確かめ
る。

407…Δｔを減小させてE_xnew−E_xold＜０が成立するよ
うにする。

収束の判定ステツプ500を第９図を用いて説明する。

501…端点に収束していれば502へそうでなければ505へ
進む。

502…既にステツプ800を実行しているときは、503へそ
うでないときは504へ進む。

503…再度計算する必要がないときは、これまで求まつ
た解のうちエネルギーの最も低い解を求まつた解とし
て、508へ進む。そうでないときは、504へ進む。ここで
再計算するか否かは、後で述べる係数行列の変更処理を
再度するか否かによつて決まる。

504…再積分計算を指示して終了する。

505…内点に収束した場合は、507へそうでない場合は、
506へ進む。

506…領域の端点でない表面に収束したときは、端点に
対応しないx_iに対しT_ii＞０のときは、x_iに近い端点の
値をとり、T_ii＝０のときは、どちらかの端点の値をと
る。

507…初期値変更指示を出して終了する。

508…積分終了指示を出して終了する。

第10図を用いて係数行列の変更ステツプ800を説明す
る。

801…修正が一番最初のときは802へ、そうでないときは
806へ進む。

802…修正を固有値の大小でやるときは803へそうでない
ときは807へ進む。

803…解の固有値を（７）あるいは（11）式で計算し、8
04へ進む。

804…固有値の絶対値の小さいものからｍ個選び記憶す
る。このうちの１つを選んで805へ進む。ここでｍは１
から最大ｎまで選ぶことができる。

805…対角要素あるいは初期値を第11図で示す手順で行
なう。

806…前回805で修正した対角要素あるいは初期値をもと
に戻し、804で記憶したものから１個とり出し、805へ進
む。

807…解ｘの要素がx_i＝１のものを記憶しするととも
に、この中から１つ選ぶ805へ進む。

次に第11図を用いて805の手順を説明する。

808…804,806,807で選ばれたものがｉ番目であつたとす
る。

809…対角要素を変更する場合は、810へ、対角要素の変
更と等価な初期値の変更の場合は、813へ進む。

810…1,0問題のときは、811へ、1,−１問題のときは812
へ進む。

811…ｉ番目の対角要素及び入力ベクトルを各各 T_ii←T_ii＋２ΔT_ii b_i←b_i−ΔT_ii と変更する。

812…ｉ番目の対角要素を T_ii←T_ii＋２ΔT_ii で変更する。

813…変数ベクトルのｉ番目の要素の初期値を x_i←x_i＋Δx_i と変更する。ここでΔx_iは、1,0問題では、 ０＜x_i＋Δx_i＜１ 1,−１問題では、 −１＜x_i＋Δx_i＜１ とする。

811,812のΔT_iiは、 ０＜ΔT_ii＜γ｜λ_c,_i|＋ε の範囲で設定すればよい。但しγは1,0問題では1,1,−
１問題では２で、εは微小量である。これ以上の値にΔ
T_iiを大きく設定すると、最初に求まつた解は不安定と
なるためである。

なお以上の手順では、ΔT_ii,Δx_iは一度だけ設定する
方法を示しているが、ΔT_ii,Δx_iのいくつかの組合せに
ついて調べることもできる。また一度変更した対角要素
あるいは初期値をもとに戻して次の修正を行なつている
が、それをそのままにして解を改善してゆくことも可能
である。

ここで具体的な一例で説明を加える。工業上の多岐に
渡る分野で組合せ最適化問題を解くことが必要とされて
いる。その１つに輸送問題がある。輸送問題では、中継
点と中継点を結ぶ輸送路で構成され、各輸送路には、そ
れを通るときのコストが決められており、ある中継点か
ら別の中継点へ行くのにコスト最小となる輸送路を決め
る問題である。第12図はその例を示す。図において、90
0−１〜900−６は中継点で、900−12〜900−56は輸送路
で、各輸送路には、コストが決められており、例えば中
継点900−１から中継点900−６にゆくのにコスト最小と
なる輸送路を求めるものである。

通信改選網で言えば、ある中継点から別の中継点にデ
ータ輸送をするときに、通信コストを最小にする通信回
線を選択する問題であり、貨物の輸送システムで言え
ば、ある中継点から、別の中継点に輸送コスト最小で送
れるルートを求める問題となる。

この輸送問題に対するエネルギーＥは、 となる。但し、第１項は各中継点において、出入りする
輸送量は０である制約で I_i :i番目の中継点に外部から注入あるいは、外
部に出る輸送量で、出発点のとき、I_i＝1,終点のときI_i
＝−１、それ以外のときは０とする。

b_ij :i番目の中継点からｉ番目の中継点に輸送さ
れるとき1,輸送されないとき０となる変数。

Ｎ（_ｉ）：中継点ｉに接続した中継点の集合 n:中継点の総数 A:重み また第２項は、中継点ｉとｊは、ｉからｊあるいはｊ
からｉへの輸送があるか、ないかのどれかである制約
で、Ｂは重みである。

第３項は、輸送の総コストを示しており、 c_ij:中継点ｉとｊの間で輸送があつたときの、コスト D:重み である。

上記輸送問題の解は、第１図の手順に従つて求めるこ
とができる。

まず重みは、第５図に従い次のようにして決まる。A,
Bは制約条件に対する重みであり、制約条件を１つ分だ
け満たさないときの第1,第２項の増分値は、Ａ及びＢで
あるから、 Ａ＝Ｂ …（47） となる。また制約条件を１つ分だけ満たさないときの制
約条件の増加分は2Aで、第３項の微小分の最大値は、 であるから となるように、A,Dを決めればよい。

次に係数行列の決定は、第６図に従つて行うことがで
きる。Ｅの定数項を省略すると、 において、 となる。0,1問題であるから、Ｔの対角要素をふやし
て、対応するｂの要素を修正すると、T,bは次のように
なる。

初期値は第７図より、1/21に設定する。積分は第８図
により行なう。このとき積分刻みΔｔは、 となるようにΔｔを決める。

ここで第12図で I₁＝1,I₆＝−1,I₂〜I₅＝０ C₁₂＝C₂₁＝1.1 C₁₃＝C₃₁＝2.2 C₂₄＝C₄₂＝1.3 C₂₅＝C₅₂＝2.1 C₃₅＝C₅₃＝2.5 C₄₆＝C₆₄＝2.0 C₅₆＝C₆₅＝0.5 とする。このとき重みは（48）式を満たすようにとれば
良いが、例えば Ｄ＝1,A＝12 とする。

また（44）式より、左辺の最大値は、18.5Δｔとなる
ため、u_max＝10として、Δｔ＝0.5とする。

このとき固有値が全て負となる。即ち安定な端点は、
第13図の４種類と、全てが０になる端点となるが、 に初期値を設定すると、この問題では縮退が生じないた
め、第14図（ａ）のコスト最小の解を求めることができ
る。従つて第１図の700において、初期値の変更は不要
で、800の係数行列を変更しても、解の改善は生じな
い。

以上、説明した本発明の実施例の効果を説明する。

（イ）エネルギー関数の表現 係数行列ＴあるいはＳの対角要素を０とする効果は、
例えば（19）式のエネルギー関数で示される巡回セール
スマン問題で、 ｎ＝2,A＝Ｂ＝2.5,D＝１ d_xy＝１ とした時、対角要素を０にすると、安定な端点は（110
0），（1010），（0101），（0011）（1001），（011
0） となる。このうち後２つの端点が制約を満たす解であ
る。それに対して対角要素を０にしないと上記の安定な
端点は全て不安定な端点となり、解が求まらなくなつて
しまう。このように係数行列の対角要素を０とすること
は、安定解を求める上で極めて有効であることが分か
る。

（ロ）重みの決定 （イ）の例でd_xy＝１であるからＡ＝Ｂとすると（2
3）式より Ａ＞2D と設定することが必要である。これに対しＡ＝1.5,D＝
１とすると端点の安定点は、 （1000），（0100），（1100），（0010），（1010），
（0001），（0101），（0011） となり、制約条件を満たす端点が安定点とならない。従
つて本発明で述べた重みの決定は、極めて有効であるこ
とが分かる。

（ハ）積分の初期値の選択 （イ）のｎ＝２の巡回セールスマン問題において、Δ
ｔ＝１としたとき初期値をかえたときの収束の様子を第
14図に示す。図に示す初期値は、1/2からの変分を示し
ており、＋／−は1/2＋0.0025及び1/2−0.0025であるこ
とを示している。（1/2…1/2）の点からは、内部の不安
定点に収束している。これに対し、ある一つの要素に微
小量を加えるあるいは引いた値を初期値としたときは、
制約を満たす解に収束しているが、全ての要素に微小量
を加えるか引くかした場合は、制約を満たさない解に収
束している。このように初期値は、中点に設定しそれが
収束しないとき、いくつかの初期値に微小量を加えるこ
とが効果あると言える。

（ニ）収束の改善 （ハ）で示したｎ＝２の巡回セールスマン問題では、
与えられた初期値のうち、（＋000）と（−000）につい
てしか制約を満たす解に収束しなかつたが、求まつた解
に対してその解を不安定化する処理により、（1/2…1/
2）の初期値以外の初期値の場合は制約条件を満足する
解に収束した。また（1/2…1/2）の解も初期値のある要
素に微小量を加えるあるいは引くことにより制約条件を
満たす解に収束した。

（ホ）積分方式 10都市,13都市に対して対角要素を増やして解を改善
した例を第15図，第16図に示す。10都市では、101/20＝
181,440通りの解の組み合わせがあるが、 x₁＝1/2＋0.03,x_i＝1/2, ｉ＝2,…,100 と初期値を選定したとき、エネルギーが−9.92の解が求
まつた。第15図はこのときx_i＝１となつたｉについて順
次対角要素の値を増やしていつたときの解を示してい
る。T₇₇,₇₇を0.8ふやしたときエネルギー−10.47の解が
得られたがこれは、全ての組合せを調べることにより、
最小値であることが確かめられた。増加分を0.2,0.4と
したときも、最小値に近い解が求まつていることが分か
る。

13都市では、組合せの数は、239,500,800通りもあ
る。これに対して、第16図は、 x₁＝1/2＋0.03,x_i＝1/2,i＝2,…,169 として解を改善していつた結果を示す。最小値は組合せ
を全て調べる方法により、−133.67であることが確かめ
られたが、T₄₂,₁₁₂を0.2ふやした時に最小値が求まつて
いる。また3.0でも−133.67で最小値に極めて近い。

対角要素をふやす方法に対して、初期値を変えた結果
を第17図に示す。図は、10都市の場合で、初期値とし
て、 x₁＝x_i＝1/2＋Δｘ（Δｘ＝0.03,0.04）として、ｉは
図中の初期値の番号に設定した。このときx₄₉＝1/2＋0.
04で最小値が求まつている。

このように収束を改善することにより、少ない手順で
は求めることが不可能と言われていた最小値が求められ
る。

第18図にｎ＝２の巡回セールスマン問題で ｎ＝2,A＝Ｂ＝2.5,D＝１ d_xy＝１ として、積分刻みΔｔをかえたときの収束特性を示す。
これを見るとΔｔがエネルギーの単調収束性が満たされ
る範囲で大きくした方が、制約条件を満たす解が求まる
可能性が高くなり、積分刻みΔｔを変えることが有効で
あることが分かる。

（ヘ）境界に収束した解 従来方式では解が端点以外の境界面上に収束したとき
その意味を解釈することができなかつたが本発明を実施
することにより、端点の解に変換することが可能となつ
た。

本発明を輸送問題等産業上の種々なシステムに適用す
る際、各種の定数が試行錯誤を行なうことなく決めるこ
とができるため、容易に適用でき、またネツトワークの
接続関係などの構成が変わつても簡単に対応ができる。
また本発明により最適解もしくは、最適解に近いものが
得られるため、システム運用コストを削減できる効果が
ある。

具体的なアプリケーシヨンの一例を以下説明する。

家庭に電気を供給している配電線は、道路に沿つて網
目状に張りめぐらされ、適当な間隔にスイツチを配置
し、その一部を切つておいて巡回路（ループ）を作らな
いよう運用されており、この配電線のどこかで工事を行
うときは、このスイツチをうまく切替えて、電気の流れ
を変え、どこにも停電が起きないようにする必要がある
が、これは大規模な組合せ問題となる。

また、計算機の構成単位であるLSIチツプを設計する
際、そのチツプ上に実装するLSIモジユールと呼ばれる
論理の集まりを効率良く配置しなければならない。その
ためには、LSIモジユール間の全配線長を最小する配置
を決定する必要があるが、これもまた大規模な組合せ問
題となる。本発明を適用することにより、現在製品レベ
ルである約10kゲート規模のLSIモジユールの最適配置を
ニユーロコンピユータで解くことが可能となる。勿論こ
れらの具体例に限定されず種種な組合せ最適化問題に適
用可能である。

上記２つの問題は、巡回セールスマン問題に置き直し
てみれば、100〜1000都市の問題に相当し、組合せの数
は天文学的な数となりニユーロコンピユータをつかわな
い方法で妥当な解を求めるのに長い時間を要した。また
ニユーロコンピユータを用いるにしても、従来の試行錯
誤の方法では対応しきれない規模となる。これに対して
本発明により試行錯誤の部分が解消できるため実用規模
の問題に対してもニユーロコンピユータの適用が可能と
なる。更に発明と、並列処理計算機等のハードウエアの
技術の組合せにより、大規模組合せ問題が、一層高速に
解くことが可能となる。

〔発明の効果〕

本発明は、組合せ問題を解いて種々な産業上のシステ
ムに適用する際に、各種の定数が試行錯誤を行なうこと
なく高速に最適解もしくは、最適解に近いものが得られ
るという効果を奏するものである。

【図面の簡単な説明】

第１図は本発明の一実施例を示す図、第２図，第３図は
初期値の収束に与える影響を説明した図、第４図は本発
明の一実施例にかかる全体構成図、第５図〜第11図は第
１図の手順を更に詳細に説明した図、第12図は輸送問題
を説明した図、第13図は輸送問題の解のパターンを示し
た図、第14図は初期値の収束値に与える影響を示した
図、第15図〜第17図は収束の改善の効果を示した図、第
18図は、積分刻みの収束値に与える影響を示した図であ
る。 100……重みの決定、200……係数行列の決定、300……
初期値の選択、400……積分の実行、500……収束解の判
定、600……終了してよいかの判定、700……初期値変更
要かの判定、800……係数行列の変更。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 ＪＩＣＳＴ化学技術文献データベース

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】複数のニューロンが結合され、それらのニ
   ューロンが活性化することにより動作するニューラルネ
   ットを用いて最適解を求めるデータ処理方法において、 予め与えられた制約条件を満たす解に対して、ニューロ
   ンの状態を活性から不活性にした解のエネルギーが前記
   制約条件を満たす解のエネルギーよりも大きくなるよう
   に各ニューロン間の結合の強さを決め、 予め定めた初期値を用い、各ニューロン間の結合の強さ
   にもとづいて全てのニューロンが安定となる解を一旦求
   め、 前記各ニューロン間の結合の強さは維持したままで、ニ
   ューロンの出力をフィードバックして自分の入力にする
   結合の強さを順次大きくしていくことにより、さらにエ
   ネルギーの低い解を求める組合せ最適解を求めるデータ
   処理方法。
2. 【請求項２】エネルギー関数が最小となるように係数行
   列Ｔ、入力ベクトルｂ、変数ベクトルｘの微分方程式を
   積分することにより最適解を求めるデータ処理装置にお
   いて、 係数行列Ｔと入力ベクトルｂと変数ベクトルｘの積分初
   期値x0から決まるベクトルＴ×x0＋ｂの最大値があらか
   じめ指定された値以内になるように積分の刻み幅を決め
   る手段を備えた組合せ最適解を求めるデータ処理装置。