JPH08272760A - 非線形最適化並列処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットワークの学習などで頻出す
る多峰性非線形関数の最適化問題を並列計算機で効率的
に解く方法を提供することにある。 【構成】 各処理装置において、探索系統の初期値設定
(411)し、探索点更新(412)をし、該探索点での探索値評
価(413)をし、該探索値が局所解か否か判定(414)し、判
定が否のとき前記探索点更新(412)に戻すか否か判定(41
5)するフェーズ１と、フェーズ１の全処理装置で局所解
が得られた時、比較対となる処理装置の組を夫々選択
し、比較対の局所解の優劣比較をし、劣性の局所解を得
た探索系統の新探索点を設定し関連処理装置のフェーズ
１に戻す処理(701)と、劣性の局所解がないとき局所解
を全て比較し、全て一致するとき、その局所解を大域最
適解として出力し、一致しないとき局所解を得た各探索
系統の新探索点を設定し各関連処理装置のフェーズ１に
戻す処理(702)からなるフェーズ２を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の処理装置により
非線形最適化問題の大域最適解を得る非線形最適化並列
処理方法に関する。ここで、非線形最適化問題とは、多
峰性関数−すなわち、極大・極小値を多数持つ非線形関
数−における大域的な最大あるいは最小値を求める問題
のことであり、非線形計画法の基礎になる。さらに、非
線形最適化問題は、近年脚光を浴びているニューラルネ
ットワークシステム（以下、ＮＮ）における学習問題の
根幹をなす。

【０００２】

【従来の技術】

１．非線形最適化問題 １．１ 非線形最適化問題 一般に、ある条件の下で要求を満たす最適解を求める問
題を最適化問題あるいは計画問題という。このような問
題は、システムの設計からポートフォリオまであらゆる
分野に現れる問題である。この最適化問題のうち、非線
形最適化問題は「着目する要求」を評価する評価関数を
設定し、それを最大にする解を求める問題として一般化
できる。例えば、ポートフォリオなら、得られる利益を
評価関数として表現し、それを最大にする銘柄の投資額
を解とすればよい。なお、一般に評価関数が非線形関数
になることから、このような最適化問題は「非線形最適
化問題」あるいは「非線形計画問題」と呼ばれる。

【０００３】１．２ ＮＮにおける非線形最適化問題 「多峰性非線形関数の最適化問題」は、ＮＮの学習問題
で特に重要である。そこで、簡単にＮＮについて説明す
る。ＮＮは、図１（ａ）に示されるようなニューロン素
子をネットワーク状に結合したものである。このニュー
ロン素子の特性は、

【０００４】

【数１】

【０００５】のように与えられることが多い。ネットワ
ーク結合のトポロジーも数多く存在するが、例えば図１
ｂのような階層型ネットワークが良く用いられる。階層
型ネットワークにおいて、入力の対応したニューロンの
層（以下、入力層）と出力に対応したニューロンの層
（以下、出力層）の間に、中間層と呼ばれるニューロン
の層により構成される。そして、各ニューロン素子の結
合係数ベクトルｗの与え方で、ネットワークの性質−す
なわち、入力に対応する出力のパターンを変えることが
できる。言い換えれば、ネットワーク出力は、入力と結
合係数ベクトルｗの関数になる。ＮＮを機能させるため
には、手本となる入出力の対応関係を学習させなければ
ならない。このような学習方法では、Ｒｕｍｅｌｈａｒ
ｔによる誤差逆伝播法（以下、ＢＰ法）が有名である。
いま、図１（ｂ）の３層の階層型ＮＮを考える。ＢＰ法
においては、特定の入力が与えられた時、目標出力を得
るように結合係数ベクトルｗを修正していく。すなわ
ち、入力を固定すると、ＮＮの出力は結合係数ベクトル
ｗの関数で表現される。これと目標出力の二乗誤差

【０００６】

【数２】

【０００７】を評価関数とし、これを最小にするように
ｗを修正する。これは、いわゆる非線形最適化問題とな
る。この誤差評価関数は一般に多峰性の関数になる。従
って、単純な最急降下法などを用いると、局所最適解に
落ち込み、最適な重み係数が得られないことがある。こ
の問題は、ＮＮにおける重要な問題の一つである。シミ
ュレーテッドアニーリング法（以下、ＳＡ法）あるいは
最近では遺伝的アルゴリズム（以下、ＧＡ法）のような
一種の確率的最適化法を用いるのが一般的であるが、計
算時間が膨大になる。この点については、以下で詳細に
示す。

【０００８】１．３ 非線形最適問題における従来技術 非線形最適化問題−すなわち、非線形関数の最大・最小
問題を解くために、一般には反復法を用いる。反復法を
一言で言えば、ある初期値から出発し、それを逐次修正
して、一定の値に収束したことをもって解と見なす方法
である。このような方法は、反復回数が計算時間を大き
く左右するため、効率的に真の解に近づく方法が必要で
ある。これは対象とする非線形関数の特徴に大きく左右
される。例えば、適応フィルタを線形最小二乗法などで
解く場合、誤差評価関数と呼ばれる非線形関数は、二次
局面であり極小値が最小値となる。このように比較的単
純で関数の特徴が分かりやすい非線形関数の場合、「最
急降下法」あるいは「共役勾配法」などの方法がある。
しかし、ＮＮで必須の多峰性の関数に対して適さないこ
とは、先に示した通りである。そこで、以下では多峰性
の非線形関数に対して大域的最適解を得ることのできる
従来法を中心に説明する。

【０００９】（１）最急降下法の修正法 Ｒａｍｅｌｈａｒｔ等はＢＰ法の実現に際し、局所最適
を回避するために、結合係数ベクトルｗを次のように更
新した。

【００１０】

【数３】

【００１１】ここで、上式の第２項は慣性項と呼ばれ、
重みの変化に一種の慣性を考慮する−すなわち、前回の
更新値に比例した量を修正量に加える。これにより、誤
差特性曲面の細かな凹凸を無視する効果を持たせ、細か
な局所最適に落ち込むのを防いでいる。ここで、慣性項
の大きさを決定するパラメータαの選択は収束性に大き
な影響を与えるが、このαの選択をＰＩＤ制御法とのア
ナロジにより決定する方法も提案されている（神田他：
予測によるニューラルネット誤差逆伝播アルゴリズムの
高速化：電子情報通信学会論文誌ＤII編，Ｖｏｌ．Ｊ７
６−Ｄ−ＩＩ，Ｎｏ．１，ｐｐ．１３２−１３９，（１
９９３）））。このように、収束する過程を一種の物理
現象に見立てて、適宜修正過程を制御する方法が数多く
提案されている。例えば、パラメータの修正量をその２
階微分と関連付けることにより、局所最適を回避する方
法がいくつか提案されている。浅川等は、二次の振動系
とのアナロジから、

【００１２】

【数４】

【００１３】のような修正を行い、これを適宜制御する
方法を提案している（浅川他：階層ニューラルネットワ
ークの機能と学習の高速化：電気学会論文集Ｃ編，Ｖｏ
ｌ．１１０，Ｎｏ．３，ｐｐ．１４１−１４７，（１９
９０））。また、藤田等は散逸系とのアナロジから

【００１４】

【数５】

【００１５】のように修正する。ただし、ξ（ｗ）は非
線形抵抗項と呼ばれ、これを適宜調整することで系のカ
オスを調節し、徐々に大域最適解に収束させている（藤
田他：散逸系カオスを用いた大域的最適化手法：電子情
報通信学会論文誌Ａ編，Ｖｏｌ．Ｊ７７−Ａ，Ｎｏ．
６，ｐｐ．８８１−８８９，（１９９４））。

【００１６】（２）ＳＡ法 ＳＡ法は、局所最適を回避する方法として脚光を浴びて
いる。これは、熱力学とのアナロジから、状態の更新
（遷移）を確率的に実行する。すなわち、最小にすべき
評価関数をエネルギー関数に見立てて、古い状態と新し
い状態とを比較する。そして、新しい状態のエネルギー
が低ければ確率１で−すなわち、必ず新しい状態に遷移
し、新しい状態のエネルギーが高ければ、ボルツマン分
布に従って

【００１７】

【数６】

【００１８】の確率で遷移する。ここで、温度Ｔは遷移
確率を決定するパラメータである。ＳＡ法では、熱力学
とのアナロジから、温度Ｔを最初は高くとり、徐々に温
度Ｔを下げてエネルギー最小状態に到達する。言い換え
れば、最初は遷移確率を大きく取り、徐々に遷移確率を
下げることで、大域最適解に到達する方法である。これ
はちょうど、高温から急速に冷やす焼き入れ（最急降下
法などに例えられる）より、ゆっくり冷やす焼きなまし
がエネルギー的に最小状態に近いことに例えられてい
る。ＳＡ法は、近似的解法ではあるが、比較的良質の解
が得られることが知られている。もっとも、この処理の
計算時間は膨大であり、それがＳＡ法を応用するさいの
問題になっている。これに関連し、ホップフィールドの
ネットワークで処理要素の伝達関数が

【００１９】

【数７】

【００２０】のような確率過程で表現されるＮＮをボル
ツマンマシンと呼ぶ。この場合、システムのエネルギー
関数も確率的に表現されるため、評価関数そのものの計
算が膨大になる。これを解決するために、平均場近似ア
ニーリング法と呼ばれる方法がある。この方法は、ボル
ツマン分布に従うと仮定したニューロンのエネルギー状
態を、統計力学とのアナロジから

【００２１】

【数８】

【００２２】のように平均値で近似する。これをＳＡ法
と同様に解くことで最適解が得られる。この平均場近似
アニーリング法は、複数のスピン状態の平均場について
アニーリングを行う必要があるが、この特徴を利用した
並列アルゴリズムが、銭等によって提案されている（銭
等：並列平均場アニーリング法による組合せ最適化とボ
ルツマンマシンの学習：電子情報通信学会論文誌ＤII
編，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１２，ｐｐ．２
６１５−２６２５，（１９９３）））。

【００２３】（３）ＧＡ法 確率的探索法の一手法として、ＧＡ法が近年脚光を浴び
ている。このＧＡ法は主に生物の進化とのアナロジから
Ｈｏｌｌａｎｄによって提案された。ＧＡ法は、以下の
ような生物の進化と対応する「増殖・交叉・突然変異・
淘汰」の各過程によって計算される。次に、ＧＡ法を非
線形最適化問題に適用した具体例を示す。簡単にするた
めに、ここでは図２に示すような一変数関数の例を取り
上げる。まず、最初に定義域上にランダムに複数の点
（以下、個体）を選択する。ここで、各点の値−例え
ば、２進のビットパターンを遺伝子に見立てる。ここで
は、各個体の特性がｆ（ｘ）で評価されると考える。各
個体の特性から、その個体が子孫の数を残す期待値を例
えば

【００２４】

【数９】

【００２５】のように仮定する。まずＧＡ法では、数９
に従って親と同一の個体を生成する。これを増殖とい
う。増殖も一種の確率過程であり、次の交配において選
択される確率に影響する。次に、生成された個体の中か
ら一定の交配、すなわち、遺伝子の組替えを行う。これ
は通常の反復法における値の更新に相当する。このあと
突然変異と呼ばれる確率的な遺伝子の変更を行う。この
ように一定の確率頻度で解を動かすことで、解が局所最
適に落ち込むことを防いでいる。これらの過程によって
生成された個体は、一定の評価に基づいて淘汰、すなわ
ち消滅する。これらの過程を何世代も経ることにより、
次第に最適解に収斂されていく。従って、ＧＡ法もＳＡ
法と同様に、非常に多大な計算時間を要する。しかし、
各処理は比較的独立であり、並列計算には適した方法で
ある。

【００２６】

【発明が解決しようとする課題】ＳＡ法・ＧＡ法に代表
される確率的探索法は、構造的に並列処理が可能な部分
も多く、先に示したようにいくつかの並列処理方法が提
案されている。しかし、そもそも計算時間そのものが膨
大であり、最高性能の超高速計算機を用いる必要があ
り、コスト的に問題がある。一般的なＮＮで用いられる
ＢＰ法は、最急降下法およびその修正法などが多く用い
られる。これらは、応用システム構築に際し比較的実用
的であるが、局所最適解の問題ではＳＡ法・ＧＡ法など
の確率的探索法が良質の結果が得られる。また、計算過
程における逐次性が強く、構造的に並列処理に適してい
ない。本発明の目的は、最急降下法およびその修正法を
基本に、確率的探索法の要素を取り入れ、かつ並列処理
に適した複数の処理装置により非線形最適化問題の大域
最適解を得る非線形最適化並列処理方法を提供すること
にある。本発明の他の目的は、従来のＢＰ法の手軽さ
で、ＳＡ法あるいはＧＡ法のような確率的探索法に近い
最適解を得、かつそれを並列計算機で効率的に実現する
非線形最適化並列処理方法を提供することにある。

【００２７】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、複数の処理装置により非線形最適化問題
の大域最適解を得る非線形最適化並列処理方法であっ
て、前記各処理装置において、探索系統の初期値設定ス
テップと、探索点更新ステップと、該探索点での探索値
評価ステップと、該探索値が局所解か否か判定するステ
ップと、判定が否のとき前記探索点更新ステップに戻す
か否か判定するステップからなる第１の処理を行ない、
前記全ての処理装置で探索系列の局所解が得られたと
き、全ての処理装置から比較対となる処理装置の組をそ
れぞれ選択するステップと、比較対の各処理装置の局所
解の優劣比較をするステップと、劣性の局所解を得た探
索系統の新たな探索点を設定し関連する処理装置におけ
る前記第１の処理の探索点更新ステップに戻すステップ
からなる第２の処理を行ない、前記各優劣比較の結果が
全て一致するとき該各一致した局所解を全て比較し、該
各局所解が一致するとき一致した局所解を大域最適解と
して出力するステップと、一致しないとき局所解を得た
各探索系統の新たな探索点を設定し関連する各処理装置
における前記第１の処理の探索点更新ステップに戻すス
テップからなる第３の処理を行なうようにしている。さ
らに、前記第１の処理は、各処理装置間でのデータ通信
をすることなく各処理装置が独立して実行するようにし
ている。さらに、前記第２および第３の処理における探
索系統の新たな探索点は確率的評価に基づいて生成する
ようにしている。さらに、前記各処理装置はインデック
スと比較対となる相手の処理装置の処理装置番号からな
るエントリを複数有するテーブルを備え、前記第２の処
理における比較対となる処理装置の組の選択は前記各処
理装置に対して前記インデックスを指定することにより
行なうようにしている。さらに、前記複数の処理装置を
ハイパーキューブ型の並列処理装置とし、各処理装置の
処理装置番号を複数桁の２進数により規定し、前記第２
の処理における比較対となる処理装置の組の選択は、各
処理装置に対して前記２進数の複数桁の内の１つの桁を
指定することにより、処理装置と該処理装置の処理装置
番号の前記指定された桁の値を反転して得られる２進数
を処理装置番号として有する処理装置とを組とすること
により行なうようにしている。

【００２８】

【作用】上記手段を取ることにより、処理１では各処理
装置がそれぞれの探索系統の処理を他の処理装置と通信
することなく独立して処理するため、高速な処理が可能
であり、処理２ではランダムに選択された処理装置の組
における局所解の優劣比較ができ、劣性の局所解がある
とき、さらに処理１での高速な処理を繰り返すことによ
り局所解の優劣比較ができ、さらに処理２では処理装置
間でのデータ通信における競合回避がされており、これ
により、多くの処理時間を要することなく、良質の最適
解を得ることができる。

【００２９】

【実施例】本発明の実施例１を説明する。本実施例で
は、２つの計算ユニットを持つ並列処理型のマイコンの
使用を想定した例について説明する。ここでは、本発明
を実現する最も簡単な例として、２つの探索系統で処理
することを考える。図４は、実施例１の処理の概要を示
したフロ−チャ−トである。本実施例では、各計算ユニ
ットが独立に計算するフェーズ１−具体的には、手順４
１１〜４１５および手順４２１〜４２５−と各計算ユニ
ットが連携して計算するフェーズ２−具体的には交互に
繰り返して最適解を得る手順４０２・４０４−とからな
る。以下、フェーズ１とフェーズ２に分けて説明する。

【００３０】ＳＴＡＲＴ４０１より処理を開始する。こ
れにより、各計算ユニットが一斉に計算を開始する。そ
して、フェーズ１に入る。１番目の計算ユニットが担当
している探索系列１に着目すると、手順４１１において
必要な初期設定が行われる。探索開始点は、他の系列と
重複しないように選定する。この方法には、ランダムに
選定する方法と予め競合を回避するように選定する方法
がある。理屈の上ではランダムに選定すべきであるが、
組み込み用途で実時間で乱数生成するコストを削減した
い場合、予めランダムに選定したデータに基づいて初期
値を決定しても良い。手順４１２では、従来の最急降下
法あるいはその修正法における探索点の更新に基づい
て、探索点を更新する。例えば、数３〜５を適宜選択す
れば良い。手順４１３では、手順４１２で更新した探索
点における値を評価する。ここでは、関数値とともに、
微分値（差分値）も評価する。手順４１４では、局所最
適解か否かの判定を行う。これは、大域最適解を除外す
るものではなく、手順４１３で計算した探索点での微分
（差分）値が十分小さいか否か−すなわち、予め設定し
た十分小さなεとの比較によって判定すれば良い。ここ
で局所最適解に陥ったと判定されれば、系統２でフェ−
ズ１の処理が終了するのを待って手順４０２へ進む。局
所最適解に至らない場合、手順４１５へ進む。手順４１
５は、予め設定した修正回数だけ繰り返すための処理で
ある。これは、手順４１１でカウンタ変数を設定してお
き、手順４１５で修正回数だけ繰り返したかを判定すれ
ば良い。ここで、継続なら−例えば、カウンタ変数が正
なら−カウンタ変数をデクリメントして、手順４１２へ
戻り、探索点の更新をする。カウンタ変数が０なら、系
統２でフェ−ズ１の処理が終了するのを待って手順４０
２へ進む。

【００３１】２番目の計算ユニットが担当している探索
系列２−すなわち、手順４２１・４２２・４２３・４２
４および４２５でも探索系列１と同様の処理を行う。こ
こで、手順４１２は探索系列１の手順４１１の処理に対
応する。同様に、手順４２２は手順４１２と、手順４２
３は手順４１３と、手順４２４は手順４１４と、そして
手順４２５は手順４１５とそれぞれ対応する。

【００３２】次に、フェ−ズ２−すなわち、各計算ユニ
ットが連携して処理する処理について説明する。このフ
ェ−ズ２は、基本的に探索系統の再構成を行う手順４０
２と大域最適解を判定する手順４０４とよりなる。後で
詳述が、手順４０２は局所最適に落ちこんだ探索系統を
再構成、すなわち、探索点を新たな探索点へ確率的に移
動させる手順である。すなわち、新たな探索点を確率的
に設定する手順である。手順４０４では、大域最適解を
判定するために、系統１・２の解が一致することを持っ
て大域最適解と判定する。大域最適解と判定されなけれ
ば、探索系列１では手順４１１、探索系列２では手順４
２１に戻り、新たな探索点に対して再びフェ−ズ１を繰
り返す。

【００３３】図５には、手順４０２の構成例について説
明する。この実施例１では、最も簡単な例として探索系
列が２系統の最小構成になっているため、比較する探索
系統は系統１と２に固定されている。そこで、手順４１
４・４１５・４２４および４２５より手順４０２に実行
が移ったなら、すなわち、系統１および２ともフェ−ズ
１の実行が終了すれば、手順５０１により探索系統の優
劣を比較する。探索系統の優劣は、例えば、

【００３４】

【数１０】

【００３５】のような評価関数によって決められる。こ
こで、必要な評価値および微分（差分）値は手順４１３
および手順４２３で計算された値をそれぞれテ−ブル５
１１および５１２に格納しておき、局所最適解に対応す
るテーブル内の値を用いれば良い。探索系統の優劣は、
手順４１４と４２４で得られた局所最適解を比較し、例
えば、最小値を求める場合には、両者が一致せず、一方
の解の方が大きければ、大きい方の解を劣性と評価す
る。この結果に基づいて、手順５０２によって、劣性と
評価された探索系列の探索点を新たな探索点に修正す
る。この修正法は、いくつかの方法が考えられるが、最
も簡単な方法としては、新たな探索点をランダムに選定
する方法が可能である。また、ＧＡ類似の手法によっ
て、系列１の性質と系列２の性質を確率的に修正する方
法、例えば、２進表現した探索点を適当に交配して、新
しい探索点を生成する方法も可能である。ここで、再構
成された探索点により、テ−ブル５１１あるいは５１２
を更新する。

【００３６】図３は、一変数の非線形関数を２つのＰＥ
を用いて処理する例を示している。いま、ＰＥ１が初期
値ｘａ１，ＰＥ２がｘａ２を選択したとする。フェ−ズ
１−すなわち、各ＰＥが独立して行う処理を最急降下法
で一定回数（図３の例では５回）実行すると、系統１で
はｘｂ１，系統２ではｘｂ２まで進行する。ここまでの
プロセスは、各ＰＥが独立して実行できるため完全に並
列実行でき、最急降下法などにより高速に計算は進行す
る。フェ−ズ２−すなわち各ＰＥで連携して行う処理に
おいては、系統１と系統２とを評価し優劣を比較する。
これは、各点における評価値あるいは勾配等を評価する
わけだが、図３の例では系統１は局所最適に陥ってお
り、これを修正することになる。この修正は、一定の確
率的処理によりポイントｘｃ１を選択し、ここからＰＥ
１はフェ−ズ１を再開する。なおＰＥ２は、ｘｂ２より
そのまま継続ずる。これにより、局所最適に陥った探索
系統は確率的に減少し、大域最適解に至る探索系統が確
率的に増加する。これにより、従来の最急降下法などに
比べて良質な最適解が期待できる。

【００３７】次に、分散型並列計算機を用いた本発明の
実施例について説明する。図６には、並列計算機のトポ
ロジとして、（ａ）ハイパーキューブ型トポロジと
（ｂ）メッシュ型トポロジを示す。実施例２では、図６
（ａ）で示したハイパーキューブ型の並列計算機を用い
た例について説明する。ここでは、ｎ個のプロセッサ・
エレメント（以下、ＰＥ）−例えば、図６（ａ）のトポ
ロジでは１６個−を持つシステムに対して、ｎ個の探索
系統を持つシステム、すなわち、ＰＥ数と同数の探索系
統を持つシステムを考える。

【００３８】図７には、本実施例２の処理のフローの概
要を示す。実施例１と同様に、手順４０１よりＳＴＡＲ
Ｔする。ｎ個目の探索系統はそれぞれｎ番のＰＥが担当
するものとする。探索系統１の手順４１１〜４１５は、
実施例１と同様の処理を行えば良い。探索系統ｎ、すな
わち、手順４９１〜４９５においても、実施例１で示し
た探索系統１と同様の処理を行う。ここで、手順４９１
は探索系統１の手順４１１の処理に対応する。同様に、
手順４９２は手順４１２と、手順４９３は手順４１３
と、手順４９４は手順４１４と、そして手順４９５は手
順４１５とそれぞれ対応する。

【００３９】次に、フェ−ズ２、すなわち、各計算ユニ
ットが連携して処理する処理について説明する。このフ
ェ−ズ２は、基本的には実施例１と同様で、探索系統の
再構成を行う手順７０１と大域最適解を判定する手順７
０２とよりなる。しかし、ｎ系列のため、再構成の方法
にもいくつか異なる方法が考えられる。図８Ａの（ａ）
には、探索系統の再構成を行う手順７０１の処理のフロ
ーを示す。手順８０１では、ｎ個の探索系統を２者１組
みのペア（以下、比較対、例えば、１６台のＰＥの場
合、比較対は８個となる。）に分類し、各比較対におい
て優劣比較を行う。この比較対は、理屈の上ではランダ
ムに選択すれば良い。そして、このような実現方法が最
も単純である。

【００４０】ここでは、図６（ａ）のようなハイパーキ
ューブ型計算機を前提として、効率的な比較対の選定方
法を説明する。図６（ａ）のあるノード（ＰＥのこと）
に着目する。これを０番（２進表現で００００）とす
る。ハイパーキューブにおいては、２進表現で任意の１
ビットを変更した番号のノード−すなわち、１番（２進
表現で０００１）、２番（２進表現で００１０）、４番
（２進表現で０１００）および８番（２進表現で１００
０）と隣接する。この様子を、図８Ａの（ｂ）に示す。
分散型並列計算機においては、ＰＥ間のデータ通信を効
率的に処理する必要がある。ＰＥ間のデータ転送のため
には、転送回数の低減とともに、通信路の競合を抑制し
なければならない。本発明は、フェーズ１では各ＰＥが
独立して処理する構造から、全体のデータ転送の回数は
低減される。

【００４１】そこで、通信路の競合を抑制する方法を次
に説明する。第一の方法は、通信路が競合しない比較対
の組合せをテーブルとして管理する方法が考えられる。
この組合せは、非常に数多く存在するが、テーブルとし
てもできるだけ多く用意した方がよい。実行時には、こ
のテーブルのインデックッスをランダムに選択する。こ
れにより、比較対は選択したテーブルに従って決定でき
る。この方法による手順８０１の詳細を図８Ｂに示す。
図８Ｂ（ａ）では手順８２１は、ホスト計算機あるいは
任意の１ＰＥが実行する。ここでは、ランダムに一定範
囲の整数のうちの１つの整数を選択する。この整数を、
ここではインデックスと呼ぶそして、手順８２２では、
手順８２１で選択したインデックスに対応するＰＥを選
択する。

【００４２】図８Ｂ（ｂ）には、この処理を並列実行さ
せた場合の各ＰＥの処理の関連について示している。手
順４１４、４１５、４９４、４９５、すなわち、フェー
ズ１では各ＰＥは完全に独立して実行した。フェーズ２
では、各ＰＥが連携して実行するために、ＰＥ間で同期
あるいはデータ通信が発生する。この図では、この様子
を示している。各ＰＥはフェーズ１が終了すると、全て
のＰＥが完了するまでｗａｉｔ状態になる。このような
同期方法は全同期と呼ばれ、通常の並列計算機ではこの
処理のための専用の装置が付いており、簡単に実現され
る。すべてのＰＥがフェーズ１を完了すると、任意の１
ＰＥによって手順８３１によってランダムにインデック
スが選択される。他のＰＥはｗａｉｔ状態のままであ
る。この選択されたインデックスは、例えばＢｒｏａｄ
Ｃａｓｔ呼ばれる全ＰＥへの一斉通信によって各ＰＥ
へ送信可能である。各ＰＥは、インデックスを受信する
と同時にｗａｉｔを解除し、処理を実行する。これが手
順８３２である。ここは、各ＰＥが独立して実行する。
ここで比較対を選択し、その相手と手順８０２を実行す
る。ここは、ＰＥ一組で実行することになる。

【００４３】図８Ｃ（ａ）、（ｂ）には、このＰＥテー
ブルの構造を示した。このテーブルは簡単な構造をして
おり、インデックスに対応しているＰＥが一意に対応し
ている。例えば、図８Ｃ（ａ）のようなＰＥの組に対し
ては、図８Ｃ（ｂ）のようにテーブルを構成すればよ
い。すなわち、ＰＥテーブルには各インデックスとこの
インデックスに対応するＰＥ番号がセットされた複数の
エントリがあり、例えば、ＰＥ１のＰＥテーブル８３１
にはインデックスｉに対してＰＥ番号２がセットされ、
ＰＥ１６のＰＥテーブルにはインデックスｉに対してＰ
Ｅ番号１２がセットされている。

【００４４】第二の方法は、通信方向をすべて揃える。
これは、ハイパーキューブにおいては、ＰＥ番号を２進
表現で表現した時に、同じ位置のビットを反転させるこ
とで実現できる。１６ＰＥのシステムなら、前述したよ
うな各ＰＥにＰＥ番号０〜１５を与える。このＰＥ番号
を２進表現すると、（００００）〜（１１１１）とな
り、この２進表現の４つの桁の任意の桁をランダムに選
択し、それに応じて対応するビットを反転させれば良
い。例えば、２番目の桁のビットを反転させるとする
と、（００００）に対応するものは（００００）の２番
目の桁のビットを反転させた（００１０）となり、ＰＥ
番号０に対応するものはＰＥ番号２となり、その対応関
係を（０，２）のように記せば、全ての組として、
（０，２）（１，３）（４，６）（５，７）（８，１
０）（９，１１）（１２，１４）（１３，１５）の組が
得られることになる。

【００４５】手順８０２では、手順８０１で得られた比
較対ごとに、探索系列の優劣比較を行う。この処理は、
基本的に手順５０１と同様に行えば良い。ただし、全て
の比較対について処理を行う。各組の比較は並列に実行
できる。各組の計算は、該当す２個のＰＥで並列処理す
ることも可能である。しかし、それほど重たい計算でも
ないので、ここでは一方のＰＥに実行させる例を示す。
すなわち、上記の例では、ＰＥ２→ＰＥ０，ＰＥ３→Ｐ
Ｅ１，ＰＥ６→ＰＥ４，ＰＥ７→ＰＥ５，ＰＥ１０→Ｐ
Ｅ８，ＰＥ１１→ＰＥ９，ＰＥ１４→ＰＥ１２，ＰＥ１
５→ＰＥ１３のデータ転送を行い、ＰＥ０，ＰＥ１，Ｐ
Ｅ４，ＰＥ５，ＰＥ８，ＰＥ９，ＰＥ１２，ＰＥ１３に
おいて探索系列の優劣比較を行えば良い。この評価は、
手順５０１と同様に数１０を用いれば良い。

【００４６】手順８０３では、基本的に手順５０２と同
様の処理を、すなわち、上記の比較対における比較にお
いて一致が取れない場合には、劣性と評価された探索系
統の探索点を新たな探索点に修正し、フェーズ１に戻
す。この処理も、上で示した各ＰＥ、すなわち、ＰＥ
０，ＰＥ１，ＰＥ４，ＰＥ５，ＰＥ８，ＰＥ９，ＰＥ１
２，ＰＥ１３によってそれぞれ並列に実行できる。

【００４７】手順７０２では、得られた全ての組の最適
解を比較し、一致が得られればそれを大域解とし、一致
が得られなければ各探索系統の探索点を新たな探索点に
修正し、フェーズ１に戻す。

【００４８】この方法では、疑似的な確率的処理を行っ
ている。すなわち、完全にランダムに比較対を生成する
のではなく、予め効率的な組のパターンを決めておき、
そのパターンを確率的に選択する方法を用いている。も
ちろん、完全にランダムに組合せることも可能である。

【００４９】さらに他の実施例３を示す。例えば、図６
（ｂ）のようなメッシュ型の並列計算機でも良い。実施
例３では、探索系統を任意に、ＰＥ数より相当多く設定
する。すなわち、各ＰＥでは複数の探索系統の処理を担
当することになる。そして、これらの探索系統をより確
率的に修正する。

【００５０】図９には、実施例３の処理の概要を示す。
先に２つの実施例と同様に手順４０１よりＳＴＲＡＴす
る。各系列では、予め設定された数だけ探索点をランダ
ムに選択して、各探索点ごとに処理を行う。この各探索
点に着目した処理のフローが図９である。探索系統１の
手順４１１〜４１５は、実施例１と同様の処理を行えば
良い。探索系統ｋ−すなわち、手順９９１〜９９５にお
いても、実施例１で示した探索系統１と同様の処理を行
う。ここで、手順９９１は探索系統１の手順４１１の処
理に対応する。同様に、手順９９２は手順４１２と、手
順９９３は手順４１３と、手順９９４は手順４１４と、
そして手順９９５は手順４１５とそれぞれ対応する。

【００５１】次に、フェ−ズ２−すなわち、各計算ユニ
ットが連携して処理する処理について説明する。このフ
ェ−ズ２は、基本的には実施例１と同様であるが、探索
系統の再構成を行う手順９０２と大域最適解を判定する
手順９０３の前に、探索系統を一定の確率頻度で生成す
る手順９０１を置く。これは、探索系統の最構成にＧＡ
類似の要素を導入するためである。すなわち、探索系統
を確率的に生成し、その探索系統のうち劣性な探索系統
を淘汰し、残った優性な探索系統に交配あるいは突然変
異に相当する確率的処理を行って、探索系統そのものを
最適なものに近づけていく。

【００５２】図１０（ａ）には、手順９０１の詳細を示
している。手順１００１は探索系統の生成処理である。
ここで探索系統を生成することの意味は、次の手順で確
率的に選択する時の選択確率を可変にすることを意味す
る。従って、手順１００１での処理は、探索系統におけ
る現在の探索点およびその評価値・微分値に基づいて、
一定の確率的な評価を与えれば良い。例えば

【００５３】

【数１１】

【００５４】のように、計算すれば良い。ここでは、生
成数などは一定の確率的評価値として扱っており、同一
の探索系統が存在する数に生成数は比例させる。

【００５５】手順１００２では、手順１００１で計算し
た生成数に基づき、（ｂ）に示す管理テーブルを更新す
る。管理テーブルは、探索系統ごとに探索点・生成数・
累計数を管理する。本実施例では、累計数は探索系列の
選択の際に用いている。生成数は、同一の探索系列の存
在頻度に相当し、優性な探索系統が選択される確率を高
くする意味がある。

【００５６】図１１では、手順９０２の詳細を示す。手
順１１０１では、手順９０１で生成した探索系列より任
意の探索系列を選択する。これは、乱数を用いて選択す
る。対応する探索系列は、累計数をリニアに走査するこ
とで、比較的容易に決定できる。手順１１０２では、選
択させた探索系列を評価する。これは、実施例１および
２と同様に、例えば数１０を用いて決定できる。次に、
手順１１０３で劣性と評価した探索系列を淘汰・交配す
る。淘汰は、全て淘汰する場合も含めて、例えば

【００５７】

【数１２】

【００５８】のように、生成数を一定の確率的処理で減
少すれば良い。ここで、生成数が０になれば、管理テー
ブル１０１０より削除する。交配は、劣性系列を一定の
確率的処理により修正するためのものである。ここで
は、実施例１で用いたランダムな選択ではなく、劣性系
列に優性系列の性質を付加した系列を新たに生成する。
これは、一般的にＧＡで行われているように、劣性系列
の探索点のビット配列の一部を優性系列の探索点のビッ
ト配列で置き換えるなどの方法で実現できる。そして、
新しく生成された探索系列は、管理テーブル１０１０に
記録される。最後に、手順１１０４で現在存在する探索
系列を再選定する。原理的には、すべての探索系統を選
択することも可能であるが、交配によって探索系統の種
類が増加するため、一定数に抑制する処理を付加したも
のである。ここでは、優れた探索系統を上位から選択す
る。これは、各探索系統の現在の探索点における評価値
がより最適に近いものを選択すれば良い。

【００５９】図１２には、手順９０３の詳細を示す。手
順１２０１は、実施例１の手順４０４と同様の処理を行
えば良い。これは、手順１１０４で選定された探索系列
を用いて評価する。すなわち、この中から最大・最小に
なったものが、一定の頻度であれば大域解と見なすこと
ができる。ここで、大域解でないと判定されれば、手順
１２０２で選定された探索系統をＰＥに再び割当てる。
そして、フェーズ１に戻る。これらの一連の手順を繰り
返すことで、大域解を決定できる。

【００６０】

【発明の効果】本発明は、多峰性の関数においては、１
ＣＰＵで実行した場合の最急降下法およびその修正法の
実行時間に近いオーダの計算時間で、ＳＡ法あるいはＧ
Ａ法に近い良質の最適解を得ることができる。また、本
発明においては、複数の探索系統を用意し各系統は基本
的に独立して探索を行っている（フェーズ１）、そして
陥った局所解を淘汰するための確率的処理としてのみＰ
Ｅ間通信の発生するＧＡ類似の手法を取り入れている
（フェーズ２）。従って、ＳＡあるいはＧＡに比べて確
率的処理の重みは小さく、全体的に収束速度の低下は僅
少に抑えられる。また、フェーズ１において、各ＰＥ独
立での探索は最急降下法あるいはその修正法によって行
われるので、収束速度は非常に速い。さらに、この処理
ではＰＥ間通信が一切発生しないため、疎結合並列計算
機おいても効率的な実行が期待でき、一方、フェーズ２
においては、各ＰＥ間でのデータ通信が発生するが、こ
れらはフェーズ１のような反復過程でないために、全体
としてフェーズ２に占める割合は僅少である。また、複
数存在する解の探索系統のうち、劣っている探索系統を
一定の確率的処理により改廃・更新するため、局所最適
の回避が可能になり、良質の解が得られる。

【図面の簡単な説明】

【図１】ニューラルネットワークシステムの例を示す図
である。

【図２】多峰性非線形関数の例を示す図である。

【図３】本発明の概念を説明するための図である。

【図４】実施例１の処理の概要を示すフローチャートで
ある。

【図５】実施例１における手順４０２の詳細を示すフロ
ーチャートである。

【図６】分散型並列計算機の例を示す図である。

【図７】実施例２の処理の概要を示すフローチャートで
ある。

【図８Ａ】実施例２における手順７０１の詳細を示すフ
ローチャートとハイパーキューブにおける隣接ノードを
示す図である。

【図８Ｂ】図８Ａに示す手順８０１の詳細を示すフロー
チャートと各ＰＥの処理の関連を示す図である。

【図８Ｃ】ＰＥテーブルを説明するための図である。

【図９】実施例３の処理の概要を示すフローチャートで
ある。

【図１０】実施例３における手順９０１の詳細を示すフ
ローチャートとテーブル構造を示す図である。

【図１１】実施例３における手順９０２の詳細を示すフ
ローチャートである。

【図１２】実施例３における手順９０３の詳細を示すフ
ローチャートである。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の処理装置により非線形最適化問題
   の大域最適解を得る非線形最適化並列処理方法であっ
   て、 前記各処理装置において、探索系統の初期値設定ステッ
   プと、探索点更新ステップと、該探索点での探索値評価
   ステップと、該探索値が局所解か否か判定するステップ
   と、判定が否のとき前記探索点更新ステップに戻すか否
   か判定するステップからなる第１の処理を行ない、 前記全ての処理装置で探索系列の局所解が得られたと
   き、全ての処理装置から比較対となる処理装置の組をそ
   れぞれ選択するステップと、比較対の各処理装置の局所
   解の優劣比較をするステップと、劣性の局所解を得た探
   索系統の新たな探索点を設定し関連する処理装置におけ
   る前記第１の処理の探索点更新ステップに戻すステップ
   からなる第２の処理を行ない、 前記各優劣比較の結果が全て一致するとき該各一致した
   局所解を全て比較し、該各局所解が一致するとき一致し
   た局所解を大域最適解として出力するステップと、一致
   しないとき局所解を得た各探索系統の新たな探索点を設
   定し関連する各処理装置における前記第１の処理の探索
   点更新ステップに戻すステップからなる第３の処理を行
   なうことを特徴とする非線形最適化並列処理方法。
2. 【請求項２】 請求項１記載の非線形最適化並列処理方
   法において、 前記第１の処理は、各処理装置間でのデータ通信をする
   ことなく各処理装置が独立して実行することを特徴とす
   る非線形最適化並列処理方法。
3. 【請求項３】 請求項１記載の非線形最適化並列処理方
   法において、 前記第２および第３の処理における探索系統の新たな探
   索点は確率的評価に基づいて生成することを特徴とする
   非線形最適化並列処理方法。
4. 【請求項４】 請求項１記載の非線形最適化並列処理方
   法において、 前記各処理装置はインデックスと比較対となる相手の処
   理装置の処理装置番号からなるエントリを複数有するテ
   ーブルを備え、前記第２の処理における比較対となる処
   理装置の組の選択は前記各処理装置に対して前記インデ
   ックスを指定することにより行なうことを特徴とする非
   線形最適化並列処理方法。
5. 【請求項５】 請求項１記載の非線形最適化並列処理方
   法において、 前記複数の処理装置をハイパーキューブ型の並列処理装
   置とし、 各処理装置の処理装置番号を複数桁の２進数により規定
   し、 前記第２の処理における比較対となる処理装置の組の選
   択は、各処理装置に対して前記２進数の複数桁の内の１
   つの桁を指定することにより、処理装置と該処理装置の
   処理装置番号の前記指定された桁の値を反転して得られ
   る２進数を処理装置番号として有する処理装置とを組と
   することにより行なうことを特徴とする非線形最適化並
   列処理方法。