JPH07200512A

JPH07200512A - 最適化問題解決装置

Info

Publication number: JPH07200512A
Application number: JP5252406A
Authority: JP
Inventors: Ryohei Kumagai; 良平熊谷; Tetsuo Oshiro; 哲夫大城
Original assignee: Ezel Inc
Current assignee: Ezel Inc
Priority date: 1993-09-13
Filing date: 1993-09-13
Publication date: 1995-08-04
Also published as: US5581659A

Abstract

(57)【要約】（修正有）【目的】種々のコスト関数を有する最適化問題に適用
することができ、かつ事前にシナプス結合荷重を決定す
る必要のない最適化問題解決装置。【構成】相互結合型ニューラルネットワークと、与え
られた最適化問題についてのコスト演算式を演算するコ
スト演算部とを備え、初期状態において各ニューロンの
他のニューロンからの結合荷重と各ニューロンの出力と
を任意に設定し、少なくとも１つのニューロンについて
ネット演算し、ネット演算後の各ニューロンの出力を前
記コスト演算部に送ってコストを計算すると共に、ネッ
ト演算前のコストとの差ΔCOSTを相互結合型ニューラル
ネットワークにフィードバックし、ΔCOSTに基づいてネ
ット演算されたニューロンの結合荷重を修正しつつ相互
結合型ニューラルネットワークの状態を遷移させるステ
ップを繰り返し、所定条件が満たされたときに遷移ステ
ップを終了して各ニューロンの出力を最適化問題の解と
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、相互結合型ニューラ
ルネットワークを利用した最適化問題解決装置に関し、
より詳細には、各ニューロンのシナプス結合荷重をフィ
ードバックにより自動的に変更しつつ、すなわち、提示
された問題に適合するようネットワークを自己組織化し
つつ作動する装置、および、この処理をソフトウェア的
に実行する方法に関する。

【０００２】

【従来の技術】従来の代表的な相互結合型ニューラルネ
ットワークとしては、ホップフィールドモデルが知られ
ている。このモデルは、図１６に示すように並列した複
数のニューロンの出力を自己を除く他のニューロンの入
力として相互に結合して構成されている。

【０００３】ｉ番目のニューロンの出力をｘi、ｉ番目
のニューロンに入力されるｊ番目のニューロンの出力の
シナプス結合荷重をωij、ｉ番目のニューロンの閾値を
θiとすると、シナプス結合が対称的(ωij＝ωji)であ
れば、ホップフィールドのニューラルネットワークのエ
ネルギーＥは、以下の式(1)で表される。

【０００４】

【数１】Ｅ＝-(１／２)Σωijｘiｘj − Σθiｘi ＋Ｇ …(1)

【０００５】ここで、Ｇはコスト関数の逆関数の積分項
目であり、ニューロンの出力が０または１に限られる離
散モデルにおいては０となる。

【０００６】なお、この明細書では、最適化問題の解の
組から所定の関数によって得られる結果をコストと定義
する。ここでは、経済的な費用という意味のみでなく、
解決すべき問題の評価基準として、リスク、時間等の概
念も含む意味で用いられている。

【０００７】このようなホップフィールドタイプのニュ
ーラルネットワークを利用して最適化問題を解く場合に
は、最適化問題を解くためのコスト関数Ｆを設定し、こ
れに基づいてエネルギーＥがコスト関数Ｆに一致するよ
うに全てのニューロンにおける結合荷重ωijを決定して
おき、その後、各ニューロンに初期値を与えてニューラ
ルネットワークを作動させる。

【０００８】任意な初期値を与えられたニューラルネッ
トワークは、モンテカルロ法によるマルコフ遷移を繰返
す。所定回数の遷移の繰返しにより出力が安定して収束
した時点での各ニューロンの出力が、最適化問題の解と
なる。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た従来のホップフィールドモデルを利用して最適化問題
を解く場合には、シナプス結合荷重をホップフィールド
エネルギー式がコスト関数Ｆに一致するよう２次式同士
の当てはめ問題を予め解いておかねばならず、変数の数
が多くなるに従ってニューラルネットワークを作動させ
る前段階での準備が幾何級数的に増大する。すなわち、
従来のモデルでは、ニューラルネットワークのエネルギ
ー式にコスト関数Ｆを当てはめるように結合荷重を設定
した後、マルコフ遷移を実行して最適解を求めている
が、この当てはめに相当な手間がかかるという問題があ
る。

【００１０】また、ホップフィールドモデルによって解
ける最適化問題は、コスト関数Ｆが微分可能で、次数も
２次までである。現実的な最適化問題には、微分できな
い離散的なコスト関数を用いるもの、３次以上の次数を
持つものが多く、したがって、従来のモデルでは適用で
きる範囲がきわめて限られるという問題もあった。

【００１１】さらに、ホップフィールドモデルでは、マ
ルコフ遷移の実行中に最初に到達した極小ポイント(ロ
ーカルミニマム)で停止するため、最小コストに相当す
る最小ポイントまでに極小点のないスタートポイントを
選択した場合にのみ最小値を得ることができる。このロ
ーカルミニマム問題は、ホップフィールドモデルの致命
的な欠点であり、これを避けるために確率遷移を導入す
る方法等が採用されている。

【００１２】

【発明の目的】この発明は、上述した従来技術の課題に
鑑みてなされたものであり、従来のモデルが適用できな
かった種々のコスト関数を有する最適化問題に適用する
ことができ、かつ、事前にシナプス結合荷重を決定する
必要のない最適化問題解決装置を提供することを目的と
する。

【００１３】

【課題を解決するための手段】この発明にかかる最適化
問題解決装置は、上記の目的を達成させるため、一のニ
ューロンの出力が他のニューロンへの入力となる複数の
ニューロンにより構成される相互結合型ニューラルネッ
トワークと、与えられた最適化問題についてのコスト演
算式に各ニューロンの出力を変数として代入してコスト
を演算するコスト演算部とを備え、初期状態において各
ニューロンの他のニューロンからの結合荷重と各ニュー
ロンの出力とを任意に設定し、少なくとも１つのニュー
ロンについてネット演算し、ネット演算後の各ニューロ
ンの出力を前記コスト演算部に送ってコストを計算する
と共に、ネット演算前のコストとの差ΔCOSTを相互結合
型ニューラルネットワークにフィードバックし、ΔCOST
に基づいてネット演算されたニューロンの結合荷重を修
正しつつ相互結合型ニューラルネットワークの状態を遷
移させるステップを繰り返し、所定条件が満たされたと
きに遷移ステップを終了して各ニューロンの出力を最適
化問題の解とすることを特徴とする。

【００１４】

【実施例】以下、この発明にかかる最適化問題解決装置
の実施例を説明する。

【００１５】図１は、この発明にかかる最適化問題解決
装置の概略を示す説明図である。この装置は、一のニュ
ーロンの出力が他のニューロンへの入力となるｉ個のニ
ューロンＮ1、Ｎ2、…Ｎiにより構成される自己組織型
相互結合ニューラルネットワーク(Self Organic Interc
onnected Neural Network、以下略してＳＯＩＮＮと記
載する)と、与えられた最適化問題についてのコスト演
算式に各ニューロンの出力を変数として代入してコスト
を演算するコスト演算部ＣＵＬとを備えている。コスト
演算部ＣＵＬは、一般の汎用コンピュータを用いること
ができる。

【００１６】ｉ番目のニューロンＮiは、以下の式(2)に
示すとおり、自己以外のｊ番目のニューロンＮjの出力
ｘjとその出力のｉ番目のニューロンＮiへの結合荷重ω
ijとの積の総和を求め、これに閾値θiを加えた結果を
ニューロンのネット値ｎｅｔiとしている。

【００１７】

【数２】ｎｅｔi＝Σωijｘj ＋ θi …(2)

【００１８】また、各ニューロンの出力は、離散値モデ
ルの場合にはｎｅｔi≧０の場合にはｘi＝１、ｎｅｔi
＜０の場合にはｘi＝０となり、連続値モデルの場合に
はｎｅｔiの値に応じて０≦ｘi≦１の範囲で変化する。

【００１９】ニューラルネットワークにおいて、全ての
ニューロンの出力値の組をその時点におけるそのネット
ワークの状態と定義する。ニューラルネットワークの動
作を調べることは、状態の時間的変化、すなわち状態遷
移を追跡することにほかならない。この状態遷移がなく
なったとき、あるいは、所定の振幅内に収束したとき、
ニューラルネットワークは平衡点に達したとみなすこと
ができる。ネットワークの状態は、変化し続ける(発
散、振動)か、平衡点に達する(収束)かのいずれかであ
る。

【００２０】この発明の装置では、初期状態において各
ニューロンの他のニューロンからの結合荷重ωijと各ニ
ューロンの出力ｘiとを任意に設定する。そして、少な
くとも１つのニューロンについてネット演算し、ネット
演算後の各ニューロンの出力をコスト演算部ＣＵＬに送
ってコストを計算すると共に、ネット演算前のコストと
の差ΔCOSTをＳＯＩＮＮにフィードバックする。ＳＯＩ
ＮＮは、ΔCOSTに基づいてネット演算されたニューロン
の結合荷重ωijを修正しつつ状態遷移のステップを繰り
返し、所定条件が満たされたときに遷移ステップを終了
し、その際の各ニューロンの出力を最適化問題の解とす
る。

【００２１】遷移ステップ終了の条件としては、ＳＯＩ
ＮＮの出力が一定の安定状態となったとき、遷移ステッ
プが所定の回数繰り返されたとき、遷移ステップの開始
からの時間が所定の時間を経過したとき、そして、出力
されたコスト値が予め定められた基準のコスト値より小
さくなった場合などを設定することができる。これらの
条件は、単独で設定してもよいし、複数設定しておいて
その中の一つが満たされたとき、あるいは全部が満たさ
れたときを遷移ステップの終了としてもよい。

【００２２】コスト関数の計算をニューラルネットワー
ク外の演算部ＣＵＬで計算し、ニューラルネットワーク
に対してはコストの変動値のみをフィードバックするこ
とにより、当てはめ問題を解かずに作動させることがで
き、かつ、複雑なコスト関数を持つ最適化問題に対して
も柔軟に対応できる装置を提供することができる。

【００２３】ホップフィールドのエネルギー式に当ては
められたニューロンは、その状態遷移において必ず実際
のエネルギーの減少を伴う。ホップフィールドエネルギ
ー式に対する当てはめ問題を全く解かず、初期状態にお
いて任意にωijを与えられた相互結合ニューラルネット
ワークが、マルコフ遷移動作を行なう状態において、ニ
ューロンＮiの演算の結果の出力Ｖiが変化した場合を考
える。

【００２４】ここではニューラルネットワークを構成す
る各ニューロンが離散的な入出力特性を持つ場合、すな
わち、出力が０，１となるようなモデルを例にして説明
する。ニューロンの出力状態遷移により変化するニュー
ラルネットワーク上のエネルギーの変化量ΔＥnetを、
その状態遷移が必ずエネルギー減少を伴うことが既に明
確であるという理由から、以下の式(3)で定義する。

【００２５】

【数３】 ΔＥnet＝−（Ｖi(t+1)−Ｖi(t)）・ｎｅｔi …(3)

【００２６】Ｖi(t)は、時間ｔにおけるｉ番目のニュー
ロンの出力ｘiである。上記のエネルギー変動式で定義
されるΔＥnetは、ニューロンの出力に変化があったと
きに必ず負の値となる。なぜなら、Ｖiが０から１へ変
化した場合、（Ｖi(t+1)−Ｖi(t)）は＋１、ｎｅｔiの
値は正となり、ΔＥnetは負となる。反対に、Ｖiが１か
ら０へ変化した場合、（Ｖi(t+1)−Ｖi(t)）は−１、ｎ
ｅｔiの値は負となり、ΔＥnetはこの場合も負となる。

【００２７】したがって、式(3)が成り立つ限り、マル
コフ遷移によるネットエネルギー極小状態への収束が保
証される。なお、式(3)はホップフィールドエネルギー
式から導かれるエネルギー変動式と同様であるが、ホッ
プフィールドのエネルギー式に限られるものではない。
また、エネルギー変動式は、必ずしも上記の式(3)に限
られず、式(4)に一般化して示すように状態の変化が常
にエネルギーの減少を伴うことが保証されれば他の式で
あってもよい。ここで、Sgn(ｘ)はｘの符号を取り出す
関数である。

【００２８】

【数４】 ΔＥnet＝−λ(Ｖi(t+1)−Ｖi(t))・ｎｅｔi …(4) ただし、λ＝Sgn{(Ｖi(t+1)−Ｖi(t))・ｎｅｔi}

【００２９】ネットエネルギーの極小状態への収束を、
コストの極小状態への収束と同義にするためには、ΔＥ
net＝ΔCOSTとなるように、あるいは、ネットエネルギ
ーがコストそのものになるようニューラルネットワーク
を自己組織化すればよいこととなる。

【００３０】式(3)の両辺を（Ｖi(t+1)−Ｖi(t)）で割
ると式(5)が得られるが、ΔＥnet＝ΔCOSTを成立させる
ためには、出力変動のあったニューロンのネット値ｎｅ
ｔiは式(6)を満たすことが要求され、したがって、自己
組織化の過程におけるニューロンのネット値ｎｅｔiに
対する教師信号Ｔは、以下の式(7)で表されることとな
る。

【００３１】

【数５】 −ΔＥnet／（Ｖi(t+1)−Ｖi(t)）＝ｎｅｔi …(5) −ΔCOST／（Ｖi(t+1)−Ｖi(t)）＝ｎｅｔi …(6) Ｔ＝−ΔCOST／（Ｖi(t+1)−Ｖi(t)） …(7)

【００３２】なお、離散モデルの場合、出力変動があっ
た場合の（Ｖi(t+1)−Ｖi(t)）は１、−１の区間定数で
あるため、式(6)の右辺はΔCOSTに符号がついたものと
考えることができる。

【００３３】従来、フィードフォワード型ニューラルネ
ットワークにおける学習法則として、バックプロパゲー
ションの手法が知られている。この手法は、ニューロン
の実際の出力と、外部から与えられた理想的な出力であ
る教師信号との二乗誤差を最小にしようとするもので、
結合荷重の変更式に出力の微分項目が入るため、ニュー
ロンの出力関数が微分可能でないと適用することができ
ない。また、従来の学習では、教師信号となる望まれる
出力があらかじめ明かでなければならず、未知の問題を
解く場合には適用することができない。

【００３４】実施例の方法は、相互結合型ニューラルネ
ットワークにシナプス結合荷重を変更する学習法則を適
用した点で新規であると共に、ニューロンの出力に対し
てでなく、ニューロンのネット値に対する教師信号を与
える点で、従来のバックプロパゲーションとは異なる。
すなわち、本実施例の方法の場合、ニューロンの出力が
微分不可能な離散的な関数であっても、適用することが
できる。

【００３５】また、この実施例の方法では、結合荷重を
コスト演算部からのフィードバックを利用して変更し、
相互結合型ニューラルネットワークを問題に合わせて自
己組織化することにより、未知の問題についても適用す
ることができる。

【００３６】教師信号Ｔが決定されれば、ｎｅｔiの値
に対する修正は式(8)に示す一般的な二乗誤差修正が考
えられる。ある結合荷重ωijを変化させたときの誤差Ｅ
rroriのωijによる微分値は、式(9)で表され、荷重変更
の係数をηとしてωijの変化分Δωijを式(10)で定義す
ると、この式は式(7)(8)により式(11)のように表現する
ことができる。また、ニューロンＮiの閾値θiは、結合
荷重をωn+1として常に１が入力されるシナプス結合と
考えることができるため、その変化分Δθiは、式(12)
により表される。

【００３７】

【数６】

【００３８】出力Ｖiが変化したときにはコスト演算部
で算出されるコストも変化する。上記の式は、このコス
トの変化がマイナスとなるよう結合荷重ωijを変更する
ことを意味する。なお、係数ηは、０≦η≦１の定数で
ある。これが過大であると出力が振動し、過小であると
自己組織化の速度が遅くなる。

【００３９】なお、図１においては、ＳＯＩＮＮ部分が
ハードウェア的に構成される前提で説明を進めたが、Ｓ
ＯＩＮＮとコスト演算部とを全て汎用コンピュータ上の
ソフトウェアとして構成することもできる。

【００４０】その場合には、複数の入力に対してそれぞ
れ結合荷重を掛け合わせる複数の乗算ステップと、乗算
結果の和を求める加算ステップと、加算結果を因数とし
て所定の演算結果を出力する関数ステップとから成る演
算ステップ組を複数組用意する。この演算ステップ組
は、図１における各ニューロンに対応する。これらの演
算ステップ組は、各演算ステップ組の出力が他の演算ス
テップ組の乗算ステップの入力とされるよう構成され
る。

【００４１】また、与えられた最適化問題についてのコ
スト演算式に前記各演算ステップ組の出力を変数として
代入してコストを演算するコスト演算ステップと、演算
前後のコストの差ΔCOSTを求めるコスト変動演算ステッ
プと、ΔCOSTに基づいて演算された演算ステップ組の乗
算式の結合荷重を修正する修正ステップとを備える。

【００４２】初期状態において各組の出力と各乗算式の
結合荷重とを任意に設定し、一の演算ステップ組の乗
算、加算、関数ステップを実行して更新された出力を他
の演算ステップ組に入力し、順次他の演算ステップ組の
演算を実行する。

【００４３】所定条件が満たされるまで演算ステップ
組、コスト演算ステップ、コスト変動演算ステップ、修
正ステップを繰返し実行し、所定条件を満たした後に各
ステップを終了し、各演算ステップ組の出力を最適化問
題の解として出力する。

【００４４】ここでも、終了のための所定条件には、各
関数ステップの出力の安定、繰返しの回数、経過時間、
演算されたコスト値等を用いることができる。

【００４５】図２は、上述した実施例の最適化問題解決
装置の処理手順を示すフローチャートである。ステップ
１(Ｓ1)において最適化問題のコスト関数に含まれるパ
ラメータの数ｎを設定し、ステップ２(Ｓ2)でＳＯＩＮ
Ｎにｎ個のニューロンを用意する。ステップ３(Ｓ3)で
は、乱数を発生してＳＯＩＮＮの初期状態として結合荷
重ωijと各ニューロンの出力Ｖiを決定する。ここで、
ωijは、例えば−０．３≦ωij≦０．３の範囲の実数、
Ｖiは１か０のいずれかの値として任意に決定される。

【００４６】ステップ４(Ｓ4)では、任意に決定された
各出力、結合荷重に基づいてコスト演算部で初期状態に
おけるコストを演算する。

【００４７】ステップ５(Ｓ5)では、１つのニューロン
ｉを選択してその出力をＶi(t)として保持しておき、ス
テップ６(Ｓ6)において前述の式(2)で示したネット演算
により新たなネット値ｎｅｔiを求め、ステップ７(Ｓ7)
においてニューロンｉの出力Ｖi(t+1)を求める。

【００４８】そして、ステップ８(Ｓ8)において、演算
前の出力Ｖi(t)と演算後の出力Ｖi(t+1)との差ΔＶiが
０か±１かを判断し、０であればステップ９(Ｓ9)にお
いて次のニューロンを選択し、再びステップ５からの処
理を繰り返す。

【００４９】ΔＶiが±１である場合には、ステップ１
０(Ｓ10)において各ニューロンの出力を用いてコスト演
算部でコストCOSTとコスト変動ΔCOSTとを計算し、得ら
れたコストが現在までの最小コストより小さいか否かを
ステップ１１(Ｓ11)において判断する。コストが最小コ
ストより小さい場合には、ステップ１２(Ｓ12)において
最小コストをそのコストに置き換え、ステップ１３(Ｓ1
3)で最小コストが予め定められた終了条件コストより小
さいと判断された場合には、ステップ１４(Ｓ14)で各ニ
ューロンの出力Ｖiを最適化問題の解として出力し、処
理を終了する。

【００５０】ステップ１１でコストが最小コストより大
きいと判断された場合、あるいは、ステップ１３で最小
コストが終了条件コストより大きい場合には、ステップ
１５(Ｓ15)においてコスト変動に基づき式(7)に従って
教師信号Ｔiを求め、ステップ１６(Ｓ16)で式(8)により
二乗誤差修正法による誤差Ｅrroriを求める。

【００５１】誤差Ｅrroriの値が所定回数連続して０と
なれば、ステップ１７(Ｓ17)で収束条件を満たすものと
判断され、ステップ１４を介して処理を終了する。

【００５２】誤差Ｅrroriの値が０とならない場合に
は、ステップ１８(Ｓ18)において式(11)(12)により求め
られたΔωij、Δθiにより結合荷重ωij、θiを変更す
る。

【００５３】さらに、ステップ１９(Ｓ19)で繰返し回数
が予定の終了回数に達した場合には、ステップ１４を介
して処理を終了し、達しない場合にはステップ９で次ニ
ューロンを選択してステップ５の処理に戻る。

【００５４】ステップ５からステップ１８までの処理を
繰返してニューロン毎に順番にネット演算と結合荷重の
修正とを繰返し、いずれかの終了条件が満たされたとき
にステップ１４(Ｓ14)で各ニューロンの出力を最適化問
題の解として取り出す。結合荷重の変更による自己組織
化は、各ニューロンに対して１回づつ順次実行するのみ
でなく、１つのニューロンに対して複数回実行した後に
次のニューロンに移ってもよい。

【００５５】なお、図２のフローチャートでは、終了条
件としてコスト、収束、回数をオア条件で設定している
が、これらはいずれか一つを設けてもよいし、アンド条
件としてもよい。また、処理開始からの経過時間を終了
条件としてもよい。

【００５６】ネットワークの状態間の関係は、ハミング
距離として定義される。現在の状態を起点と考えると、
単一のニューロンの出力のみが変化した状態はハミング
距離１である。

【００５７】上記のように一つづつニューロンを選択し
てネット演算する場合には、ネットワークの次の状態
は、現状を維持したままであるか、ネット演算の対象と
なっているニューロンの出力のみが反転した状態、すな
わちハミング距離１の状態へ遷移するかのいずれかであ
る。

【００５８】図３は、ネットワークの状態遷移の様子を
摸式的に示し、図２のフローチャートに対応している。
ネットワークが図３の「１」の状態から「２」の状態へ
と遷移したとする。ネットワークの次の状態はステップ
７における判断がΔＶi＝０のときには「２」に留ま
り、ΔＶi＝±１のときには「３」へ遷移する。

【００５９】ここでニューロンの数を３としてそれぞれ
Ｎ1，Ｎ2，Ｎ3で表す。状態「２」からニューロンＮ1の
出力が変化した状態が「３」、Ｎ2、Ｎ3の出力が変化し
た状態がそれぞれ「４」，「５」である。ニューロンの
出力が以下の表の左欄に示したように変化すると、状態
はそれぞれ表の右欄に示したように遷移する。遷移の経
路は、図３中では太線で示しており、遷移しない破線で
示した経路については何等変化がない。

【００６０】

【表１】ニューロン出力状態Ｎ1 Ｎ2 Ｎ3 ０１０２０１１５０１０８０１１１１１１１１２１１０１７

【００６１】なお、結合荷重の学習による変更は、上記
のフローチャートに示されるように出力変化があった場
合のみでなく、自己組織化のスピードを速めるために
は、ニューロンの出力の変化の有無とは無関係に、出力
が変化した場合のΔＥnetiとΔCOSTとを想定して実行し
てもよい。

【００６２】図４は、自己組織化のスピードを早めるた
めにニューロンの出力変化の有無にかかわり無く、出力
変化があったものと仮定してΔCOSTを計算し、これに基
づいて自己組織化を行なう場合の処理を示すフローチャ
ートである。図４のフローチャートは、ほとんどのステ
ップが図２で示したものと同様であるため、異なるステ
ップのみ説明する。

【００６３】ステップ８(Ｓ8)においてΔＶiが±１であ
ったとき、すなわち、ニューロンの出力が変化したとき
には、図２の例と同様にステップ１０(Ｓ10)に進んでΔ
COSTを計算する。ΔＶiが０であった場合、すなわちニ
ューロンの出力変動がなかった場合には、ステップ２０
(Ｓ20)においてＶ'i(t+1)としてＶi(t+1)の逆の出力、
０であったら１、１であったら０を定義する。そして、
これを用いて状態は遷移させないままΔＶi(＝±１)を
求め、ステップ１０においてΔCOSTを求める。

【００６４】図５は、ネットワークの状態遷移の様子を
摸式的に示し、図４のフローチャートに対応している。
遷移の様子は図３の例と同様であるが、図５の場合には
実際に遷移しない場合であっても、例えば実際に遷移す
る状態「２」と「５」との経路のみでなく、状態「２」
と「３」、「２」と「４」との経路についても結合荷重
を変更し、自己組織化を行なっている。

【００６５】図６のフローチャートは、図４の例と同様
にニューロンの出力変化の有無にかかわり無く自己組織
化を進めると共に、ローカルミニマム対策として確率的
遷移を加えた例を示す。後述するようにこの発明の最適
化問題解決装置は、比較的ローカルミニマムに強いとい
う特性を有しているが、場合によっては有効解とならな
いローカルミニマムに捉えられて有効な解が得られない
ことも考えられる。そこで、図６の例では、確率的な遷
移により強制的に状態を変化させ、ローカルミニマムに
捉えられた場合にもそこから脱出できるよう構成してい
る。

【００６６】ステップ６(Ｓ6)におけるネット演算の結
果に基づき、ステップ２１(Ｓ21)においてＹ＝１／(１
＋exp(-neti/τ))の式によりＹを求めると共に、０−１
区間内の乱数Ｒを求め、ステップ２２(Ｓ22)において出
力Ｖi(t+1)をＹ≧Ｒであれば１、Ｙ＜Ｒであれば０とし
て決定する。τは時定数である。その後の処理は、図４
の例と同様である。

【００６７】このように、離散的な入出力特性を有する
ニューロンにより構成される相互結合型ニューラルネッ
トワークにおいては、確率的に出力を遷移させる操作が
ローカルミニマムからの脱出に有効である。また、連続
的な入出力特性を有するニューロンにより構成される相
互結合型ニューラルネットワークにおいては、連続出力
に対して確率的な揺らぎとして乱数を対応させる操作に
より効果的にローカルミニマムから脱出できる。

【００６８】なお、図２〜図６の例では、ニューロンを
含めて装置全体をソフト的に構成して実行することを前
提としているため、各ニューロンが非同期的に作動する
こと、すなわち１つのニューロンについて計算を行なっ
ている間、他のニューロンの出力は一定に保たれること
を前提としているが、ハード的にニューロンを構成して
ネットワークを構築した場合には、それぞれ単一のニュ
ーロン毎に作動させずに、いくつかのニューロンを並列
で作動させることも可能である。

【００６９】以上の説明から明らかなように、実施例の
装置は自己組織型相互結合ニューラルネットワークＳＯ
ＩＮＮのマルコフ遷移と自己組織化とを同時に進行させ
ている。初期状態で任意に結合荷重を与えられたネット
ワークエネルギー分布は、コスト関数の分布とはまった
く相関がない。自己組織化をしつつ実行されるマルコフ
遷移により、ネットワークは、それがマッピングしてい
るルート近傍の局所的な分布をコスト関数の対応する局
所的な分布にあわせながらより低いネットワークエネル
ギーを求めて遷移する。

【００７０】この遷移の際に、従来のホップフィールド
モデルのネットワークが微小な極小点にも収束してしま
うのと比較して、実施例の自己組織型ネットワークは、
例え確率遷移を導入しなかったとしても、多少の極小点
(ローカルミニマム)には捉られ難い。

【００７１】コスト変動値ΔCOSTを教師信号とした誤差
信号Ｅrrorの値は、自己組織化が進むにつれて次第に小
さくなり、このことは結合荷重の修正量を次第に減少さ
せることになる。これは、一種のアニーリング作用と同
様の効果を持ち、初期段階では修正量を大きくして微小
な極小値に捉えられることなく大きな極小値を求め、コ
スト変動とネットエネルギー変動とのある程度の整合が
とれた段階では、修正量を小さくして正確に極小値を求
めることとなる。

【００７２】また、従来のホップフィールドモデルはコ
スト関数全体をネットエネルギー式に当てはめていた
が、本来、最適化問題を解く上で充分な有効ミニマム、
あるいはグローバルミニマムに達するためには、コスト
関数のマップ全体に対して整合をとる必要はない。

【００７３】実施例の自己組織型ネットワークでは、マ
ルコフ遷移により通過するルートの近傍のみをマッピン
グするためにコスト関数の一部に対してのみネットエネ
ルギーの整合をとっており、コスト関数全体を記述する
ネットエネルギー式の存在が必要でなく、基本的には計
算可能なコスト関数のほとんどに適用することができ
る。したがって、実施例の装置では、複雑な当てはめ問
題を解く必要がない上、ホップフィールドモデルが適用
できないコスト関数にも適用することができる。

【００７４】次に、この発明の最適化問題解決装置を巡
回セールスマン問題に適用した例を示す。巡回セールス
マン問題は、解析的な解法が存在せずに全ての組み合せ
を調べなければならないＮＰ完全最適化問題としてよく
知られている。この問題は、Ｎ個の都市の間の距離が与
えられたときに、全ての都市を通る最短距離の経路を求
める問題である。

【００７５】従来のホップフィールドモデルを利用する
と、ニューラルネットワークのエネルギー関数を問題と
一致するように結合荷重を予め設計して与え、最短距離
を求める計算をニューラルネットワークを用いて行なっ
ていた。

【００７６】実施例の装置では、ニューロンがＮ×Ｎの
正方行列として配置されたニューラルネットワークを構
成する。各行(Ａ〜Ｊ)は都市を表し、各列(１〜１０)は
都市を訪れる順番を表すものとする。例えば、Ｂ行の２
列のニューロンの出力が１であるときには、都市Ｂを２
番目に訪れたことを意味する。このように構成すると、
各行に１個、各列に１個のニューロンの出力のみが１と
なり、他のニューロンの出力は０とならなければなら
ず、その解が順路を構成することとなる。順路を構成し
たときのエネルギーが最小値となるようにエネルギー関
数Ｅ1を次式のように定義する。

【００７７】

【数７】

【００７８】また、この他に、距離を最短にするという
条件を次式のエネルギー関数Ｅ2に持たせる。

【００７９】

【数８】

【００８０】巡回セールスマン問題を解く場合の最終的
なエネルギーＥは、Ｅ＝ＡＥ1＋ＢＥ2で表される。ここ
でＡ，Ｂは任意の定数であるが、Ｅの最小状態が問題の
最適解を表すように決定する必要がある。

【００８１】図７〜図９は、上記の巡回セールスマン問
題を図４に示したフローチャートの方法で解いた場合の
コスト値(図７縦軸)、最小コスト値(図８縦軸)、平均誤
差(図９縦軸)を示すグラフである。各図の横軸は全ての
ニューロンについて一回づつネット演算が実行された時
を１巡とする巡数(ニューロンの数に等しい)を示す。ま
た、平均誤差は、１巡の誤差Ｅrroriの合計をニューロ
ンの数で割った値を示す。

【００８２】図１０〜図１２は、上記の巡回セールスマ
ン問題を図６に示したフローチャートの方法で解いた場
合のコスト値(図１０縦軸)、最小コスト値(図１１縦
軸)、平均誤差(図１２縦軸)を示すグラフである。各図
の横軸は巡数を示す。

【００８３】次に、上記実施例の最適化問題解決装置を
ポートフォリオ問題に適用した実施例を従来例との比較
において説明する。

【００８４】ポートフォリオ問題は、投資の分散化によ
りリスクをなるべく小さくしようとする問題であり、１
９５２年にマコービッツ教授により理論化された。同理
論は、２次計画法として問題が定式化されたが、ＮＰ完
全な問題であり、現実的な投資対象数を考えると、計画
法を合理的な時間内で解く方法がなかった。

【００８５】ポートフォリオ理論式は、以下の定義で表
される。

【００８６】

【数９】

【００８７】リスクをできるだけ少なく、かつ期待収益
率ができるだけ多くなる投資率ベクトル(ｘ1,ｘ2,……
ｘn)を得ることが目的となる。ポートフォリオ問題を連
続値モデルのホップフィールドエネルギー式(前記の式
(1))に当てはめることには困難があるため、一般的には
離散値モデルのエネルギー式への適用となる。離散値モ
デルにおいては、各ニューロンの出力は２値となるた
め、投資率という連続値は基本的に扱えず、銘柄選択ポ
ートフォリオ(均等投資ポートフォリオ)という簡易的な
適用となる。

【００８８】さらに、ホップフィールドエネルギー式に
適用可能なように、以下のような拘束条件を付加した。

【００８９】１．選択銘柄数指定条件ｘi＝１，０であるため投資総額規格化条件Σｘi＝１は
実現できないため、Σｘi＝Ｓ(Ｓは１からｎの自然数)
で置き換える。均等投資であるため、この条件はポート
フォリオを構成する銘柄数を指定したこととなる。

【００９０】２．期待収益率指定条件 Σμiｘi＝Ｇ (Ｇは指定期待収益率)、ポートフォリオ
選択において、この拘束条件は通常使用される。期待収
益率一定のもとでリスクを最小化する問題となる。

【００９１】以上の拘束条件を加え、銘柄選択ポートフ
ォリオ問題は以下の式(13)のように記述できる。また、
この式をホップフィールドエネルギー式に当てはめる形
式に変換すると、式(14)の通りとなり、全体のエネルギ
ーＥは式(16)、ホップフィールドエネルギー式に当ては
めたωij、θiはそれぞれ式(17)の通りとなる。式(16)
の１／２{α2(ＳＧ)2＋α3Ｓ2}は単にエネルギーオフセ
ットとなり、無視できる。

【００９２】

【数１０】

【００９３】上記のように式化した銘柄選択ポートフォ
リオ問題に対し、実際の５０銘柄の東証株価データを使
用し、ホップフィールドモデルとこの発明の自己組織型
相互結合ニューラルネットワークとの両者についてソフ
トウェアを作成して比較実験を行なった。ホップフィー
ルドモデルにおけるエネルギー式と、自己組織型相互結
合ニューラルネットワークにおけるコスト式とは、ラグ
ランジェ乗数値まで含めて完全に同一とした。

【００９４】ホップフィールドモデル、ＳＯＩＮＮとも
初期のニューラルネットワーク出力状態は、ランダムな
確率で１または０を与え、マルコフ遷移が停止、あるい
は収束するまで動作させ、収束時点のミニマムエネルギ
ー(ミニマムコスト)、収束までの繰返し回数、結果(選
択されたポートフォリオのリスク値、期待収益率、選択
証券数)を記録した。

【００９５】実験において使用した各定数は、エネルギ
ー(コスト)関数のラグランジェ乗数α1＝０．０００
１，α2＝０．００５，α3＝０．０８、ＳＯＩＮＮの自
己組織化のためのフィードバック定数η＝０．００５、
指定期待収益率Ｇ＝４％、指定選択証券数Ｓ＝１５、全
銘柄数ｎ＝５０である。

【００９６】ホップフィールドモデルにおいては、順次
乱数によって出力決定するニューロンを選択し、全ニュ
ーロン数に該当する５０回の出力決定を繰返し回数１回
とした。また、ＳＯＩＮＮにおいては先頭のニューロン
から順番に出力決定し、全ニューロンに対する操作５０
回を繰返し回数１回とした。表２は、乱数系を変えた各
１００回づつの実験による平均値を示す。

【００９７】

【表２】ホップフィールドモデルＳＯＩＮＮミニマムエネルギー１．０２０２６９ミニマムコスト０．８４６４００収束回数３．６７２８．９２学習収束回数 −−− ５８．４リスク値９２．１６８６７５．９２１２期待収益率３．９５９１８４．００７２２選択証券数１３．８３１４．７１

【００９８】なお、収束回数は、出力が変化しなくなっ
た繰返し回数、ＳＯＩＮＮでの学習収束回数は、出力が
安定した後、式(18)に示すＴotal Ｅrrorが０．２以下
になるまでの繰返し回数とした。

【００９９】

【数１１】

【０１００】ＳＯＩＮＮにおいては、１つの繰返し期間
中に出力変化がなかったとしても、自己組織化によるニ
ューラルネットワークの結合荷重の変化がまだ活性であ
れば、さらに後の繰返し回数で出力変化が起こり得るた
め、Ｅrror値によるフィードバック量が充分に小さくな
って初めて安定収束と判断できる。安定収束時のコスト
は、安定収束時までに出現したミニマムコストにほとん
どの場合一致した。

【０１０１】表２の結果で示されるとおり、ニューロン
の出力決定に確率動作を含まないホップフィールドモデ
ルは、すぐにローカルミニマムに捉えられてしまい、マ
ルコフ遷移が終了するまでの繰返し回数が平均３．６７
回と少なく、収束までのミニマムエネルギー値も１．０
２０２６９と概して高い。

【０１０２】一方、ＳＯＩＮＮは、平均収束回数が２
８．９回と比較的多く、かつ、平均して０．８４６４０
０と比較的低いコスト値まで収束している。ＳＯＩＮＮ
は自己組織化で結合荷重を変化させつつより低いコスト
を探してゆくため、ローカルミニマムに対しては比較的
強いという特性を有している。

【０１０３】なお、図１３は、それぞれ１００回の実験
で得られたミニマムエネルギー値の出現ヒストグラムで
ある。

【０１０４】上記のホップフィールドモデルのローカル
ミニマム問題を解決するためには、一般的にニューロン
の出力決定に確率動作を加えてボルツマンマシンとした
ものが使用される。一方、ＳＯＩＮＮに対しても確率動
作を加えることが可能であり、繰返しの回数を増加させ
ることによりローカルミニマムからより低いコスト状態
への遷移を可能とする。

【０１０５】前述のポートフォリオ問題に対し、ボルツ
マンマシンと確率動作を付加したＳＯＩＮＮとの両者を
適用した結果を以下に比較する。

【０１０６】確率動作による出力決定は、両方法共に、
ＲＮＤ≦１／(１＋ｅ(-neti/T))の場合にＶi＝１、そう
でない場合にＶi＝０とする。ここでＲＮＤは、０≦Ｒ
ＮＤ≦１の範囲でランダムに定められる乱数である。実
験に使用した時定数Ｔの値は、ボルツマンマシンで０．
２、ＳＯＩＮＮで０．０５とした。両方法でのＴの違い
は、エネルギー式の当てはめで算出されるボルツマンマ
シンの各ニューロンの結合荷重に対し、自己組織化で生
成されるＳＯＩＮＮのニューロンの結合荷重の絶対値が
小さく、両方法の平均的なｎｅｔ値にかなり差があるた
めである。ほぼ同条件の確率動作を与えるために、両方
法の平均的な(ｎｅｔ／Ｔ)が一致するようにＴの値を選
択している。

【０１０７】図１４は、繰返しを５００回実行したとき
のミニマムエネルギー(コスト)の変化の経緯を示し、表
３は、繰返し回数５００回で達した平均ミニマムエネル
ギー(コスト)、平均リスク値、平均期待収益率、平均選
択証券数を示す。

【０１０８】

【表３】ボルツマンマシンＳＯＩＮＮミニマムエネルギー０．８３８０ミニマムコスト０．６９２１リスク値７４．９２０９６１．７９１３期待収益率３．９５７６３．９９５２選択証券数１４．００１４．８１

【０１０９】ボルツマンマシンに関しては乱数系を変え
た１２回の実験、ＳＯＩＮＮに関しては同様に乱数系を
変えた１０回の実験を行ない、その平均値をプロットし
ている。

【０１１０】ボルツマンマシンは、ホップフィールドモ
デルの平均収束エネルギー値を平均１０回未満の繰返し
回数で下回り、繰返し回数５００回で達した平均ミニマ
ムエネルギー値は０．８３８０であった。確率動作の導
入によるローカルミニマム対策が有効に機能しているこ
とが理解できる。

【０１１１】一方、ＳＯＩＮＮの達成した平均ミニマム
コストはさらに低く、繰返し回数２０回での平均ミニマ
ムコストが０．８２２１でボルツマンマシンが５００回
で達成している解を２０回未満の繰返しで達成している
ことを示す。ＳＯＩＮＮの５００回での平均ミニマムコ
ストは０．６９２１であり、確率動作を加えないＳＯＩ
ＮＮの平均収束コスト０．８４６４００より低く、ＳＯ
ＩＮＮにおいても確率動作の付加がローカルミニマム対
策として有効に機能していることが理解できる。

【０１１２】最後に、実施例の最適化問題解決装置を従
来のホップフィールドモデルで解けない問題に適用した
例について説明する。

【０１１３】ポートフォリオ問題で、上述のように選択
銘柄数を指定することは一般的ではない。ここでは、よ
り実際の運用に適したリスク値指定方法を用いることに
する。この方法の命題は、「ポートフォリオを構成する
銘柄数がフリーで、指定したリスク値を持ち、できるだ
け期待収益率の高いポートフォリオを選択する」という
こととなる。この問題のコスト関数は以下の式(19)に示
すとおりである。

【０１１４】

【数１２】

【０１１５】このようなコスト関数については、従来の
単一な２次形式のエネルギー式には全く当てはめが不可
能である。この実験では、上記の２番目の実験と同様に
ＳＯＩＮＮの出力に確率動作を付加する形で実行した。

【０１１６】実験に使用した定数は、α＝０．０１、β
＝０．５、フィードバック定数η＝０．００５、時定数
Ｔ＝０．０５、指定リスク値Ｒ＝５５である。使用した
株価データは、前記の例と同一である。

【０１１７】図１５は、ＳＯＩＮＮによる収束過程をラ
ンダムな選択による収束過程との比較で示した。ランダ
ムな選択は、順次ニューロンの出力を乱数により決定
し、計算したコストがそれまでのミニマムコストより小
さい場合にミニマムコストを更新する方式とした。実験
では、全ニューロンに対する一巡の出力決定を１回とし
て５００回繰り返し、ランダム方式の方は１００回、Ｓ
ＯＩＮＮの方は２０回の実験の平均値をプロットした。

【０１１８】ランダム方式と比較し、ＳＯＩＮＮがきわ
めて早く有効解を得ていることが明確に理解できる。こ
の実験によると、ＳＯＩＮＮの平均ミニマムコストは
０．−１．０３３０、平均期待収益率４．２６０４、平
均選択証券数１７．６５である。ランダム方式の場合の
平均ミニマムコストは−０．３３３９となった。

【０１１９】

【発明の効果】以上説明したように、この発明によれ
ば、コスト関数の計算をニューラルネットワーク外の演
算部で計算し、ニューラルネットワークに対してはコス
トの変動値のみをフィードバックすることにより、当て
はめ問題を解かずに作動させることができ、かつ、複雑
なコスト関数を持つ最適化問題に対しても柔軟に対応で
きる装置を提供することができる。

【図面の簡単な説明】

【図１】この発明の実施例にかかる最適化問題解決装
置の概念図である。

【図２】実施例の装置の処理過程を示すフローチャー
トである。

【図３】図２に示した方法によるネットワークの状態
遷移の様子を示す説明図である。

【図４】実施例の装置の他の方法による処理過程を示
すフローチャートである。

【図５】図４に示した方法によるネットワークの状態
遷移の様子を示す説明図である。

【図６】実施例の装置のさらに他の方法による処理過
程を示すフローチャートである。

【図７】巡回セールスマン問題を図４の方法により解
いた場合のコスト値の変化を示すグラフである。

【図８】巡回セールスマン問題を図４の方法により解
いた場合の最小コスト値の変化を示すグラフである。

【図９】巡回セールスマン問題を図４の方法により解
いた場合の平均誤差の変化を示すグラフである。

【図１０】巡回セールスマン問題を図６の方法により
解いた場合のコスト値の変化を示すグラフである。

【図１１】巡回セールスマン問題を図６の方法により
解いた場合の最小コスト値の変化を示すグラフである。

【図１２】巡回セールスマン問題を図６の方法により
解いた場合の平均誤差の変化を示すグラフである。

【図１３】実施例の装置をポートフォリオ問題に適用
した場合のミニマムコストのヒストグラムをホップフィ
ールドモデルとの比較で示したグラフである。

【図１４】実施例の装置に確率的動作を加えた場合の
収束過程をボルツマンマシンとの比較において示すグラ
フである。

【図１５】実施例の装置によりリスク指定方法のポー
トフォリオ問題を解く際の収束過程をランダムなネット
ワークによる収束との比較において示すグラフである。

【図１６】従来のホップフィールドモデルのニューラ
ルネットワークの概念図である。

【符号の説明】

ＳＯＩＮＮ…自己組織型相互結合ニューラルネットワー
クＣＵＬ…コスト演算部

Claims

【特許請求の範囲】

【請求項１】一のニューロンの出力が他のニューロン
への入力となる複数のニューロンにより構成される相互
結合型ニューラルネットワークと、与えられた最適化問
題についてのコスト演算式に前記各ニューロンの出力を
変数として代入してコストを演算するコスト演算部とを
備え、初期状態において前記各ニューロンの他のニューロンか
らの結合荷重と各ニューロンの出力とを任意に設定し、少なくとも１つのニューロンについてネット演算し、ネ
ット演算後の各ニューロンの出力を前記コスト演算部に
送ってコストを計算すると共に、ネット演算前のコスト
との差ΔCOSTを前記相互結合型ニューラルネットワーク
にフィードバックし、前記ΔCOSTに基づいてネット演算
されたニューロンの結合荷重を修正しつつ前記相互結合
型ニューラルネットワークの状態を遷移させるステップ
を繰り返し、所定条件を満たしたときに前記遷移ステッ
プを終了し、前記各ニューロンの出力を前記最適化問題
の解とすることを特徴とする最適化問題解決装置。
【請求項２】前記各ニューロンは離散的入出力特性を
有し、各ニューロンのネット値が０以上のときに該ニュ
ーロンの出力を１とし、ネット値が０未満のときに出力
を０とすることを特徴とする請求項１に記載の最適化問
題解決装置。
【請求項３】前記各ニューロンの出力に確率的遷移を
与えることを特徴とする請求項２に記載の最適化問題解
決装置。
【請求項４】前記各ニューロンは連続的入出力特性を
有し、各ニューロンのネット値に対応する連続値を出力
することを特徴とする請求項１に記載の最適化問題解決
装置。
【請求項５】前記各ニューロンの出力に確率的なゆら
ぎを与えることを特徴とする請求項４に記載の最適化問
題解決装置。
【請求項６】前記遷移ステップを終了させる所定条件
は、前記相互結合型ニューラルネットワークの出力が安
定したときに満たされることを特徴とする請求項１に記
載の最適化問題解決装置。
【請求項７】前記遷移ステップを終了させる所定条件
は、前記遷移ステップの回数が所定回数に達したときに
満たされることを特徴とする請求項１に記載の最適化問
題解決装置。
【請求項８】前記遷移ステップを終了させる所定条件
は、前記遷移ステップの開始から所定時間が経過したと
きに満たされることを特徴とする請求項１に記載の最適
化問題解決装置。
【請求項９】前記遷移ステップを終了させる所定条件
は、前記コスト演算部により演算されたコスト値が所定
値より低くなったときに満たされることを特徴とする請
求項１に記載の最適化問題解決装置。
【請求項１０】前記相互結合型ニューラルネットワー
クは、前記ΔCOSTを近傍近似して遷移することを特徴と
する請求項１に記載の最適化問題解決装置。
【請求項１１】前記相互結合型ニューラルネットワー
クは、前記ΔCOSTをニューラルネットワークエネルギー
で近似して遷移することを特徴とする請求項１に記載の
最適化問題解決装置。
【請求項１２】前記相互結合型ニューラルネットワー
クは、前記ΔCOSTを２次関数で近似して遷移することを
特徴とする請求項１に記載の最適化問題解決装置。
【請求項１３】複数の入力に対してそれぞれ結合荷重
を掛け合わせる複数の乗算ステップと、乗算結果の和を
求める加算ステップと、加算結果を因数として所定の演
算結果を出力する関数ステップとから成る演算ステップ
組を複数組有すると共に、これらの演算ステップ組は、各演算ステップ組の出力
が、他の演算ステップ組の乗算ステップの入力とされる
よう構成され、さらに、与えられた最適化問題についてのコスト演算式
に前記各演算ステップ組の出力を変数として代入してコ
ストを演算するコスト演算ステップと、演算の実行毎に各演算ステップ組の出力を用いて前記コ
スト演算ステップにおいてコストを計算すると共に、演
算前のコストとの差ΔCOSTを求めるコスト変動演算ステ
ップと、、前記ΔCOSTに基づいて再演算された演算ステップ組の乗
算式の結合荷重を修正する修正ステップとを備え、初期状態において各組の出力と各乗算式の結合荷重とを
任意に設定し、一の演算ステップ組の乗算、加算、関数ステップを実行
して更新された出力を他の演算ステップ組に入力し、順
次他の演算ステップ組の演算を実行し、所定条件が満たされるまで前記演算ステップ組、コスト
演算ステップ、コスト変動演算ステップ、修正ステップ
を繰返し実行し、前記所定条件を満たした後に上記各ス
テップを終了し、前記各演算ステップ組の出力を前記最
適化問題の解とすることを特徴とする最適化問題解決方
法。
【請求項１４】前記関数ステップは離散的入出力特性
を有し、前記加算ステップの出力が負であるときに０、
正であるときに１を出力することを特徴とする請求項１
３に記載の最適化問題解決方法。
【請求項１５】前記各関数ステップの出力に確率的遷
移を与えることを特徴とする請求項１４に記載の最適化
問題解決方法。
【請求項１６】前記関数ステップは連続的入出力特性
を有し、前記加算ステップの出力値に対応する連続値を
出力することを特徴とする請求項１３に記載の最適化問
題解決方法。
【請求項１７】前記関数ステップの出力に確率的なゆ
らぎを与えることを特徴とする請求項１６に記載の最適
化問題解決方法。
【請求項１８】前記各ステップを終了させる所定条件
は、前記各演算ステップ組の出力が安定したときに満た
されることを特徴とする請求項１３に記載の最適化問題
解決方法。
【請求項１９】前記各ステップを終了させる所定条件
は、前記演算ステップ組の繰返し回数が所定回数に達し
たときに満たされることを特徴とする請求項１３に記載
の最適化問題解決方法。
【請求項２０】前記各ステップを終了させる所定条件
は、演算の開始から所定時間が経過したときに満たされ
ることを特徴とする請求項１３に記載の最適化問題解決
方法。
【請求項２１】前記各ステップを終了させる所定条件
は、前記コスト演算ステップにより演算されたコスト値
が所定値より低くなったときに満たされることを特徴と
する請求項１３に記載の最適化問題解決方法。
【請求項２２】前記演算ステップ組は、前記ΔCOSTを
近傍近似して遷移することを特徴とする請求項１３に記
載の最適化問題解決方法。
【請求項２３】前記演算ステップ組は、前記ΔCOSTを
ニューラルネットワークエネルギーで近似して遷移する
ことを特徴とする請求項１３に記載の最適化問題解決方
法。
【請求項２４】前記演算ステップ組は、前記ΔCOSTを
２次関数で近似して遷移することを特徴とする請求項１
３に記載の最適化問題解決方法。