JP6892599B2 - 最適化装置及び最適化装置の制御方法 - Google Patents

Description

本発明は、最適化装置及び最適化装置の制御方法に関する。

現在の社会ではあらゆる分野で情報処理が行われている。これらの情報処理はコンピュータ等の演算装置を用いて行われており、様々なデータを演算、加工し、意味のある結果を得ることにより、予測、決定、制御等が行われる。これらの情報処理の１つの分野として最適化処理があり重要な分野となっている。例えばある処理を行う場合に必要な資源やコストを最小化したり、その効果を最大化する解を求める問題等である。これらの問題が非常に重要であるのは明らかであろう。

最適化問題の代表的なものとして線形計画問題がある。これは複数の連続変数の線形和で表される評価関数を、線形和で表される制約条件の下で最大化または最小化する変数の値を求めるものであり、製品の生産計画等様々な分野で利用されている。この線形計画問題には単体法や内点法といった優れた解法が知られており、何十万以上の変数を持つ問題でも効率的に解くことができる。

一方最適化問題には、変数が連続値ではなく離散的な値を取るものも多く知られている。例えば、複数の都市を順番に回り元に戻るときの最短経路を求める巡回セールスマン問題や、ナップザックに異なる品物を詰めるときその価値の和が最大となるような組み合わせを求めるナップザック問題等が挙げられる。このような問題は、離散最適化問題、組合せ最適化問題等と呼ばれ、最適解を得るのが非常に難しいことが知られている。

離散最適化問題を解くのが難しい最大の原因は、各変数が離散値しか取れないため、評価関数が改善される方向に変数を連続的に変化させることで最適解に到達させるという手法が使えないことである。そして本来の最適値を与える変数の値（最適解、大域解）以外に、局所的に評価関数の極値を与える値（極小（大）解、局所解）が非常に多数存在することである。このため最適解を確実に得るにはしらみつぶしのような方法を取らざるを得ず、計算時間が非常に長くなる。離散最適化問題には計算量理論でＮＰ（Non-deterministic Polynomial）困難問題と呼ばれる、最適解を求めるための計算時間が問題の大きさ（すなわち変数の数）に対して指数的に増加すると予想される問題が多い。上記巡回セールスマン問題やナップザック問題もＮＰ困難問題である。

以上述べたように、離散最適化問題の最適解を確実に求めることは非常に困難である。このため実用上重要な離散最適化問題にはその問題に固有な性質を利用した解法が考え出されている。上記のように多くの離散最適化問題では厳密解を得るには指数関数的に増大する計算時間がかかると予想されるため、実用的な解法の多くは近似解法であり、最適解ではないものの評価関数の値が最適値に近い値となる解を得ることができるものである。

これらの問題に特化した近似解法に対して、問題の性質を用いることなく解くため広範囲な問題を扱える近似解法も知られている。これらはメタヒューリスティックな解法と呼ばれ、疑似焼き鈍し法（シミュレーテッド・アニーリング法、ＳＡ法）、遺伝的アルゴリズム、ニューラルネットワーク等が挙げられる。これらの方法は、問題の性質をうまく利用した解法よりは効率が悪い可能性があるが、厳密解を得る解法よりは高速に解を得ることが期待できる。

以下、疑似焼き鈍し法について説明する。
疑似焼き鈍し法はモンテカルロ法の一種であり、乱数値を用いて確率的に解を求める方法である。以下では最適化したい評価関数の値を最小化する問題を例に説明し、評価関数の値をエネルギーと呼ぶことにする。最大化の場合は、評価関数の符号を変えればよい。

各変数に離散値の１つを代入した初期状態からはじめ、現在の状態（変数の値の組み合わせ）から、それに近い状態（例えば１つの変数だけ変化させた状態）を選び、その状態遷移を考える。その状態遷移に対するエネルギーの変化を計算し、その値に応じてその状態遷移を採択して状態を変化させるか、採択せずに元の状態を保つかを確率的に決める。エネルギーが下がる場合の採択確率をエネルギーが上がる場合より大きく選ぶと、平均的にはエネルギーが下がる方向に状態変化が起こり、時間の経過とともにより適切な状態へ状態遷移することが期待できる。そして最終的には最適解または最適値に近いエネルギーを与える近似解を得られる可能性がある。もし、これを決定論的にエネルギーが下がる場合に採択、上がる場合に不採択とすれば、エネルギーの変化は時間に対して広義単調減少となるが、局所解に到達したらそれ以上変化が起こらなくなってしまう。上記のように離散最適化問題には非常に多数の局所解が存在するために、状態が、多くの場合あまり最適値に近くない局所解に捕まってしまう。したがって、採択するかどうかを確率的に決定することが重要である。

疑似焼き鈍し法においては、状態遷移の採択（許容）確率を次のように決めれば、時刻（反復回数）無限大の極限で状態が最適解に到達することが証明されている。
（１）状態遷移に伴うエネルギー変化（エネルギー減少）値（−ΔＥ）に対して、その状態遷移の許容確率ｐを次の何れかの関数ｆ（）により決める。

ここでＴは温度値と呼ばれるパラメータで次のように変化させる。
（２）温度値Ｔを次式で表されるように反復回数ｔに対数的に減少させる。

ここでＴ₀は初期温度値であり問題に応じて十分大きくとることが望ましい。
（１）の式で表される許容確率を用いた場合、十分な反復後に定常状態に達したとすると、各状態の占有確率は熱力学における熱平衡状態に対するボルツマン分布にしたがう。そして、高い温度から徐々に下げていくとエネルギーの低い状態の占有確率が増加するため、十分温度が下がるとエネルギーの低い状態が得られるはずである。この様子が材料を焼き鈍したときの状態変化とよく似ているため、この方法は疑似焼き鈍し法と呼ばれるのである。このとき、エネルギーが上がる状態遷移が確率的に起こることは、物理学における熱励起に相当する。

上記のように疑似焼き鈍し法では、反復回数を無限に取れば最適解が得られるが、現実には有限の反復回数で解を得る必要があるため、最適解を確実に求めることはできない。また上の式では温度の下がり方が非常にゆっくりであるため、有限時間では十分に温度が下がらない。したがって実際の疑似焼き鈍し法では対数的な温度変化ではなくより早く温度を下げることが多い。

図１３に疑似焼き鈍し法による最適化装置の概念的構成を示す。ただし、下記説明では、状態遷移の候補を複数発生させる場合についても述べているが、本来の基本的な疑似焼き鈍し法は遷移候補を１つずつ発生させるものである。

最適化装置１０には、まず現在の状態Ｓ（複数の状態変数の値）を保持する状態保持部１１がある。また、複数の状態変数の値の何れかが変化することによる現在の状態Ｓからの状態遷移が起こった場合の、各状態遷移のエネルギー変化値｛−ΔＥ_i｝を計算するエネルギー計算部１２がある。そして、最適化装置１０には、温度値Ｔを制御する温度制御部１３、状態変化を制御するための遷移制御部１４がある。

遷移制御部１４は、温度値Ｔとエネルギー変化値｛−ΔＥ_i｝と乱数値とに基づいて、エネルギー変化値｛−ΔＥ_i｝と熱励起エネルギーとの相対関係によって複数の状態遷移の何れかを受け入れるか否かを確率的に決定するものである。

遷移制御部１４をさらに細分化すると、遷移制御部１４は、状態遷移の候補を発生する候補発生部１４ａ、各候補に対して、そのエネルギー変化値｛−ΔＥ_i｝と温度値Ｔから状態遷移を許可するかどうかを確率的に決定するための可否判定部１４ｂを有する。さらに、可となった候補から採用される候補を決定する遷移決定部１４ｃ、及び、確率変数を発生させるための乱数発生部１４ｄを有する。

一回の反復における動作は次のようなものである。まず、候補発生部１４ａは、状態保持部１１に保持された現在の状態Ｓから次の状態への状態遷移の候補（候補番号｛Ｎｉ｝）を１つまたは複数発生する。エネルギー計算部１２は、現在の状態Ｓと状態遷移の候補を用いて候補に挙げられた各状態遷移に対するエネルギー変化値｛−ΔＥ_i｝を計算する。可否判定部１４ｂは、温度制御部１３で発生した温度値Ｔと乱数発生部１４ｄで生成した確率変数（乱数値）を用い、各状態遷移のエネルギー変化値｛−ΔＥ_i｝に応じて、上記（１）の式の許容確率でその状態遷移を許容する。そして、可否判定部１４ｂは、各状態遷移を受け入れるか否か（以下状態遷移の可否という場合もある）を示す遷移可否｛ｆｉ｝を出力する。許容された状態遷移が複数ある場合には、遷移決定部１４ｃは、乱数値を用いてランダムにそのうちの１つを選択する。そして、遷移決定部１４ｃは、選択した状態遷移の遷移番号Ｎと、遷移可否ｆを出力する。許容された状態遷移が存在した場合、採択された状態遷移に応じて状態保持部１１に記憶された状態変数の値が更新される。

初期状態から始めて、温度制御部１３で温度値を下げながら上記反復を繰り返し、一定の反復回数に達したり、エネルギーが一定の値を下回る等の終了判定条件が満たされたとき、動作が終了する。最適化装置１０が出力する答えは終了時の状態である。ただし、実際には有限の反復回数では温度値が０にならないため、終了時においても状態の占有率はボルツマン分布等で表される分布を持っており、必ずしも最適値やよい解になっているとは限らない。したがって、反復の途中でこれまでに得られたエネルギーが最低の状態を保持し、最後にそれを出力するのが現実的な解法となる。

図１４は候補を１つずつ発生させる通常の疑似焼き鈍し法における遷移制御部、特に可否判定部のために必要な演算部分の構成例の回路レベルのブロック図である。
遷移制御部１４は、乱数発生回路１４ｂ１、セレクタ１４ｂ２、ノイズテーブル１４ｂ３、乗算器１４ｂ４、比較器１４ｂ５を有する。

セレクタ１４ｂ２は、各状態遷移の候補に対して計算されたエネルギー変化値｛−ΔＥ_i｝のうち、乱数発生回路１４ｂ１が生成した乱数値である遷移番号Ｎに対応するものを選択して出力する。

ノイズテーブル１４ｂ３の機能については後述する。ノイズテーブル１４ｂ３として、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等のメモリを用いることができる。

乗算器１４ｂ４は、ノイズテーブル１４ｂ３が出力する値と、温度値Ｔとを乗算した積（前述した熱励起エネルギーに相当する）を出力する。
比較器１４ｂ５は、乗算器１４ｂ４が出力した乗算結果と、セレクタ１４ｂ２が選択したエネルギー変化値である−ΔＥとを比較した比較結果を遷移可否ｆとして出力する。

図１４に示されている遷移制御部１４は、基本的に前述した機能をそのまま実装するものであるが、（１）の式で表される許容確率で状態遷移を許容するメカニズムについてはこれまで説明していないのでこれを補足する。

許容確率ｐで１を、（１−ｐ）で０を出力する回路は、２つの入力ａ，ｂを持ち、ａ＞ｂのとき１を出力し、ａ＜ｂのとき０を出力する比較器の入力ａに許容確率ｐを、入力ｂに区間［０，１）の値をとる一様乱数を入力することで実現することができる。したがってこの比較器の入力ａに、エネルギー変化値と温度値Ｔにより（１）の式を用いて計算される許容確率ｐの値を入力すれば、上記の機能を実現することができる。

すなわちｆを（１）の式で用いる関数、ｕを区間［０，１）の値をとる一様乱数とするとき、ｆ（ΔＥ／Ｔ）がｕより大きいとき１を出力する回路で、上記の機能を実現できる。

このままでもよいのであるが、次のような変形を行っても同じ機能が実現できる。２つの数に同じ単調増加関数を作用させても大小関係は変化しない。したがって比較器の２つの入力に同じ単調増加関数を作用させても出力は変わらない。この単調増加関数としてｆの逆関数ｆ^-1を採用すると、−ΔＥ／Ｔがｆ^-1（ｕ）より大きいとき１を出力する回路でよいことがわかる。さらに温度値Ｔが正であることから−ΔＥがＴｆ^-1（ｕ）より大きいとき１を出力する回路でよい。図１４中のノイズテーブル１４ｂ３はこの逆関数ｆ^-1（ｕ）を実現するための変換テーブルであり、区間［０，１）を離散化した入力に対して次の関数の値を出力するテーブルである。

遷移制御部１４には、判定結果等を保持するラッチやそのタイミングを発生するステートマシン等も存在するが、図１４では図示を簡単にするため省略されている。
図１５は、従来例における遷移制御部の動作フローを示す図である。動作フローは、１つの状態遷移を候補として選ぶステップ（Ｓ１）、その状態遷移に対するエネルギー変化値と温度値と乱数値の積の比較で状態遷移の可否を決定するステップ（Ｓ２）、状態遷移が可ならばその状態遷移を採用し、否ならば不採用とするステップ（Ｓ３）を有する。

上記の説明からある程度想像できると思われるが、疑似焼き鈍し法は汎用的で非常に魅力的ではあるが、温度をゆっくり下げる必要があるため計算時間が比較的長くなってしまうという問題がある。さらにその温度の下げ方を問題に合わせて適切に調節することが難しいという問題もある。これは図１６を用いて次のように説明することができる。

初期値から最適解や近似解に至る状態遷移の経路には近似度のよくない局所解が多数存在する。これらの局所解から十分早く脱出するには、十分な熱励起が可能な高い温度が必要となる。しかし高い温度ではボルツマン分布におけるエネルギーの広がりが大きいため、最適解やエネルギーの低いよい近似解（以下ではよい解と呼ぶ）と、エネルギーの比較的高い近似度の悪い局所解（以下悪い解と呼ぶ）の占有確率の差が小さい。このため局所解を早く脱出できても行く先は多数ある悪い解に分散されてしまい、よい解にたどり着く確率は非常に小さい。よい解の占有確率を増やすには、悪い解とのエネルギー差に比べ、熱励起エネルギーが十分に小さくなるような低温が必要である。しかしこの場合熱励起エネルギーが小さいため、経路の途中のエネルギーの山を越えることができる確率が非常に低くなってしまい、状態変化がほとんど起こらない。したがって、ある程度山を越えることができ、占有確率に少し差のつけられる中間温度をゆっくりと経過させることで、徐々によい解の占有確率を増やしていく必要がある。もし温度の下げ方が遅すぎると有限時間ではあまり温度が下がらないため、最終的によい解の占有確率が上がらない。逆に速く下げすぎると、局所解を脱出する前に温度が下がってしまい、悪い解に捕まったままになってしまう。したがって温度が下がるほどその変化の割合を十分小さくし、その温度におけるボルツマン分布に近づくまで十分待たなければならない。

このように本来の疑似焼き鈍し法では、温度による熱励起だけで局所解からの脱出を図るため、温度をゆっくり下げるとともに、温度の下げ方を問題に応じて適切に調節することが望ましい。

なお、従来、局所解から脱出するために、ランダムに状態遷移を起こさせる方法があった（例えば、特許文献１参照）。

特開２０１６−６６３７８号公報

上記のように局所解からの脱出に長い時間がかかってしまうことが疑似焼き鈍し法を用いて最適化問題を計算する際の計算時間が長くなる大きな要因である。なお、上記のように悪い局所解が多数存在するため、単に局所解の状態からランダムに状態遷移を発生させても、周りの悪い局所解にまた捕まってしまい、計算時間の短縮にはつながらない可能性があった。

１つの側面では、本発明は、最適化問題の計算時間を短縮する、最適化装置及び最適化装置の制御方法を提供することを目的とする。

１つの実施態様では、最適化装置は、エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持する状態保持部と、前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算するエネルギー計算部と、温度を示す温度値を制御する温度制御部と、前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記変化値にオフセット値を加えるとともに、前記エネルギーが極小となる局所解における前記オフセット値を、前記エネルギーが極小ではない場合と比較して大きくなるように制御するとともに、前記変化値が閾値よりも大きい場合、前記オフセット値を０にリセットする遷移制御部と、を有する。

また、１つの実施形態では、最適化装置の制御方法が提供される。

１つの側面では、最適化問題の計算時間を短縮できる。

第１の実施の形態の最適化装置における遷移制御部の一例を示す図である。 閾値Ａの一例を示す図である。 第１の実施の形態の最適化装置における遷移制御部の動作フローを示す図である。 遷移禁止回路を有さない遷移制御部を示す図である。 エネルギー変化のない状態遷移の一例を示す図である。 第１の実施の形態の遷移制御部を用いた場合の状態遷移の一例の様子を示す図である。 第２の実施の形態の最適化装置における遷移制御部の回路構成の一例を示す図である。 パルス信号の発生の状態遷移の一例を示す状態遷移図である。 パルス信号を発生する論理回路の真理値表の一例を示す図である。 パルス信号を発生するステートマシンの一例を示す図である。 第３の実施の形態の最適化装置における遷移制御部の回路構成の一例を示す図である。 図４、図１１の遷移制御部を用いて実現される疑似焼き鈍し法のソフトウェアシミュレーション結果の一例を示す図である。 疑似焼き鈍し法による最適化装置の概念的構成を示す図である。 従来例における遷移制御部、特に可否判定部のために必要な演算部分の構成例の回路レベルのブロック図である。 従来例における遷移制御部の動作フローを示す図である。 疑似乱数法における状態の占有確率の概念を示す図である。

以下、発明を実施するための形態を、図面を参照しつつ説明する。
（第１の実施の形態）
図１は、第１の実施の形態の最適化装置における遷移制御部の一例を示す図である。図１４に示した遷移制御部１４と同じ要素については同一符号が付されている。

図１に示されているように、遷移制御部２０は、図１３に示した可否判定部１４ｂの機能を実現する回路部分に追加された、オフセット加算回路２１とオフセット制御回路２２と判定回路２３とを有する。その他の部分は図１４に示した遷移制御部１４と同じである。

オフセット加算回路２１は、状態遷移に伴うエネルギー変化値（−ΔＥ）にオフセット値ｙを加えるオフセット加算回路として機能する。図１の回路の例では、オフセット加算回路２１は、減算器２１ａである。このため、図１の例では、エネルギー変化値（−ΔＥ）にオフセット値ｙを加える代わりに、比較対象である温度値Ｔと乱数値の積Ｔｆ^-1（ｕ）（熱励起エネルギーに相当する）からオフセット値ｙを減ずる構成となっているがどちらでも同じである。

オフセット制御回路２２は、局所解（エネルギーが極小となる解）におけるオフセット値ｙを、局所解ではないときに比べて大きくなるように制御する。図１の例では、オフセット制御回路２２は、リセット端子Ｒを有する累算器２２ａである。累算器２２ａは、リセット端子Ｒに入力される判定回路２３の出力信号が、エネルギー変化値（−ΔＥ）が所定の閾値Ａよりも大きいことを示す場合、オフセット値ｙを０にリセットする。また、累算器２２ａは、入力端子と、クロック端子を有する。累算器２２ａは、判定回路２３の出力信号が、エネルギー変化値（−ΔＥ）が所定の閾値Ａ以下であることを示す場合には、クロック端子に図示しないパルス信号が入力されるたびに、オフセット値ｙに入力端子に入力されるオフセット増分値Δｙを加えていく。

なお、図示しないパルス信号は、例えば、後述するステートマシンによって供給される。オフセット増分値Δｙは、例えば、図示しないレジスタに記憶されている。
判定回路２３は、エネルギー変化値（−ΔＥ）が所定の閾値Ａよりも大きいか否かの判定結果を出力する。なお、判定回路２３は、エネルギー変化値（−ΔＥ）の絶対値が所定の閾値Ａよりも大きいか否かの判定結果を出力してもよい。

図２は、閾値Ａの一例を示す図である。縦軸はエネルギーを示し、横軸は状態（各状態変数の値の組み合わせ）を示している。
閾値Ａが大きすぎると収束性を損なう可能性があるため、閾値Ａは、例えば、予め推定された、局所解から脱出するために必要なエネルギー差分（図２のポテンシャル）の数分の一程度とする。なお、エネルギー差分が＋１、０、または−１となる最大カット問題を計算する場合には、例えば、閾値Ａは、０とする。閾値Ａは、例えば、図示しないレジスタに記憶されている。また、閾値Ａは適宜変更するようにしてもよい。

以上のような遷移制御部２０は、セレクタ１４ｂ２により選択されたエネルギー変化値（−ΔＥ）に累算器２２ａに保持されているオフセット値ｙを加えた和である−ΔＥ＋ｙが温度値Ｔと乱数値の積Ｔｆ^-1（ｕ）よりも大きいときその状態遷移を許容する。以下、比較器１４ｂ５が出力する遷移可否ｆが１である場合には、その状態遷移が許容されたことを示し、遷移可否ｆが０である場合には、その状態遷移が許容されないことを示すものとする。

累算器２２ａは、判定回路２３が出力する判定結果に基づいて、オフセット値ｙを次のように変化する。エネルギー変化値（−ΔＥ）が閾値Ａよりも大きい場合には、累算器２２ａは、オフセット値ｙを、０にリセットする。エネルギー変化値（−ΔＥ）が閾値Ａ以下の場合には、累算器２２ａは、オフセット増分値Δｙだけオフセット値ｙを増加する。

図３にこの状態遷移の可否判定のための動作フローをまとめる。
動作フローは、１つの状態遷移を候補として選ぶステップ（Ｓ１０）、その状態遷移に対するエネルギー変化値（−ΔＥ）とオフセット値ｙとの和と、温度値Ｔと乱数値の積の比較で状態遷移の可否を決定するステップ（Ｓ１１）を有する。さらに、動作フローは、状態遷移が可ならばその状態遷移を採用し、否ならば不採用とするステップ（Ｓ１２）、−ΔＥ＞Ａであれば、オフセット値ｙを０にリセットし、−ΔＥ≦Ａであれば、オフセット値ｙを増加するステップ（Ｓ１３）を有する。

このほかの動作は通常の疑似焼き鈍し法と同じでよい。
以下、上記のようなオフセット加算回路２１とオフセット制御回路２２と判定回路２３を有する遷移制御部２０による効果を説明する前に、判定回路２３を有さない遷移制御部を比較例として説明する。

（比較例）
図４は、遷移禁止回路を有さない遷移制御部を示す図である。
遷移制御部２０ａは、図１に示した判定回路２３を有しておらず、比較器１４ｂ５が出力した遷移可否ｆが累算器２２ａのリセット端子Ｒに入力される。遷移可否ｆが１である場合、オフセット値ｙが０にリセットされる。

遷移制御部２０ａは、オフセット加算回路２１とオフセット制御回路２２とを有していることにより、以下のような効果を有する。
現在の状態が局所解に捕まってなかなか脱出できない状態にあるとき、全ての状態遷移に対するエネルギー変化値は大きな正の値である。このときの各状態遷移に対する許容確率はメトロポリス法であってもギブス法であっても、以下の式４−１，４−２に示すように、ほぼ指数関数で表される。

全ての状態遷移の可否判定において、エネルギー変化値｛−ΔＥ_i｝にオフセット値ｙを加えて判定を行うとすると、全ての状態遷移の許容確率は以下の式５のようになり、全ての状態遷移の許容確率が同じ倍率ｅ^y/Tで大きくなることがわかる。

疑似焼き鈍し法の収束定理はメトロポリス法またはギブス法の状態遷移確率にしたがって状態遷移の可否を決定していけばよい方向へ進むことを示している。局所解では状態遷移の確率は非常に小さいため遷移候補の選択は何度も行われ、その後の状態遷移の分岐比はメトロポリス法またはギブス法の遷移確率に比例する。したがって、各状態遷移の許容確率の相対比を保ったままその絶対値を増大することができれば、各状態遷移の分岐比が保たれるため、収束性に悪影響を及ぼすことなく局所解での滞在時間を短縮することが可能となり、計算時間の短縮が可能となる。そのため、オフセット値ｙを用いることで局所解からの脱出促進が期待できる。しかしこのオフセット値ｙを適切に制御しなければ、加速効果が十分ではなかったり、収束性を悪化させてしまったりする可能性がある。

まず、現在の状態が局所解でないときには、エネルギーの下がる状態遷移があるため、遷移確率は指数関数では近似できない。このためオフセット値ｙがあると分岐比を変えてしまう。このため局所解でないときは、オフセット値ｙは０であるか十分小さいことが望ましい。

また現在の状態が局所解であるときのオフセット値ｙが一定の値であると加速効果はあるものの必ずしも十分でない。状態遷移に伴うエネルギーの増加が大きいものばかりであるとオフセット値ｙを与えても遷移確率は非常に小さいままである。オフセット値ｙを与えてもなかなか局所解を脱出できない場合には、さらに大きなオフセット値ｙを用いることが望ましい。

これを解決するため、オフセット制御回路２２は、状態遷移が起こらないときオフセット値ｙを少しずつ増やし、状態遷移が起こる場合に、オフセット値ｙを０にリセットする構成となっている。

エネルギーと状態の関係が、例えば、図２に示されるような場合、状態が局所解に留まっていると次第にオフセット値ｙが大きくなるため、いつかは必ず脱出することができる。また、状態が局所解でないときは状態遷移に伴うリセットが頻繁に起こるためオフセット値ｙは０または小さい値であり、分岐比に大きな影響を及ぼさないようにすることが可能となる。

このように局所解におけるオフセット値ｙを、エネルギーが極小ではない場合と比較して大きくなるように制御することで、単に局所解の状態からランダムに状態遷移を発生させる方法に比べて、収束性への悪影響が低減され、計算時間の短縮が可能になる。

なお、オフセット増分値Δｙも適切に選ぶことが望ましい。オフセット増分値Δｙを大きくした方が局所解から早く脱出できる。しかしあまり大きくすると、局所解でないときも必ずしも毎回状態遷移が起こるとは限らないためオフセット値ｙの影響を受ける可能性がある。また、局所解においても比較的エネルギーの増加が少なく許容確率が高くなるべき状態遷移が候補に挙がる前にオフセット値ｙが大きくなってしまい、分岐比が正しい値からずれてしまう可能性がある。分岐比に大きな影響を及ぼさないためには、局所解における平均滞在時間が局所解でないときの平均滞在時間の数倍程度になるようにするのがよいと思われる。

以上のことからオフセット増分値Δｙを適切に選べば、収束性に悪影響を及ぼすことなく局所解での滞在時間を短縮することが可能となり、最適化の計算時間の短縮が可能となることがわかる。

しかしながら、局所解の底が平坦になっている最適化問題等（例えば、最大カット問題）では、エネルギー変化のない状態遷移が高確率で発生する。
図５は、エネルギー変化のない状態遷移の一例を示す図である。縦軸はエネルギーを示し、横軸は状態を示している。

図５に示すようなエネルギーと状態との関係をもつ最適化問題では、局所解の底が平坦になっている。そのため、エネルギー変化のある状態遷移（矢印Ａ１で示されている）以外に、局所解の範囲内でのエネルギー変化のない状態遷移（矢印Ａ２，Ａ３，Ａ４で示されている）が発生する可能性がある。比較例の遷移制御部２０ａでは、状態遷移が発生すると、オフセット値ｙが０にリセットされるため、局所解からの脱出促進機能が機能しなくなる可能性がある。

これに対して、図１の遷移制御部２０では、エネルギー変化値（−ΔＥ）が所定の閾値Ａ以下の場合には、オフセット値ｙは０にリセットされないため、上記のようなエネルギー変化のない状態遷移が生じる場合には、オフセット値ｙは増加される。このため、図５に示すような局所解がある場合でも、オフセット値を用いた局所解からの脱出促進機能が機能する。

図６は、第１の実施の形態の遷移制御部を用いた場合の状態遷移の一例の様子を示す図である。縦軸はエネルギーを示し、横軸は状態を示している。
図５と同様に、局所解の底が平坦になっているが、遷移制御部２０を用いることで、エネルギー変化値（−ΔＥ）が０である状態遷移が生じた場合でも、オフセット値ｙが増加していくため、状態遷移の許容確率が増大し、局所解での滞在時間を短縮できる。例えば、矢印Ａ５で示すように、各状態の実効的なエネルギーが上昇するような状態遷移が生じ、局所解からの脱出が加速（促進）され、比較例の遷移制御部２０ａを用いた場合よりも、最適化問題の計算時間を短縮できる。

ところで、本実施の形態の最適化装置は、上記のように疑似焼き鈍し法を実現する図１４の遷移制御部１４に図１に示したような新たな要素を加えることにより、計算時間の短縮を図るものである。その他の部分には何ら変更を加えなくてよい。したがって、現在の状態に対して許されうる状態遷移の集合や、状態遷移に伴うエネルギーの変化を与える関数形やその計算方法等にはまったく依存せずに、上記のような遷移制御部２０を有する最適化装置を適用することができる。したがって、これらの部分の具体的な回路構成等については詳しく説明しない。

ただし、最適化するエネルギーがイジングモデルで表される場合の疑似焼き鈍し法について、また、それとほとんど等価であるボルツマンマシンにおける最適化において、遷移候補の発生及び状態遷移に伴うエネルギーの変化の計算法について簡単に説明する。

イジングモデルは、互いに相互作用を行うＮ個のスピンからなる系を表すモデルであり、各スピンｓ_iは±１の２値をとる。系のエネルギーは、以下の式６で表される。

式６において、Ｊ_i,jは、スピンｓ_iとスピンｓ_j間の相互作用係数を示し、ｈ_iは、系のバイアス値である外部磁場係数を示す。
現在の状態から次の状態への状態遷移の候補は、１つのスピンの反転であり、Ｎ通り存在する。したがって遷移候補としては反転する１つのスピン番号または複数のスピンの番号の集合を発生させればよい。

そしてｉ番目のスピン反転に伴うエネルギーの変化は、以下の式７で表される。

ここで、以下の式８のＦ_iは、ローカルフィールド（局所場）値と呼ばれ、各スピンの反転によるエネルギー変化の割合を表している。

状態遷移を許容するかどうかはエネルギーの変化で決まるため、基本的にはエネルギーそのものを計算せずにローカルフィールド値からエネルギーの変化を計算すれば十分である。出力として得られた最低エネルギーに対する状態を用いる場合には、ローカルフィールド値からエネルギーの変化を計算しそれを累算していくことでエネルギーを求めることができる。

さらに、

であるから、ローカルフィールド値を行列演算により毎回計算し直す必要はなく、状態遷移に伴って反転のあったスピンによる変化分だけ加算すればよい。このため、図１３に示した状態保持部１１は、Ｎ個のスピンの値を保持するＮビットレジスタと加算器、排他的論理和等の比較的簡単な演算回路を用いて実現できる。

また、ニューラルネットワークに用いられるボルツマンマシンは、状態変数が（０，１）の２値をとることを除いてイジングモデルの疑似焼き鈍し法と同じである。このためほとんど同様の構成とすることができる。エネルギー、エネルギーの変化値、ローカルフィールド値は、以下の式１０、式１１、式１２のように表せる。

なお、ボルツマンマシンではイジングモデルのスピンに相当するものをニューロンと呼ぶことが多いが簡単のため以下ではスピンと呼ぶ。
上記のようにイジングモデルを用いた疑似焼き鈍し法とボルツマンマシンを用いた疑似焼き鈍し法は同等であり、お互いに相互変換できるので、以下では論理回路の０、１と対応の付けやすいボルツマンマシンを想定して説明を行う。

なおボルツマンマシン（及びイジングモデルの疑似焼き鈍し）においては、状態遷移に伴い変化する状態変数は１つだけであり、それに対するエネルギー変化値はローカルフィールド値を用いて予め計算しておくことができる。したがって以下の実施の形態では予め計算しておいたエネルギー変化値を遷移候補の発生に応じて選択する形式の実装を例に説明している。しかしながら、ボルツマンマシンでないときは、複数の状態変数が変化する遷移を考える場合もあるため、遷移候補の発生後に必要なエネルギー変化値を計算するような実装が有利になる場合もある。

（第２の実施の形態）
図７は、第２の実施の形態の最適化装置における遷移制御部の回路構成の一例を示す図である。図１に示した遷移制御部２０と同じ要素については同一符号が付されている。図７の遷移制御部３０は、基本的に図１の遷移制御部２０と同じであるが、累算器３１が回路レベルで示されている。また、判定回路の一例として比較器３２が示されている。以下では、エネルギー変化値（−ΔＥ）が閾値Ａより大きい場合、比較器３２は１を出力し、エネルギー変化値（−ΔＥ）が閾値Ａ以下である場合、比較器３２は０を出力するものとする。

累算器３１は、加算器３１ａ、クロック端子とリセット端子Ｒを備えたレジスタ３１ｂを有する。
加算器３１ａは、オフセット増分値Δｙと、レジスタ３１ｂが出力するオフセット値ｙとを加算した和を出力する。

レジスタ３１ｂは、リセット端子Ｒに供給される比較器３２の出力値が０である場合、クロック端子に供給されるパルス信号に同期して、加算器３１ａの出力値を取り込み、オフセット値ｙとして出力する。またレジスタ３１ｂは、リセット端子Ｒに供給される比較器３２の出力値が１である場合、保持している値を０にリセットして出力する。

加算器３１ａとレジスタ３１ｂのビット幅は、適切に設定される。ビット幅は、エネルギー変化値（−ΔＥ）のビット幅と同程度でよい。例えば相互作用係数のビット幅を１６、スピン数を１０２４とした場合、エネルギー変化値（−ΔＥ）は最大２７ビットとなるのでこのビット幅を用いれば十分である。実際にはこれより少なくても十分である場合がほとんどである。ノイズテーブル１４ｂ３の出力のビット幅もエネルギー変化値（−ΔＥ）のビット幅と同程度以下でよい。

レジスタ３１ｂのクロック端子に供給されるパルス信号は、回路動作における反復動作をコントロールするステートマシンより供給され、１回の反復における状態遷移の可否が確定した後に、一度だけアクティブになるように制御される。

可否判定とその後に続く各パラメータの更新に必要なクロック信号のサイクル数は可否判定結果に依存して変化するため、パルス信号もこのサイクル数に合うように発生される。

以下では、状態の更新があった場合は５サイクル、なかった場合は１サイクルで次の反復に入る場合を例としてパルス信号の発生方法の説明を行う。
図８は、パルス信号の発生の状態遷移の一例を示す状態遷移図である。

図８に示すように、０〜４の５つの状態間で、状態遷移が行われる。状態０のとき、遷移可否ｆが０である場合、パルス信号が発生される。この場合、状態０からの状態遷移は行われない。状態０のとき、遷移可否ｆが１である場合、状態１に状態遷移する。図８において、Ｄ．Ｃ．は、ドントケアを示している。つまり、状態１からは、遷移可否ｆの値によらずクロック信号ＣＬＫに同期して、状態２、状態３、状態４へと状態遷移し、状態０へと戻る。そして状態４から状態０に戻る際に、パルス信号が発生される。

このような状態遷移を実現するためのステートマシンは、以下の真理値表を満たす回路とすればよい。
図９は、パルス信号を発生する論理回路の真理値表の一例を示す図である。

また、図１０は、パルス信号を発生するステートマシンの一例を示す図である。
ステートマシン４０は、３ビットフリップフロップ４１、インクリメント回路４２、ＡＮＤ回路４３、セレクタ４４、ＡＮＤ回路４５，４６を有している。図９の真理値表は、各状態の３ビットフリップフロップ４１の出力値Ｑ１，Ｑ２，Ｑ３と、入力値Ｄ１，Ｄ２，Ｄ３の関係を示すものである。

３ビットフリップフロップ４１には、インクリメント回路４２が出力する３ビットの値のうち、上位２ビット（［ｄ０：ｄ１］）と、セレクタ４４が出力する値が、入力値Ｄ１〜Ｄ３として供給される。３ビットフリップフロップ４１は、クロック信号ＣＬＫに同期したタイミングで、入力値Ｄ１〜Ｄ３を取り込み、出力値Ｑ１〜Ｑ３として出力する。

インクリメント回路４２は、３ビットフリップフロップ４１が出力する３ビットの出力値Ｑ１〜Ｑ３を＋１する。例えば、出力値Ｑ１〜Ｑ３が、“００１”（つまりＱ１＝Ｑ２＝０、Ｑ３＝１）である場合、インクリメント回路４２は、“０１０”を出力する。

ＡＮＤ回路４３は、出力値Ｑ１〜Ｑ３の各ビットの論理レベルを反転した値を入力し、それらの論理積を出力値として出力する。
セレクタ４４の一方の入力端子には、インクリメント回路４２が出力する３ビットの値の最下位ビット（ｄ２）が供給され、他方の入力端子には、遷移可否ｆが供給される。そして、セレクタ４４は、ＡＮＤ回路４３の出力値が１であれば、遷移可否ｆを出力し、ＡＮＤ回路４３の出力値が０であれば、ｄ２を出力する。

ＡＮＤ回路４５は、出力値Ｑ１〜Ｑ３の３ビット（［ｑ１：ｑ３］）の各ビットの論理レベルを反転した値を入力し、それらの論理積を出力値として出力する。
ＡＮＤ回路４６は、クロック信号ＣＬＫと、ＡＮＤ回路４５が出力する出力値との論理積を、パルス信号として出力する。

以上のようなステートマシン４０でパルス信号を生成することができる。
図７において、比較器３２は、エネルギー変化値（−ΔＥ）と閾値Ａとを比較した比較結果を出力する。エネルギー変化値（−ΔＥ）が閾値Ａより大きい場合、比較器３２は１を出力し、エネルギー変化値（−ΔＥ）が閾値Ａ以下である場合、比較器３２は０を出力する。

以下第２の実施の形態の最適化装置の動作例を説明する。
乱数発生回路１４ｂ１は、前述した各反復において状態遷移の候補の番号（遷移番号Ｎ）を乱数値により１つずつ発生する。セレクタ１４ｂ２は、その状態遷移に伴うエネルギー変化値（−ΔＥ）を選択して出力する。また、一様乱数である乱数値に基づきノイズテーブル１４ｂ３による変換を行って得られた値に、乗算器１４ｂ４が温度値Ｔを乗算することによりメトロポリス法またはギブス法における熱励起エネルギーを生成する。そして、減算器２１ａは、熱励起エネルギーから累算器２２ａが出力するオフセット値ｙを減ずる。比較器１４ｂ５は、減算器２１ａが出力する減算結果と、セレクタ１４ｂ２が選択して出力したエネルギー変化値（−ΔＥ）とを比較することで状態遷移の可否を決定する。

また、比較器３２は、エネルギー変化値（−ΔＥ）が閾値Ａより大きい場合、１を出力し、エネルギー変化値（−ΔＥ）が閾値Ａ以下である場合、０を出力する。
オフセット値ｙは、累算器２２ａにより、エネルギー変化値（−ΔＥ）が閾値Ａより大きい場合、０にリセットされ、エネルギー変化値（−ΔＥ）が閾値Ａ以下である場合、オフセット増分値Δｙ増分がオフセット値ｙに加算される。これにより、現在の状態における滞在時間に対してオフセット値ｙが単調増加するよう制御されるとともに、状態遷移が生じても、その状態遷移に伴い生じるエネルギー変化値（−ΔＥ）が閾値以下である場合には、オフセット値ｙが増加し続ける。このため、図５に示したような局所解がある場合でも、オフセット値を用いた局所解からの脱出促進機能が機能する。

オフセット増分値Δｙを決める目安は以下のように与えられる。
前述のように、収束性に悪影響を及ぼすことなく加速効果を得るには、局所解の滞在時間が、局所解でない場合の数倍程度になるようにオフセット増分値Δｙを選ぶのがよいと考えられる。本実施の形態のように各反復において状態遷移の候補が１つ発生する場合、各状態遷移が候補に挙がる確率は、全ての状態遷移の数の逆数となる。このことを考慮すると、オフセット増分値Δｙは、滞在時間が全ての状態遷移の数の数倍程度になったときオフセット値ｙが局所解からの脱出に必要な山の高さのエネルギーになるように定めるのがよいと考えられる。

遷移制御部３０のその他の動作については、第１の実施の形態の遷移制御部２０と同じであり、第２の実施の形態の最適化装置は、第１の実施の形態の最適化装置と同様の効果を有する。

（第３の実施の形態）
図１１は、第３の実施の形態の最適化装置における遷移制御部の回路構成の一例を示す図である。図７に示した遷移制御部３０と同じ要素については同一符号が付されている。図１１の遷移制御部５０は、絶対値計算回路５１を有している。ただし、エネルギー変化値（−ΔＥ）が離散的な値を取り、絶対値を取った後に閾値Ａ以下であることを検出する演算が、実効的にエネルギー変化値（−ΔＥ）が０であるかどうかを判定するのと同じである場合は、絶対値計算回路５１と比較器３２の２つを、ＸＯＲ回路（排他的論理和回路）等を用いた一致判定回路に置き換えることができる。

絶対値計算回路５１は、セレクタ１４ｂ２が出力するエネルギー変化値（−ΔＥ）の絶対値を計算して、比較器３２に計算した絶対値を供給する。
これにより、比較器３２は、エネルギー変化値（−ΔＥ）が正でも負でも、０からのエネルギー変化の幅が閾値Ａ以下である場合には、０を出力し、オフセット値ｙのリセットを行わないようにする。つまり、遷移制御部５０は、０からのエネルギー変化の幅が閾値Ａ以下である場合には、状態が局所解に留まっているとみなし、オフセット値ｙの増大を継続する。このため、例えば、図５に示すような局所解がある場合でも、オフセット値を用いた局所解からの脱出促進機能が機能し、最適化問題の計算時間を短縮できる。

なお、絶対値計算回路５１は、例えば、エネルギー変化値（−ΔＥ）の最上位ビットで符号（正負）を検出し、エネルギー変化値（−ΔＥ）が正の場合にはそのまま出力し、負の場合にはその２の補数を計算して出力する回路により実現可能である。

図１２は、図４、図１１の遷移制御部を用いて実現される疑似焼き鈍し法のソフトウェアシミュレーション結果の一例を示す図である。最適化する問題は最大カット問題をイジングモデル（ボルツマンマシン）により定式化したものである。縦軸は最適解到達率（最適解が得られた割合）［％］、横軸は反復回数を表している。

結果６０は、図４の遷移制御部２０ａを用いた場合の、反復回数と最適解到達率との関係を示し、結果６１は、図１１に示した遷移制御部５０を用い、閾値Ａ＝０とした場合の、反復回数と最適解到達率との関係を示す。

図１２から、遷移制御部２０ａを用いた場合の最適解到達率に対し、遷移制御部５０を用いた場合の最適解到達率は、反復回数が千万回のときには約６０％増加している。つまり、遷移制御部２０ａを用いた場合よりも、遷移制御部５０を用いた場合の方が、少ない反復回数で最適解に達することがわかる。

以上、実施の形態に基づき、本発明の最適化装置及び最適化装置の制御方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。

１４ｂ１ 乱数発生回路
１４ｂ２ セレクタ
１４ｂ３ ノイズテーブル
１４ｂ４ 乗算器
１４ｂ５ 比較器
２０ 遷移制御部
２１ オフセット加算回路
２１ａ 減算器
２２ オフセット制御回路
２２ａ 累算器
２３ 判定回路

Claims (5)

1. エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持する状態保持部と、
   前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算するエネルギー計算部と、
   温度を示す温度値を制御する温度制御部と、
   前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記変化値にオフセット値を加えるとともに、前記エネルギーが極小となる局所解における前記オフセット値を、前記エネルギーが極小ではない場合と比較して大きくなるように制御するとともに、前記変化値が閾値よりも大きい場合、前記オフセット値を０にリセットする遷移制御部と、
   を有することを特徴とする最適化装置。
2. 前記遷移制御部は、
   前記変化値の絶対値が前記閾値よりも大きい場合、前記オフセット値を０にリセットする、
   ことを特徴とする請求項１に記載の最適化装置。
3. 前記遷移制御部は、
   前記複数の状態遷移のそれぞれに対して計算された前記変化値を、前記乱数値に応じて１つ選択するセレクタと、
   前記乱数値に応じた、メトロポリス法またはギブス法で表される前記複数の状態遷移の許容確率を示す関数の逆関数の値を出力する記憶部と、
   前記逆関数の値と前記温度値とを乗算した積で表される前記熱励起エネルギーを出力する乗算器と、
   前記セレクタが選択した前記変化値と前記オフセット値とを加算した和と、前記熱励起エネルギーとの比較結果に相当する値で表される、前記セレクタが選択した前記変化値に対応する状態遷移を受け入れるか否かの第１の判定結果を出力する比較器と、
   前記変化値または前記変化値の絶対値が前記閾値よりも大きいか否かの第２の判定結果を出力する判定回路と、
   前記第２の判定結果が、前記変化値または前記変化値の絶対値が前記閾値よりも大きいことを示す場合に、前記オフセット値を０にリセットし、前記第２の判定結果が、前記変化値または前記変化値の絶対値が前記閾値以下であることを示す場合に、前記オフセット値を第１の期間ごとに増加することで、前記複数の状態変数の値で表される現在の状態の滞在時間に対して前記オフセット値を単調に増加させるオフセット制御回路と、
   を有することを特徴とする請求項１または２に記載の最適化装置。
4. 前記オフセット制御回路は、前記第２の判定結果が供給されるリセット端子を有する累算器を含み、前記第２の判定結果が、前記変化値または前記変化値の絶対値が前記閾値よりも大きいことを示す場合に、前記累算器は前記オフセット値を０にし、前記第２の判定結果が、前記変化値または前記変化値の絶対値が前記閾値以下であることを示す場合に、前記累算器は前記オフセット値にオフセット増分値を加算する、
   ことを特徴とする請求項３に記載の最適化装置。
5. 最適化装置の制御方法において、
   前記最適化装置が有する状態保持部が、エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持し、
   前記最適化装置が有するエネルギー計算部が、前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算し、
   前記最適化装置が有する温度制御部が、温度を示す温度値を制御し、
   前記最適化装置が有する遷移制御部が、前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記変化値にオフセット値を加えるとともに、前記エネルギーが極小となる局所解における前記オフセット値を、前記エネルギーが極小ではない場合と比較して大きくなるように制御するとともに、前記変化値が閾値よりも大きい場合、前記オフセット値を０にリセットする、
   ことを特徴とする最適化装置の制御方法。

Images