JP6993571B2 - 最適化装置及び最適化装置の制御方法 - Google Patents

最適化装置及び最適化装置の制御方法 Download PDF

Info

Publication number
JP6993571B2
JP6993571B2 JP2018005256A JP2018005256A JP6993571B2 JP 6993571 B2 JP6993571 B2 JP 6993571B2 JP 2018005256 A JP2018005256 A JP 2018005256A JP 2018005256 A JP2018005256 A JP 2018005256A JP 6993571 B2 JP6993571 B2 JP 6993571B2
Authority
JP
Japan
Prior art keywords
value
transition
state
energy
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018005256A
Other languages
English (en)
Other versions
JP2019125155A (ja
Inventor
崇之 柴▲崎▼
泰孝 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018005256A priority Critical patent/JP6993571B2/ja
Priority to US16/240,832 priority patent/US11551062B2/en
Publication of JP2019125155A publication Critical patent/JP2019125155A/ja
Application granted granted Critical
Publication of JP6993571B2 publication Critical patent/JP6993571B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/086Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、最適化装置及び最適化装置の制御方法に関する。
現在の社会ではあらゆる分野で情報処理が行われている。これらの情報処理はコンピュータなどの演算装置を用いて行われており、様々なデータを演算、加工し、意味のある結果を得ることにより、予測、決定、制御などが行われる。これらの情報処理の1つの分野として最適化処理があり重要な分野となっている。たとえばある処理を行う場合に必要な資源やコストを最小化する問題、またはその処理による効果を最大化する解を求める問題などである。これらの問題が非常に重要であるのは明らかであろう。
最適化問題の代表的なものとして線形計画問題がある。これは複数の連続変数の線形和で表される評価関数を、線形和で表される制約条件の下で最大化または最小化する変数の値を求めるものであり、製品の生産計画など様々な分野で利用されている。この線形計画問題には単体法や内点法といった優れた解法が知られており、何十万以上の変数を持つ問題でも効率的に解くことができる。
一方最適化問題には、変数が連続値ではなく離散的な値を取るものも多く知られている。たとえば、複数の都市を順番に回り元に戻るときの最短経路を求める巡回セールスマン問題や、ナップザックに異なる品物を詰めるときその価値の和が最大となるような組み合わせを求めるナップザック問題などが挙げられる。このような問題は、離散最適化問題、組合せ最適化問題などと呼ばれ、最適解を得るのが非常に難しいことが知られている。
離散最適化問題を解くのが難しい最大の原因は、各変数が離散値しか取れないため、評価関数が改善される方向に変数を連続的に変化させることで最適解に到達させるという手法が使えないことである。そして本来の最適値を与える変数の値(最適解、大域解)以外に、局所的に評価関数の極値を与える値(極小(大)解、局所解)が非常に多数存在することである。このため最適解を確実に得るにはしらみつぶしのような方法を取らざるを得ず、計算時間が非常に長くなる。離散最適化問題には計算量理論でNP(Non-deterministic Polynomial)困難問題と呼ばれる、最適解を求めるための計算時間が問題の大きさ(すなわち変数の数)に対して指数的に増加すると予想される問題が多い。上記巡回セールスマン問題やナップザック問題もNP困難問題である。
以上述べたように、離散最適化問題の最適解を確実に求めることは非常に困難である。このため実用上重要な離散最適化問題にはその問題に固有な性質を利用した解法が考え出されている。上記のように多くの離散最適化問題では厳密解を得るには指数関数的に増大する計算時間がかかると予想されるため、実用的な解法の多くは近似解法であり、最適解ではないものの評価関数の値が最適値に近い値となる解を得ることができるものである。
これらの問題に特化した近似解法に対して、問題の性質を用いることなく解くため広範囲な問題を扱える近似解法も知られている。これらはメタヒューリスティックな解法と呼ばれ、疑似焼き鈍し法(シミュレーテッド・アニーリング法、SA法)、遺伝的アルゴリズム、ニューラルネットワークなどが挙げられる。これらの方法は、問題の性質をうまく利用した解法よりは効率が悪い可能性があるが、厳密解を得る解法よりは高速に解を得ることが期待できる。
以下、疑似焼き鈍し法について説明する。
疑似焼き鈍し法はモンテカルロ法の一種であり、乱数値を用いて確率的に解を求める方法である。以下では最適化したい評価関数の値を最小化する問題を例に説明し、評価関数の値をエネルギーと呼ぶことにする。最大化の場合は、評価関数の符号を変えればよい。
各変数に離散値の1つを代入した初期状態からはじめ、現在の状態(変数の値の組み合わせ)から、それに近い状態(たとえば1つの変数だけ変化させた状態)を選び、その状態遷移を考える。その状態遷移に対するエネルギーの変化を計算し、その値に応じてその状態遷移を採択して状態を変化させるか、採択せずに元の状態を保つかを確率的に決める。エネルギーが下がる場合の採択確率をエネルギーが上がる場合より大きく選ぶと、平均的にはエネルギーが下がる方向に状態変化が起こり、時間の経過とともにより適切な状態へ状態遷移することが期待できる。そして最終的には最適解または最適値に近いエネルギーを与える近似解を得られる可能性がある。もし、これを決定論的にエネルギーが下がる場合に採択、上がる場合に不採択とすれば、エネルギーの変化は時間に対して広義単調減少となるが、局所解に到達したらそれ以上変化が起こらなくなってしまう。上記のように離散最適化問題には非常に多数の局所解が存在するために、状態が、多くの場合あまり最適値に近くない局所解に捕まってしまう。したがって、採択するかどうかを確率的に決定することが重要である。
疑似焼き鈍し法においては、状態遷移の採択(受入)確率を次のように決めれば、時刻(反復回数)無限大の極限で状態が最適解に到達することが証明されている。
(1)状態遷移に伴うエネルギー変化値(ΔE)に対して、その状態遷移の受入確率pを次の何れかの関数f()により決める。
Figure 0006993571000001
Figure 0006993571000002
Figure 0006993571000003
ここでTは温度値と呼ばれるパラメータで次のように変化させる。
(2)温度値Tを次式で表されるように反復回数tに対数的に減少させる。
Figure 0006993571000004
ここでTは初期温度値であり問題に応じて十分大きくとることが望ましい。
(1)の式で表される受入確率を用いた場合、十分な反復後に定常状態に達したとすると、各状態の占有確率は熱力学における熱平衡状態に対するボルツマン分布にしたがう。そして、高い温度から徐々に下げていくとエネルギーの低い状態の占有確率が増加するため、十分温度が下がるとエネルギーの低い状態が得られるはずである。この様子が材料を焼き鈍したときの状態変化とよく似ているため、この方法は疑似焼き鈍し法と呼ばれるのである。このとき、エネルギーが上がる状態遷移が確率的に起こることは、物理学における熱励起に相当する。
上記のように疑似焼き鈍し法では、反復回数を無限に取れば最適解が得られるが、現実には有限の反復回数で解を得る必要があるため、最適解を確実に求めることはできない。また上の式では温度の下がり方が非常にゆっくりであるため、有限時間では十分に温度が下がらない。したがって実際の疑似焼き鈍し法では対数的な温度変化ではなくより早く温度を下げることが多い。
図15に疑似焼き鈍し法による最適化装置の概念的構成を示す。ただし、下記説明では、状態遷移の候補を複数発生させる場合についても述べているが、本来の基本的な疑似焼き鈍し法は遷移候補を1つずつ発生させるものである。
最適化装置10には、まず現在の状態S(複数の状態変数の値)を保持する状態保持部11がある。また、複数の状態変数の値の何れかが変化することによる現在の状態Sからの状態遷移が起こった場合の、各状態遷移のエネルギー変化値{ΔE}を計算するエネルギー計算部12がある。そして、最適化装置10には、温度値Tを制御する温度制御部13、状態変化を制御するための遷移制御部14がある。
遷移制御部14は、温度値Tとエネルギー変化値{ΔE}と乱数値とに基づいて、エネルギー変化値{ΔE}と熱励起エネルギーとの相対関係によって複数の状態遷移の何れかを受け入れるか否かを確率的に決定するものである。
遷移制御部14をさらに細分化すると、遷移制御部14は、状態遷移の候補を発生する候補発生部14a、各候補に対して、そのエネルギー変化値{ΔE}と温度値Tから状態遷移を許可するかどうかを確率的に決定するための可否判定部14bを有する。さらに、可となった候補から採用される候補を決定する遷移決定部14c、及び、確率変数を発生させるための乱数発生部14dを有する。
一回の反復における動作は次のようなものである。まず、候補発生部14aは、状態保持部11に保持された現在の状態Sから次の状態への状態遷移の候補(候補番号{N})を1つまたは複数発生する。エネルギー計算部12は、現在の状態Sと状態遷移の候補を用いて候補に挙げられた各状態遷移に対するエネルギー変化値{ΔE}を計算する。可否判定部14bは、温度制御部13で発生した温度値Tと乱数発生部14dで生成した確率変数(乱数値)を用い、各状態遷移のエネルギー変化値{ΔE}に応じて、上記の式1-1~1-3の受入確率でその状態遷移を許容する。そして、可否判定部14bは、各状態遷移を受け入れるか否か(以下状態遷移の可否という場合もある)を示す遷移可否{f}を出力する。許容された状態遷移が複数ある場合には、遷移決定部14cは、乱数値を用いてランダムにそのうちの1つを選択する。そして、遷移決定部14cは、選択した状態遷移の遷移番号Nと、遷移可否fを出力する。許容された状態遷移が存在した場合、採択された状態遷移に応じて状態保持部11に記憶された状態変数の値が更新される。
初期状態から始めて、温度制御部13で温度値を下げながら上記反復を繰り返し、一定の反復回数に達したり、エネルギーが一定の値を下回るなどの終了判定条件が満たされたとき、動作が終了する。最適化装置10が出力する答えは終了時の状態である。ただし、実際には有限の反復回数では温度値が0にならないため、終了時においても状態の占有率はボルツマン分布などで表される分布を持っており、必ずしも最適値やよい解になっているとは限らない。したがって、反復の途中でこれまでに得られたエネルギーが最低の状態を保持し、最後にそれを出力するのが現実的な解法となる。
図16は候補を1つずつ発生させる通常の疑似焼き鈍し法における遷移制御部、特に可否判定部のために必要な演算部分の構成例の回路レベルのブロック図である。
遷移制御部14は、乱数発生回路14b1、セレクタ14b2、ノイズテーブル14b3、乗算器14b4、比較器14b5を有する。
セレクタ14b2は、各状態遷移の候補に対して計算されたエネルギー変化値{ΔE}のうち、乱数発生回路14b1が生成した乱数値である遷移番号Nに対応するものを選択して出力する。
ノイズテーブル14b3の機能については後述する。ノイズテーブル14b3として、たとえば、RAM(Random Access Memory)、フラッシュメモリなどのメモリを用いることができる。
乗算器14b4は、ノイズテーブル14b3が出力する値と、温度値Tとを乗算した積(前述した熱励起エネルギーに相当する)を出力する。
比較器14b5は、乗算器14b4が出力した乗算結果と、セレクタ14b2が選択したエネルギー変化値とを比較した比較結果を遷移可否fとして出力する。
図16に示されている遷移制御部14は、基本的に前述した機能をそのまま実装するものであるが、(1)の式で表される受入確率で状態遷移を許容するメカニズムについてはこれまで説明していないのでこれを補足する。
受入確率pで1を、(1-p)で0を出力する回路は、2つの入力a,bを持ち、a>bのとき1を出力し、a<bのとき0を出力する比較器の入力aに受入確率pを、入力bに区間[0,1)の値をとる一様乱数を入力することで実現することができる。したがってこの比較器の入力aに、エネルギー変化値と温度値Tにより(1)の式を用いて計算される受入確率pの値を入力すれば、上記の機能を実現することができる。
すなわちfを(1)の式で用いる関数、uを区間[0,1)の値をとる一様乱数とするとき、f(ΔE/T)がuより大きいとき1を出力する回路で、上記の機能を実現できる。
このままでもよいのであるが、次のような変形を行っても同じ機能が実現できる。2つの数に同じ単調増加関数を作用させても大小関係は変化しない。したがって比較器の2つの入力に同じ単調増加関数を作用させても出力は変わらない。この単調増加関数としてfの逆関数f-1を採用すると、-ΔE/Tがf-1(u)より大きいとき1を出力する回路、またはΔE/Tがf-1(u)以下のとき1を出力する回路でよいことがわかる。さらに温度値Tが正であることから-ΔEがTf-1(u)より大きいとき1を出力する回路、またはΔEがTf-1(u)以下のとき1を出力する回路でよい。図16中のノイズテーブル14b3はこの逆関数f-1(u)を実現するための変換テーブルであり、区間[0,1)を離散化した入力に対して次の関数の値を出力するテーブルである。
Figure 0006993571000005
Figure 0006993571000006
-ΔEがTf-1(u)より大きいとき1を出力する回路を実現するために、図16のセレクタ14b2は、選択したエネルギー変化値ΔEの符号を反転させて-ΔEを出力するようにしてもよい。また、比較器14b5は、セレクタ14b2が選択したエネルギー変化値ΔEが、Tf-1(u)以下のとき1を出力するものであってもよい。
遷移制御部14には、判定結果などを保持するラッチやそのタイミングを発生するステートマシンなども存在するが、図16では図示を簡単にするため省略されている。
図17は、従来例における遷移制御部の動作フローを示す図である。動作フローは、1つの状態遷移を候補として選ぶステップ(S1)、その状態遷移に対するエネルギー変化値と温度値と乱数値の積の比較で状態遷移の可否を決定するステップ(S2)、状態遷移が可ならばその状態遷移を採用し、否ならば不採用とするステップ(S3)を有する。
上記の説明からある程度想像できると思われるが、疑似焼き鈍し法は汎用的で非常に魅力的ではあるが、温度をゆっくり下げる必要があるため計算時間が比較的長くなってしまうという問題がある。さらにその温度の下げ方を問題に合わせて適切に調節することが難しいという問題もある。これは図18を用いて次のように説明することができる。
初期値から最適解や近似解に至る状態遷移の経路には近似度のよくない局所解が多数存在する。これらの局所解から十分早く脱出するには、十分な熱励起が可能な高い温度が必要となる。しかし高い温度ではボルツマン分布におけるエネルギーの広がりが大きいため、最適解やエネルギーの低いよい近似解(以下ではよい解と呼ぶ)と、エネルギーの比較的高い近似度の悪い局所解(以下悪い解と呼ぶ)の占有確率の差が小さい。このため局所解を早く脱出できても行く先は多数ある悪い解に分散されてしまい、よい解にたどり着く確率は非常に小さい。よい解の占有確率を増やすには、悪い解とのエネルギー差に比べ、熱励起エネルギーが十分に小さくなるような低温が必要である。しかしこの場合熱励起エネルギーが小さいため、経路の途中のエネルギーの山を越えることができる確率が非常に低くなってしまい、状態変化がほとんど起こらない。したがって、ある程度山を越えることができ、占有確率に少し差のつけられる中間温度をゆっくりと経過させることで、徐々によい解の占有確率を増やしていく必要がある。もし温度の下げ方が遅すぎると有限時間ではあまり温度が下がらないため、最終的によい解の占有確率が上がらない。逆に速く下げすぎると、局所解を脱出する前に温度が下がってしまい、悪い解に捕まったままになってしまう。したがって温度が下がるほどその変化の割合を十分小さくし、その温度におけるボルツマン分布に近づくまで十分待たなければならない。
このように本来の疑似焼き鈍し法では、温度による熱励起だけで局所解からの脱出を図るため、温度をゆっくり下げるとともに、温度の下げ方を問題に応じて適切に調節することが望ましい。
特開2017-138760号公報
上記のように疑似焼き鈍し法では、局所解からの脱出に長い時間がかかってしまい、最適化問題の計算時間が長くなってしまう問題がある。
1つの側面では、本発明は、最適化問題の計算時間を短縮する、最適化装置及び最適化装置の制御方法を提供することを目的とする。
1つの実施態様では、最適化装置は、エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持する状態保持部と、前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算する計算部と、温度を示す温度値を制御する温度制御部と、前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記複数の状態遷移のそれぞれに対して前記計算部が計算した前記変化値の最小値を検出し、前記最小値が正の場合、前記最小値に対して0より大きく1以下の値を乗じたオフセットを、前記複数の状態遷移のそれぞれの前記変化値から差し引く遷移制御部と、を有する。
また、1つの実施態様では、最適化装置の制御方法が提供される。
1つの側面では、本発明は、最適化問題の計算時間を短縮できる。
第1の実施の形態の最適化装置における遷移制御部の一例を示す図である。 最小値検出回路の一例を示す図である。 状態に応じたエネルギー分布の一例を示す図である。 局所解において1ハミング距離の状態遷移を受け入れる受入確率の例を示す図である。 第2の実施の形態の最適化装置の遷移制御部によるエネルギー変化値へのオフセットの適用例を示す図である。 第2の実施の形態の最適化装置における遷移制御部の一例を示す図である。 遷移番号決定回路の一例を示す図である。 選択回路部の一例を示す図である。 選択回路の一例を示す図である。 生成されるindexの一例を示す図である。 一定のオフセットの増分値を用いて遷移受入確率を上げる遷移制御部の例を示す図である。 比較例の遷移制御部を用いた場合の状態遷移の受入確率の変化の第1の例を示す図である。 比較例の遷移制御部を用いた場合の状態遷移の受入確率の変化の第2の例を示す図である。 図6、図11の遷移制御部を用いて実現される疑似焼き鈍し法のソフトウェアシミュレーション結果の一例を示す図である。 疑似焼き鈍し法による最適化装置の概念的構成を示す図である。 従来例における遷移制御部、特に可否判定部のために必要な演算部分の構成例の回路レベルのブロック図である。 従来例における遷移制御部の動作フローを示す図である。 疑似焼き鈍し法における状態の占有確率の概念を示す図である。
以下、発明を実施するための形態を、図面を参照しつつ説明する。
(第1の実施の形態)
図1は、第1の実施の形態の最適化装置における遷移制御部の一例を示す図である。図15、図16に示した遷移制御部14と同じ要素については同一符号が付されており、適宜説明を省略する。
図1に示されているように、遷移制御部20は、図15に示した可否判定部14bの機能を実現する回路部分に追加された、最小値検出回路21、乗算回路22、加算回路23、選択信号生成回路24、セレクタ25を有する。その他の部分は図16に示した遷移制御部14と同じである。
最小値検出回路21は、複数の状態変数の値の何れかが変化することによる現在の状態からの状態遷移が起こった場合の、各状態遷移のエネルギー変化値{ΔE}を受け、各状態遷移のエネルギー変化値{ΔE}の最小値ΔEminを検出する。
乗算回路22は、最小値ΔEminに0より大きく1以下の値(以下Mと表記する)を乗じた値(MΔEmin)を出力する演算回路である。
加算回路23は、各状態遷移のエネルギー変化値{ΔE}から、MΔEminをオフセットとして差し引く({ΔE}に-MΔEminを加算する)演算回路である。加算回路23の代わりに減算回路を用いることもできる。
選択信号生成回路24は、選択信号signを生成する。選択信号生成回路24は、最小値ΔEminが0以下である場合、セレクタ25に各状態遷移のエネルギー変化値{ΔE}を選択させる選択信号sign(たとえば、0)を生成する。選択信号生成回路24は、最小値ΔEminが0より大きい場合、セレクタ25に加算回路23が算出した値を選択させる選択信号sign(たとえば、1)を生成する。
セレクタ25は、選択信号signに応じて、各状態遷移のエネルギー変化値{ΔE}または、加算回路23が算出した値、すなわち{ΔE}-MΔEminの何れか一方を選択して出力する。セレクタ25の出力値は、セレクタ14b2に供給される。エネルギー変化値{ΔE}が選択されてセレクタ14b2に供給される場合、セレクタ14b2は、エネルギー変化値{ΔE}のうち、遷移番号Nに対応したエネルギー変化値ΔEを選択し、そのエネルギー変化値ΔEの符号を反転させた-ΔEを出力する。オフセットが差し引かれたエネルギー変化値({ΔE}-MΔEmin)が選択され、セレクタ14b2に供給される場合、セレクタ14b2は、遷移番号Nに対応したエネルギー変化値ΔE-MΔEminを選択する。そしてセレクタ14b2は、エネルギー変化値ΔE-MΔEminの符号を反転させた-ΔE+MΔEminを出力する。
なお、比較器14b5が、エネルギー変化値が、Tf-1(u)以下のとき1を出力するものである場合には、セレクタ14b2は、上記のような符号の反転を行わなくてよい。
図2は、最小値検出回路の一例を示す図である。
最小値検出回路21は、たとえば、トーナメント状に複数段設けられた2入力最小値検出回路により実現できる。初段の2入力最小値検出回路21a1,21a2,…,21amのそれぞれには、各状態遷移のエネルギー変化値{ΔE}のうち、2つの状態変数の状態遷移に対応したエネルギー変化値が供給される。たとえば、2入力最小値検出回路21a1にはn個の状態変数のうち、1番目と2番目の状態変数の状態遷移に対応したエネルギー変化値(ΔE,ΔE)が供給される。そして、2入力最小値検出回路21a1は、2つのエネルギー変化値(ΔE,ΔE)のうち、小さいエネルギー変化値を出力する。
なお、各2入力最小値検出回路は、たとえば、比較回路とセレクタにより実現される。図2では、2入力最小値検出回路21amの回路例が示されている。2入力最小値検出回路21amは、比較回路21am1とセレクタ21am2を有する。比較回路21am1は、供給される2つのエネルギー変化値(ΔEn-1,ΔE)を比較し、ΔEn-1がΔEよりも小さいときに0を出力し、ΔEがΔEn-1よりも小さいときに1を出力する。セレクタ21am2は、比較回路21amの出力が0のときに、ΔEn-1を出力し、比較回路21amの出力が1のときに、ΔEを出力する。
2段目以降の2入力最小値検出回路は、前段の2つの2入力最小値検出回路が出力するエネルギー変化値のうちの小さいエネルギー変化値を出力する。たとえば、2段目にある2入力最小値検出回路21bは、前段の2入力最小値検出回路21a1,21a2が出力するエネルギー変化値のうち、小さいほうを選択して出力する。
このような最小値検出回路21では、最後段の2入力最小値検出回路21cが出力するエネルギー変化値が、最小値ΔEminとなる。
上記のような遷移制御部20を用いることで、局所解における状態遷移の受入確率が上がり、局所解からの脱出が加速される。以下その理由を説明する。
図3は、状態に応じたエネルギー分布の一例を示す図である。図3において、横軸は状態(各状態変数の値の組み合わせ)を表し、縦軸はエネルギーを表す。
図3には、エネルギーが最小になる状態(最適解)の他に、エネルギーが最小ではない極小値になる状態(局所解)が示されている。
前述の式1-1~1-3より、温度が低くなるほど、または、エネルギー変化値が(正に)大きくなるほど状態遷移の受入確率は低くなる。
図4は、局所解において1ハミング距離の状態遷移を受け入れる受入確率の例を示す図である。図4において、横軸は状態遷移の候補となる状態変数sを表し、縦軸は状態遷移の受入確率を表す。波形30aは、局所解において1ハミング距離の状態遷移(全状態変数s~sの何れか1つの値が変化する状態遷移)を受け入れる受入確率を示している。波形30aにおいて、受入確率は1よりもはるかに小さい。このため、状態遷移が生じる可能性が低く、局所解からの脱出に時間がかかる。
図4に示すように、波形30aにおける受入確率の最大値と1との差分ΔAのM(0<M≦1)倍の値(MΔA)を、各状態遷移の受入確率に加えることで、各状態遷移の受入確率が上がりすぎることなく、適切に受入確率を上げることができる。波形30bは、波形30aで示される受入確率にΔAを加えた場合(つまりM=1の場合)の受入確率を示し、波形30cは、波形30aで示される受入確率に0.5ΔAを加えた場合(つまりM=0.5の場合)の受入確率を示す。
式1-1~式1-3より、エネルギー変化値は小さくなるほど状態遷移の受入確率は大きくなり、0以下の場合に、最大値(=1)となる。したがって、各状態遷移のエネルギー変化値{ΔE}のうちの最小値ΔEminが正の場合、最小値ΔEminのM倍の値(MΔEmin)を、各状態遷移のエネルギー変化値{ΔE}から差し引くことによって、図4に示したような受入確率の上昇を実現できる。
図5は、第2の実施の形態の最適化装置の遷移制御部によるエネルギー変化値へのオフセットの適用例を示す図である。図5において、横軸は状態遷移の候補となる状態変数sを表し、縦軸はΔEを表す。
波形31aは、局所解における各状態遷移のエネルギー変化値{ΔE}の例を示している。波形31aにおいて、最小値ΔEminのM倍の値(MΔEmin)をオフセットとして、各状態遷移のエネルギー変化値{ΔE}から差し引くことによって、上記のように受入確率の上昇を実現できる。波形31bは、波形31aで示されるエネルギー変化値{ΔE}から最小値ΔEminを引いた場合(つまりM=1の場合)のエネルギー変化値を示す。M=1の場合には、波形31bにおけるΔEの最小値が0となり、その最小値における状態遷移の受入確率が1となる。また、波形31cは、波形31aで示されるエネルギー変化値{ΔE}から0.5ΔEminを引いた場合(つまりM=0.5の場合)のエネルギー変化値を示す。
疑似焼き鈍し法の収束定理はメトロポリス法またはギブス法の状態遷移確率にしたがって状態遷移の可否を決定していけばよい方向へ進むことを示している。局所解では状態遷移の確率は非常に小さいため遷移候補の選択は何度も行われ、その後の状態遷移の分岐比はメトロポリス法またはギブス法の遷移確率に比例する。したがって、各状態遷移の受入確率の相対比を保ったままその絶対値を増大することができれば、各状態遷移の分岐比が保たれるため、収束性に悪影響を及ぼすことなく局所解での滞在時間を短縮することが可能となり、計算時間の短縮が可能となる。
上記のように、MΔEminをオフセットとして、各状態遷移のエネルギー変化値{ΔE}から差し引くことによって、図4に示すように各状態遷移の受入確率の相対比を保ったままその絶対値を増大することができる。このため、収束性に悪影響を及ぼすことなく局所解での滞在時間を短縮することが可能となり、計算時間の短縮が可能となる。
なお、最適化するエネルギーがイジングモデルで表される場合の疑似焼き鈍し法について、また、それとほとんど等価であるボルツマンマシンにおける最適化において、遷移候補の発生及び状態遷移に伴うエネルギーの変化の計算法について以下に簡単に説明する。
イジングモデルは、互いに相互作用を行うN個のスピンからなる系を表すモデルであり、各スピン(前述の状態変数に対応する)sは±1の2値をとる。系のエネルギーは、以下の式4で表される。
Figure 0006993571000007
式4において、Ji,jは、スピンsとスピンs間の相互作用係数を示し、hは、系のバイアス値である外部磁場係数を示す。
現在の状態から次の状態への状態遷移の候補は、1つのスピンの反転であり、N通り存在する。したがって遷移候補としては反転する1つのスピン番号または複数のスピンの番号の集合を発生させればよい。
そしてi番目のスピン反転に伴うエネルギーの変化は、以下の式5で表される。
Figure 0006993571000008
ここで、以下の式6のFは、ローカルフィールド(局所場)値と呼ばれ、各スピンの反転によるエネルギー変化の割合を表している。
Figure 0006993571000009
状態遷移を許容するかどうかはエネルギーの変化で決まるため、基本的にはエネルギーそのものを計算せずにローカルフィールド値からエネルギーの変化を計算すればよい。出力として得られた最低エネルギーに対する状態を用いる場合には、ローカルフィールド値からエネルギーの変化を計算しそれを累算していくことでエネルギーを求めることができる。
さらに、
Figure 0006993571000010
であるから、ローカルフィールド値を行列演算により毎回計算し直す必要はなく、状態遷移に伴って反転のあったスピンによる変化分だけ加算すればよい。このため、図15に示した状態保持部11やエネルギー計算部12は、N個のスピンの値を保持するNビットレジスタと加算器、排他的論理和などの比較的簡単な演算回路を用いて実現できる。
また、ニューラルネットワークに用いられるボルツマンマシンにおける最適化手法は、スピンに対応する状態変数が(0,1)の2値をとることを除いてイジングモデルの疑似焼き鈍し法と同じである。ボルツマンマシンにおいて、エネルギー、エネルギーの変化値、ローカルフィールド値は、以下の式8、式9、式10のように表せる。
Figure 0006993571000011
Figure 0006993571000012
Figure 0006993571000013
なお、ボルツマンマシンではイジングモデルのスピンに相当するものをニューロンと呼ぶことが多い。
上記のようにイジングモデルを用いた疑似焼き鈍し法とボルツマンマシンを用いた疑似焼き鈍し法は同等であり、お互いに相互変換できる。
なお、ボルツマンマシン(及びイジングモデルの疑似焼き鈍し)においては、状態遷移に伴い変化する状態変数は1つだけであり、それに対するエネルギー変化値はローカルフィールド値を用いて予め計算しておくことができる。したがって図1では予め計算しておいたエネルギー変化値を遷移候補の発生に応じて選択する形式の実装例が示されている。しかしながら、ボルツマンマシンでないときは、複数の状態変数が変化する遷移を考える場合もあるため、遷移候補の発生後に必要なエネルギー変化値を計算するような実装が有利になる場合もある。
(第2の実施の形態)
図6は、第2の実施の形態の最適化装置における遷移制御部の一例を示す図である。図1に示した遷移制御部20と同じ要素については同一符号が付されており、説明を省略する。
図6に示されている遷移制御部40は、セレクタ14b2が設けられておらず、セレクタ25aの出力が、比較器14b5の非反転入力端子に供給されている。また、比較器14b5の出力端子には、遷移番号決定回路41が接続されている。
セレクタ25aは、セレクタ25と同様に、選択信号signに応じて、各状態遷移のエネルギー変化値{ΔE}または、加算回路23が算出した値、すなわちオフセットが差し引かれたエネルギー変化値{ΔE}-MΔEminの何れか一方を選択する。そして、セレクタ25aは、選択したエネルギー変化値の符号を反転させて出力する。
比較器14b5は、-{ΔE}または-{ΔE}+MΔEminと、乗算器14b4が出力する乗算結果(熱励起エネルギーに相当する)との比較結果を遷移可否{f}として出力する。たとえば、k番目の状態変数sの状態遷移によるエネルギー変化値をΔEとすると、-ΔEまたは-ΔE+MΔEminが、乗算器14b4が出力する乗算結果よりも大きい場合、状態変数sの遷移可否fは1となる。-ΔEまたは-ΔE+MΔEminが、乗算器14b4が出力する乗算結果よりも小さい場合、状態変数sの遷移可否fは0となる。
なお、比較器14b5が、エネルギー変化値が、Tf-1(u)以下のとき1を出力するものである場合には、セレクタ25aは、上記のような符号の反転を行わなくてよい。
遷移番号決定回路41は、比較器14b5が出力する各状態遷移の遷移可否{f}に基づいて、比較器14b5によって遷移を受け入れると判定された状態遷移を優先的に選択し、その状態遷移の遷移番号Nと、その状態遷移の遷移可否fを出力する。
以下、状態変数の数が1024である場合の、遷移番号決定回路41の回路例を説明する。なお、比較器14b5が出力する各状態遷移の遷移可否{f}は、遷移を受け入れる状態遷移については1、遷移を受け入れない状態遷移については0となっているものとする。
図7は、遷移番号決定回路の一例を示す図である。
遷移番号決定回路41は、ノイズ発生回路50、選択回路部51a1,51a2,…,51a32,52を有する。
ノイズ発生回路50は、ノイズ値として、5ビットの乱数値rd1,rd2を生成し出力する。なお、乱数値rd1,rd2のシード(初期値)は異なる。ノイズ発生回路50として、たとえば、LFSR(Linear Feedback Shift Register)などを用いることができる。
選択回路部51a1~51a32のそれぞれには、1024の状態遷移のそれぞれの遷移可否{fi}が、32ずつ入力される。そして、選択回路部51a1~51a32は、5ビットの乱数値rd1に基づき、32の遷移可否のうち1つを選択して出力する。さらに、選択回路部51a1~51a32は、選択した遷移可否が32の状態遷移のうち、何れに対応するものであるかを示す5ビットのindexを生成して出力する。
選択回路部52には、選択回路部51a1~51a32のそれぞれが出力する遷移可否と5ビットのindexとが入力される。そして、選択回路部52は、遷移可否とindexと5ビットの乱数値rd2に基づき、32の遷移可否のうちの1つの遷移可否fを選択して出力するとともに、10ビットの遷移番号Nを生成して出力する。
図8は、選択回路部の一例を示す図である。
図8では、選択回路部51a1の例が示されている。選択回路部51a2~51a32も選択回路部51a1と同様の回路で実現できる。
選択回路部51a1は、選択回路60a,60b,60c,60d,60eを有する。さらに、選択回路部51a1は、選択回路61a1,61a2,61a3,61a4,61a5,61a6,…,61a16,61b1,61b2,61b3,…,61b8,61c1,61c2,…,61c4,61d1,61d2,61eを有する。選択回路61a1~61a16,61b1~61b8,61c1~61c4,61d1,61d2,61eは、5段にわたってツリー状に接続されている。
選択回路60aは、5ビットの乱数値rd1の1ビット目の値に基づいて、0または1を1段目の選択回路61a1~61a16に供給する。選択回路60bは、5ビットの乱数値rd1の2ビット目の値に基づいて、0または1を2段目の選択回路61b1~61b8に供給する。選択回路60cは、5ビットの乱数値rd1の3ビット目の値に基づいて、0または1を3段目の選択回路61c1~61c4に供給する。選択回路60dは、5ビットの乱数値rd1の4ビット目の値に基づいて、0または1を4段目の選択回路61d1,61d2に供給する。選択回路60eは、5ビットの乱数値rd1の5ビット目の値に基づいて、0または1を5段目の選択回路61eに供給する。
1段目の選択回路61a1~61a16のそれぞれは、1024の状態遷移のそれぞれの遷移可否{fi}を2つずつ入力する。そして、選択回路61a1~61a16のそれぞれは、その遷移可否の値と、選択回路60aが出力する0または1の値に基づいて、2つの遷移可否の何れかを選択して出力するとともに、何れの選択可否を選択したかを示す1ビットのindexを生成して出力する。
2段目の選択回路61b1~61b8のそれぞれは、選択回路61a1~61a16が出力する16の遷移可否とindexを2つずつ入力する。そして、選択回路61b1~61b8のそれぞれは、その遷移可否の値と、選択回路60bが出力する0または1の値に基づいて、2つの遷移可否の何れかを選択して出力するとともに、何れの遷移可否を選択したかを示す2ビットのindexを生成して出力する。
3段目の選択回路61c1~61c4のそれぞれは、選択回路61b1~61b8が出力する8つの遷移可否とindexを2つずつ入力する。そして、選択回路61c1~61c4のそれぞれは、その遷移可否の値と、選択回路60cが出力する0または1の値に基づいて、2つの遷移可否の何れかを選択して出力するとともに、何れの遷移可否を選択したかを示す3ビットのindexを生成して出力する。
4段目の選択回路61d1,61d2のそれぞれは、選択回路61c1~61c4が出力する4つの遷移可否とindexを2つずつ入力する。そして、選択回路61d1,61d2のそれぞれは、その遷移可否の値と、選択回路60dが出力する0または1の値に基づいて、2つの遷移可否の何れかを選択して出力するとともに、何れの遷移可否を選択したかを示す4ビットのindexを生成して出力する。
5段目の選択回路61eは、選択回路61d1,61d2が出力する2つの遷移可否とindexを入力する。そして、選択回路61eは、その遷移可否の値と、選択回路60eが出力する0または1の値に基づいて、2つの遷移可否の何れかを選択して出力するとともに、何れの判定信号を選択したかを示す5ビットのindexを生成して出力する。
図7に示した選択回路部52も、選択回路部51a1とほぼ同様の回路構成で実現できる。ただ、1段目の選択回路61a1~61a16のそれぞれに、選択回路部51a1~51a32が出力する32の遷移可否が2つずつ入力されるとともに、選択回路部51a1~51a32が出力する32のindex(5ビット)が2つずつ入力される。そして、各段で遷移可否が選択されるとともに、indexのビットが追加され、10ビットの遷移番号Nと最終的に選択された遷移可否fが出力される。
図9は、選択回路の一例を示す図である。
図9では、図8の選択回路61b1の例が示されている。選択回路61b2~61b8,61c1~61c4,61d1,61d2,61eも同様の回路構成で実現できる。
選択回路61b1は、排他的論理和回路であるXOR回路70、論理和回路であるOR回路71、選択回路72,73を有する。
XOR回路70は、前段の選択回路61a1,61a2が出力する遷移可否を入力する。図9では、選択回路61a1が出力する遷移可否をfg1、選択回路61a2が出力する遷移可否をfg2と表記している。XOR回路70は、fg1,fg2の値が一致していれば0、異なっていれば1を出力する。
OR回路71は、fg1,fg2を入力し、fg1,fg2の何れか一方または両方が1ならば、遷移可否(fg3と表記している)として1を出力し、fg1,fg2の両方が0ならば、fg3として0を出力する。
選択回路72は、fg1と、選択回路60bが出力する0または1の値を入力する。そして、選択回路72は、XOR回路70の出力が1のときは、fg1の値を選択して出力し、XOR回路70の出力が0のときは、選択回路60bが出力する値を選択して出力する。
選択回路73は、前段の選択回路61a1,61a2が出力するindexを入力する。図9では、選択回路61a1が出力するindexをid1、選択回路61a2が出力するindexをid2と表記している。選択回路73は、選択回路72の出力が1のときは、id1の値を選択して出力し、選択回路72の出力が0のときは、id2の値を選択して出力する。
選択回路73が出力するid1またはid2の値に、選択回路72の1ビットの出力を追加したもの(上位ビットに追加したもの)が、選択回路61b1が出力するindex(図9ではid3と表記している)である。
図8に示した1段目の選択回路61a1~61a16も、図9に示した回路構成とほぼ同様の回路構成で実現できるが、選択回路73はない。
図10は、生成されるindexの一例を示す図である。
選択回路60bの出力が1のとき、図9に示した選択回路61b1において、入力される2つの遷移可否(fg1,fg2)の値が同じ場合には、id3は、id1の上位ビットに新たなビット=1が追加された値となる。また、選択回路60bの出力が1で、fg1,fg2の値が異なり、fg1の値が1であるときも、id3は、id1の上位ビットに新たなビット=1が追加された値となる。また、選択回路60bの出力が1で、fg1,fg2の値が異なり、fg1の値が0であるとき、id3は、id2の上位ビットに新たなビット=011が追加された値となる。
選択回路60bの出力が0のとき、fg1,fg2の値が同じ場合には、id3は、id2の上位ビットに新たなビット=0が追加された値となる。また、選択回路60bの出力が0で、fg1,fg2の値が異なり、fg1の値が1であるとき、id3は、id1の上位ビットに新たなビット=1が追加された値となる。また、選択回路60bの出力が0で、fg1,fg2の値が異なり、fg1の値が0であるとき、id3は、id2の上位ビットに新たなビット=0が追加された値となる。
また、fg1,fg2の一方もしくは両方が1のとき、fg3は1となり、fg1,fg2の両方が0のとき、fg3は0となる。
上記のような遷移番号決定回路41によれば、遷移を受け入れる状態遷移が優先的に選択される。このため、状態遷移の頻度が上がり、計算時間のさらなる短縮が期待できる。
(比較例)
図11は、一定のオフセットの増分値を用いて遷移受入確率を上げる遷移制御部の例を示す図である。
遷移制御部80は、図15に示した可否判定部14bの機能を実現する回路部分に追加された、オフセット加算回路81とオフセット制御回路82とを有する。その他の部分は図15や図16に示した遷移制御部14と同じである。
オフセット加算回路81は、-ΔEにオフセット値yを加えるオフセット加算回路として機能する。図11の回路の例では、オフセット加算回路81は、減算器81aである。このため、図11の例では、-ΔEにオフセット値yを加える代わりに、比較対象である温度値Tと乱数値の積Tf-1(u)(熱励起エネルギーに相当する)からオフセット値yを減ずる構成となっているがどちらでも同じである。
オフセット制御回路82は、局所解(エネルギーが極小となる解)におけるオフセット値yを、局所解ではないときに比べて大きくなるように制御する。図11の例では、オフセット制御回路82は、リセット端子Rを有する累算器82aである。累算器82aは、リセット端子Rに入力される遷移可否fが、状態遷移を許容することを示すとき(つまり状態遷移が生じるとき)には、オフセット値yを0にする。また、累算器82aは、入力端子と、クロック端子を有する。累算器82aは、遷移可否fが、状態遷移を許容しないことを示すとき(つまり状態遷移が生じないとき)には、クロック端子に図示しないパルス信号が入力されるたびに、オフセット値yに入力端子に入力されるオフセット増分値Δyを加えていく。なお、図示しないパルス信号は、たとえば、ステートマシンによって供給される。オフセット増分値Δyは、たとえば、図示しないレジスタに記憶されている。
このような遷移制御部80は、セレクタ14b2が出力する-ΔEに累算器82aに保持されているオフセット値yを加えた和である-ΔE+yが温度値Tと乱数値の積Tf-1(u)よりも大きいときその状態遷移を受け入れる。
そして累算器82aは、オフセット値yを次のように変化する。もし受け入れられた状態遷移が存在し状態遷移が生じたときは、累算器82aは、オフセット値yを、0にリセットする。もし受け入れられた状態遷移が存在せず状態遷移が起こらなかったときは、累算器82aは、オフセット増分値Δyだけオフセット値yを増加する。
図12は、比較例の遷移制御部を用いた場合の状態遷移の受入確率の変化の第1の例を示す図である。図12において、横軸は状態遷移の候補となる状態変数sを表し、縦軸は状態遷移の受入確率を表す。
図12に示すように、オフセット増分値Δyが小さい場合、受入確率の上昇はわずかであり、局所解からの脱出に時間がかかる可能性がある。
図13は、比較例の遷移制御部を用いた場合の状態遷移の受入確率の変化の第2の例を示す図である。図13において、横軸は状態遷移の候補となる状態変数sを表し、縦軸は状態遷移の受入確率を表す。
図13に示すように、オフセット増分値Δyが大きい場合、受入確率が大幅に上昇し、状態遷移の頻度が多くなりすぎ、解が最適解に収束しなくなる可能性がある。
これに対して、図1に示した遷移制御部20や、図6に示した遷移制御部40によれば、Mを1に近づけるほど、受入確率が上がり局所解からの脱出が促進される。また、0<M≦1であり、M=1の場合でも受入確率が1となる状態遷移の数は少ないため(図4の例では1つ)、状態遷移の頻度が多くなりすぎることがない。
図14は、図6、図11の遷移制御部を用いて実現される疑似焼き鈍し法のソフトウェアシミュレーション結果の一例を示す図である。最適化する問題は、巡回セールスマン問題をイジングモデル(ボルツマンマシン)により定式化したものである。図14において、横軸は反復回数(疑似焼き鈍し法による状態やエネルギーの更新処理の繰り返し回数)を表し、縦軸はエネルギーを表す。
結果90a,90b,90c,90d,90eは、図11の遷移制御部80において、オフセット増分値Δyを変えたときの、反復回数に対するエネルギーの変化のシミュレーション結果を示している。結果90aは、オフセット増分値Δyが0の場合(つまりオフセットを行わない場合)のシミュレーション結果である。結果90bはオフセット増分値Δyが0.05、結果90cはオフセット増分値Δyが0.1、結果90dはオフセット増分値が0.15、結果90eはオフセット増分値が0.2である場合のシミュレーション結果である。
一方、結果91a,91b,91c,91dは、図6の遷移制御部40において、Mを変えたときの、反復回数に対するエネルギーの変化のシミュレーション結果を示している。結果91aはM=0.25、結果91bはM=0.5、結果91cはM=0.75、結果91dはM=1の場合のシミュレーション結果である。
エネルギーの最小値(最適解におけるエネルギー)が6000程度であるとした場合、遷移制御部80において、その最小値よりも1割程度大きいエネルギーExに達する最少の反復回数it2は、遷移制御部40における最少の反復回数it1の3倍以上である。
つまり、図14の例では、遷移制御部40を用いた場合、遷移制御部80を用いた場合よりも3倍以上高速に、最適解に近い値を計算可能であることを示している。
なお、遷移制御部40を用いた場合、図14の例では、M=0.25とした場合に、最も低いエネルギー(6300程度)が得られる。これに対して、遷移制御部80を用いた場合には、最低でも6800程度にしかならない。したがって、遷移制御部40を用いることで遷移制御部80を用いる場合よりも、より最適解に近い解を得ることができる。
なお、上記の効果の度合いは、計算対象の最適化問題によって異なる。たとえば、Mの値は、各最適化問題に応じて、上記のようなソフトウェアシミュレーションの結果に基づいて、より計算時間が短縮するように選択される。
以上、実施の形態に基づき、本発明の最適化装置及び最適化装置の制御方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。
14b1 乱数発生回路
14b2 セレクタ
14b3 ノイズテーブル
14b4 乗算器
14b5 比較器
20 遷移制御部
21 最小値検出回路
22 乗算回路
23 加算回路
24 選択信号生成回路
25 セレクタ

Claims (6)

  1. エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持する状態保持部と、
    前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算する計算部と、
    温度を示す温度値を制御する温度制御部と、
    前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記複数の状態遷移のそれぞれに対して前記計算部が計算した前記変化値の最小値を検出し、前記最小値が正の場合、前記最小値に対して0より大きく1以下の値を乗じたオフセットを、前記複数の状態遷移のそれぞれの前記変化値から差し引く遷移制御部と、
    を有する最適化装置。
  2. 前記遷移制御部は、前記変化値が前記最小値となる状態遷移の受入確率が1となるように、前記オフセットを制御する、
    請求項1に記載の最適化装置。
  3. 前記遷移制御部は、
    前記最小値を検出する最小値検出回路と、
    前記オフセットを算出する第1の演算回路と、
    前記複数の状態遷移のそれぞれの前記変化値から前記オフセットを引いた値を算出する第2の演算回路と、
    選択信号に応じて、前記変化値または前記第2の演算回路が算出した値の何れか一方を出力する第1のセレクタと、
    前記最小値が0以下の場合、前記第1のセレクタに前記変化値を選択させ、前記最小値が正の値の場合、前記第1のセレクタに前記第2の演算回路が算出した値を選択させる前記選択信号を生成する選択信号生成回路と、
    を有する請求項1または2に記載の最適化装置。
  4. 前記遷移制御部は、さらに、
    前記複数の状態遷移のそれぞれについての、前記第1のセレクタの出力値から、前記乱数値に応じて第1の状態遷移についての第1の出力値を選択する第2のセレクタと、
    前記乱数値に応じた、メトロポリス法またはギブス法で表される前記複数の状態遷移の受入確率を表す関数の逆関数の値を出力する記憶部と、
    前記逆関数の値と前記温度値とを乗算した積で表される前記熱励起エネルギーを出力する乗算器と、
    前記第2のセレクタが選択した前記第1の出力値と前記熱励起エネルギーとの比較結果に相当する値で表される、前記第1の状態遷移を受け入れるか否かの判定結果を出力する比較器と、
    を有する請求項3に記載の最適化装置。
  5. 前記遷移制御部は、さらに、
    前記乱数値に応じた、メトロポリス法またはギブス法で表される前記複数の状態遷移の受入確率を表す関数の逆関数の値を出力する記憶部と、
    前記逆関数の値と前記温度値とを乗算した積で表される前記熱励起エネルギーを出力する乗算器と、
    前記複数の状態遷移のそれぞれについての前記第1のセレクタの出力値と、前記熱励起エネルギーとの比較結果に相当する値で表される、前記複数の状態遷移のそれぞれを受け入れるか否かの判定結果を出力する比較器と、
    前記判定結果と前記乱数値に基づいて、前記複数の状態遷移のうち、状態遷移が受け入れられた第1の状態遷移を優先的に選択し、前記第1の状態遷移の番号と、前記第1の状態遷移についての前記判定結果を出力する遷移番号決定回路と、
    を有する請求項3に記載の最適化装置。
  6. 最適化装置の制御方法において、
    前記最適化装置が有する状態保持部が、エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持し、
    前記最適化装置が有する計算部が、前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算し、
    前記最適化装置が有する温度制御部が、温度を示す温度値を制御し、
    前記最適化装置が有する遷移制御部が、前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記複数の状態遷移のそれぞれに対して前記計算部が計算した前記変化値の最小値を検出し、前記最小値が正の場合、前記最小値に対して0より大きく1以下の値を乗じたオフセットを、前記複数の状態遷移のそれぞれの前記変化値から差し引く、
    最適化装置の制御方法。
JP2018005256A 2018-01-17 2018-01-17 最適化装置及び最適化装置の制御方法 Active JP6993571B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018005256A JP6993571B2 (ja) 2018-01-17 2018-01-17 最適化装置及び最適化装置の制御方法
US16/240,832 US11551062B2 (en) 2018-01-17 2019-01-07 Optimization apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018005256A JP6993571B2 (ja) 2018-01-17 2018-01-17 最適化装置及び最適化装置の制御方法

Publications (2)

Publication Number Publication Date
JP2019125155A JP2019125155A (ja) 2019-07-25
JP6993571B2 true JP6993571B2 (ja) 2022-01-13

Family

ID=67213999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018005256A Active JP6993571B2 (ja) 2018-01-17 2018-01-17 最適化装置及び最適化装置の制御方法

Country Status (2)

Country Link
US (1) US11551062B2 (ja)
JP (1) JP6993571B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6993909B2 (ja) * 2018-03-13 2022-01-14 株式会社デンソー 連続最適化問題の大域的探索装置及びプログラム
JP7174244B2 (ja) * 2018-12-26 2022-11-17 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7248907B2 (ja) * 2019-08-14 2023-03-30 富士通株式会社 最適化装置および最適化装置の制御方法
JP7319539B2 (ja) * 2019-08-26 2023-08-02 富士通株式会社 組合せ最適化装置、組合せ最適化方法および組合せ最適化プログラム
JP2021149796A (ja) * 2020-03-23 2021-09-27 富士通株式会社 情報処理装置、特定方法および特定プログラム
JP7502633B2 (ja) 2020-09-23 2024-06-19 富士通株式会社 最適化装置、最適化方法、および最適化プログラム
JP2022174616A (ja) 2021-05-11 2022-11-24 富士通株式会社 プログラム、情報処理方法および情報処理装置
CN114626536B (zh) * 2022-02-21 2024-08-02 华南理工大学 一种处理组合优化问题的电路

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296120B2 (en) 2008-06-20 2012-10-23 Utah State University FPGA simulated annealing accelerator
US20160260013A1 (en) 2015-03-06 2016-09-08 Nokia Technologies Oy Method and apparatus for optimization

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200517A (ja) * 1993-12-29 1995-08-04 Toshiba Corp 並列型確率的最適化法
US7840504B2 (en) * 2006-05-22 2010-11-23 The Board Of Trustees Of The Leland Stanford Junior University Learning enhanced simulated annealing
EP2598656B1 (en) * 2010-07-29 2017-07-12 F. Hoffmann-La Roche AG Control nucleic acids for multiple parameters
JP6524933B2 (ja) 2016-02-03 2019-06-05 富士通株式会社 ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置
JP6979331B2 (ja) * 2017-10-30 2021-12-15 株式会社日立製作所 情報処理装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296120B2 (en) 2008-06-20 2012-10-23 Utah State University FPGA simulated annealing accelerator
US20160260013A1 (en) 2015-03-06 2016-09-08 Nokia Technologies Oy Method and apparatus for optimization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
▲高▼原 智夫,ニュース解説,電子情報通信学会誌 ,一般社団法人電子情報通信学会,2017年03月01日,第100巻 、第3号,pp.234-235

Also Published As

Publication number Publication date
US20190220732A1 (en) 2019-07-18
JP2019125155A (ja) 2019-07-25
US11551062B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
JP6993571B2 (ja) 最適化装置及び最適化装置の制御方法
JP6465092B2 (ja) 最適化装置及び最適化装置の制御方法
JP6892599B2 (ja) 最適化装置及び最適化装置の制御方法
JP6773970B2 (ja) 情報処理装置、イジング装置及び情報処理装置の制御方法
JP6923790B2 (ja) 最適化装置及び最適化装置の制御方法
JP6465231B1 (ja) 最適化装置及び最適化装置の制御方法
US20220147877A1 (en) System and method for automatic building of learning machines using learning machines
CN111381495B (zh) 优化装置及优化装置的控制方法
JP7273288B2 (ja) サンプリング装置及びサンプリング装置の制御方法
JP2020140631A (ja) 最適化装置及び最適化装置の制御方法
US20200117697A1 (en) Optimization device and control method of optimization device
He Chaotic simulated annealing with decaying chaotic noise
CN115358485A (zh) 一种基于图自注意力机制与霍克斯过程的交通流预测方法
JP2020187453A (ja) 最適化装置および最適化装置の制御方法
JP2020046715A (ja) 計算装置、計算プログラム、記録媒体及び計算方法
JP2019087273A (ja) 最適化装置及び最適化装置の制御方法
JPWO2020054061A1 (ja) 最適化装置、最適化装置の制御方法および最適化装置の制御プログラム
Ratsaby An empirical study of the complexity and randomness of prediction error sequences
Chuang et al. A soft computing technique for noise data with outliers
Suzugamine et al. A Study on a Cortical Learning Algorithm Dynamically Adjusting Columns and Cells
US20240232578A9 (en) Model generation system, method, and program
CN118378074A (zh) 一种稀疏矩阵求解过程中进行排序算法调度的方法及系统
JP2019074890A (ja) 関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム
JPH06161984A (ja) 情報処理装置およびニュ−ラルネットワ−ク

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201016

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20201016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6993571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150