JP6993571B2 - 最適化装置及び最適化装置の制御方法 - Google Patents
最適化装置及び最適化装置の制御方法 Download PDFInfo
- Publication number
- JP6993571B2 JP6993571B2 JP2018005256A JP2018005256A JP6993571B2 JP 6993571 B2 JP6993571 B2 JP 6993571B2 JP 2018005256 A JP2018005256 A JP 2018005256A JP 2018005256 A JP2018005256 A JP 2018005256A JP 6993571 B2 JP6993571 B2 JP 6993571B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- transition
- state
- energy
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Neurology (AREA)
- Algebra (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
疑似焼き鈍し法はモンテカルロ法の一種であり、乱数値を用いて確率的に解を求める方法である。以下では最適化したい評価関数の値を最小化する問題を例に説明し、評価関数の値をエネルギーと呼ぶことにする。最大化の場合は、評価関数の符号を変えればよい。
(1)状態遷移に伴うエネルギー変化値(ΔE)に対して、その状態遷移の受入確率pを次の何れかの関数f()により決める。
(2)温度値Tを次式で表されるように反復回数tに対数的に減少させる。
(1)の式で表される受入確率を用いた場合、十分な反復後に定常状態に達したとすると、各状態の占有確率は熱力学における熱平衡状態に対するボルツマン分布にしたがう。そして、高い温度から徐々に下げていくとエネルギーの低い状態の占有確率が増加するため、十分温度が下がるとエネルギーの低い状態が得られるはずである。この様子が材料を焼き鈍したときの状態変化とよく似ているため、この方法は疑似焼き鈍し法と呼ばれるのである。このとき、エネルギーが上がる状態遷移が確率的に起こることは、物理学における熱励起に相当する。
遷移制御部14は、乱数発生回路14b1、セレクタ14b2、ノイズテーブル14b3、乗算器14b4、比較器14b5を有する。
比較器14b5は、乗算器14b4が出力した乗算結果と、セレクタ14b2が選択したエネルギー変化値とを比較した比較結果を遷移可否fとして出力する。
図17は、従来例における遷移制御部の動作フローを示す図である。動作フローは、1つの状態遷移を候補として選ぶステップ(S1)、その状態遷移に対するエネルギー変化値と温度値と乱数値の積の比較で状態遷移の可否を決定するステップ(S2)、状態遷移が可ならばその状態遷移を採用し、否ならば不採用とするステップ(S3)を有する。
1つの側面では、本発明は、最適化問題の計算時間を短縮する、最適化装置及び最適化装置の制御方法を提供することを目的とする。
(第1の実施の形態)
図1は、第1の実施の形態の最適化装置における遷移制御部の一例を示す図である。図15、図16に示した遷移制御部14と同じ要素については同一符号が付されており、適宜説明を省略する。
加算回路23は、各状態遷移のエネルギー変化値{ΔEi}から、MΔEminをオフセットとして差し引く({ΔEi}に-MΔEminを加算する)演算回路である。加算回路23の代わりに減算回路を用いることもできる。
最小値検出回路21は、たとえば、トーナメント状に複数段設けられた2入力最小値検出回路により実現できる。初段の2入力最小値検出回路21a1,21a2,…,21amのそれぞれには、各状態遷移のエネルギー変化値{ΔEi}のうち、2つの状態変数の状態遷移に対応したエネルギー変化値が供給される。たとえば、2入力最小値検出回路21a1にはn個の状態変数のうち、1番目と2番目の状態変数の状態遷移に対応したエネルギー変化値(ΔE1,ΔE2)が供給される。そして、2入力最小値検出回路21a1は、2つのエネルギー変化値(ΔE1,ΔE2)のうち、小さいエネルギー変化値を出力する。
上記のような遷移制御部20を用いることで、局所解における状態遷移の受入確率が上がり、局所解からの脱出が加速される。以下その理由を説明する。
図3には、エネルギーが最小になる状態(最適解)の他に、エネルギーが最小ではない極小値になる状態(局所解)が示されている。
図4は、局所解において1ハミング距離の状態遷移を受け入れる受入確率の例を示す図である。図4において、横軸は状態遷移の候補となる状態変数siを表し、縦軸は状態遷移の受入確率を表す。波形30aは、局所解において1ハミング距離の状態遷移(全状態変数s1~snの何れか1つの値が変化する状態遷移)を受け入れる受入確率を示している。波形30aにおいて、受入確率は1よりもはるかに小さい。このため、状態遷移が生じる可能性が低く、局所解からの脱出に時間がかかる。
現在の状態から次の状態への状態遷移の候補は、1つのスピンの反転であり、N通り存在する。したがって遷移候補としては反転する1つのスピン番号または複数のスピンの番号の集合を発生させればよい。
上記のようにイジングモデルを用いた疑似焼き鈍し法とボルツマンマシンを用いた疑似焼き鈍し法は同等であり、お互いに相互変換できる。
図6は、第2の実施の形態の最適化装置における遷移制御部の一例を示す図である。図1に示した遷移制御部20と同じ要素については同一符号が付されており、説明を省略する。
遷移番号決定回路41は、比較器14b5が出力する各状態遷移の遷移可否{fi}に基づいて、比較器14b5によって遷移を受け入れると判定された状態遷移を優先的に選択し、その状態遷移の遷移番号Nと、その状態遷移の遷移可否fを出力する。
遷移番号決定回路41は、ノイズ発生回路50、選択回路部51a1,51a2,…,51a32,52を有する。
図8では、選択回路部51a1の例が示されている。選択回路部51a2~51a32も選択回路部51a1と同様の回路で実現できる。
図9では、図8の選択回路61b1の例が示されている。選択回路61b2~61b8,61c1~61c4,61d1,61d2,61eも同様の回路構成で実現できる。
XOR回路70は、前段の選択回路61a1,61a2が出力する遷移可否を入力する。図9では、選択回路61a1が出力する遷移可否をfg1、選択回路61a2が出力する遷移可否をfg2と表記している。XOR回路70は、fg1,fg2の値が一致していれば0、異なっていれば1を出力する。
図10は、生成されるindexの一例を示す図である。
上記のような遷移番号決定回路41によれば、遷移を受け入れる状態遷移が優先的に選択される。このため、状態遷移の頻度が上がり、計算時間のさらなる短縮が期待できる。
図11は、一定のオフセットの増分値を用いて遷移受入確率を上げる遷移制御部の例を示す図である。
図13は、比較例の遷移制御部を用いた場合の状態遷移の受入確率の変化の第2の例を示す図である。図13において、横軸は状態遷移の候補となる状態変数siを表し、縦軸は状態遷移の受入確率を表す。
これに対して、図1に示した遷移制御部20や、図6に示した遷移制御部40によれば、Mを1に近づけるほど、受入確率が上がり局所解からの脱出が促進される。また、0<M≦1であり、M=1の場合でも受入確率が1となる状態遷移の数は少ないため(図4の例では1つ)、状態遷移の頻度が多くなりすぎることがない。
なお、遷移制御部40を用いた場合、図14の例では、M=0.25とした場合に、最も低いエネルギー(6300程度)が得られる。これに対して、遷移制御部80を用いた場合には、最低でも6800程度にしかならない。したがって、遷移制御部40を用いることで遷移制御部80を用いる場合よりも、より最適解に近い解を得ることができる。
14b2 セレクタ
14b3 ノイズテーブル
14b4 乗算器
14b5 比較器
20 遷移制御部
21 最小値検出回路
22 乗算回路
23 加算回路
24 選択信号生成回路
25 セレクタ
Claims (6)
- エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持する状態保持部と、
前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算する計算部と、
温度を示す温度値を制御する温度制御部と、
前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記複数の状態遷移のそれぞれに対して前記計算部が計算した前記変化値の最小値を検出し、前記最小値が正の場合、前記最小値に対して0より大きく1以下の値を乗じたオフセットを、前記複数の状態遷移のそれぞれの前記変化値から差し引く遷移制御部と、
を有する最適化装置。 - 前記遷移制御部は、前記変化値が前記最小値となる状態遷移の受入確率が1となるように、前記オフセットを制御する、
請求項1に記載の最適化装置。 - 前記遷移制御部は、
前記最小値を検出する最小値検出回路と、
前記オフセットを算出する第1の演算回路と、
前記複数の状態遷移のそれぞれの前記変化値から前記オフセットを引いた値を算出する第2の演算回路と、
選択信号に応じて、前記変化値または前記第2の演算回路が算出した値の何れか一方を出力する第1のセレクタと、
前記最小値が0以下の場合、前記第1のセレクタに前記変化値を選択させ、前記最小値が正の値の場合、前記第1のセレクタに前記第2の演算回路が算出した値を選択させる前記選択信号を生成する選択信号生成回路と、
を有する請求項1または2に記載の最適化装置。 - 前記遷移制御部は、さらに、
前記複数の状態遷移のそれぞれについての、前記第1のセレクタの出力値から、前記乱数値に応じて第1の状態遷移についての第1の出力値を選択する第2のセレクタと、
前記乱数値に応じた、メトロポリス法またはギブス法で表される前記複数の状態遷移の受入確率を表す関数の逆関数の値を出力する記憶部と、
前記逆関数の値と前記温度値とを乗算した積で表される前記熱励起エネルギーを出力する乗算器と、
前記第2のセレクタが選択した前記第1の出力値と前記熱励起エネルギーとの比較結果に相当する値で表される、前記第1の状態遷移を受け入れるか否かの判定結果を出力する比較器と、
を有する請求項3に記載の最適化装置。 - 前記遷移制御部は、さらに、
前記乱数値に応じた、メトロポリス法またはギブス法で表される前記複数の状態遷移の受入確率を表す関数の逆関数の値を出力する記憶部と、
前記逆関数の値と前記温度値とを乗算した積で表される前記熱励起エネルギーを出力する乗算器と、
前記複数の状態遷移のそれぞれについての前記第1のセレクタの出力値と、前記熱励起エネルギーとの比較結果に相当する値で表される、前記複数の状態遷移のそれぞれを受け入れるか否かの判定結果を出力する比較器と、
前記判定結果と前記乱数値に基づいて、前記複数の状態遷移のうち、状態遷移が受け入れられた第1の状態遷移を優先的に選択し、前記第1の状態遷移の番号と、前記第1の状態遷移についての前記判定結果を出力する遷移番号決定回路と、
を有する請求項3に記載の最適化装置。 - 最適化装置の制御方法において、
前記最適化装置が有する状態保持部が、エネルギーを表す評価関数に含まれる複数の状態変数の値をそれぞれ保持し、
前記最適化装置が有する計算部が、前記複数の状態変数の値の何れかが変化することに応じて状態遷移が起こる場合、前記エネルギーの変化値を複数の状態遷移のそれぞれに対して計算し、
前記最適化装置が有する温度制御部が、温度を示す温度値を制御し、
前記最適化装置が有する遷移制御部が、前記温度値と前記変化値と乱数値とに基づいて、前記変化値と熱励起エネルギーとの相対関係によって前記複数の状態遷移の何れかを受け入れるか否かを確率的に決定する際、前記複数の状態遷移のそれぞれに対して前記計算部が計算した前記変化値の最小値を検出し、前記最小値が正の場合、前記最小値に対して0より大きく1以下の値を乗じたオフセットを、前記複数の状態遷移のそれぞれの前記変化値から差し引く、
最適化装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018005256A JP6993571B2 (ja) | 2018-01-17 | 2018-01-17 | 最適化装置及び最適化装置の制御方法 |
US16/240,832 US11551062B2 (en) | 2018-01-17 | 2019-01-07 | Optimization apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018005256A JP6993571B2 (ja) | 2018-01-17 | 2018-01-17 | 最適化装置及び最適化装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019125155A JP2019125155A (ja) | 2019-07-25 |
JP6993571B2 true JP6993571B2 (ja) | 2022-01-13 |
Family
ID=67213999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018005256A Active JP6993571B2 (ja) | 2018-01-17 | 2018-01-17 | 最適化装置及び最適化装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11551062B2 (ja) |
JP (1) | JP6993571B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6993909B2 (ja) * | 2018-03-13 | 2022-01-14 | 株式会社デンソー | 連続最適化問題の大域的探索装置及びプログラム |
JP7174244B2 (ja) * | 2018-12-26 | 2022-11-17 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
JP7248907B2 (ja) * | 2019-08-14 | 2023-03-30 | 富士通株式会社 | 最適化装置および最適化装置の制御方法 |
JP7319539B2 (ja) * | 2019-08-26 | 2023-08-02 | 富士通株式会社 | 組合せ最適化装置、組合せ最適化方法および組合せ最適化プログラム |
JP2021149796A (ja) * | 2020-03-23 | 2021-09-27 | 富士通株式会社 | 情報処理装置、特定方法および特定プログラム |
JP7502633B2 (ja) | 2020-09-23 | 2024-06-19 | 富士通株式会社 | 最適化装置、最適化方法、および最適化プログラム |
JP2022174616A (ja) | 2021-05-11 | 2022-11-24 | 富士通株式会社 | プログラム、情報処理方法および情報処理装置 |
CN114626536B (zh) * | 2022-02-21 | 2024-08-02 | 华南理工大学 | 一种处理组合优化问题的电路 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8296120B2 (en) | 2008-06-20 | 2012-10-23 | Utah State University | FPGA simulated annealing accelerator |
US20160260013A1 (en) | 2015-03-06 | 2016-09-08 | Nokia Technologies Oy | Method and apparatus for optimization |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07200517A (ja) * | 1993-12-29 | 1995-08-04 | Toshiba Corp | 並列型確率的最適化法 |
US7840504B2 (en) * | 2006-05-22 | 2010-11-23 | The Board Of Trustees Of The Leland Stanford Junior University | Learning enhanced simulated annealing |
EP2598656B1 (en) * | 2010-07-29 | 2017-07-12 | F. Hoffmann-La Roche AG | Control nucleic acids for multiple parameters |
JP6524933B2 (ja) | 2016-02-03 | 2019-06-05 | 富士通株式会社 | ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置 |
JP6979331B2 (ja) * | 2017-10-30 | 2021-12-15 | 株式会社日立製作所 | 情報処理装置および情報処理方法 |
-
2018
- 2018-01-17 JP JP2018005256A patent/JP6993571B2/ja active Active
-
2019
- 2019-01-07 US US16/240,832 patent/US11551062B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8296120B2 (en) | 2008-06-20 | 2012-10-23 | Utah State University | FPGA simulated annealing accelerator |
US20160260013A1 (en) | 2015-03-06 | 2016-09-08 | Nokia Technologies Oy | Method and apparatus for optimization |
Non-Patent Citations (1)
Title |
---|
▲高▼原 智夫,ニュース解説,電子情報通信学会誌 ,一般社団法人電子情報通信学会,2017年03月01日,第100巻 、第3号,pp.234-235 |
Also Published As
Publication number | Publication date |
---|---|
US20190220732A1 (en) | 2019-07-18 |
JP2019125155A (ja) | 2019-07-25 |
US11551062B2 (en) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6993571B2 (ja) | 最適化装置及び最適化装置の制御方法 | |
JP6465092B2 (ja) | 最適化装置及び最適化装置の制御方法 | |
JP6892599B2 (ja) | 最適化装置及び最適化装置の制御方法 | |
JP6773970B2 (ja) | 情報処理装置、イジング装置及び情報処理装置の制御方法 | |
JP6923790B2 (ja) | 最適化装置及び最適化装置の制御方法 | |
JP6465231B1 (ja) | 最適化装置及び最適化装置の制御方法 | |
US20220147877A1 (en) | System and method for automatic building of learning machines using learning machines | |
CN111381495B (zh) | 优化装置及优化装置的控制方法 | |
JP7273288B2 (ja) | サンプリング装置及びサンプリング装置の制御方法 | |
JP2020140631A (ja) | 最適化装置及び最適化装置の制御方法 | |
US20200117697A1 (en) | Optimization device and control method of optimization device | |
He | Chaotic simulated annealing with decaying chaotic noise | |
CN115358485A (zh) | 一种基于图自注意力机制与霍克斯过程的交通流预测方法 | |
JP2020187453A (ja) | 最適化装置および最適化装置の制御方法 | |
JP2020046715A (ja) | 計算装置、計算プログラム、記録媒体及び計算方法 | |
JP2019087273A (ja) | 最適化装置及び最適化装置の制御方法 | |
JPWO2020054061A1 (ja) | 最適化装置、最適化装置の制御方法および最適化装置の制御プログラム | |
Ratsaby | An empirical study of the complexity and randomness of prediction error sequences | |
Chuang et al. | A soft computing technique for noise data with outliers | |
Suzugamine et al. | A Study on a Cortical Learning Algorithm Dynamically Adjusting Columns and Cells | |
US20240232578A9 (en) | Model generation system, method, and program | |
CN118378074A (zh) | 一种稀疏矩阵求解过程中进行排序算法调度的方法及系统 | |
JP2019074890A (ja) | 関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム | |
JPH06161984A (ja) | 情報処理装置およびニュ−ラルネットワ−ク |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201016 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20201016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6993571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |