JP7424493B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP7424493B2
JP7424493B2 JP2022534532A JP2022534532A JP7424493B2 JP 7424493 B2 JP7424493 B2 JP 7424493B2 JP 2022534532 A JP2022534532 A JP 2022534532A JP 2022534532 A JP2022534532 A JP 2022534532A JP 7424493 B2 JP7424493 B2 JP 7424493B2
Authority
JP
Japan
Prior art keywords
difference
state
information processing
variable
variables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022534532A
Other languages
English (en)
Other versions
JPWO2022009307A1 (ja
Inventor
基己 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022009307A1 publication Critical patent/JPWO2022009307A1/ja
Application granted granted Critical
Publication of JP7424493B2 publication Critical patent/JP7424493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、所定の空間において確率分布に従うサンプルを得るためのサンプリングの制御を行う情報処理装置および情報処理方法に関する。
磁性体の統計力学的モデルの一つとして、2値を取る変数とその二次形式で与えられるハミルトニアンによって定式化されるイジングモデルがある。イジングモデルは、磁性体のスピンの振る舞いを記述する。イジングモデルは、多くの組合せ最適化問題の評価関数として応用可能である。例えば、イジングモデルに擬似焼きなまし法を適用するによって、汎用的に最適化問題を解くことができる。
例えば、特許文献1に、イジングモデルを用いて組合せ最適化問題を汎用的に解くアプローチが記載されている。また、非特許文献1に、数分割問題、グラフ分割問題、充足可能性問題、巡回セールスマン問題等を含む多種の組合せ最適化問題をイジングモデルまたはそれと等価なモデルに定式化する具体的な方法が記載されている。
ある温度Tにおけるイジングモデルの確率分布は、マルコフ連鎖モンテカルロ法(MCMC)によって計算可能である。マルコフ連鎖モンテカルロ法では、スピンが1つ選択され、スピン状態を変更する際のハミルトニアンの変化量が計算される。さらに、温度に対応したボルツマン重みに従った確率によって状態更新を受理または棄却する力学系によって、温度Tとハミルトニアンに従った確率分布でスピン状態がサンプリングされる。
以下、素朴な(一般的な)マルコフ連鎖モンテカルロ法をイジングモデルに適用する場合を例にして説明する。まず、記法と用語を説明する。
統計力学では、関数H(x)をハミルトニアンまたはエネルギー関数と呼ぶ。ハミルトニアンが最小となる状態を基底状態と呼ぶ。
Figure 0007424493000001
(1)式において、xはi番目の変数である。イジングモデルでは、xの値は、+1または-1のいずれかである。統計力学では、それぞれの変数をスピンと呼ぶ。xはN個の変数全てからなるラベルである。Jijは、i番目の変数とj番目の変数をつなぐ結合を表す定数である。
最適化の分野では、ハミルトニアンを評価関数またはコスト関数と呼ぶ。(2)式で表される基底状態を最適解と呼ぶ。非特許文献1には、多くの最適化問題に対するハミルトニアンが示されている。例えば、非特許文献1に示される方法によってJijが得られる。そして、(2)式で示されるような最適解を求める。
Figure 0007424493000002
マルコフ連鎖モンテカルロ法の目的は、温度Tに対して、(3)式で表される確率分布(ボルツマン分布)に従って状態xをサンプリングすることである。
Figure 0007424493000003
サンプリングの動作は、
処理1.初期状態xをランダムに決める。
処理2.N個の変数から1つをランダムに選ぶ。
処理3.選んだ変数を-1倍(フリップ)した状態をx’とし、差分Δ((4)式を参照)を計算する。フリップは、変数が1なら-1にする操作またはその逆の操作を意味する。
Δ=H(x')-H(x) ・・・(4)
処理4.下記の(5)式の確率で変数をフリップする。
Figure 0007424493000004
処理5.受理された場合は状態を更新(x←x’)し、そうでない場合(棄却)は状態を変更しない。
6.処理2から処理4を繰り返す。
の6つの処理からなる。
以上の動作中で、繰り返しの回数を無限回行う極限で、状態xの出現確率は目的であった確率分布に収束することが保証されている。
処理1~5は、マルコフ連鎖モンテカルロ法の1つの実施形態である。現在の状態から次の状態を選択する確率分布(処理2~3に相当。この確率分布を提案分布と呼ぶ。)、および処理4に現れる更新を受理する確率の選び方には任意性がある。
しかし、収束先の確率分布が目的としていた確率分布に一致するためには、釣り合いの条件およびエルゴード性の2条件を満たすように提案分布と受理確率を選ぶ必要がある。一般には、この2条件を満たした力学系を構成することは容易ではない。よく知られた手法として、メトロポリス法(上記の処理2~4に相当)または熱浴法が採用される。
マルコフ連鎖モンテカルロ法を用いる解法が使用される場合、対象とするモデルの規模が大きくなるにつれて処理時間が増大する。したがって、マルコフ連鎖モンテカルロ法を用いる解法には、処理時間を短縮させる工夫が求められる。大規模なモデルに対する力学系の処理が大規模計算機を用いて実行されることもある。大規模計算機が用いられる場合でも、処理時間を軽減するには、高い効率で処理を並列化することが重要である。
力学系の状態更新を並列化する技術が記載された文献として、例えば、特許文献2、特許文献3および非特許文献2がある。特許文献2に記載された技術は、上記の処理2に当たる部分で複数個の変数を選択し、それぞれの変数について独立に処理3~4を行う。当該技術は、処理4で受理された変数のうち1つを選択し、その変数のみ状態を更新する。処理3~4は一度の繰り返しで複数回実行されるものの、独立であるため並列化が可能である。
上述した素朴な処理と比較すると、特許文献2に記載された技術によれば、1回の繰り返しで状態が更新される頻度が高くなるので、最適化問題では解の探索効率が改善される。しかし、特許文献2では、力学系は釣り合いの条件を満たさない。よって、収束先の確率分布は不明である。また、特許文献2に記載された技術では、一般のイジングモデルにおいてボトルネックとなる差分計算(処理3)が並列数分実行される。しかし、受理されるのは多くとも1つである。他の計算結果は状態更新には利用されない。
特許文献3に記載された技術は、変数を離散値ではなく実数値とし、ハミルトン力学に基づいて状態更新を行う。ハミルトン力学は、マルコフ連鎖モンテカルロ法とは異なり、微分方程式に従う決定論的な力学系である。当該技術は、原理的に各変数の更新を並列に行うことができる。しかし、この力学系に基づくサンプリングによる状態の確率分布の収束先は不明である。さらに、確率分布の収束性も不明である。したがって、当該技術に対して、組合せ最適化問題に応用した場合としての解法の汎用性が懸念される。
非特許文献2に記載された技術は、特許文献2に記載された技術と同様に、処理2で複数個の変数を選択し、それぞれの変数について独立に処理3~4を行う。並列化されたそれぞれの処理には順序のラベルが与えられる。処理4で受理されたもののうち、最もラベルの若い処理が持つ変数のみ状態が更新され、他の変数については更新されない。すなわち、非特許文献2に記載された技術でも、特許文献2に記載された技術と同様に、差分計算(処理3)が並列に実行されるものの、最終的に受理される最大1つの変数に関する処理結果を除いて処理結果は捨てられる。なお、特許文献2に記載された処理は、複数個の変数に対して状態更新を試み、成功した1つを受理し他を捨てる投機的な方法と考えることができる。
国際公開第2019/078354号 特開2018-41351号公報 特開2019-145010号公報
A. Lucas, "Ising formulations of many NP problems", Frontiers in Physics, 2014, Volume 2, Article 5 J. Knopman and J.S. Aude, "Parallel simulated annealing: an adaptive approach", Proceedings 11th International Parallel Processing Symposium, Genva, Switzerland, 1997, pp. 522-526
マルコフ連鎖モンテカルロ法を並列化する際に、特許文献2および特許文献3に記載されたような方法を用いた場合には、目的となる確率分布への収束性が破れてしまう。また、高い並列化の効率が得られない。
特許文献2および特許文献3では、目的とする確率分布の形状を変更し、最適化問題への手法を特化手法とすることで並列化が実現されている。上述したように、それらの手法では、力学系の収束先および収束性は保証されていない。よって、それらの手法では、目的の確率分布へ収束させるためのサンプリング手法としては不十分である。
また、特許文献2および非特許文献2に記載された技術は、複数個の差分計算を並列に行うことができる。しかし、最終的に受理される多くとも1つの変数以外の結果は捨てられ、このことからも、高い並列化の効率が得られない。
本発明の目的は、確率分布に従うサンプルを得る場合に、力学系の収束性と高い並列化の効率が両立しない問題を解決するサンプリングの処理手法を提供することである。
本発明による情報処理装置は、複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算する差分計算手段と、逐次に差分の計算が行われた場合の差分との誤差を解消するように、差分計算手段が計算した差分を修正する差分修正手段とを有する処理手段を含む。
本発明による情報処理方法は、複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算し、逐次に差分の計算が行われた場合の差分との誤差を解消するように、計算された差分を修正する。
本発明による情報処理プログラムは、コンピュータに、複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算する処理と、逐次に差分の計算が行われた場合の差分との誤差を解消するように、計算された差分を修正する処理とを実行させる。
本発明によれば、確率分布に従うサンプルを得る場合に、力学系の収束性と高い並列化の効率を両立させることができる。
情報処理装置の第1の実施形態の構成例を示すブロック図である。 第1の実施形態の情報処理装置の動作を示すフローチャートである。 情報処理装置の第2の実施形態の構成例を示すブロック図である。 第2の実施形態の情報処理装置における処理装置の構成例を示すブロック図である。 第2の実施形態における処理装置の動作を示すフローチャートである。 一般的な情報処理装置によるMCMCの計算の流れを示す説明図である。 第2の実施形態の情報処理装置によるMCMCの計算の流れを示す説明図である。 CPUを有するコンピュータの一例を示すブロック図である。 情報処理装置の主要部を示すブロック図である。 他の態様の情報処理装置の主要部を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
[構成の説明]
図1は、情報処理装置の第1の実施形態(実施形態1)の構成例を示すブロック図である。第1の実施形態の情報処理装置100は、変数選択部101、差分計算部102、差分記憶部103、差分修正部104、遷移判定部105、状態更新部106、更新記憶部107、状態記憶部108および温度制御部109を備えている。差分計算部102は、並列動作可能なL個の計算部102~102を含む。Lは、並列数を指定する定数である。Lは、情報処理装置100の演算能力などに基づいてあらかじめ設定される。
以下、+1または-1をとるN個の変数からなるイジングモデルと、並列数を指定する2以上N以下の定数Lとを用いる場合を例にする。上述した処理2で1つの変数が選択されたのに対して、本実施形態では、L個の変数が選択される。また、以下、状態更新の力学系がマルコフ連鎖モンテカルロ法である場合を例にして説明する。
変数選択部101は、N個の変数のうち、更新する変数をL個選択する。差分計算部102(具体的には、L個の計算部102~102のそれぞれ。)は、変数選択部101が選択したL個の変数それぞれについて、変数を-1倍した際の評価関数の差分を独立に計算する。差分計算部102は、計算結果を差分記憶部103に保存する。
差分記憶部103は、差分計算部102が計算した各差分を記憶する。差分修正部104は、差分記憶部103が記憶する差分と更新記憶部107が記憶する状態更新部106で更新された変数の集合とを基に差分の修正(修正値)を計算する。
遷移判定部105は、差分修正部104が計算した差分と温度制御部109が制御する温度の値とに従って遷移確率を計算する。遷移判定部105は、その遷移確率に従って状態更新の受理/棄却を判定する。
状態更新部106は、遷移判定部105の判定に基づいて状態記憶部108の状態を更新する。状態更新部106は、更新された変数を更新記憶部107に保存する。更新記憶部107は、更新された変数を記憶する。
状態記憶部108は全体の変数の現在の状態を記憶する。温度制御部109は、擬似焼きなまし法を適用するための制御パラメータとしての温度を制御する。
[動作の説明]
次に、図2のフローチャートを参照して本実施形態の動作を説明する。
初期状態が決定されると、初期状態は状態記憶部108に格納される(ステップS100)。なお、初期状態は、ランダムに選定される。
本実施形態では、繰り返しの回数をMとして、以下のステップS101~ステップS106の処理がM回繰り返される。
まず、変数選択部101は、ステップS101で、状態を更新する変数をL個選択する。次に、差分計算部102(具体的には、L個の計算部102~102のそれぞれ。)は、ステップS102で、ステップS101の処理で選択されたそれぞれの変数を-1倍した際の評価関数の差分を並列に計算する。差分計算部102は、計算結果を差分記憶部103に保存する。評価関数は、例えば、(6)式のように表される。評価関数の差分は、(7)式で表される。
Figure 0007424493000005
Sは、全変数がとりうる全状態からなる集合である。
例えば、
Figure 0007424493000006
は、スピン変数{+1,-1}である。Jijは、スピンi,j間の結合を表す実数である。
Figure 0007424493000007
は、状態x∈Sのi番目の変数が更新された状態を示す。
次に、ステップS103~ステップS106の処理が、ステップS101の処理で選択されたL個の変数(変数iで表される。)のそれぞれについて、順番に実行される。ステップS103~ステップS106の処理は、上述した素朴なMCMCと処理とは異なるものの、同一の力学系を再現する。
差分修正部104は、ステップS103で、差分記憶部103に記憶された変数iの評価関数の差分の値と、更新記憶部107に記憶されている、その時点までに変数状態が更新された変数j(1≦j≦N)の集合とを用いて、差分の修正((8)式を参照)を、変数iについて計算する。この修正によって、並列化しない処理による素朴な力学系で使われる差分の値に復元され、状態更新の力学系は素朴なマルコフ連鎖モンテカルロ法による差分と一致する。
Δ(x(t),x(t)) (8)
x(t)は現在の状態を示す。x(t)は、ステップS102の処理で差分が計算された状態を示す。そして、Δf(x(t))=Δf(x(t)+Δ(x(t),x(t))を満たすように構成される。
次に、遷移判定部105は、ステップS104で、差分修正部104が計算した差分と温度制御部109が制御する温度の値に従って遷移確率((9)式を参照)を計算する。遷移判定部105は、ステップS105で、計算された遷移確率に従って状態更新の受理/棄却を判定する。遷移判定部105は、例えば、遷移確率値Xとした場合に、乱数生成器(図示せず)が生成した乱数r(0≦r≦1)を用いて、X≧rであるときに受理、そうでない場合に棄却、のように判定する。判定結果が「棄却」であった場合には、ステップS103に戻る。
Figure 0007424493000008
(9)式において、Δfは状態更新の際の評価関数の差分を示す。Tは温度を示す。
ステップS105での判定結果が「受理」であった場合には、ステップS106で、状態更新部106は、状態記憶部108の変数の状態を更新する。状態更新部106は、更新された変数を更新記憶部107に保存する。
L個の変数に対してステップS103~S106の処理が実行されたら、ステップS108に移行する(ステップS107)。実行回数がL未満であれば、ステップS103に戻る。
情報処理装置100は、終了条件が成立したら処理を終了する(ステップS108)。終了条件が成立していない場合には、ステップS101に戻る。終了条件は、例えば、ステップS101の処理があらかじめ定められた所定回実行されたことや、評価関数の値があらかじめ定められた所定のしきい値を下回ったことである。ただし、それらは一例であって、他の条件が用いられてもよい。
なお、温度制御部109は、ステップS105の処理で遷移判定部105が状態更新の受理/棄却を判定する際の遷移確率における温度値を決定する。温度制御部109は、温度値を、例えば定数値とする、状態更新が行われる度に温度値を下げる、状態更新が行われる度に温度値を定数倍するなどの方法で制御する。
次に、本実施形態の効果を説明する。
一般には逐次的に差分計算および状態更新が順に行われるのに対して、本実施形態では、複数個の変数の状態遷移に伴う評価関数の差分が、ステップS102の処理で同時(並列)に計算される。そのように計算される差分には、状態更新が進むごとに、逐次に差分計算が行われた場合の差分との誤差が積もっていく。本実施形態では、ステップS103の処理で差分を補正することにより、状態更新の力学系を逐次に差分計算を行う場合と一致させる。差分の補正に要する計算量は、逐次に差分計算が行われる場合の計算量に対して小さい。よって、並列化による効率は高い。また、本実施形態における状態遷移の力学系は、逐次更新の場合と同様である。すなわち、本実施形態の情報処理装置は、釣り合いの条件を破ることなく、逐次に差分計算が行われる場合と同様の計算を並列に行うことができる。
換言すれば、本実施形態でのマルコフ連鎖モンテカルロ法は、力学系の収束性を確保しつつ、高い効率で並列動作する。一般的なマルコフ連鎖モンテカルロ法を用いた場合の逐次更新と同じ状態遷移規則を使いつつ、高い効率で並列化できるためである。また、本実施形態の情報処理装置は、並列化に伴って力学系を変更することなく、逐次更新と同様の状態遷移を行う。よって、並列化の効果が高まる。さらに、本実施形態の情報処理装置は、計算した差分計算の結果を修正して再利用するので、非特許文献2に記載された技術が内包する高い並列化の効率が得られないという課題も解決する。
実施形態2.
以下、第2の実施形態(実施形態2)を図面を参照して説明する。
[構成の説明]
図3は、第2の実施形態の情報処理装置の構成例を示すブロック図である。第2の実施形態の情報処理装置200は、複数のMCMC部200~200が環状に連結されて構成される。隣接するMCMC部は、有線または無線の通信路で通信可能に接続されている。MCMC部200~200のそれぞれを、処理装置300ともいう。
図4は、処理装置300すなわち各MCMC部200~200の構成例を示すブロック図である。処理装置300は、第1の実施形態の情報処理装置100と比較すると、更新記憶部107が情報記憶部112に置き換えられている。また、受信部110と送信部111とが追加されている。なお、図4には示されていないが、差分計算部102は、並列動作可能なL個の計算部102~102を含む。
複数のMCMC部200~200のそれぞれには、自装置が更新を担当する複数の変数が割り当てられている。MCMC部200~200における変数選択部101は、割り当てられた複数の変数から更新する変数を選択する。MCMC部200~200のそれぞれには、変数の数をNとすると、例えば、MCMC部200~200に対して、i番目(1≦i<n)のMCMC部(例えば、MCMC部200)には(N+n-1)(i-1)/nから(N+n-1)i/n番目までの変数が割り当てられ、n番目のMCMC部(例えば、MCMC部200)には、(N+n-1)(n-1)/nからN番目までの変数が割り当てられる。
MCMC部200~200のそれぞれにおいて、上述したように割り当てられた複数の変数のうちの変数選択部101は、更新する変数をL個選択する。個数Lを適切に定めることによって、計算速度の向上を期待できる。例えば、実際に差分計算が実行されたときの計算時間を基に二分探索でLは最適化される。差分計算部102は、変数選択部101が選択した変数それぞれについて、状態を変更したときの評価関数の差分を計算する。差分計算部102は、評価関数の差分を差分記憶部103に保存する。
差分修正部104は、差分記憶部103に記憶された差分の値と情報記憶部112に記憶される他のMCMC部が更新した変数の集合を基に差分の修正を計算する。遷移判定部105、状態更新部106および温度制御部109の動作は、第1の実施形態におけるそれらの動作と同じである。状態記憶部108は、全体の変数の現在の状態を記憶する。
受信部110は、他のMCMC部の送信部111から送られた情報を受信して情報記憶部112に保存する。送信部111は、情報記憶部112の内容を他のMCMCの受信部110に送信する。
情報記憶部112は、他のMCMC部に送信するために、遷移した変数を記憶する。また、情報記憶部112は、他のMCMC部から受信した変数を記憶する。他のMCMC部から受信した変数は、差分修正部104の計算で使用される。
[動作の説明]
次に、図5のフローチャートを参照して本実施形態の動作を説明する。
初期状態が決定されると、初期状態は状態記憶部108に格納される(ステップS100)。なお、初期状態は、ランダムに選定される。
本実施形態では、繰り返しの回数をMとして、以下のステップS101~ステップ106、およびステップS201~S203の処理がM回繰り返される。なお、ステップS101~S107の処理は、第1の実施形態における処理と同じである。
まず、変数選択部101はステップS101で、状態を更新する変数をL個選択する。次に、差分計算部102(具体的には、L個の計算部のそれぞれ。)は、ステップS102で、ステップS101の処理で選択されたそれぞれの変数について状態を更新する際の評価関数の差分を計算し、計算結果を差分記憶部103に保存する。評価関数は、例えば、上記の(6)式のように表される。評価関数の差分は、例えば、上記の(7)式で表される。
受信部110は、ステップS201で、他のMCMC部における送信部111から送られる状態更新が行われた変数の集合を情報記憶部112に保存する。状態更新部106は、ステップS202で、情報記憶部112に記憶されている更新された変数の集合に従って状態記憶部108の変数を書き換える。
次に、第1の実施形態の場合と同様に、ステップS103~ステップS106の処理が、ステップS101の処理で選択されたL個の変数(変数iとする。)のそれぞれについて、順番に実行される。上述したように、ステップS103~ステップS106の処理は、背景の項目で記上述した素朴なMCMCと処理の方法がとは異なるものの、同一の力学系を再現する。
差分修正部104は、ステップS103で、差分記憶部103に記憶された変数iの評価関数の差分の値と、情報記憶部112に記憶された更新が行われた変数jの集合を元に差分の修正(上記の(8)式を参照)を、変数iについて計算する。この修正によって、並列化しない処理による素朴な力学系で使われる差分の値に復元され、状態更新の力学系は素朴なマルコフ連鎖モンテカルロ法による差分と一致する。
次に、遷移判定部105は、ステップS104で、差分修正部104で計算した差分と温度制御部109が制御する温度値に従って遷移確率(上記の(9)式を参照)を計算する。遷移判定部105は、ステップS105で、計算された確率に従って状態更新の受理/棄却を判定する。遷移判定部105は、例えば、遷移確率値Xとした場合に、乱数生成器(図示せず)が生成した乱数r(0≦r≦1)を用いて、X≧rであるときに受理、そうでない場合に棄却、のように判定する。判定結果が「棄却」であった場合には、ステップS103に戻る。
ステップS105での判定結果が「受理」であった場合には、ステップS106で、状態更新部106は、状態記憶部108の変数の状態を更新する。状態更新部106は、状態が更新された変数を情報記憶部112に保存する。
L個の変数に対してステップS103~S106の処理が実行されたら、ステップS108に移行する(ステップS107)。実行回数がL未満であれば、ステップS103に戻る。
第1の実施形態の場合と同様、温度制御部109は、ステップS105の処理で遷移判定部105が状態更新の受理/棄却を判定する際の遷移確率における温度値を決定する。温度制御部109は、第1の実施形態の場合と同様、温度値を、例えば定数値とする、状態更新が行われる度に温度を下げる、状態更新が行われる度に温度を定数倍するなどの方法で制御する。
次に、送信部111は、ステップS203で、情報記憶部112に記憶されている、状態が更新された変数を、連結されているMCMC部における受信部110に送信する。
情報処理装置100は、終了条件が成立したら処理を終了する(ステップS108)。終了条件が成立していない場合には、ステップS101に戻る。終了条件は第1の実施形態での条件と同様である。
次に、本実施形態の効果を説明する。
図6は、素朴な(一般的な)情報処理装置によるMCMCの計算の流れを示す説明図である。図6には、情報処理装置における3つのプロセス(図6におけるMCMC部#1~#3に相当)で素朴な並列化によって力学系を並列化した場合が例示されている。素朴な情報処理装置では、全てのプロセスが参加するリダクション処理における通信によって、全てのプロセスが協調して複数の差分計算を進めることになる。
なお、非特許文献2に記載された手法を用いられる場合には、状態遷移が生じた場合には、結果は破棄される。
図7は、第2の実施形態の情報処理装置によるMCMCの計算の流れを示す説明図である。図7には、第2の実施形態の情報処理装置における3つのプロセス(図7におけるMCMC部#1~#3に相当)で力学系を並列化した場合が例示されている。第2の実施形態では、通信がMCMC部同士の1対1通信で実行される。あるMCMC部におけるステップS102の処理(差分計算処理)は、他のMCMC部におけるステップS201の処理(受信処理)またはステップS203の処理(送信処理)と並列実行可能である。すなわち、あるプロセス(MCMC部)は、他のプロセス(MCMC部)が通信を行っているときに、ステップS102の差分計算処理を行うことができる。その結果、通信のレイテンシが隠蔽される。
第2の実施形態では、差分を修正する処理(ステップS103の処理)の分だけ計算量が増えるが、計算量の増分は差分計算の演算量に比べて小さい。よって、第2の実施形態の情報処理装置の並列化の効率は、素朴な情報処理装置の並列化の効率よりも高い。なお、第1の実施形態および第2の実施形態の手法では差分計算部102の構造は並列化(パイプライン化)されているが、全体の状態遷移自体は、逐次実行のマルコフ連鎖モンテカルロ法の状態遷移と等価である。
なお、第1の実施形態および第2の実施形態は、組合せ最適化問題の求解に好適に適用可能であるが、磁性体のシミュレーション等にも適用可能である。また、第1の実施形態および第2の実施形態では、イジングモデルが用いられ、マルコフ連鎖モンテカルロ法によって、ある空間(集合)の元(状態)がサンプリングされるが、第1の実施形態および第2の実施形態を、状態遷移を用いる他の手法にも適用可能である。
上記の実施形態における各構成要素は、1つのハードウェアで構成可能であるが、1つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
上記の実施形態における各機能(各処理)を、CPU(Central Processing Unit )等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置(記憶媒体)に上記の実施形態における方法(処理)を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをCPUで実行することによって実現してもよい。
図8は、CPUを有するコンピュータの一例を示すブロック図である。コンピュータは、情報処理装置に実装される。CPU1000は、記憶装置1001に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図1に示された情報処理装置100における、変数選択部101、差分計算部102、差分修正部104、遷移判定部105、状態更新部106、および温度制御部109の機能を実現する。
また、CPU1000は、記憶装置1001に格納されたプログラムに従って処理を実行することによって、図4に示された処理装置300における、変数選択部101、差分計算部102、差分修正部104、遷移判定部105、状態更新部106、温度制御部109、受信部110(通信のためのハードウェア部分を除く)、および送信部111(通信のためのハードウェア部分を除く)の機能を実現する。
差分記憶部103、更新記憶部107、状態記憶部108、および情報記憶部112は、記憶装置1001またはメモリ1002で実現可能である。
記憶装置1001は、例えば、非一時的なコンピュータ可読媒体(non-transitory computer readable medium )である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium )を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体(例えば、ハードディスク)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Compact Disc-Read Only Memory )、CD-R(Compact Disc-Recordable )、CD-R/W(Compact Disc-ReWritable )、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM )、フラッシュROM)がある。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium )に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
メモリ1002は、例えばRAM(Random Access Memory)で実現され、CPU1000が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ1002に、記憶装置1001または一時的なコンピュータ可読媒体が保持するプログラムが転送され、CPU1000がメモリ1002内のプログラムに基づいて処理を実行するような形態も想定しうる。
図9は、情報処理装置の主要部を示すブロック図である。図9に示す情報処理装置10は、複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算する差分計算部11(実施形態では、差分計算部102で実現される。)と、逐次に差分の計算が行われた場合の差分との誤差を解消するように、差分計算部11が計算した差分を修正する差分修正部12(実施形態では、差分修正部104で実現される。)とを含む処理部20を備えている。
図10は、他の態様の情報処理装置の主要部を示すブロック図である。図10に示す情報処理装置30は、複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算する差分計算部11と、逐次に差分の計算が行われた場合の差分との誤差を解消するように、差分計算部11が計算した差分を修正する差分修正部12と、状態が更新された変数を他の情報処理装置に送信する送信部13(実施形態では、送信部111で実現される。)と、状態が更新された変数を他の情報処理装置から受信する受信部14(実施形態では、受信部110で実現される。)とを含み、差分修正部12は、他の情報処理装置から受信された状態が更新された変数の集合を使用して差分を修正する。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
10,30 情報処理装置
11 差分計算部
12 差分修正部
13 送信部
14 受信部
20 処理部
100 情報処理装置
101 変数選択部
102 差分計算部
102~102 計算部
103 差分記憶部
104 差分修正部
105 遷移判定部
106 状態更新部
107 更新記憶部
108 状態記憶部
109 温度制御部
110 受信部
111 送信部
112 情報記憶部
200 情報処理装置
200~200 MCMC部
300 処理装置

Claims (10)

  1. 複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算する差分計算手段と、
    逐次に差分の計算が行われた場合の差分との誤差を解消するように、前記差分計算手段が計算した差分を修正する差分修正手段とを含む処理手段
    を備えた情報処理装置。
  2. 前記処理手段は、
    制御パラメータとしての温度を制御する温度制御手段と、
    前記温度制御手段が出力する温度と、前記差分修正手段が修正した差分とに基づいて遷移確率を計算し、計算結果に従って変数の状態を更新する遷移制御手段とをさらに含む
    請求項1に記載の情報処理装置。
  3. 前記差分計算手段は、イジングモデルの変数に関する評価関数の差分を計算し、
    前記遷移制御手段は、マルコフ連鎖モンテカルロ法に基づいて変数の状態を更新する
    請求項2に記載の情報処理装置。
  4. 請求項1から請求項3のうちのいずれかに記載の処理手段を複数備え、
    それぞれの前記処理手段は、
    状態が更新された変数を他の処理手段に送信する送信手段と、
    状態が更新された変数を他の処理手段から受信する受信手段とを含み、
    前記差分修正手段は、他の処理手段から受信された状態が更新された変数の集合を使用して差分を修正する
    情報処理装置。
  5. 各々の処理手段における前記差分計算手段は、複数の変数からあらかじめ割り当てられた数の変数を対象として計算を行う
    請求項4に記載の情報処理装置。
  6. 複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算し、
    逐次に差分の計算が行われた場合の差分との誤差を解消するように、計算された差分を修正する
    情報処理方法。
  7. パラメータとしての温度と、修正された差分とに基づいて遷移確率を計算し、計算結果に従って変数の状態を更新する
    請求項6に記載の情報処理方法。
  8. イジングモデルの変数に関する評価関数の差分を計算し、
    マルコフ連鎖モンテカルロ法に基づいて変数の状態を更新する
    請求項7に記載の情報処理方法。
  9. コンピュータに、
    複数個の変数から選択された変数のそれぞれの状態を変化させたときの評価関数の差分を並列して計算する処理と、
    逐次に差分の計算が行われた場合の差分との誤差を解消するように、計算された差分を修正する処理と
    を実行させるための情報処理プログラム。
  10. コンピュータに、
    パラメータとしての温度と、修正された差分とに基づいて遷移確率を計算させ、
    計算結果に従って変数の状態を更新させる
    請求項9に記載の情報処理プログラム。
JP2022534532A 2020-07-07 2020-07-07 情報処理装置および情報処理方法 Active JP7424493B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026559 WO2022009307A1 (ja) 2020-07-07 2020-07-07 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2022009307A1 JPWO2022009307A1 (ja) 2022-01-13
JP7424493B2 true JP7424493B2 (ja) 2024-01-30

Family

ID=79552313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534532A Active JP7424493B2 (ja) 2020-07-07 2020-07-07 情報処理装置および情報処理方法

Country Status (3)

Country Link
US (1) US20230267174A1 (ja)
JP (1) JP7424493B2 (ja)
WO (1) WO2022009307A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999477A (zh) 2012-12-21 2013-03-27 中国科学院计算机网络信息中心 一种基于mcmc的并行分类方法
JP2018041351A (ja) 2016-09-09 2018-03-15 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999477A (zh) 2012-12-21 2013-03-27 中国科学院计算机网络信息中心 一种基于mcmc的并行分类方法
JP2018041351A (ja) 2016-09-09 2018-03-15 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山口 徹、堀 憲次,MO/MC法の並列化,ケモインフォマティクス討論会予稿集 第29回情報化学討論会 新潟,2006年,DOI:https://doi.org/10.11545/ciqs.2006.0.J01.0

Also Published As

Publication number Publication date
US20230267174A1 (en) 2023-08-24
WO2022009307A1 (ja) 2022-01-13
JPWO2022009307A1 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
EP3504666B1 (en) Asychronous training of machine learning model
Mitliagkas et al. Asynchrony begets momentum, with an application to deep learning
US10885147B2 (en) Optimization apparatus and control method thereof
JP7439151B2 (ja) ニューラルアーキテクチャ検索
EP3129920B1 (en) Parallelizing the training of convolutional neural networks
US10846611B2 (en) Data processing
CN110832509B (zh) 使用神经网络的黑盒优化
JP2020010044A (ja) 量子アニーリング工程のための量子ハードウェアの構築およびプログラミング
Ahmed et al. PSTG: a t-way strategy adopting particle swarm optimization
KR20210032266A (ko) 전자 장치 및 이의 제어 방법
CN115204400A (zh) 利用量子波动执行热退火的方法和设备
US11521057B2 (en) Learning system and learning method
CN112823362A (zh) 超参数调整方法、装置以及程序
CN111639780A (zh) 优化装置和优化装置的控制方法
US20200209813A1 (en) Optimization device and control method of optimization device
EP3640859A1 (en) Optimization device and control method of optimization device
JP7267966B2 (ja) 情報処理装置及び情報処理方法
JP2024513576A (ja) 制約付き2次モデルを解く際のプロセッサベースのデバイスの計算効率を改善するためのシステム及び方法
US20200117697A1 (en) Optimization device and control method of optimization device
EP3876118A1 (en) Automatic adjustment of replica exchange
JP7424493B2 (ja) 情報処理装置および情報処理方法
CN116055489A (zh) 一种基于ddpg算法选择车辆的异步联邦优化方法
Moretti et al. Complex networks and glassy dynamics: walks in the energy landscape
WO2021226709A1 (en) Neural architecture search with imitation learning
JP2020119108A (ja) データ処理装置、データ処理方法、データ処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151