JP7045150B2 - 連続最適化問題の大域的探索装置及びプログラム - Google Patents

Description

本発明は、連続最適化問題の大域的探索装置及びプログラムに関する。

例えば、多次元の探索空間において変数、すなわちパラメータの最適値を求める手法が提案されている（例えば、特許文献１参照）。特許文献１記載の技術によれば、探索空間内に最適値算出対象のパラメータを要素とする複数の個体を生成し、これらの個体の評価値を算出し、個体の中から評価値の悪い個体を選択している。そして、この選択された個体を評価値の良い個体に所定の割合（α）で近づけている。また、評価値の悪い個体を最良の評価値の個体から一定のユークリッド距離内にある任意の領域に移動させている。そして、より良い評価値の個体を選択し最良の評価値の個体を随時更新し、複数の個体の評価値を収束させ、終了判定条件を満たしたと判定した時点で最良の評価値を有する個体に含まれるパラメータをパラメータの最適値として出力している。

特開２００７－２３３６７６号公報

例えば多数の極値を備える評価関数を適用した場合、特許文献１に記載の技術を用いて変数の最適値を探索すると、多数の極値を網羅的に探索するためには所定の割合αを小さく設定して収束過程における探索処理を細かく設定しなければならない。すると、収束しきるまでに長時間を要してしまい、解の精度と処理速度とを両立することが困難となる。
本発明の目的は、解の精度と処理速度を共に向上できるようにした連続最適化問題の大域的探索装置及びプログラムを提供することにある。

請求項１に記載した発明は、複数の要求、制約により変数を用いて生成される全体評価関数の最適解を探索するための連続最適化問題の大域的探索装置である。この請求項１記載の発明によれば、次のように作用する。設定部は、多数の要求、制約の中から一部の要求、制約により生成される部分評価関数に分け、部分評価関数に沿って１または複数の個体の変数を設定する。そして、最適解探索部は、設定された部分評価関数の最適解を探索しながら、または、部分的な最適解を探索した後、当該探索される部分的な解を備える個体の間に引力を作用させて探索空間の中で全体評価関数の最適解を探索する。

請求項１記載の発明によれば、一度に全ての要求、制約を扱うことなく、少数の要求、制約による部分評価関数の最適解を探索しながら又は探索した後、全ての要求、制約による全体評価関数の最適解を探索できるようになり、高速且つ高精度に探索可能になる。

第１実施形態を示す連続最適化問題の大域的探索装置の電気的構成図 連続最適化問題の大域的探索装置を機能的に示すブロック図 処理の流れを概略的に示すフローチャート（その１） 探索処理のイメージ図 取得データとそのモデル例 部分評価関数のイメージ図 グループ分けされた部分評価関数にそれぞれ１つの個体を設定するときの設定例 部分評価関数の極小値に収束させたときの個体の位置を示す図 引力相互作用を説明する説明図 処理の流れを概略的に示すフローチャート（その２） 補助関数法の詳細イメージを概略的に示す図 第３実施形態について初期分布を示す図（その１） 初期分布を示す図（その２） 初期分布を示す図（その３） 初期分布を示す図（その４） 初期分布を示す図（その５） 第４実施形態について更新初期における更新イメージを示す説明図 変数が極小値近辺に遷移した後の更新イメージを示す説明図 深層学習ネットワークの構成例 検証条件パラメータ 第４実施形態を適用したときのLossfunctionの検証結果 比較例を適用したときのLossfunctionの検証結果 第４実施形態を適用したときのAccuracyの検証結果 比較例を適用したときのAccuracyの検証結果

以下、本発明の連続最適化問題の大域的探索装置及びプログラムの幾つかの実施形態について図面を参照して説明する。以下の実施形態中では、各実施形態間で同一機能または類似機能を備えた部分に同一符号を付して説明を行い、同一又は類似機能を備えた構成及びその作用、連携動作説明等を必要に応じて省略する。

（第１実施形態）
図１Ａから図１０は第１実施形態の説明図を示している。最適化装置１は、ＣＰＵ２と、ＲＯＭ、ＲＡＭ等のメモリ３と、入出力インタフェース４とをバス接続して構成されたマイクロコンピュータ（以下マイコン）５、又は汎用コンピュータなどを用いて連続最適化問題の大域的探索装置として構成される。以下、マイコン５が最適化処理を実行することとして説明を行う。マイコン５が、メモリ３に記憶された最適化プログラムを実行し、各種手順を実行することで最適化処理を実行する。メモリ３は非遷移的実体的記録媒体として用いられる。

ここで最適化処理とは、１以上のＭ（≧１）次元を備えたユークリッド空間からなる探索空間Ｓを想定し、この探索空間Ｓの中で、複数の要求や制約によって生成された全体評価関数Ｈoptの最小値、または、全体評価関数Ｈoptが最適値となる条件を満たす変数ｘ_i、すなわち最適解を求める処理を示す。
以下では、全体評価関数Ｈoptの最小値を最適値として求めるための形態を示すが、最大値を最適値として求める処理に適用しても良い。

全体評価関数Ｈoptは、複数の要求や制約によって生成され、１以上のＭ個の変数（パラメータ）に基づいて導出される数式による関数を示すものであり、例えば任意の多項式、有理関数、無理関数、指数関数、対数関数やその加減乗除等による組み合わせなどを挙げることができる。図１Ｂに示すように、最適化装置１は、マイコン５により実現される機能として、設定部６、及び、最適解探索部７などの各種機能を備えるものである。

図２に最適化処理の概略的な流れをフローチャートで示し、図３に探索処理のイメージ図を示している。マイコン５は、全体評価関数Ｈ_ｏｐｔを形成する複数の要求、制約について、図２のＳ１において全体の要求、制約を複数のグループに分ける。（図３のＳ１０：設定部６の機能）。

そして、マイコン５は、図２のＳ２においてこの分類された要求、制約により部分評価関数Ｈ_ｉ（ｘ_ｉ）を設定する（図３のＳ１１：設定部６の機能）。図５には部分評価関数Ｈ_ｉ（ｘ_ｉ）のイメージを模式的に示している。部分評価関数Ｈ_ｉ（ｘ_ｉ）は前述のＳ１０にて選択される要求、制約に応じて設定されるもので、実効的な評価関数Ｈ_ｅｆｆは下記の（１）式のように示される。

この（１）式の実効的な評価関数Ｈ_ｅｆｆ（｛ｘ_ｉ｝）は、個々の部分評価関数Ｈ_ｉ（ｘ_ｉ）と関数ｆ（ｘ_ｉ－ｘ_ｉ＋１）の和の積算値を示すものであり、関数ｆ（ｘ_ｉ－ｘ_ｉ＋１）は例えば（２）式に示すような引力係数λ_ｉ，ρ_ｉ／２を用いた関数である。ここで、λ_ｉは１次引力係数、ρ_ｉ／２は２次引力係数を示している。ここで、ρ_ｉは予め定められた正の定数である。

マイコン５は、図２のＳ３において１または複数の個体Ｋを部分評価関数Ｈ_ｉ（ｘ_ｉ）に沿って設定する（設定部６の機能）。図６には、グループ分けされた４つの部分評価関数Ｈ_ｉ（ｘ_ｉ）にそれぞれ１つの個体Ｋを設定するときの設定例を示している。すなわち、４つの個体Ｋ１～Ｋ４の設定例を示している。

次にマイコン５は、図２のＳ４において、複数の個体Ｋが収束するようにこの複数の個体Ｋの間の引力を制御しながら、実効的な評価関数Ｈ_ｅｆｆを極小化する（図３のＳ１２、Ｓ１３：最適解探索部７の機能）。探索初期において引力を弱く設定することで、探索初期には部分評価関数Ｈ_ｉ（ｘ_ｉ）がそれぞれ極小化され、探索後半においては引力により個体Ｋを収束させる。また、探索初期において引力を強く設定すれば、部分評価関数Ｈ_ｉ（ｘ_ｉ）の極小化と個体Ｋの収束が並行して実行されることになる。図７は、探索初期の引力を弱く設定し、部分評価関数Ｈ_ｉ（ｘ_ｉ）の極小値に収束させたときの個体Ｋ１～Ｋ４の位置を示している。以上のように、マイコン５は、図２のＳ４において部分的な最適解を探索しつつ当該探索される部分的な解を備える個体Ｋの間に引力を作用させて実効的な評価関数Ｈ_ｅｆｆを最小化することで全体評価関数Ｈ_ｏｐｔの最適解を探索する（図３のＳ１３：最適解探索部７の機能）。

例えば、図４に示されるように、機械学習においては、取得した膨大なデータに沿うモデル（例えばｙ＝ａｘ＋ｂ）を、例えば最小二乗法によるフィッティングモデルを用いて取得データに対して最適なパラメータａ，ｂを決定することがある。これらの取得データは、それぞれがパラメータａ，ｂに対する一つの要求、制約となる。本実施形態では、多数の全体のデータを複数グループに分け、各グループに対するフィッティングモデルを部分評価関数Ｈ_ｉ（ｘ）とし、この部分評価関数Ｈ_ｉ（ｘ）の最適解を探索しながら個体Ｋの間に引力を作用させて一つに収束させることで、全データを表現するモデルとして最も適切なパラメータａ，ｂを導出する。

この内容を実現するため、実効的な評価関数Ｈ_ｅｆｆを（１）、（２）式のように設定し、下記の（３－１）式、（３－２）式の条件を満たすように、一次引力係数λを更新する。ここで二次引力係数ρ_ｉは所定の値に設定される。

この（３）式において、ｇ（ｘ）は所定の関数であり、ｄｇ（ｘ）／ｄｘ≧０、ｘ・ｇ（ｘ）≧０を満たすことから、ｇ（ｘ）は単純増加関数であり、変数ｘと関数ｇ（ｘ）とは同一符号とすることが望ましい。また、例えば下記の（４）式を満たすように設定することが望ましい。ここで、次数ｎは２ｍ－１（但しｍは自然数）を満たす奇数である。

この図２のＳ４における（１）～（３－１）、（３－２）式を満たす更新処理においては、部分評価関数Ｈ_ｉ（ｘ_ｉ）の最適解を導出しつつ、個体Ｋの間の引力を増加させながら実効的な評価関数Ｈ_ｅｆｆの極小化を繰り返すことで、全体評価関数Ｈ_ｏｐｔの最適解を探索する。なお、探索初期の引力を弱くすれば、部分評価関数Ｈ_ｉ（ｘ_ｉ）の最適解探索と収束による全体評価関数Ｈ_ｏｐｔの最適解探索処理は分離される。図７及び図８は、部分評価関数Ｈ_ｉ（ｘ_ｉ）の最適解を探索した後、個体Ｋの収束により全体評価関数Ｈ_ｏｐｔの最適解を探索するイメージを示している。

次に、最適化処理の手順の一例について、さらに具体的な数式展開を用いて説明する。まずマイコン５は、図９のＳ２１において部分評価関数Ｈ_ｉに沿って個体Ｋを設定する。以下、断らない限り、複数の個体Ｋ１、Ｋ２のうち一部又は全ての個体を個体Ｋと略して説明を行うと共に、特別な個体Ｋについては符号Ｋの後に添え字を付して説明を行う。

次に、マイコン５は、図９のＳ２２において実効的な評価関数Ｈ_ｅｆｆを極小化するように個体Ｋの変数ｘ_ｉを変化させて更新する。実効的な評価関数Ｈ_ｅｆｆは、Ｍ個の変数ｘ_ｉを有するＮ個の部分評価関数Ｈ_ｉに分解して探索する場合、下記の（５）式のように数式設定する。

ここで変数ｘ_ｉは下記の（６－１）式のように設定され、変数λ_ｉは（６－２）式のように設定される。

（５）式の右辺第１項は、複数の個体Ｋによる部分評価関数Ｈ_ｉの評価値Ｈ_ｉ（ｘ_ｉ）を加算した評価加算値、すなわち、部分評価関数Ｈ_ｉに複数の個体Ｋの変数ｘ_ｉを代入した評価値Ｈ_ｉ（ｘ_ｉ）を加算した加算値を示しており、（１）式の右辺第２項及び第３項は、複数の個体Ｋの間の引力相互作用項を示し、λ_ｉ＾Ｔは一次引力係数、ρ_ｉ／２は二次引力係数を示している。

ここで、ρ_ｉは予め定められた正の定数である。これらの第２項及び第３項の引力相互作用項は、複数の個体Ｋの間の変数ｘ_ｉの差が大きいほど大きくなり、逆に複数の個体Ｋの間の変数ｘ_ｉの差が小さいときには小さくなるように変化する。

次に（５）式中の（６－１）式で定義される変数ｘ_ｉを更新するため、部分評価関数Ｈ_ｉ（ｘ_ｉ）について補助関数法を用いて極値化する。補助関数法は、（１）式の第１項の部分評価関数Ｈ_ｉを極小化するときに用いられる一方法であり、部分評価関数Ｈ_ｉを当該部分評価関数Ｈ_ｉに近似した２次関数ｆｆに置換し、この置換した２次関数ｆｆに基づいて極値化する方法を示している。

以下、補助関数法について詳細説明する。補助関数法の詳細イメージを図１０に示している。図１０に示すように、部分評価関数Ｈ_ｉ（ｘ）の変数ｘに現在の解候補ｘ_ｉ＾＊を代入し、この評価値Ｈ_ｉ（ｘ＾＊）を通過すると共に、その微分値が部分評価関数Ｈ_ｉ（ｘ）の偏微分値∂Ｈ_ｉ（ｘ＾＊）／∂ｘと等しく、且つ、その解候補ｘ_ｉ＾＊を含む探索空間Ｓ内の全ての変数ｘ_ｉにおける評価値Ｈ_ｉ（ｘ_ｉ）よりも大きな値を得る条件を満たすリプシッツ定数Ｌを用いた２次関数ｆｆを導入して置換する。この２次関数ｆｆを数式化すると（７）式の右辺のように示すことができる。

この（７）式において、Ｌ_ｉ，ｐはリプシッツ定数を示し、ｘ＾＊はｘの現在の解候補を示している。このとき２次関数ｆｆの極小値を次回の値の解候補として繰り返し更新し、所定の更新回数以上の回数だけ繰り返し極小値を更新するようにしている。

（８）式の右辺をｉ番目の個体Ｋのｐ番目の変数ｘ_ｉ，ｐで微分し、この微分値が０となる条件を満たす変数ｘ_ｉ，ｐの極小点を算出する。この（８）式においては、更新前の値をｘ_ｉ，ｐ＾＊とし、更新後の値をｘ_ｉ，ｐとしている。すると（９）式の方程式のように展開できる。

この方程式を一般化すると、ｐ番目の変数ｘ_ｉの更新式は（１０）式の方程式のように展開できる。

そしてマイコン５は、図９のＳ１２において（１１）式に示すｐ番目の変数行列~ｘ_ｐを算出する。

ここで、更新後のｐ番目の変数行列~ｘ_ｐを（１２－１）式、リプシッツ定数行列Ｌ_ｐを（１２－２）式、二次引力係数行列ρを（１２－３）式、係数行列Ｇを（１２－４）式、としている。

また、更新前のｐ番目の変数行列ｘ_ｐ＾＊を（１３－１）式、部分評価関数Ｈ_ｉ（ｘ_ｉ＾＊）の偏微分行列∇_ｐＨ_ｉ（ｘ_ｉ＾＊）を（１３－２）式、一次引力係数行列λ_ｐ＾＊を（１３－３）式、係数行列Ｗを（１３－４）式、としている。

そしてマイコン５は、図９のＳ２３において（１４）式のように一次引力係数行列~λ_ｉを更新する。

この（１４）式において、λ_ｉ＾＊は更新前の一次引力係数行列を示し、変数~ｘ_ｉは、Ｓ２２で算出された変数を示す。次にマイコン５は、図９のＳ２４において終了条件を満たしたか否かを判定する。この終了条件は、例えば実効的な評価関数Ｈ_ｅｆｆの実効評価値が所定の閾値以下となったか否か、又は、繰り返し処理回数が所定の上限回数を超えたか否かを判定することを条件としている。

実効的な評価関数Ｈ_ｅｆｆの実効評価値の閾値は、複数の個体Ｋが実効的な評価関数Ｈ_ｅｆｆの極値の位置に概ね収束することが想定される値に予め設定することが望ましい。このため、複数の個体Ｋが概ね一点に収束していなければ、Ｓ２２に戻して処理を繰り返すことになる。図７に示したように、複数の個体Ｋがそれぞれの谷の極小値に移動しつつ、図８に示すように各谷の間の経路Ｍ１～Ｍ４に基づく引力相互作用を生じさせることができる。

＜本実施形態の概念的なまとめ＞
以上、説明したように本実施形態によれば、複数の要求、制約により生成される全体評価関数Ｈ_ｏｐｔについて、全体評価関数Ｈ_ｏｐｔを一部の要求、制約から作成した部分評価関数Ｈ_ｉ（ｘ_ｉ）に分け、１または複数の個体Ｋを部分評価関数Ｈ_ｉ（ｘ_ｉ）に沿って設定し、設定された部分評価関数Ｈ_ｉ（ｘ_ｉ）の部分的な最適解を探索しながら、または、部分的な最適解を探索した後、当該探索される部分的な解を備える個体Ｋの間に引力を作用させて全体評価関数Ｈ_ｏｐｔの最適解を探索している。これにより、単純化された部分的な部分評価関数Ｈ_ｉ（ｘ_ｉ）の最適化処理に基づいて、全体の複雑な全体評価関数Ｈ_ｏｐｔの最適解を探索できるようになり、全体評価関数Ｈ_ｏｐｔの最適解を高速に取得できる。

実効的な評価関数Ｈ_ｅｆｆを（１）式としたときに、引力相互作用の項を（２）式として（３－１）式、（３－２）式を満たすように個体Ｋの間に引力を作用させるようにしているため、複数の個体Ｋを一点に収束させることができる。なお、このとき（３）式のｇ（ｘ）を（４）式として探索することが望ましい。

（第２実施形態）
第２実施形態では、引力相互作用項となるｆ（ｘ_ｉ－ｘ_ｉ＋１）を（１５）式のように変更した形態を説明する。

（１５）式のｆ（ｘ_ｉ－ｘ_ｉ＋１）は（２）式でλ_ｉ＝０としたものであり、二次引力係数ρ_ｉ／２を所定値から徐々に増加させることで、個体Ｋを一点に収束させることができる。

そこで本実施形態では、図２及び（１５）式の二次引力係数ρ_ｉ／２を所定値から徐々に増加させる処理を適用することで、各部分評価関数Ｈ_ｉ（ｘ_ｉ）に設定された個体Ｋを徐々に収束させ、全体評価関数Ｈ_ｏｐｔの最適解を探索する。

本実施形態によれば、実効的な評価関数Ｈ_ｅｆｆを（１）式として定義したときに、引力相互作用の項を（１５）式とし、（１５）式中の二次引力係数ρ_ｉを初期値から大きくすることで個体Ｋの間に引力を作用させて最適値に収束させて最適解を導出している。このような場合においても、同様の作用効果を奏する。

（第３実施形態）
図１１から図１５は第３実施形態の追加説明図を示している。第３実施形態では、個体Ｋの変数ｘ_ｉの初期分布の設定方法を説明する。前述実施形態に示したように、各個体ＫはＭ次元の変数ｘ_ｉを備えているが、このＭ次元の変数ｘ_ｉの初期分布を如何なる形態とするかに応じて、実効的な評価関数Ｈ_ｅｆｆの谷の通過数、すなわち極値の通過数、及び、収束方法も変化する。

実効的な評価関数Ｈ_ｅｆｆの実効評価値が、どのような値で極値、最小値となるか予め把握することはできないため、マイコン５は、予め探索空間Ｓを満たすように個体Ｋを初期設定することが望ましい。個体Ｋの数を多くすれば精度が高くなるが処理時間も大きくなる。このため、限られた数の個体Ｋを用いて処理を行うことが望ましく、この限られた個体Ｋの変数ｘ_ｉの初期分布が最適値の探索処理に重要な要素を占めることになる。このためには、例えば図１１から図１５に示すように、個体Ｋの変数ｘ_ｉの初期分布を設定することが望ましい。

図１１から図１５は、それぞれの個体ＫがＭ＝２次元の変数ｘ_ｉを備えている場合の初期分布の例を示している。Ｍ＝２次元の探索空間Ｓを想定したときに、例えば図１１に示すように、探索空間Ｓ内に複数の個体Ｋの変数ｘ_ｉをランダムに設定すると良い。この場合、個体Ｋが一点に収束する過程において広範囲の極値を探索できるようになる。

この中でも図１２の個体Ｋａ、Ｋｂに示すように、少なくとも１つ以上の個体Ｋａ、Ｋｂの変数ｘ_ｉを探索空間Ｓの上限値又は下限値とすると良い。また、その他の個体Ｋの変数ｘ_ｉをランダムに設定すると良い。このように設定することで、さらに広範囲の極値を探索できる。特に、探索空間Ｓの中で全ての変数ｘ_ｉについて上限値又は下限値となるように個体Ｋａｍの変数ｘ_ｉを設定することがさらに望ましい。

ある収束過程において広範囲の極値を探索できるようにするため、探索空間Ｓの全てを極力網羅するように個体Ｋを広範囲に分布させることが望ましいが、変数ｘ_ｉの探索を開始する前に例えば探索空間Ｓの内部に推定解が与えられる場合もある。

例えば、ある変数ｘ_ｉが時間的に連続して変化することを考慮する。例えばマイコン５がこのような変数ｘ_ｉ（ｔ）の解をある所定の時間毎に導出するときに、次回のタイミングにおける変数ｘ_ｉ（ｔ＋１）の解を得るために、図１４に示すように今回の変数ｘ_ｉ（ｔ）の解を推定解ｘizとして与えることで、次回のタイミングにおける変数ｘ_ｉ（ｔ＋１）の解の導出処理を素早く、しかも正確に行うことができる場合もある。

このような場合、図１３に示すように、初期分布として探索空間Ｓ内に限定された限定探索範囲Ｓａを設け、この限定探索範囲Ｓａとして推定解ｘizを含むように初期分布を設定することが望ましい。特にこの場合、例えば推定解ｘizから所定範囲（例えばｘ_ｉ，１－α１＜変数ｘ_ｉ，１＜ｘ_ｉ，１＋β１、ｘ_ｉ，２－α２＜変数ｘ_ｉ，２＜ｘ_ｉ，２＋β２；但し、α１、α２、β１、β２＞０）を満たすように限定探索範囲Ｓａを絞ることが望ましい。これにより、さらに少ない評価回数で変数ｘ_ｉの最適解への到達確率を高めることができる。

さらに図１４に示すように、初期分布として推定解ｘizを含む空間に近いほど個体Ｋを密に分布させると共に推定解から遠ざかるほど個体Ｋの密度を減少させるように設定するようにしても良い。これにより、より少ない個体Ｋの数で変数ｘ_ｉの最適解への到達確率を高めることができる。

さらに図１５に示すように、初期分布として推定解ｘizを含む空間に近い所定範囲Ｓｂ内に個体Ｋを密に分布させると共にその他の個体Ｋを所定範囲Ｓｂの外にランダムに分布させ、その他の個体Ｋのうち、少なくとも１つの個体Ｋａ、Ｋｂ、Ｋａｍの変数ｘ_ｉを探索範囲Ｓの変数ｘ_ｉの上限値又は下限値に設定するようにしても良い。これにより、変数ｘ_ｉの推定解ｘizの付近を重点的に探索しながら広範囲を探索することができ、推定解ｘiz又はその周辺に解が存在していなかった場合においても、変数ｘ_ｉの最適解への到達確率の低下を防ぐことができる。

（第４実施形態）
図１６から図２３は第４実施形態の追加説明図を示している。第４実施形態では極小化の方法について別の形態を説明する。

第４実施形態では、前述した（１）式の実効的な評価関数Ｈ_ｅｆｆについて、部分評価関数Ｈ_ｉの更新幅Δｘ_ｃ（第２更新幅相当）、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の更新幅Δｘ_ｑ（第１更新幅相当）を別々に算出し、これらの更新幅Δｘ_ｃ、Δｘ_ｑを加算した合計更新幅Δｘを導出する。

このときまず、マイコン５は、ある時刻ｔにおける部分評価関数Ｈ_ｉの勾配ｇ_ｃ（ｔ）を（１６）式のように定義し、部分評価関数Ｈ_ｉの勾配ｇ_ｃの指数移動平均値ｍ_ｃを（１７－１）式のように定義して導出し、さらに部分評価関数Ｈ_ｉの勾配ｇ_ｃの二乗の指数移動平均値ｖ_ｃを（１７－２）式のように定義して導出する。これらの式中において、β_１ｃ、β_２ｃは定数であり、深層学習における勾配算出処理として適切な値に設定される。

そして、マイコン５は更新幅Δｘ_ｃを（１８－１）式及び（１８－２）式のように導出する。なお（１８－１）式中のε_ｃはゼロ除算を避けるための定数であり、他の定数に比べて大幅に小さく設定される。

このようにして更新幅Δｘ_ｃを導出できる。

またマイコン５は、このような処理を引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の更新幅Δｘ_ｑについても同様に行う。すなわちマイコン５は、ある時刻ｔにおける引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の勾配ｇ_ｑ（ｔ）を（１９）式のように定義して算出し、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の勾配ｇ_ｑの指数移動平均値ｍ_ｑを（２０－１）式のように定義して導出し、さらに引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の勾配ｇ_ｑの二乗の指数移動平均値ｖ_ｑを（２０－２）式のように定義して導出する。これらの式中において、β_１ｑ、β_２ｑは定数であり深層学習における勾配算出処理に適切な値に設定される。

そしてマイコン５は更新幅Δｘ_ｑを（２１－１）式及び（２１－２）式のように導出する。なお（２１－１）式中のε_ｑはゼロ除算を避けるための定数であり、他の定数に比べて大幅に小さく設定される。

このようにして更新幅Δｘ_ｑを導出できる。そしてマイコン５は更新幅Δｘ_ｃ、Δｘ_ｑを加算することで合計更新幅Δｘを（２２）式のように導出する。

このようにして合計更新幅Δｘを導出でき、実効的な評価関数Ｈ_ｅｆｆの変数ｘ_ｉの更新幅Δｘとして用いることで最適化変数ｘ_ｉの更新幅Δｘを適応的に変更できるようになる。最適化変数ｘ_ｉの更新イメージを図１６及び図１７に示している。

図１６は更新初期における更新イメージを示している。例えば、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の変数が、当該評価関数の極小値を満たす最適化変数から離間していると、この関数を極小化する最適化変数に向けて、図１６に示すように徐々に更新されることになる。このとき勾配ｇ_ｑ（ｔ）が緩やかに変化するため、（２３－１）式に示すように、時刻ｔと時刻ｔ＋１とのタイミングを比較しても勾配ｇ_ｑはあまり変化しない。このため（２３－２）式に示すように、勾配ｇ_ｑの指数移動平均値~ｍ_ｑと勾配ｇ_ｑの二乗の指数移動平均値~ｖ_ｑの平方根とを比較しても概ね同じ値となり、更新幅Δｘ_ｑは（２３－３）式に示すように－ηで概ね一定となる。

他方、図１７は変数が極小値近辺に遷移した後の更新イメージを示している。変数が極小値近辺に遷移すると、勾配ｇ_ｑ（ｔ）は極小値を挟んで振動するように移動することから、（２４－１）式に示すように、時刻ｔと時刻ｔ＋１とのタイミングを比較すると勾配ｇ_ｑは絶対値が概ね同一で正負が逆転するように変化する。すると（２４－２）式に示すように、勾配ｇ_ｑの指数移動平均値~ｍ_ｑは概ね０に近づき、勾配ｇ_ｑの指数移動平均値~ｍ_ｑを勾配の二乗の指数移動平均値~ｖ_ｑの平方根と比較しても二乗の指数移動平均値~ｖ_ｑの平方根の方が大幅に大きな値となる。したがって、更新幅Δｘ_ｑは（２４－３）式に示すように－ηよりも大幅に小さな値となる。

このようにしてマイコン５は、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の勾配ｇ_ｑの指数移動平均値~ｍ_ｑと引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の勾配ｇ_ｑの二乗の指数移動平均値~ｖ_ｑ の平方根とが近くなるにしたがって更新幅Δｘ_ｑを大きくすると共に、指数移動平均値~ｍ_ｑが勾配ｇ_ｑの二乗の指数移動平均値~ｖ_ｑ の平方根よりも小さくなるにつれて更新幅Δｘ_ｑを小さくするように導出している。すなわち、更新幅Δｘ_ｑを大きい幅から小さい幅に自動的に変化させることができ、極力少ない更新回数で極小値に効率的に到達させることができるようになる。

ここでは引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）についての説明を行ったが、部分評価関数Ｈ_ｉにおいても同様に適用できるため、その詳細説明を省略する。部分評価関数Ｈ_ｉの処理について概念的にまとめると、マイコン５は、部分評価関数Ｈ_ｉの勾配ｇ_ｃの指数移動平均値~ｍ_ｃと部分評価関数Ｈ_ｉの勾配ｇ_ｃの二乗の指数移動平均値~ｖ_ｃ の平方根とが近くなるにしたがって更新幅Δｘ_ｃを大きくすると共に、指数移動平均値~ｍ_ｃが勾配の二乗の指数移動平均値~ｖ_ｃ の平方根よりも小さくなるにつれて更新幅Δｘ_ｃを小さくするように導出することになる。この例の場合も同様に、更新幅Δｘ_ｃを大きい幅から小さい幅に自動的に変化させることができ、少ない更新回数で極小値に効率的に到達させることができるようになる。

＜具体例の検証条件＞
発明者は、以上のように説明した方法について具体例を用いて検証している。以下では、この検証条件について説明する。発明者らは、「０」～「９」の一桁の手書き数字を深層学習を用いて識別する問題を挙げて検証している。

この検証条件としては、図１８に示すように、入力層を８×８ピクセル分の６４入力用意し、出力層を「０」～「９」の１０出力用意し、中間層を５層用意したニューラルネットワークを用いている。各中間層のノード数は、１層目を３０ノードとし、２層目から５層目を各２０ノード用意し、ネットワークはこれらの入力層、中間層、出力層の各ノードを全て結合して構成した形態を用いた。

また、各ノードの結合の重みを決定するための学習データを１０００個用意して学習試行している。ここで、部分評価関数Ｈ_ｉを定義するための学習データの分割数を１０とした。すなわち（１６）式及び（１９）式中のＮを１０とし、当該Ｎ個の部分評価関数Ｈ_ｉについて学習データ各１００個（以下、必要に応じて「部分データ」と称する）を用いて評価した。また引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）については（１５）式を適用し、この（１５）式の二次引力係数ρ_ｉを固定値０．１として検証した。また、その他の（１６）～（２２）式に用いられる各定数η，β_１ｃ，β_２ｃ，β_１ｑ，β_２ｑ，ε_ｃ，ε_ｑを図１９に示す値を用いて評価した。

さらに発明者は、前述の（１）式右辺第２項の引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）を省いた一般的な評価関数を用いた例を比較例とし、前述と同様に深層学習により手書き数字を識別するように検証している。この比較例は、一般にＡｄａｍ(Adaptive moment estimation)と称される深層学習における勾配法を適用した例に類似する方法である。この比較例においても、本実施形態の処理方法との比較検証を行うため、同じ学習データを１０００個用意すると共に学習データをＮ＝１０分割し、それぞれ学習データ各１００個の部分データを用いて評価した。すなわち（１６）式～（１８）式と同様の処理を行うことで評価しており、このとき前述同様の定数η，β_１ｃ，β_２ｃ，ε_ｃの値を用いている。

＜検証結果＞
以下、前述の検証結果について説明する。
図２０は本実施形態の引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）を用いて得られたLossfunctionの検証結果、図２１は引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）を用いない場合の比較例のLossfunctionの検証結果を示している。

図２０及び図２１のLossfunction特性は探索ステップ数を横軸として示しており、図１８に示すニューラルネットワークを用意した学習データに適合させて各ノードの重みを決定した後の学習誤差を示している。探索ステップ数が少ないとＮ＝１０個の分割データのそれぞれの部分評価関数Ｈ_ｉに対する適合度に応じたLossfunctionを求めることになるため、その絶対値も部分データ毎に大きくばらつくが、探索ステップ数が多くなると引力相互作用項ｆの作用が進み、より適切に識別可能になることが確認されている。

この検証結果によれば、本実施形態及び比較例の何れの方法を用いても探索ステップ数を増せば増すほどLossfunctionを減少させることができることがわかるが、比較例ではLossfunctionの最小値が０．０３９となるのに対し、本実施形態では最小値を０．０２１にでき、Lossfunctionの最小値をより少なくできることが把握できる。

＜未知のテストデータに対する検証結果＞
以下、未知のテストデータに対する検証結果について説明する。
図２２は本実施形態のAccuracyの検証結果、図２３は比較例のAccuracyの検証結果を示している。図２２及び図２３のAccuracyは前述の学習データとは異なる未知のテストデータを用いた正答率を示すものであり、新たなデータに対するクラスラベルや関数値を正確に予測できるかどうかを示す汎化性能に関する指標を示すもので、前述同様に探索ステップ数を横軸として示している。比較例では正答率、すなわち識別精度を７３．６５％となるのに対し、本実施形態では正答率、識別精度を９１．７１％とすることができ、本実施形態を採用することで比較例よりも高い識別性能を示すことが把握できた。

＜本実施形態の概念的なまとめ＞
以上説明したように、本実施形態によれば、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）と部分評価関数Ｈ_ｉの勾配ｇ_ｑ、ｇ_ｃに応じて、それぞれ個体Ｋの変数ｘ_ｉの更新幅Δｘ_ｑ、Δｘ_ｃを導出するときに、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）と部分評価関数Ｈ_ｉの勾配ｇ_ｑ、ｇ_ｃの指数移動平均値~ｍ_ｑ、~ｍ_ｃと引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）と部分評価関数Ｈ_ｉの勾配ｇ_ｑ、ｇ_ｃの二乗の指数移動平均値~ｖ_ｑ、~ｖ_ｃがそれぞれ近くなるにしたがってそれぞれ更新幅Δｘ_ｑ、Δｘ_ｃを大きくしている。また、勾配の指数移動平均値~ｍ_ｑ、~ｍ_ｃが勾配の二乗の指数移動平均値~ｖ_ｑ、~ｖ_ｃよりも小さくなるにつれて更新幅Δｘ_ｑ、Δｘ_ｃを小さくするように導出している。このため、更新幅Δｘ_ｑ、Δｘ_ｃを大きい幅から小さい幅に自動的に変化させることができ、極力少ない更新回数で効率的に極小値に個体Ｋを到達させることができる。

＜第４実施形態の変形例＞
なお、第４実施形態に示した処理を用いると、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）の影響力は、前述した勾配ｇ_ｑの変化に応じて適応的に変更される。このため（１５）式の二次引力係数ρ_ｉを固定値（例えば０．１）としても問題なく収束する。すなわち、例えば第２実施形態では二次引力係数ρ_ｉを初期値から大きくすることで個体Ｋの間に引力を作用させて最適値に収束させるようにしたが、第４実施形態では増加させる処理をする必要がなくなる。また第２実施形態に説明したように、二次引力係数ρ_ｉを増加させるように処理しても良い。

また、第４実施形態の方法を採用すると、変数ｘ_ｉを更新するときには、勾配ｇ_ｑ、ｇ_ｃに応じた情報を用いることになるため、引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）は（１５）式のように二次関数に限定するものではなく、下記（２５）式の引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）に示すように、四次以上の偶数次関数を用いても良い。

このような（２５）式に示される引力相互作用項ｆ（ｘ_ｉ－ｘ_ｉ＋１）を用いたとしても変数ｘ_ｉの更新処理が複雑な処理に変化することはなく極力迅速に最適解を探索できる。

（他の実施形態）
本発明は、上記した実施形態に限定されるものではなく、以下のように変形又は拡張することができる。
個体Ｋは各部分評価関数Ｈ_ｉ（ｘ_ｉ）の間で同数の変数ｘ_ｉを備えることが望ましい。前述実施形態では、個体Ｋの変数ｘ_ｉを解出力する形態を説明しているが、変数ｘ_ｉに対応した評価値、すなわち、解出力すべき変数ｘ_ｉを実効的な評価関数Ｈ_ｅｆｆに代入した評価値を解出力するようにしても良い。第３実施形態では、二次引力係数ρ_ｉ／２を初期値＝０から徐々に大きくする形態を示したが、初期値は０に限られない。

また、特許請求の範囲に記載した括弧内の符号は、本発明の一つの態様として前述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。前述実施形態の一部を、課題を解決できる限りにおいて省略した態様も実施形態と見做すことが可能である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において、考え得るあらゆる態様も実施形態と見做すことが可能である。

また本発明は、前述した実施形態に準拠して記述したが、本発明は当該実施形態や構造に限定されるものではないと理解される。本発明は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

図面中、１は最適化装置（連続最適化問題の大域的探索装置）、６は設定部、７は最適解探索部、８は導出部、Ｋは個体、Ｓは探索空間、ｘ_ｉは変数、ｇ／２は引力係数、Ｈoptは全体評価関数、Ｈeffは実効評価値、ｘizは推定解、ｇ_ｑ、ｇ_ｃは勾配、~ｍ_ｑ、~ｍ_ｃは勾配の指数移動平均値、~ｖ_ｑ、~ｖ_ｃは勾配の二乗の指数移動平均値、Δｘ_ｑ、Δｘ_ｃは更新幅、を示す。

Claims (26)

1. 複数の要求、制約により変数（ｘ）を用いて生成される全体評価関数について、一部の要求、制約により生成した部分評価関数（Ｈ_ｉ（ｘ））に分け、１または複数の個体の変数を前記部分評価関数に沿って設定する設定部（６）と、
   前記設定された部分評価関数の部分的な最適解を探索しながら、または、部分的な最適解を探索した後、当該探索される部分的な解を備える個体の間に引力を作用させて探索空間の中で前記全体評価関数の最適解を探索する最適解探索部（７）と、
   を備える連続最適化問題の大域的探索装置。
2. 前記最適解探索部は、
   前記部分評価関数と引力相互作用項（ｆ（ｘ_ｉ－ｘ_ｉ＋１））により構成される実効的な評価関数（Ｈ_ｅｆｆ）を（１）式としたときに、
   前記引力相互作用項の勾配に応じて前記個体の変数の第１更新幅（Δｘ_ｑ）を導出し、前記部分評価関数の勾配に応じて前記個体の変数の第２更新幅（Δｘ_ｃ）を導出し、当該第２更新幅（Δｘ_ｃ）を前記第１更新幅（Δｘ_ｑ）に加算した合計更新幅（Δｘ）を算出して導出するように構成され、
   前記引力相互作用項の勾配に応じて前記個体の変数の第１更新幅（Δｘ_ｑ）を導出するときに、前記引力相互作用項の勾配の移動平均値と前記引力相互作用項の勾配の二乗の移動平均値の平方根とが近くなるにしたがって前記第１更新幅を大きくすると共に前記勾配の移動平均値が前記勾配の二乗の移動平均値の平方根よりも小さくなるにつれて前記第１更新幅を小さくするように導出する請求項１記載の連続最適化問題の大域的探索装置。
   

   
3. 前記引力相互作用項の勾配を（１９）式とし、前記引力相互作用項の勾配の移動平均値を（２０－１）式とし、前記引力相互作用項の勾配の二乗の移動平均値を（２０－２）式としたときに、前記第１更新幅を（２１－１）式、（２１－２）式のように導出する請求項２記載の連続最適化問題の大域的探索装置。
   

   

   

   
4. 前記最適解探索部は、
   前記第２更新幅を導出するときに、前記部分評価関数の勾配の移動平均値と前記部分評価関数の勾配の二乗の移動平均値の平方根とが近くなるにしたがって前記第２更新幅を大きくすると共に前記勾配の移動平均値が前記勾配の二乗の移動平均値の平方根よりも小さくなるにつれて前記第２更新幅を小さくするように導出する請求項２または３記載の連続最適化問題の大域的探索装置。
5. 前記部分評価関数の勾配を（１６）式とし、前記部分評価関数の勾配の移動平均値を（１７－１）式とし、前記部分評価関数の勾配の二乗の移動平均値を（１７－２）式としたときに、前記第２更新幅を（１８－１）式、（１８－２）式のように導出する請求項４記載の連続最適化問題の大域的探索装置。
   

   

   

   
6. 前記最適解探索部は、前記実効的な評価関数を（１）式として定義したときに、引力相互作用の項を（２５）式とし、前記（２５）式中のρ_ｉを所定値とするか又は初期値から大きくすることで個体の間に引力を作用させて最適値に収束させる請求項２から５の何れか一項に記載の連続最適化問題の大域的探索装置。
   

   
7. 前記最適解探索部は、前記部分評価関数と引力相互作用項（ｆ（ｘ_ｉ－ｘ_ｉ＋１））により構成される実効的な評価関数（Ｈ_ｅｆｆ）を（１）式としたときに、引力相互作用の項を（２）式として（３－１）式、及び（３－２）式を満たすように一次引力係数（λ _ｉ ）を更新し、個体の間に引力を作用させる請求項１記載の連続最適化問題の大域的探索装置。
   

   

   

   
8. 前記（３－１）式、及び（３－２）式のｇ（ｘ）を（４）式として探索する請求項７記載の連続最適化問題の大域的探索装置。
   

   
9. 前記最適解探索部は、前記部分評価関数と引力相互作用項（ｆ（ｘ _ｉ －ｘ _ｉ＋１ ））により構成される実効的な評価関数を（１）式として定義したときに、引力相互作用の項を（１５）式とし、前記（１５）式中のρ_ｉを初期値から大きくすることで個体の間に引力を作用させて最適値に収束させる請求項１記載の連続最適化問題の大域的探索装置。
   

   

   
10. 前記最適解探索部が前記部分評価関数と引力相互作用項（ｆ（ｘ _ｉ －ｘ _ｉ＋１ ））により構成される実効的な評価関数を（１）式として定義したときに、前記実効的な評価関数を極小化するときには、
    前記部分評価関数（Ｈ_ｉ）の解候補を求めた後、当該解候補を代入したときの微分値が当該部分評価関数の微分値と等しく、且つ、前記解候補を含む前記探索空間の内の全ての変数における評価値よりも大きな値を得る条件を満たす２次関数に置換し、当該２次関数の極値を次回の値の解候補として繰り返して更新する補助関数法を用いる請求項１、７から９の何れか一項に記載の連続最適化問題の大域的探索装置。
    

    
11. 前記設定部は、初期分布として前記探索空間に前記複数の個体の変数をランダムに分布させるように設定する請求項１から１０の何れか一項に記載の連続最適化問題の大域的探索装置。
12. 前記変数の探索を開始する前に予め変数の推定解（ｘiz）が与えられている場合には、
    前記設定部は、初期分布として前記探索空間の内部に限定された限定探索範囲（Ｓａ）であって当該推定解を含む限定探索範囲に前記個体の変数を設定する請求項１から１０の何れか一項に記載の連続最適化問題の大域的探索装置。
13. 前記個体は前記部分評価関数の間で同数の変数（ｘ_ｉ）を備える請求項１から１２のいずれか一項に記載の連続最適化問題の大域的探索装置。
14. 大域的探索装置に、
    複数の要求、制約により変数（ｘ）を用いて生成される全体評価関数について、一部の要求、制約により生成した部分評価関数（Ｈ_ｉ（ｘ_ｉ））に分け、１または複数の個体の変数を前記部分評価関数に沿って設定する手順と、
    前記設定された部分評価関数により部分的な最適解を探索する手順と、
    前記部分的な最適解を探索しながら、または、部分的な最適解を探索した後、当該探索される部分的な解を備える個体の間に引力を作用させて探索空間の中で前記全体評価関数の最適解を探索する手順と、
    を実行させるプログラム。
15. 前記全体評価関数の最適解を探索する手順では、
    前記部分評価関数と引力相互作用項（ｆ（ｘ_ｉ－ｘ_ｉ＋１））により構成される実効的な評価関数（Ｈ_ｅｆｆ）を（１）式としたときに、
    前記引力相互作用項の勾配に応じて前記個体の変数の第１更新幅（Δｘ_ｑ）を導出し、前記部分評価関数の勾配に応じて前記個体の変数の第２更新幅（Δｘ_ｃ）を導出し、当該第２更新幅（Δｘ_ｃ）を前記第１更新幅（Δｘ_ｑ）に加算した合計更新幅（Δｘ）を算出して導出するものであり、
    前記引力相互作用項の勾配に応じて前記個体の変数の第１更新幅（Δｘ_ｑ）を導出するときに、前記引力相互作用項の勾配の移動平均値と前記引力相互作用項の勾配の二乗の移動平均値の平方根とが近くなるにしたがって前記第１更新幅を大きくすると共に前記勾配の移動平均値が前記勾配の二乗の移動平均値の平方根よりも小さくなるにつれて前記第１更新幅を小さくするように導出する請求項１４記載のプログラム。
    

    
16. 前記全体評価関数の最適解を探索する手順では、
    前記引力相互作用項の勾配を（１９）式とし、前記引力相互作用項の勾配の移動平均値を（２０－１）式とし、前記引力相互作用項の勾配の二乗の移動平均値を（２０－２）式としたときに、前記第１更新幅を（２１－１）式、（２１－２）式のように導出する請求項１５記載のプログラム。
    

    

    

    
17. 前記全体評価関数の最適解を探索する手順では、
    前記部分評価関数の勾配に応じて前記個体の変数の第２更新幅（Δｘ_ｃ）を導出し、当該第２更新幅を前記第１更新幅（Δｘ_ｑ）に加算した合計更新幅（Δｘ）を算出して導出するように構成され、
    前記第２更新幅を導出するときに、前記部分評価関数の勾配の移動平均値と前記部分評価関数の勾配の二乗の移動平均値の平方根とが近くなるにしたがって前記第２更新幅を大きくすると共に前記勾配の移動平均値が前記勾配の二乗の移動平均値の平方根よりも小さくなるにつれて前記第２更新幅を小さくするように導出する請求項１５または１６記載のプログラム。
18. 前記部分評価関数の勾配を（１６）式とし、前記部分評価関数の勾配の移動平均値を（１７－１）式とし、前記部分評価関数の勾配の二乗の移動平均値を（１７－２）式としたときに、前記第２更新幅を（１８－１）式、（１８－２）式のように導出する請求項１７記載のプログラム。
    

    

    

    
19. 前記実効的な評価関数を（１）式として定義したときに、前記引力相互作用項を（２５）式とし、前記（２５）式中のρ_ｉを所定値とするか又は初期値から大きくすることで個体の間に引力を作用させて最適値に収束させる請求項１５から１８の何れか一項に記載のプログラム。
    

    
20. 前記全体評価関数の最適解を探索する手順では、
    前記部分評価関数と引力相互作用項（ｆ（ｘ_ｉ－ｘ_ｉ＋１））により構成される実効的な評価関数（Ｈ_ｅｆｆ）を（１）式としたときに、引力相互作用の項を（２）式として（３－１）式、及び（３－２）式を満たすように一次引力係数（λ _ｉ ）を更新し、前記個体の間に引力を作用させる請求項１４記載のプログラム。
    

    

    

    
21. 前記全体評価関数の最適解を探索する手順では、
    前記（３－１）式、及び（３－２）式のｇ（ｘ）を（４）式として探索する請求項２０記載のプログラム。
    

    
22. 前記全体評価関数の最適解を探索する手順では、
    前記部分評価関数と引力相互作用項（ｆ（ｘ _ｉ －ｘ _ｉ＋１ ））により構成される実効的な評価関数を（１）式として定義したときに、引力相互作用の項を（１５）式とし、前記（１５）式中のρ_ｉを初期値から大きくすることで個体の間に引力を作用させて最適値に収束させる請求項１４記載のプログラム。
    

    
23. 前記部分評価関数と引力相互作用項（ｆ（ｘ _ｉ －ｘ _ｉ＋１ ））により構成される実効的な評価関数を（１）式として定義したときに、前記実効的な評価関数を極小化する手順では、
    前記部分評価関数（Ｈ_ｉ）の解候補を求めた後、当該解候補を代入したときの微分値が当該部分評価関数の微分値と等しく、且つ、前記解候補を含む前記探索空間の内の全ての変数における評価値よりも大きな値を得る条件を満たす２次関数に置換し、当該２次関数の極値を次回の値の解候補として繰り返して更新する補助関数法を用いる請求項１４，２０から２２の何れか一項に記載のプログラム。
    

    
24. 前記複数の個体の変数を設定する手順では、
    初期分布として前記探索空間に前記複数の個体の変数をランダムに分布させるように設定する請求項１４から２３の何れか一項に記載のプログラム。
25. 前記変数の探索を開始する前に予め変数の推定解（ｘiz）が与えられている場合、
    前記複数の個体の変数を設定する手順では、
    初期分布として前記探索空間の内部に限定された限定探索範囲（Ｓａ）であって当該推定解を含む限定探索範囲に前記個体の変数を設定する請求項１４から２３の何れか一項に記載のプログラム。
26. 前記個体は前記部分評価関数の間で同数の変数（ｘ_ｉ）を備える請求項１４から２５のいずれか一項に記載のプログラム。

Images