JP7235129B2 - 変数最適化装置、変数最適化方法、プログラム - Google Patents

Description

本発明は、変数を最適化する技術に関する。

最適化技術は、画像処理、音声認識、自然言語処理など幅広い分野で利用されている。この最適化技術では、最適化のために、個々の問題に応じて設計されるコスト関数が用いられる。

以下では、コスト関数G(w)=G₁(w)+G₂(w)（w∈Rⁿ（nは1以上の整数）は最適化対象となる変数、関数G₁, G₂:Rⁿ→R∪{∞}はいずれも閉真凸関数（以後、閉真凸関数のことを単に凸関数という）である）の最小化問題を考える。

なお、コスト関数Gが3つ以上の項を含んでいる場合であっても、2つの凸関数の和として表現されれば式(1)に還元される。

この最小化問題（凸最適化問題ということもある）の最適解（つまり、最適化により最終的に得られる値）となる不動点wは、コスト関数Gの劣微分が0を含むときに得られる。

ここで、∂は劣微分作用素を表す。また、∂G_i(i=1, 2)は極大単調作用素となる。

なお、関数G_iが不連続点を含む場合、その劣微分は集合となる。したがって、式(2)の劣微分（右辺）は多値となり得る。そのため、ここでは等号「=」の代わりに包含記号「∈」を用いる。

《ラグランジュ双対上昇問題》
次式のように、２つの変数{p, q}（p∈R^k, q∈R^m（k, mは1以上の整数））が線形等式により拘束された状況下で、２つの凸コスト関数H₁:R^k→R∪{∞}, H₂:R^m→R∪{∞}の和を最小化する問題（ラグランジュ双対上昇問題）について考える。

ここで、行列A∈R^n×k, B∈R^n×mとベクトルc∈Rⁿ（nは1以上の整数）は事前に与えられる。

ラグランジュ双対上昇問題のような、線形拘束付最小化問題を解くための１つの有用な戦略が、双対問題を解くことである。線形拘束付最小化問題に対して双対問題が存在する場合、双対問題はラグランジュ関数L(p, q, λ)のsup/inf（上界／下界）問題として定義される。

ここで、λ∈Rⁿは双対変数であり、・^Tは転置を表す。また、H_i ^*(i=1, 2)はH_iの凸共役関数であり、それぞれ次式で与えられる。

λをwと置き換え、∂G₁(w)=A∂H₁ ^*(A^Tw), ∂G₂(w)=B∂H₂ ^*(B^Tw)-cとすれば、式(4)の右辺の問題は、式(2)の不動点を求める問題に帰着することがわかる。

ラグランジュ双対上昇問題の具体例として、全変動ノルムを用いた画像のノイズ除去問題がある。この問題については後述する。

ラグランジュ双対上昇問題などのコスト関数の最小化問題を解く方法として、非特許文献１に記載の方法がある。

K. Niwa and W. B. Kleijn, "Bregman monotone operator splitting", https://arxiv.org/abs/1807.04871, 2018.

非特許文献１に記載の変数更新則を用いてラグランジュ双対上昇問題を解く場合、コスト関数の値を小さくするように、変数を１ステップで更新しにくい（あるいは、更新できない）ことがある。つまり、従来の変数更新則では、場合によっては、最適解への収束に時間がかかるという問題、すなわち、変数の最適化に時間がかかるという問題があった。

そこで本発明では、最適化対象となる変数を高速に最適化する技術を提供することを目的とする。

本発明の一態様は、w∈Rⁿを最適化対象となる変数、G(w)(=G₁(w)+G₂(w))を入力データを用いて計算される、変数wを最適化するためのコスト関数（ただし、関数G_i(w):Rⁿ→R∪{∞} (i=1, 2)は閉真凸関数）とし、D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、R_i(i=1, 2), C_i(i=1, 2)をそれぞれ次式で定義されるD-リゾルヴェント作用素、D-ケーリー作用素とし、

変数最適化装置が、D-リゾルヴェント作用素R_i(i=1, 2)とD-ケーリー作用素C_i(i=1, 2)を用いて、変数wの値を再帰的に計算する変数更新ステップを含み、^-G_i(w) (i=1, 2)を関数G_i(w) (i=1, 2)を近似する強凸関数とし、前記変数更新ステップにおいて∇D(w)を計算する際、D-リゾルヴェント作用素R₁とD-ケーリー作用素C₁に対しては∇D(w)の計算にT₁(w)=∇^-G₁(w)-∇^-G₁(0)を用い、D-リゾルヴェント作用素R₂とD-ケーリー作用素C₂に対しては∇D(w)の計算にT₂(w)=∇^-G₂(w)-∇^-G₂(0)を用いる。

本発明によれば、最適化対象となる変数を高速に最適化することが可能となる。

凸最適化問題に対する変数更新アルゴリズムを示す図である。 凸最適化問題に対する変数更新アルゴリズムを示す図である。 ラグランジュ双対上昇問題に対する変数更新アルゴリズムを示す図である。 ラグランジュ双対上昇問題に対する変数更新アルゴリズムを示す図である。 ノイズ除去問題に対する変数更新アルゴリズムを示す図である。 変数最適化装置１００／２００の構成を示すブロック図である。 変数最適化装置１００／２００の動作を示すフローチャートである。 変数更新部１２０の構成を示すブロック図である。 変数更新部１２０の動作を示すフローチャートである。 変数更新部２２０の構成を示すブロック図である。 変数更新部２２０の動作を示すフローチャートである。 ノイズ除去装置３００の構成を示すブロック図である。 ノイズ除去装置３００の動作を示すフローチャートである。 画像更新部３２０の構成を示すブロック図である。 画像更新部３２０の動作を示すフローチャートである。 本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

各実施形態の説明に先立って、この明細書における表記方法について説明する。

_（アンダースコア）は下付き添字を表す。例えば、x^y_zはy_zがxに対する上付き添字であり、x_{y_z}はy_zがxに対する下付き添字であることを表す。

また、ある文字xに対する^xや~xのような上付き添え字の”^”や”~”は、本来”x”の真上に記載されるべきであるが、明細書の記載表記の制約上、^xや~xと記載しているものである。

＜技術的背景＞
まず、非特許文献１を参照して、式(2)の問題を解く手続きについて詳しく説明する。

《１：ブレグマン(Bregman)単調作用素分解に基づく変数更新則》
ここでは、式(2)の問題を解く方法として、ブレグマン単調作用素分解を用いる方法について説明する。この方法は、変数wを含む複数の変数を並列に更新しながら最終的にコスト関数Gを最小化するような不動点を得るための変数更新則である。なお、最適化の対象となる変数のことを主変数ということもある。

まず、変数更新則を導出する前にいくつかの準備を行う。

（１－１：ブレグマンダイバージェンス）
ブレグマンダイバージェンスは変数空間の計量を修正するために重要な役割を持つ。2つの異なる点{w, z}に対して、ブレグマンダイバージェンスJ_D(w||z)は次式で定義される。

ここで、∇は微分作用素を表す。ブレグマンダイバージェンスの定義に用いる関数D:Rⁿ→Rとして、任意の微分可能な狭義凸関数を用いることができる。したがって、関数Dは、例えば、非対称関数であっても構わない。

以下では、関数Dを∇D(0)=0を満たすものに限定する。その理由は、不動点に関する条件である式(2)に対して∇Dを適用した、以下の式(6)が成り立つようにするためである。

ここで、・^-1は逆作用素、оは2つの作用素の合成を表す。

一般に、関数Dが異なれば、(∇D)^-1о∂G_iの性質は変わる。このため、∇Dの設計次第で、は変数更新則の収束率は変わることになる。つまり、∇Dは収束率の高速化に大きく影響する。収束率の高速化を図ることができる∇Dの設計については後述する。

（１－２：D-リゾルヴェント作用素とD-ケーリー作用素）
D-リゾルヴェント作用素R_i(i=1, 2)、D-ケーリー作用素C_i(i=1, 2)はそれぞれ式(7)、式(8)で与えられる。

ここで、Iは同一作用素を表す。

なお、関数Dとしてn次元ユークリッド距離関数を用いると、D-リゾルヴェント作用素、D-ケーリー作用素はそれぞれよく知られたリゾルヴェント作用素、ケーリー作用素となる。つまり、D-リゾルヴェント作用素、D-ケーリー作用素は、それぞれリゾルヴェント作用素を一般化した作用素、ケーリー作用素を一般化した作用素となっている。

（１－３：ブレグマン単調作用素分解に基づく変数更新則）
以上の準備にもと、ブレグマン単調作用素分解に基づく変数更新則を導出する。ここでは、Bregman Peaceman-Rachford (B-P-R)型単調作用素分解(B-P-R splitting)に基づくBregman Peaceman-Rachford (B-P-R)型変数更新則と、Bregman Douglas-Rachford (B-D-R)型単調作用素分解(B-D-R splitting)に基づくBregman Douglas-Rachford (B-D-R)型変数更新則について説明する。

B-P-R型変数更新則は、(∇D)^-1によって変数空間の計量が修正された不動点に関する条件を表す式(6)を変形することにより得られる。

w∈R₁(z)を満たす変数wの補助変数zを用いると、補助変数zに関して再帰的なB-P-R型単調作用素分解の式(9)が得られる。

式(9)を用いたB-P-R型変数更新則では、D-ケーリー作用素C₁, C₂を用いて変数を繰り返し更新していくことで、不動点が得られる。

D-リゾルヴェント作用素R₁, R₂及び補助変数x, y, z∈Rⁿを用いて、式(9)を簡単な変数更新則（B-P-R型変数更新則）に分解すると、式(10)～式(13)が得られる。

ここで、tは更新回数を表すインデックスである。

式(10)を変形すると、式(14)が得られる。

変数wの最小値が存在する場合、式(14)の積分形は式(15)で表される。

この式(15)は、ブレグマンダイバージェンスを用いて罰則項が一般化されたことを示している。

同様の議論により、式(12)から次式が得られる。

まとめると、B-P-R型単調作用素分解に基づくB-P-R型変数更新則は以下のようになる。

次に、B-D-R型変数更新則について説明する。B-D-R型単調作用素分解は、式(9)に平均化作用素を適用した、式(16)として得られる。

ここで、α∈(0, 1)である。

上記議論と同様の議論により、以下のB-D-R型単調作用素分解に基づくB-D-R型変数更新則が得られる。

以上、B-P-R型変数更新則とB-D-R型変数更新則について、それぞれアルゴリズムとしてまとめると図１のようになる。図１は、B-P-R型変数更新アルゴリズム、B-D-R型変数更新アルゴリズムが変数wとその補助変数x, y, zの更新則として実現されることを示している。

《２：収束率高速化のための条件》
B-P-R型単調作用素分解、B-D-R型単調作用素分解の収束率を算出することにより、収束率高速化のための条件を導出する。これにより、高速化を実現する∇Dの設計条件を考察することが可能となる。

2つの異なる点{w, z}を用いて、劣微分∂G_iの単調性が式(17)により表されるものと仮定する。

ここで、{ρ_LB,i, ρ_UB,i}∈[0, ∞]である。一般に、{ρ_LB,i, ρ_UB,i}は関数G_iによって変わる。例えば、関数G_iが強凸かつリプリッツ平滑である場合、{ρ_LB,i, ρ_UB,i}∈(0, ∞)となる。

そして、計量修正作用素(∇D)^-1を適用することにより、式(17)の単調性が式(18)により表されるようになると仮定する。

ここで、{σ_LB,i, σ_UB,i}∈[0, ∞]である。一般に、{σ_LB,i, σ_UB,i}は∇Dの設計によって変わる。

上記仮定のもと、式(9)のB-P-R型単調作用素分解の収束率は、（詳細な導出については省略することにするが、）式(19)で表される。

ここで、z^tはｔ回更新したzの値、z⁰はzの初期値、z^*はzの不動点を表す。また、η_i(i=1, 2)は、式(20)で与えられる。

式(20)からわかるように、η_iが0に近い値になるほど、収束率の高速化が見込める。

これは、B-D-R型単調作用素分解でも同様であり、式(16)のB-D-R型単調作用素分解の収束率は、式(19)’で表される。

式(20)で与えられるη_iは、式(21)を満たす。つまり、η_iは0以上1以下の値をとり得る。

σ_LB,i=1, σ_UB,i=1であるとき、η_i=0となることからわかるように、σ_LB,i, σ_UB,iがそれぞれ1に近い値をとるとき、η_iも0に近い値をとる。したがって、式(18)を満たすσ_LB,i, σ_UB,iがそれぞれ1に近い値をとるように、∇Dを設計すると収束率の高速化が期待できる。

《３：従来の∇Dの設計》
非特許文献１では、式(22)に示すような正定値行列Mを用いた線形関数として∇Dを設計した。

正定値行列Mを用いた線形関数としたのは、行列Mに応じて、ニュートン(Newton)法、加速勾配(AGD)法、（一次）勾配降下(GD)法といった既存の最適化方法と結び付けられるからである。実際、正定値行列Mを適切に設計することにより、高速収束を実現することが数値シミュレーションによりわかっている。

しかし、ブレグマンダイバージェンスの定義に用いる関数Dの要件は、(1)∇D(0)=0を満たすことと、(2)微分可能な狭義凸関数であることの２点である。つまり、式(22)のように、正定値行列Mを用いた線形関数により∇Dを設計するのは、上記２つの要件を満たす関数Dの一例に過ぎない。つまり、∇Dがより収束率を高速化するような、上記２つの要件を満たす関数Dは上記設計以外にも存在する可能性がある。

《４：本願発明における∇Dの設計》
そこで、∇D(w)=Mwを満たす関数Dに制限するのではなく、式(18)を満たすσ_LB,i, σ_UB,iがそれぞれ1に近い値をとるような、∇Dの設計について提案する。具体的には、(1)高次の勾配情報を含む連続な非線形関数を∇Dに利用し、(2)∂G₁と∂G₂に適応して、∇Dを交互に修正することを特徴とする方法（以下、適応型交互計量修正法という）について提案する。

そのために、強単調性を満たす∇Dを用いることを考える。具体的には、コスト関数G_iを近似する微分可能な強凸関数^-G_i(i=1, 2)を用いて、∇Dを式(23)で定義する。

ここで、式(23)の∇Dが強単調性を満たすようにするために、正の係数{γ₁ ^t, γ₂ ^t}を用いる。{γ₁ ^t, γ₂ ^t}は、例えば、次式のようにすればよい。

式(23)により、∇Dが交互に適応的に修正されることがわかる。

図１のB-P-R型変数更新アルゴリズム、B-D-R型変数更新アルゴリズムに、式(23)の∇Dの設計を取り入れることにより、図２に示すB-P-R型変数更新アルゴリズム、B-D-R型変数更新アルゴリズムが得られる。

《５：ラグランジュ双対上昇問題に対するブレグマン単調作用素分解に基づく変数更新則》
ここでは、式(23)の∇Dを用いて、ラグランジュ双対上昇問題に対するB-P-R型変数更新則、B-D-R型変数更新則を導出する。

先述の通り、ラグランジュ双対上昇問題では、２つの極大単調作用素を∂G₁(w)=A∂H₁ ^*(A^Tw), ∂G₂(w)=B∂H₂ ^*(B^Tw)-cを用いた。１つ目の極大単調作用素∂G₁(w)に対して、∂G₁(w)=A∂H₁ ^*(A^Tw)と式(7)を用いて、変数wの補助変数zの定義式w∈R₁(z)を変形すると、式(24)が得られる。

ここで、変数p∈∂H₁ ^*(A^Tw)と、~w=∇D(w), ~z=∇D(z)（つまり、~w, ~zはそれぞれw, ｚを非線形変換した双対変数）に対して、式(25)が成り立つ。

凸共役関数の劣微分が∂H₁ ^*=(∂H₁)^-1を満たすという基本的な性質を用いることにより、変数pに関する式p∈∂H₁ ^*(A^Tw)は、式(26)のように変形される。

ここで、pの最小値が存在する場合、式(26)の積分形である式(27)によりpの更新則が表される。

ここで、D⁺は∇D⁺=(∇D)^-1を満たす強凸関数である。

また、式(25)と、式(11)に対応する式x∈2w-zに非線形変形を適用して得られる式~x∈2~w-~zとを合成することにより、双対変数~xの更新則を表す式(28)が得られる。

２つ目の極大単調作用素∂G₂(w)=B∂H₂ ^*(B^Tw)-cに対しても、同様の議論により次式を導出することができる。

以上、ラグランジュ双対上昇問題に対するB-P-R型変数更新則、B-D-R型変数更新則について、それぞれアルゴリズムとしてまとめると図３のようになる。図３は、ラグランジュ双対上昇問題に対するB-P-R型変数更新アルゴリズム、B-D-R型変数更新アルゴリズムが変数p, qとその双対変数~x, ~zの更新則として実現されることを示している。

また、図３に示した２つのアルゴリズムに、式(23)の∇Dの設計を取り入れることにより、図４に示すB-P-R型変数更新アルゴリズム、B-D-R型変数更新アルゴリズムが得られる。

《６：全変動ノルムを用いた画像のノイズ除去問題》
ここでは、図４のアルゴリズムの応用例として、全変動ノルムを用いた画像のノイズ除去問題のための最適化アルゴリズムについて説明する。

全変動ノルムを用いた画像のノイズ除去問題を定義するために、例えば、次式のコスト関数H₁, H₂を用いることができる。

ここで、pは画像を表す変数、qはpの補助変数、sは観測画像（つまり、ノイズを除去する前の画像）を表す。また、μ, θ(>0)は所定の係数である。

また、２つの変数{p, q}は、式q=Φp（ただし、Φは正方巡回行列）により拘束されているものとする。Φが正方巡回行列であるので、qのi番目の要素q_iは離散差分演算q_i=[Φp]_i=p_i-1-p_i+1により得られる。なお、正方巡回行列Φを用いるのは、演算量削減のためである。

ここで、A=Φ, B=-I, c=0とすることにより、上記仮定をおいたノイズ除去問題が式(3)により記述されることがわかる。したがって、このノイズ除去問題に、図４のアルゴリズムを用いることができる。

以下、∇Dの設計について説明する。１つ目の極大単調作用素∂G₁(z)=Φ∂H₁ ^*(Φ^Tz)に対しては、例えば、∇D, (∇D)^-1をそれぞれ次式のようにすることができる。

ここで、ξ(>0)は関数T₁が強単調性を満たすようにするために用いる係数である。

また、２つ目の極大単調作用素∂G₂(x)=-∂H₂ ^*(-x)-cに対しては、例えば、∇D, (∇D)^-1をそれぞれ次式のようにすることができる。

ここで、x_i(i=1, …, n)はxのi番目の要素を表す。また、ν(>0)は所定の定数であり、ν>μθが成り立つものとする。

以上、まとめると、上記仮定をおいたノイズ除去問題に対するB-P-R型変数更新アルゴリズム、B-D-R型変数更新アルゴリズムは、図５のようになる。図５において、F, ΨはそれぞれΦ=FΨF^Tを満たすn次元ＤＦＴ行列と対角行列、Ωは(ΦΦ^T+ξI)=FΩF^Tを満たす対角行列である。ここで、・^Hはエルミート転置を表す。

＜第１実施形態＞
以下、図６～図７を参照して変数最適化装置１００を説明する。図６は、変数最適化装置１００の構成を示すブロック図である。図７は、変数最適化装置１００の動作を示すフローチャートである。図６に示すように変数最適化装置１００は、変数更新部１２０と、記録部１９０を含む。記録部１９０は、変数最適化装置１００の処理に必要な情報を適宜記録する構成部である。

変数最適化装置１００は、入力データを用いて、最適化の対象となる変数w∈Rⁿ（nは1以上の整数）を最適化し、その結果を出力値として出力する。ここで、入力データは変数wの最適化に用いるコスト関数G(w)を求めるために用いるデータである。以下、入力データを用いて計算される、変数wを最適化するためのコスト関数G(w)は、G(w)=G₁(w)+G₂(w)（ただし、関数G_i(w):Rⁿ→R∪{∞} (i=1, 2)は閉真凸関数）と表されるものとする。

図７に従い変数最適化装置１００の動作について説明する。

Ｓ１２０において、変数更新部１２０は、入力データを用いて、所定の手順により変数wを最適化し、その結果を出力値として出力する。以下、具体的に説明する。なお、ブレグマンダイバージェンスの定義に用いる関数D:Rⁿ→Rは、微分可能であり、∇D(0)=0を満たす狭義凸関数であるものとする。

まず、変数更新部１２０は、入力データを用いて、変数wを最適化する際に用いるセットアップデータを計算する（Ｓ１２１－１）。変数更新部１２０は、例えば、コスト関数G_i(w) (i=1, 2)、関数Dと関数G_iを用いて定義されるD-リゾルヴェント作用素R_i(i=1,2)、D-リゾルヴェント作用素R_iを用いて定義されるD-ケーリー作用素C_i(i=1,2)、関数G_i(w) (i=1, 2)を近似する強凸関数^-G_i(w) (i=1, 2)をセットアップデータとして計算する。

次に、変数更新部１２０は、D-リゾルヴェント作用素R_i(i=1,2)とD-ケーリー作用素C_i(i=1,2)を用いて、変数wの値を再帰的に計算する（Ｓ１２１－２）。変数更新部１２０が∇D(w)を計算する際、D-リゾルヴェント作用素R₁とD-ケーリー作用素C₁に対しては∇D(w)の計算にT₁(w)=∇^-G₁(w)-∇^-G₁(0)を用い、D-リゾルヴェント作用素R₂とD-ケーリー作用素C₂に対しては∇D(w)の計算にT₂(w)=∇^-G₂(w)-∇^-G₂(0)を用いる（式(23)参照）。

また、変数更新部１２０を図２のアルゴリズムに基づいて変数wの値を再帰的に計算する構成部として構成することもできる。つまり、Ｓ１２０において、変数更新部１２０は、入力データを用いて、所定のセットアップデータを計算した後、変数wのt+1回目の更新結果であるw^t+1の計算を繰り返す。ここで、tは更新回数のカウントに用いる変数（以下、カウンタともいう）であり、0以上の整数値をとる。

以下、図８～図９を参照して変数更新部１２０について説明する。図８は、変数更新部１２０の構成を示すブロック図である。図９は、変数更新部１２０の動作を示すフローチャートである。図８に示すように変数更新部１２０は、初期化部１２１と、第１係数変数計算部１２２１と、変数計算部１２２２と、第１補助変数計算部１２２３と、第２係数変数計算部１２２４と、第２補助変数計算部１２２５と、第３補助変数計算部１２２６と、カウンタ更新部１２３と、終了条件判定部１２４を含む。

図９に従い変数更新部１２０の動作について説明する。なお、先ほどと同じく、D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、J_Dを関数Dを用いて定義されるブレグマンダイバージェンス、^-G_i(w) (i=1, 2)を関数G_i(w) (i=1, 2)を近似する強凸関数、T₁(w), T₂(w)を次式で定義される関数

とし、ここでは、変数wの補助変数x, y, z∈Rⁿを用いる。

Ｓ１２１において、初期化部１２１は、カウンタtを初期化する。具体的には、t=0とする。また、初期化部１２１は、セットアップデータを計算する。

Ｓ１２２１において、第１係数計算部１２２１は、次式により、第１係数γ₁のt+1回目の更新結果であるγ₁ ^t+1を計算する。

Ｓ１２２２において、変数計算部１２２２は、次式により、変数wのt+1回目の更新結果であるw^t+1を計算する。

Ｓ１２２３において、第１補助変数計算部１２２３は、次式により、補助変数xのt+1回目の更新結果であるx^t+1を計算する。

Ｓ１２２４において、第２係数計算部１２２４は、次式により、第２係数γ₂のt+1回目の更新結果であるγ₂ ^t+1を計算する。

Ｓ１２２５おいて、第２補助変数計算部１２２５は、次式により、補助変数yのt+1回目の更新結果であるy^t+1を計算する。

Ｓ１２２６おいて、第３補助変数計算部１２２６は、所定の式により、補助変数zのt+1回目の更新結果であるz^t+1を計算する。

B-P-R型単調作用素分割を用いる場合は、次式を用いる。

また、B-D-R型単調作用素分割を用いる場合は、次式を用いる。

（ただし、αは0<α<1を満たす実数）
Ｓ１２３において、カウンタ更新部１２３は、カウンタtを1だけインクリメントする。具体的には、t←t+1とする。

Ｓ１２４において、終了条件判定部１２４は、カウンタtが所定の更新回数T（Tは1以上の整数とする）に達した場合（つまり、t=Tとなり、終了条件が満たされた場合）は、そのときの変数wの値w^Tを出力値として、処理を終了する。それ以外の場合、Ｓ１２２１の処理に戻る。つまり、変数更新部１２０は、Ｓ１２２１～Ｓ１２４の計算を繰り返す。

本実施形態の発明によれば、最適化対象となる変数を高速に最適化することができる。

＜第２実施形態＞
以下、図６～図７を参照して変数最適化装置２００を説明する。図６は、変数最適化装置２００の構成を示すブロック図である。図７は、変数最適化装置２００の動作を示すフローチャートである。図６に示すように変数最適化装置２００は、変数更新部２２０と、記録部１９０を含む。記録部１９０は、変数最適化装置２００の処理に必要な情報を適宜記録する構成部である。

変数最適化装置２００は、入力データを用いて、最適化の対象となる変数p∈R^k, q∈R^m（k, mは1以上の整数）を最適化し、その結果を出力値として出力する。ここで、入力データは、変数p, qを最適化するためのコスト関数H₁(p)+H₂(q)を求めるために用いるデータである。以下、入力データを用いて計算される、変数p, qを最適化するためのコスト関数H₁(p)+H₂(q)を構成する関数H₁(p):R^k→R∪{∞}, H₂(q):R^m→R∪{∞}は、それぞれ閉真凸関数とする。また、事前に与えられている行列A∈R^n×k, B∈R^n×m及びベクトルc∈Rⁿを用いて、変数p, qが満たすべき制約Ap+Bq=cで拘束されているものとする。

図７に従い変数最適化装置２００の動作について説明する。

Ｓ２２０において、変数更新部２２０は、入力データを用いて、所定の手順により変数p, qを最適化し、その結果を出力値として出力する。以下、図４のアルゴリズムに基づいて変数p, qの値を再帰的に計算する構成部として構成した変数更新部２２０について説明する。つまり、Ｓ２２０において、変数更新部２２０は、入力データを用いて、所定のセットアップデータを計算した後、変数pのt+1回目の更新結果であるp^t+1と変数qのt+1回目の更新結果であるq^t+1の計算を繰り返す。ここで、tは更新回数のカウントに用いる変数（以下、カウンタともいう）であり、0以上の整数値をとる。

以下、図１０～図１１を参照して変数更新部２２０について説明する。図１０は、変数更新部２２０の構成を示すブロック図である。図１１は、変数更新部２２０の動作を示すフローチャートである。図１０に示すように変数更新部２２０は、初期化部２２１と、第１係数変数計算部２２２１と、第１変数計算部２２２２と、第１双対変数計算部２２２３と、第２係数変数計算部２２２４と、第２変数計算部２２２５と、第２双対変数計算部２２２６と、カウンタ更新部２２３と、終了条件判定部２２４を含む。

図１１に従い変数更新部２２０の動作について説明する。なお、D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、D⁺を∇D⁺=(∇D)^-1を満たす強凸関数、J_D+を関数D⁺を用いて定義されるブレグマンダイバージェンス、∂G₁(w), ∂G₂(w)（w∈Rⁿは双対変数）を次式で定義される極大単調作用素

、T₁(w), T₂(w)を次式で定義される関数

とし、ここでは、双対変数x, z∈Rⁿに対して、~x=∇D(x), ~z=∇D(z)で定義される双対変数~x, ~z∈Rⁿを用いる。

Ｓ２２１において、初期化部２２１は、カウンタtを初期化する。具体的には、t=0とする。また、初期化部２２１は、変数p, qを最適化する際に用いるセットアップデータを計算する。初期化部２２１は、例えば、コスト関数H₁(p), H₂(q)をセットアップデータとして計算する。

Ｓ２２２１において、第１係数計算部２２２１は第１係数γ₁のt+1回目の更新結果であるγ₁ ^t+1を計算する。

Ｓ２２２２において、第１変数計算部２２２２は、次式により、変数pのt+1回目の更新結果であるp^t+1を計算する。

Ｓ２２２３において、第１双対変数計算部２２２３は、次式により、双対変数~xのt+1回目の更新結果である~x^t+1を計算する。

Ｓ２２２４において、第２係数計算部２２２４は、次式により、第２係数γ₂のt+1回目の更新結果であるγ₂ ^t+1を計算する。

Ｓ２２２５おいて、第２変数計算部２２２５は、次式により、変数qのt+1回目の更新結果であるq^t+1を計算する。

Ｓ２２２６おいて、第２双対変数計算部２２２６は、所定の式により、双対変数~zのt+1回目の更新結果である~z^t+1を計算する。

B-P-R型単調作用素分割を用いる場合は、次式を用いる。

また、B-D-R型単調作用素分割を用いる場合は、次式を用いる。

（ただし、αは0<α<1を満たす実数）
Ｓ２２３において、カウンタ更新部２２３は、カウンタtを1だけインクリメントする。具体的には、t←t+1とする。

Ｓ２２４において、終了条件判定部２２４は、カウンタtが所定の更新回数T（Tは1以上の整数とする）に達した場合（つまり、t=Tとなり、終了条件が満たされた場合）は、そのときの変数p, qの値p^T, q^Tを出力値として、処理を終了する。それ以外の場合、Ｓ２２２１の処理に戻る。つまり、変数更新部２２０は、Ｓ２２２１～Ｓ２２４の計算を繰り返す。

本実施形態の発明によれば、最適化対象となる変数を高速に最適化することができる。

＜第３実施形態＞
ここでは、＜技術的背景＞の《６：全変動ノルムを用いた画像のノイズ除去問題》で説明した図５のアルゴリズムに対応する実施形態について説明する。

以下、図１２～図１３を参照してノイズ除去装置３００を説明する。図１２は、ノイズ除去装置３００の構成を示すブロック図である。図１３は、ノイズ除去装置３００の動作を示すフローチャートである。図１２に示すようにノイズ除去装置３００は、画像更新部３２０と、記録部１９０を含む。記録部１９０は、ノイズ除去装置３００の処理に必要な情報を適宜記録する構成部である。

ノイズ除去装置３００は、観測画像sを用いて、ノイズを除去した出力画像を生成し、出力する。その際、画像を表す変数p∈R^kと変数pの補助変数q∈R^m（k, mは1以上の整数）を用い、変数p（とq）を最適化することにより、出力画像を生成する。ここでは、変数p, qを最適化するためのコスト関数H₁(p)+H₂(q)を構成する関数H₁(p), H₂(q)としてに次式で定義される関数を用いる。

ここで、μ, θ(>0)は所定の係数である。

また、変数{p, q}は、式q=Φp（ただし、Φは事前に与えられている正方巡回行列）により拘束されているものとする。

図１３に従いノイズ除去装置３００の動作について説明する。

Ｓ３２０において、画像更新部３２０は、観測画像sを用いて、所定の手順により変数p, qを最適化し、その結果を出力画像として出力する。以下、図５のアルゴリズムに基づいて変数p, qの値を再帰的に計算する構成部として構成した画像更新部３２０について説明する。つまり、Ｓ３２０において、画像更新部３２０は、観測画像sを用いて、所定のセットアップデータを計算した後、変数pのt+1回目の更新結果であるp^t+1と変数qのt+1回目の更新結果であるq^t+1の計算を繰り返す。ここで、tは更新回数のカウントに用いる変数（以下、カウンタともいう）であり、0以上の整数値をとる。

以下、図１４～図１５を参照して画像更新部３２０について説明する。図１４は、画像更新部３２０の構成を示すブロック図である。図１５は、画像更新部３２０の動作を示すフローチャートである。図１４に示すように画像更新部３２０は、初期化部３２１と、第１係数変数計算部３２２１と、第１変数計算部３２２２と、第１双対変数計算部３２２３と、第２係数変数計算部３２２４と、第２変数計算部３２２５と、第２双対変数計算部３２２６と、カウンタ更新部３２３と、終了条件判定部３２４を含む。

図１５に従い画像更新部３２０の動作について説明する。なお、D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、D⁺を∇D⁺=(∇D)^-1を満たす強凸関数、∂G₁(w), ∂G₂(w)（w∈Rⁿは双対変数）を次式で定義される極大単調作用素

、T₁(w), T₂(w)を次式で定義される関数

（ただし、x_i(i=1, …, n)はxのi番目の要素を表す。また、ν(>0)は所定の定数であり、ν>μθが成り立つ。）とし、ここでは、双対変数x, z∈Rⁿに対して、~x=∇D(x), ~z=∇D(z)で定義される双対変数~x, ~z∈Rⁿを用いる。

また、Φ=FΨF^Tを満たすn次元ＤＦＴ行列Fと対角行列Ψ、(ΦΦ^T+ξI)=FΩF^Tを満たす対角行列Ωとする。

Ｓ３２１において、初期化部３２１は、カウンタtを初期化する。具体的には、t=0とする。また、初期化部３２１は、変数p, qを最適化する際に用いるセットアップデータを計算する。初期化部３２１は、例えば、コスト関数H₁(p), H₂(q)をセットアップデータとして計算する。

Ｓ３２２１において、第１係数計算部３２２１は第１係数γ₁のt+1回目の更新結果であるγ₁ ^t+1を計算する。

Ｓ３２２２において、第１変数計算部３２２２は、次式により、変数pのt+1回目の更新結果であるp^t+1を計算する。

Ｓ３２２３において、第１双対変数計算部３２２３は、次式により、双対変数~xのt+1回目の更新結果である~x^t+1を計算する。

Ｓ３２２４において、第２係数計算部３２２４は、次式により、第２係数γ₂のt+1回目の更新結果であるγ₂ ^t+1を計算する。

Ｓ３２２５おいて、第２変数計算部３２２５は、次式により、変数qのt+1回目の更新結果であるq^t+1を計算する。

ただし、~x^t+1=[~x₁ ^t+1, …, ~x_n ^t+1]^Tである。

Ｓ３２２６おいて、第２双対変数計算部３２２６は、所定の式により、双対変数~zのt+1回目の更新結果である~z^t+1を計算する。

B-P-R型単調作用素分割を用いる場合は、次式を用いる。

また、B-D-R型単調作用素分割を用いる場合は、次式を用いる。

（ただし、αは0<α<1を満たす実数）
Ｓ３２３において、カウンタ更新部３２３は、カウンタtを1だけインクリメントする。具体的には、t←t+1とする。

Ｓ３２４において、終了条件判定部３２４は、カウンタtが所定の更新回数T（Tは1以上の整数とする）に達した場合（つまり、t=Tとなり、終了条件が満たされた場合）は、そのときの変数pの値p^Tを出力画像として、処理を終了する。それ以外の場合、Ｓ３２２１の処理に戻る。つまり、画像更新部３２０は、Ｓ３２２１～Ｓ３２４の計算を繰り返す。

本実施形態の発明によれば、観測画像からノイズを除去した画像を高速に生成することができる。

＜補記＞
図１６は、上述の各装置を実現するコンピュータの機能構成の一例を示す図である。上述の各装置における処理は、記録部２０２０に、コンピュータを上述の各装置として機能させるためのプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。

本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

Claims (7)

1. w∈Rⁿを最適化対象となる変数、G(w)(=G₁(w)+G₂(w))を入力データを用いて計算される、変数wを最適化するためのコスト関数（ただし、関数G_i(w):Rⁿ→R∪{∞} (i=1, 2)は閉真凸関数）とし、
   D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、R_i(i=1, 2), C_i(i=1, 2)をそれぞれ次式で定義されるD-リゾルヴェント作用素、D-ケーリー作用素とし、
   

   

   
   D-リゾルヴェント作用素R_i(i=1, 2)とD-ケーリー作用素C_i(i=1, 2)を用いて、変数wの値を再帰的に計算する変数更新部
   を含み、
   ^-G_i(w) (i=1, 2)を関数G_i(w) (i=1, 2)を近似する強凸関数とし、
   前記変数更新部が∇D(w)を計算する際、D-リゾルヴェント作用素R₁とD-ケーリー作用素C₁に対しては∇D(w)の計算にT₁(w)=∇^-G₁(w)-∇^-G₁(0)を用い、D-リゾルヴェント作用素R₂とD-ケーリー作用素C₂に対しては∇D(w)の計算にT₂(w)=∇^-G₂(w)-∇^-G₂(0)を用いる
   変数最適化装置。
2. w∈Rⁿを最適化対象となる変数、G(w)(=G₁(w)+G₂(w))を入力データを用いて計算される、変数wを最適化するためのコスト関数（ただし、関数G_i(w):Rⁿ→R∪{∞} (i=1, 2)は閉真凸関数）とし、
   変数wのt+1回目の更新結果であるw^t+1を計算する変数更新部
   を含み、
   x, y, z∈Rⁿをそれぞれ変数wの補助変数、D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、J_Dを関数Dを用いて定義されるブレグマンダイバージェンス、^-G_i(w) (i=1, 2)を関数G_i(w) (i=1, 2)を近似する強凸関数、T₁(w), T₂(w)をそれぞれ次式で定義される関数
   

   

   
   とし、
   前記変数更新部は、
   次式により、第１係数γ₁のt+1回目の更新結果であるγ₁ ^t+1を計算する第１係数計算部と、
   

   

   
   次式により、変数wのt+1回目の更新結果であるw^t+1を計算する変数計算部と、
   

   

   
   次式により、補助変数xのt+1回目の更新結果であるx^t+1を計算する第１補助変数計算部と、
   

   

   
   次式により、第２係数γ₂のt+1回目の更新結果であるγ₂ ^t+1を計算する第２係数計算部と、
   

   

   
   次式により、補助変数yのt+1回目の更新結果であるy^t+1を計算する第２補助変数計算部と、
   

   

   
   次式により、補助変数zのt+1回目の更新結果であるz^t+1を計算する第３補助変数計算部と、
   

   

   
   を含むことを特徴とする変数最適化装置。
3. w∈Rⁿを最適化対象となる変数、G(w)(=G₁(w)+G₂(w))を入力データを用いて計算される、変数wを最適化するためのコスト関数（ただし、関数G_i(w):Rⁿ→R∪{∞} (i=1, 2)は閉真凸関数）とし、
   変数wのt+1回目の更新結果であるw^t+1を計算する変数更新部
   を含み、
   x, y, z∈Rⁿをそれぞれ変数wの補助変数、D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、J_Dを関数Dを用いて定義されるブレグマンダイバージェンス、^-G_i(w) (i=1, 2)を関数G_i(w) (i=1, 2)を近似する強凸関数、T₁(w), T₂(w)をそれぞれ次式で定義される関数
   

   

   
   とし、
   前記変数更新部は、
   次式により、第１係数γ₁のt+1回目の更新結果であるγ₁ ^t+1を計算する第１係数計算部と、
   

   

   
   次式により、変数wのt+1回目の更新結果であるw^t+1を計算する変数計算部と、
   

   

   
   次式により、補助変数xのt+1回目の更新結果であるx^t+1を計算する第１補助変数計算部と、
   

   

   
   次式により、第２係数γ₂のt+1回目の更新結果であるγ₂ ^t+1を計算する第２係数計算部と、
   

   

   
   次式により、補助変数yのt+1回目の更新結果であるy^t+1を計算する第２補助変数計算部と、
   

   

   
   次式により、補助変数zのt+1回目の更新結果であるz^t+1を計算する第３補助変数計算部と、
   

   

   
   （ただし、αは0<α<1を満たす実数）
   を含むことを特徴とする変数最適化装置。
4. p∈R^k, q∈R^mを最適化対象となる変数、H₁(p)+H₂(q)を入力データを用いて計算される、変数p, qを最適化するためのコスト関数（ただし、関数H₁(p):R^k→R∪{∞}, H₂(q):R^m→R∪{∞}はそれぞれ閉真凸関数）、Ap+Bq=cを変数p, qが満たすべき制約（ただし、行列A∈R^n×k, B∈R^n×m及びベクトルc∈Rⁿは事前に与えられるものとする）とし、
   変数pのt+1回目の更新結果であるp^t+1と、変数qのt+1回目の更新結果であるq^t+1とを計算する変数更新部
   を含み、
   D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、∂G₁(w), ∂G₂(w)（w∈Rⁿは双対変数）をそれぞれ次式で定義される極大単調作用素
   

   

   
   、T₁(w), T₂(w)をそれぞれ次式で定義される関数
   

   

   
   、D⁺を∇D⁺=(∇D)^-1を満たす強凸関数、J_D+を関数D⁺を用いて定義されるブレグマンダイバージェンス、x, z∈Rⁿをそれぞれ双対変数、~x, ~z∈Rⁿをそれぞれ~x=∇D(x), ~z=∇D(z)で定義される双対変数とし、
   前記変数更新部は、
   次式により、第１係数γ₁のt+1回目の更新結果であるγ₁ ^t+1を計算する第１係数計算部と、
   

   

   
   次式により、変数pのt+1回目の更新結果であるp^t+1を計算する第１変数計算部と、
   

   

   
   次式により、双対変数~xのt+1回目の更新結果である~x^t+1を計算する第１双対変数計算部と、
   

   

   
   次式により、第２係数γ₂のt+1回目の更新結果であるγ₂ ^t+1を計算する第２係数計算部と、
   

   

   
   次式により、変数qのt+1回目の更新結果であるq^t+1を計算する第２変数計算部と、
   

   

   
   次式により、双対変数~zのt+1回目の更新結果である~z^t+1を計算する第２双対変数計算部と、
   

   

   
   を含むことを特徴とする変数最適化装置。
5. p∈R^k, q∈R^mを最適化対象となる変数、H₁(p)+H₂(q)を入力データを用いて計算される、変数p, qを最適化するためのコスト関数（ただし、関数H₁(p):R^k→R∪{∞}, H₂(q):R^m→R∪{∞}はそれぞれ閉真凸関数）、Ap+Bq=cを変数p, qが満たすべき制約（ただし、行列A∈R^n×k, B∈R^n×m及びベクトルc∈Rⁿは事前に与えられるものとする）とし、
   変数pのt+1回目の更新結果であるp^t+1と、変数qのt+1回目の更新結果であるq^t+1とを計算する変数更新部
   を含み、
   D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、∂G₁(w), ∂G₂(w)（w∈Rⁿは双対変数）をそれぞれ次式で定義される極大単調作用素
   

   

   
   、T₁(w), T₂(w)をそれぞれ次式で定義される関数
   

   

   
   、D⁺を∇D⁺=(∇D)^-1を満たす強凸関数、J_D+を関数D⁺を用いて定義されるブレグマンダイバージェンス、x, z∈Rⁿをそれぞれ双対変数、~x, ~z∈Rⁿをそれぞれ~x=∇D(x), ~z=∇D(z)で定義される双対変数とし、
   前記変数更新部は、
   次式により、第１係数γ₁のt+1回目の更新結果であるγ₁ ^t+1を計算する第１係数計算部と、
   

   

   
   次式により、変数pのt+1回目の更新結果であるp^t+1を計算する第１変数計算部と、
   

   

   
   次式により、双対変数~xのt+1回目の更新結果である~x^t+1を計算する第１双対変数計算部と、
   

   

   
   次式により、第２係数γ₂のt+1回目の更新結果であるγ₂ ^t+1を計算する第２係数計算部と、
   

   

   
   次式により、変数qのt+1回目の更新結果であるq^t+1を計算する第２変数計算部と、
   

   

   
   次式により、双対変数~zのt+1回目の更新結果である~z^t+1を計算する第２双対変数計算部と、
   

   

   
   （ただし、αは0<α<1を満たす実数）
   を含むことを特徴とする変数最適化装置。
6. w∈Rⁿを最適化対象となる変数、G(w)(=G₁(w)+G₂(w))を入力データを用いて計算される、変数wを最適化するためのコスト関数（ただし、関数G_i(w):Rⁿ→R∪{∞} (i=1, 2)は閉真凸関数）とし、
   D:Rⁿ→Rを狭義凸関数（ただし、関数Dは微分可能であり、∇D(0)=0を満たす）、R_i(i=1, 2), C_i(i=1, 2)をそれぞれ次式で定義されるD-リゾルヴェント作用素、D-ケーリー作用素とし、
   

   

   
   変数最適化装置が、D-リゾルヴェント作用素R_i(i=1, 2)とD-ケーリー作用素C_i(i=1, 2)を用いて、変数wの値を再帰的に計算する変数更新ステップ
   を含み、
   ^-G_i(w) (i=1, 2)を関数G_i(w) (i=1, 2)を近似する強凸関数とし、
   前記変数更新ステップにおいて∇D(w)を計算する際、D-リゾルヴェント作用素R₁とD-ケーリー作用素C₁に対しては∇D(w)の計算にT₁(w)=∇^-G₁(w)-∇^-G₁(0)を用い、D-リゾルヴェント作用素R₂とD-ケーリー作用素C₂に対しては∇D(w)の計算にT₂(w)=∇^-G₂(w)-∇^-G₂(0)を用いる
   変数最適化方法。
7. 請求項１ないし５のいずれか１項に記載の変数最適化装置としてコンピュータを機能させるためのプログラム。

Images