JP7288905B2 - ロバスト推定問題の確率的最適化のためのシステムおよび方法 - Google Patents

Description

相互参照
本出願は、２０１７年１２月１日に出願された米国仮特許出願第６２／５９３，５６３号、および２０１７年８月８日に出願された米国仮特許出願第６２／７１６，０４１号の優先権を主張するものであり、各々の出願は全体として参照によって本明細書に組み込まれる。

様々な工学分野において、ロバスト推定問題は、たとえ直接的な数学的モデル化が存在し得るとしても、それを数的に直接解決するにはしばしば複雑すぎる。確率的最適化は、構成関数を部分的に評価するためにランダム性を使用する、関数を最小化あるいは最大化するためのアプローチであり、非常に複雑なモデルを最適化するために適用可能であり得る。

本開示の方法およびシステムは、ロバスト推定問題中の様々な目的関数の平滑化を有利に可能にし、それによって、推定問題を正確に解く代わりにサンプリングを使用して、そのような関数を確率的勾配法による計算に適用できるようにする。そのような方法およびシステムは、シミュレートされたプロセスおよび／または量子プロセス、とりわけ、量子アニーリングプロセス、古典的なコンピューター、半古典的なコンピューター、あるいは量子プロセッサー／デバイスの熱的または断熱的緩和、および／または他の物理プロセスを使用して、サンプリングデバイスによってサンプリングすることができるボルツマン分布に対する滑らかな関数近似の勾配を有利に接続する。

本開示は、ロバスト推定問題の確率的最適化のためのシステムを提供し、このシステムは、最大マージン原理および／または最尤原理を有する数学的または統計的な関数を介して表現されるモデルのパラメーターを学習または推定するために使用され得、学習されたモデルパラメーターは、数学的または統計的な関数のインスタンスを決定する。特に、モデルパラメーターは、統計関数がグラフィックモデル、例えば、横磁場イジングモデル、あるいは多体系の他の古典的または量子モデルのエネルギー関数である場合に、予測のために確率的グラフィックモデルの重みを決定し得る。このアプローチは、多くの機械学習アルゴリズムおよびタスクのための一般的なフレームワークをもたらし得る。機械学習アルゴリズムの非限定的な例としては、構造化サポートベクターマシン（ＳＳＶＭ）が挙げられる。

本開示のシステムおよび方法は、複雑な推定問題が、文書のクラスタリング、群集内の集団検出、推奨システム、半教師あり学習、およびアクティブラーニングなどのデータサイエンスでの様々な用途において解決されるように、データサイエンスの技術分野を有利に改善することができる。本明細書で開示されるシステムと方法はさらに、名詞句共参照解析（ｎｏｕｎ ｐｈｒａｓｅ ｃｏｒｅｆｅｒｅｎｃｅ ｒｅｓｏｌｕｔｉｏｎ）などの自然言語処理における様々な用途、および画像分割などの画像処理用途を有し得る。

１つの態様において、本開示は、サンプリングデバイスを使用して、ロバスト推定問題の確率的最適化のためのコンピューターで実施される方法を提供し、上記方法は、デジタルコンピューターによって、ロバスト推定問題のデータを受け取る工程であって、データは：重複しない部分集合へ分類された損失関数の集合であって、損失関数の集合中の各損失関数が第１の引数と第２の引数を受け取り、第１の引数と第２の引数は独立しており、第１の引数はその値として連続ベクトルを使用し、第２の引数はその値として離散ベクトルを使用する、損失関数の集合；損失関数の集合中の各損失関数の許容可能な離散ベクトルの集合；および、損失関数の集合中の各損失関数の第１の引数のための当初の連続ベクトル；を含む、工程；デジタルコンピューターによって、連続ベクトルの現在値を、当初の連続ベクトルとして設定する工程；デジタルコンピューターによって、スケーリングパラメーターの集合のスケジュールを受け取る工程；デジタルコンピューターによって、スケジュールに少なくとも部分的に基づいてスケーリングパラメーターの集合の初期値を設定する工程；および、ロバスト推定問題の解の精度を決定するためのルールの集合を含む停止基準が満たされるまで：スケーリングパラメーターの集合の現在値を決定する工程であって、現在値が、スケーリングパラメーターの集合のスケジュールに少なくとも部分的に基づく、工程；重複しない部分集合から損失関数の部分集合を選択する工程であって、選択が非反復あるいは反復である、工程；損失関数の選択された部分集合の各損失関数の次の工程を繰り返す工程：サンプリングデバイスによって、離散ベクトルの１つ以上のサンプルを生成する工程であって、１つ以上のサンプルの各サンプルは、損失関数に関連付けられる許容可能な離散ベクトルの集合から生成され、１つ以上のサンプルの各サンプルは、スケーリングパラメーターの集合と損失関数によって少なくとも部分的に決定された確率分布に基づき生成され、損失関数の第１の引数は、連続ベクトルの現在値をとる、工程；デジタルコンピューターによって、１つ以上の勾配を得る工程であって、１つ以上の勾配の各々が第１の引数に対して得られた損失関数であり；損失関数の第１の引数は、連続ベクトルの現在値をとり、第２の引数は、１つ以上のサンプルから、選択されたサンプルの値をとり、選択されたサンプルは、非反復的に選択される、工程；および、デジタルコンピューターによって、１つ以上の勾配の平均値を得る工程；デジタルコンピューターによって、１つ以上の勾配の平均値の和および／または部分和を得る工程であって、上記和は、損失関数の選択された部分集合中のすべての損失関数に対するものであり、部分和は、損失関数の選択された部分集合中の１つを超える損失関数に対するものである、工程；デジタルコンピューターによって：ｖ１）１つ以上の勾配の平均値の和あるいは部分和、ｖ２）スケーリングパラメーターの集合の現在値、ｖ３）１つ以上の勾配の平均値の和あるいは部分和の履歴の少なくとも一部、および／または、ｖ４）スケーリングパラメーターの集合の値の履歴の少なくとも一部；に少なくとも部分的に基づいて検索方向を計算する工程；デジタルコンピューターによって：ｖｉ１）スケーリングパラメーターの集合の現在値、ｖｉ２）損失関数の集合、ｖｉ３）スケーリングパラメーターの集合の値の履歴の少なくとも一部、および／または、ｖｉ４）損失関数の集合の履歴の少なくとも一部；に少なくとも部分的に基づいてステップ長を計算する工程；ステップ長と検索方向を使用して、更新された現在の連続ベクトルをデジタルコンピューターによって計算する工程；ならびに、デジタルコンピューターによって、更新された現在の連続ベクトルとなるように連続ベクトルの現在値を設定する工程、を含む。

本開示は、複雑なロバスト推定問題を解決するためのサンプリングデバイスを有利に利用する。サンプリングデバイスは、スケーリングパラメーターの集合のスケジュールおよびロバスト推定問題のデータを得るために、量子プロセッサーと量子デバイス制御システムを備えることができる。量子プロセッサーは、デジタルコンピューターと量子デバイス制御システムに結合され得る。量子プロセッサーは、複数のキュービットと複数のカプラーを備えてもよく、複数のカプラーの各カプラーは、複数のキュービットの２つのキュービットの交差点（ｃｒｏｓｓｉｎｇ）で通信可能な結合を提供するためのものである。離散ベクトルの１つ以上のサンプルは、ボルツマン分布に従うこともある。

サンプリングデバイスは光パラメトリック発振器のネットワークであり得、上記ネットワークは：光学装置であって、光エネルギー源からエネルギーを受信し、複数の光パラメトリック発振器を生成するように構成された光学装置；および、複数の結合装置であって、その各々が複数の光パラメトリック発振器の光パラメトリック発振器と制御可能に結合する、結合装置を含む。サンプリングデバイスは、中央処理装置、例えば、デジタルコンピューターあるいはモバイルデバイス、および、中央処理装置に結合された記憶装置を備え得る。記憶装置は、スケーリングパラメーターのスケジュールおよびロバスト推定問題のデータを得るためのアプリケーションを備え得る。そのようなアプリケーションは、ウェブアプリケーションまたはモバイルアプリケーションであり得る。

サンプリングデバイスは再構成可能なデジタルハードウェア、中央処理装置、および記憶装置を備え得、中央処理装置と記憶装置は、再構成可能なデジタルハードウェアに結合される。再構成可能なデジタルハードウェアは、スケーリングパラメーターのスケジュールおよびロバスト推定問題のデータを得るために適合され得、および、再構成可能なデジタルハードウェアは、マルコフ連鎖モンテカルロアルゴリズムを実施するように適合される。マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッド量子アニーリングであり得る。マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッドアニーリングであり得る。マルコフ連鎖モンテカルロアルゴリズムは、ギブスサンプリングであり得る。

集合の損失関数は１つ以上の損失関数を備え得る。

ロバスト推定問題の確率的最適化は、構造化サポートベクターマシンの訓練に関連付けられ得る。損失関数の重複しない部分集合の各部分集合は、２つの損失関数しか備えないこともある。ロバスト推定問題の確率的最適化は、画像分割に関連付けられ得る。

ロバスト推定問題の確率的最適化は、圧縮センシングからの双対基底追跡問題に関連付けられ得る。

ロバスト推定問題の確率的最適化は、半教師あり学習に関連付けられ得る。ロバスト推定問題のデータは、１つ以上の画像分割問題に関連付けられ得る。ロバスト推定問題のデータは、１つ以上の圧縮センシング問題からの双対基底追跡問題に関連付けられ得る。ロバスト推定問題のデータは、半教師あり学習に関連付けられ得る。ロバスト推定問題のデータは、名詞句共参照解析問題から得られ得る。ロバスト推定問題のデータは、アクティブラーニングに関連付けられ得る。ロバスト推定問題のデータは、１つ以上の画像タグ付け問題に関連付けられ得る。ロバスト推定問題のデータは、推奨システムに関連付けられ得る。

スケーリングパラメーターのスケジュールの集合は、ユーザーによって手動で、あるいは、アルゴリズムあるいはコンピュータプログラムによって、決定することができる。スケーリングパラメーターの集合のスケジュールは、スケーリングパラメーターの集合の履歴に基づいて機械学習アルゴリズムを使用して決定することができる。

デジタルコンピューターは、サンプリングデバイスに対して遠隔に位置することができる。

停止基準は、現在の連続ベクトルと更新された現在の連続ベクトルとの間の距離の大きさに少なくとも部分的に基づき得る。

損失関数は、引数の第１および第２の集合の合成関数から構成可能である。

１つ以上の勾配を得る操作において、１つ以上の勾配の各々は、第１の引数に関して得られる損失関数であってもよく、連鎖律の反復適用から構成される。連鎖律の反復適用は自動微分を使用して実施され得る。

場合によっては、合成関数の変関数（ａｒｇｕｍｅｎｔ ｆｕｎｃｔｉｏｎ）には、微分可能な特徴抽出器（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｏｒｓ）がある。場合によっては、微分可能な特徴抽出器には、ディープニューラルネットワークがある。

検索方向の計算は、確率的勾配降下法（ＳＧＤ）、確率的平均勾配法（ＳＡＧとＳＡＧＡ）、確率的分散減少勾配（ＳＶＲＧ）、および確率的双対座標上昇（ｓｔｏｃｈａｓｔｉｃ ｄｕａｌ ｃｏｏｒｄｉｎａｔｅ ａｓｃｅｎｔ）（ＳＤＣＡ）の１つ以上を利用し得る。

ステップ長の計算は、適応勾配降下法のうちの１つを使用し、限定されないが、Ａｄａｍ、減少平均平方（ＲＭＳ）、ＲＭＳＰｒｏｐ、およびＡｄａＧｒａｄを含み得る。

１つの態様において、本開示は、サンプリングデバイスを使用して、ロバスト推定問題の確率的最適化のためのシステムを提供し、上記システムは、デジタルコンピューターを備え、上記デジタルコンピューターは：ロバスト推定問題のデータを受け取ることであって、データは：重複しない部分集合へ分類された損失関数の集合であって、損失関数の集合中の各損失関数が第１の引数と第２の引数を受け取り、第１の引数と第２の引数は独立しており、第１の引数はその値として連続ベクトルを使用し、第２の引数はその値として離散ベクトルを使用する、損失関数の集合；損失関数の集合中の各損失関数の許容可能な離散ベクトルの集合；および、損失関数の集合中の各損失関数の第１の引数のための当初の連続ベクトル；を含む、こと；連続ベクトルの現在値を、当初の連続ベクトルとして設定すること；スケーリングパラメーターの集合のスケジュールを受け取ること；スケジュールに少なくとも部分的に基づいてスケーリングパラメーターの集合の当初の初期値を設定すること；および、ロバスト推定問題の解の精度を決定するためのルールの集合を含む停止基準が満たされるまで：スケーリングパラメーターの集合の現在値を決定することであって、現在値が、スケーリングパラメーターの集合のスケジュールに少なくとも部分的に基づく、こと；重複しない部分集合から損失関数の部分集合を選択することであって、選択が非反復あるいは反復である、こと；損失関数の選択された部分集合の各損失関数の次の工程を繰り返すこと：サンプリングデバイスによって、離散ベクトルの１つ以上のサンプルを生成する工程であって、１つ以上のサンプルの各サンプルは、損失関数に関連付けられる許容可能な離散ベクトルの集合から生成され、１つ以上のサンプルの各サンプルは、スケーリングパラメーターの集合と損失関数によって少なくとも部分的に決定された確率分布に基づき生成され、損失関数の第１の引数は、連続ベクトルの現在値をとる、工程；１つ以上の勾配を得る工程であって、１つ以上の勾配の各々が第１の引数に対して得られた損失関数であり；損失関数の第１の引数は、連続ベクトルの現在値をとり、第２の引数は、１つ以上のサンプルから、選択されたサンプルの値をとり、選択されたサンプルは、非反復的に選択される、工程；および、１つ以上の勾配の平均値を得る工程；１つ以上の勾配の平均値の和および／または部分和を得ることであって、上記和は、損失関数の選択された部分集合中のすべての損失関数に対するものであり、部分和は、損失関数の選択された部分集合中の１つを超える損失関数に対するものである、こと；ｖ１）１つ以上の勾配の平均値の和あるいは部分和、ｖ２）スケーリングパラメーターの集合の現在値、ｖ３）１つ以上の勾配の平均値の和あるいは部分和の履歴の少なくとも一部、および／または、ｖ４）スケーリングパラメーターの集合の値の履歴の少なくとも一部；に少なくとも部分的に基づいて検索方向を計算すること；ｖｉ１）スケーリングパラメーターの集合の現在値、ｖｉ２）損失関数の集合、ｖｉ３）スケーリングパラメーターの集合の値の履歴の少なくとも一部、および／または、ｖｉ４）損失関数の集合の履歴の少なくとも一部；に少なくとも部分的に基づいてステップ長を計算すること；ステップ長と検索方向を使用して、更新された現在の連続ベクトルを計算すること；ならびに、更新された現在の連続ベクトルとなるように連続ベクトルの現在値を設定すること、を行うように構成される。

本開示は、複雑なロバスト推定問題を解決するためのサンプリングデバイスを有利に利用する。サンプリングデバイスは、スケーリングパラメーターの集合のスケジュールおよびロバスト推定問題のデータを得るために、量子プロセッサーと量子デバイス制御システムを備えることができる。量子プロセッサーは、デジタルコンピューターと量子デバイス制御システムに結合され得る。量子プロセッサーは、複数のキュービットと複数のカプラーを備えてもよく、複数のカプラーの各カプラーは、複数のキュービットの２つのキュービットの交差点で通信可能な結合を提供するためのものである。離散ベクトルの１つ以上のサンプルは、ボルツマン分布に従うこともある。

サンプリングデバイスは光パラメトリック発振器のネットワークであり得、上記ネットワークは：光学装置であって、光エネルギー源からエネルギーを受信し、複数の光パラメトリック発振器を生成するように構成された光学装置；および、複数の結合装置であって、その各々が複数の光パラメトリック発振器の光パラメトリック発振器と制御可能に結合する、結合装置を含む。サンプリングデバイスは、中央処理装置、例えば、デジタルコンピューターあるいはモバイルデバイス、および、中央処理装置に結合された記憶装置を備え得る。記憶装置は、スケーリングパラメーターのスケジュールおよびロバスト推定問題のデータを得るためのアプリケーションを備え得る。そのようなアプリケーションは、ウェブアプリケーションまたはモバイルアプリケーションであり得る。

サンプリングデバイスは再構成可能なデジタルハードウェア、中央処理装置、および記憶装置を備え得、中央処理装置と記憶装置は、再構成可能なデジタルハードウェアに結合される。再構成可能なデジタルハードウェアは、スケーリングパラメーターのスケジュールおよびロバスト推定問題のデータを得るために適合され得、および、再構成可能なデジタルハードウェアは、マルコフ連鎖モンテカルロアルゴリズムを実施するように適合される。マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッド量子アニーリングであり得る。マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッドアニーリングであり得る。マルコフ連鎖モンテカルロアルゴリズムは、ギブスサンプリングであり得る。

集合の損失関数は１つ以上の損失関数を備え得る。

ロバスト推定問題の確率的最適化は、構造化サポートベクターマシンの訓練に関連付けられ得る。損失関数の重複しない部分集合の各部分集合は、２つの損失関数しか備えないこともある。ロバスト推定問題の確率的最適化は、画像分割に関連付けられ得る。

ロバスト推定問題の確率的最適化は、圧縮センシングからの双対基底追跡問題に関連付けられ得る。

ロバスト推定問題の確率的最適化は、半教師あり学習に関連付けられ得る。ロバスト推定問題のデータは、１つ以上の画像分割問題に関連付けられ得る。ロバスト推定問題のデータは、１つ以上の圧縮センシング問題からの双対基底追跡問題に関連付けられ得る。ロバスト推定問題のデータは、半教師あり学習に関連付けられ得る。ロバスト推定問題のデータは、名詞句共参照解析問題から得られ得る。ロバスト推定問題のデータは、アクティブラーニングに関連付けられ得る。ロバスト推定問題のデータは、１つ以上の画像タグ付け問題に関連付けられ得る。ロバスト推定問題のデータは、推奨システムに関連付けられ得る。

スケーリングパラメーターのスケジュールの集合は、ユーザーによって手動で、あるいは、アルゴリズムあるいはコンピュータプログラムによって、決定することができる。スケーリングパラメーターの集合のスケジュールは、スケーリングパラメーターの集合の履歴に基づいて機械学習アルゴリズムを使用して決定することができる。

デジタルコンピューターは、サンプリングデバイスに対して遠隔に位置することができる。

停止基準は、現在の連続ベクトルと更新された現在の連続ベクトルとの間の距離の大きさに少なくとも部分的に基づき得る。

損失関数は、引数の第１および第２の集合の合成関数から構成可能である。

１つ以上の勾配を得る操作において、１つ以上の勾配の各々は、第１の引数に関して得られる損失関数であってもよく、連鎖律の反復適用から構成される。連鎖律の反復適用は自動微分を使用して実施され得る。

場合によっては、合成関数の変関数（ａｒｇｕｍｅｎｔ ｆｕｎｃｔｉｏｎ）には、微分可能な特徴抽出器（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｏｒｓ）がある。場合によっては、微分可能な特徴抽出器には、ディープニューラルネットワークがある。

検索方向の計算は、確率的勾配降下法（ＳＧＤ）、確率的平均勾配法（ＳＡＧとＳＡＧＡ）、確率的分散減少勾配（ＳＶＲＧ）、および確率的双対座標上昇（ＳＤＣＡ）の１つ以上を利用し得る。

ステップ長の計算は、適応勾配降下法のうちの１つを使用し、限定されないが、Ａｄａｍ、減少平均平方（ＲＭＳ）、ＲＭＳＰｒｏｐ、およびＡｄａＧｒａｄを含み得る。

別の態様において、サンプリングデバイスを使用して、ロバスト推定問題の確率的最適化のためのコンピューターで実施される方法は、（ａ）デジタルコンピューターによって、上記ロバスト推定問題のデータを受け取る工程であって、上記データが：（ｉ）重複しない部分集合へと分類された目的関数あるいは損失関数の集合であって、損失関数の上記集合中のそれぞれの目的関数あるいは損失関数が、第１の引数と第２の引数を受け入れる、集合；および、（ｉｉ）上記目的関数あるいは損失関数の上記集合中のそれぞれの目的関数あるいは損失関数の許容可能なベクトルの集合、を含む、工程；（ｂ）上記デジタルコンピューターによって、ベクトルの現在値を設定する工程；（ｃ）上記デジタルコンピューターによって、スケーリングパラメーターの集合のスケジュールを受け取る工程；および、（ｄ）停止基準が満たされるまで：（ｉ）上記スケジュールに少なくとも部分的に基づいてスケーリングパラメーターの上記集合の現在値を決定する工程；（ｉｉ）上記重複しない部分集合から上記の目的関数あるいは損失関数の部分集合を選択する工程；（ｉｉｉ）上記の目的関数あるいは損失関数の上記選択された部分集合のそれぞれの目的関数あるいは損失関数について以下の工程を繰り返す工程：（１）上記サンプリングデバイスによって、上記の目的関数あるいは損失関数に関連付けられる許容可能なベクトルの上記集合からベクトルの１つ以上のサンプルを生成する工程；（２）上記デジタルコンピューターによって、１つ以上の勾配を得る工程であって、上記１つ以上の勾配の各々が上記第１の引数に対して得られた上記の目的関数あるいは損失関数のものである、工程；および、（３）上記デジタルコンピューターによって、上記１つ以上の勾配の平均値を得る工程；（ｉｖ）上記デジタルコンピューターによって、上記１つ以上の勾配の上記平均値の和あるいは部分和を得る工程であって、上記和は、上記の目的関数あるいは損失関数の上記選択された部分集合中のすべての目的関数あるいは損失関数に関するものであり、上記部分和は、上記損失関数の上記選択された部分集合中の１つを超える目的関数あるいは損失関数に関するものである、工程；（ｖ）上記デジタルコンピューターによって：ｖ１）上記１つ以上の勾配の上記平均値の上記和あるいは上記部分和；ｖ２）スケーリングパラメーターの上記集合の上記現在値；ｖ３）上記１つ以上の勾配の上記平均値の上記和あるいは上記部分和の履歴の少なくとも一部；および、ｖ４）スケーリングパラメーターの上記集合の上記値の履歴の少なくとも一部；の１つ以上に少なくとも部分的に基づいて検索方向を計算する工程；（ｖｉ）上記デジタルコンピューターによって：ｖｉ１）スケーリングパラメーターの上記集合の上記現在値；ｖｉ２）上記損失関数の上記選択された部分集合；ｖｉ３）スケーリングパラメーターの上記集合の値の履歴の少なくとも一部、および、ｖｉ４）上記の目的関数あるいは損失関数の上記選択された部分集合の履歴の少なくとも一部；の１つ以上に少なくとも部分的に基づいて、ステップ長を計算する工程；および、（ｖｉｉ）上記デジタルコンピューターによって、上記ステップ長と上記検索方向に基づいて上記ベクトルの上記現在値を設定する工程、を含む。上記の目的関数あるいは損失関数は、上記の第１の引数と第２の引数の１つ以上の合成関数を備え得る。上記デジタルコンピューターによって、１つ以上の勾配を得る工程であって、上記１つ以上の勾配の各々が上記第１の引数に対して得られた上記の目的関数あるいは損失関数のものである、工程が、連鎖律の反復適用を含み得る。上記連鎖律は自動微分を使用して実施され得る。上記合成関数の１つ以上の変関数は微分可能な特徴抽出器を備え得る。上記微分可能な特徴抽出器はディープニューラルネットワークを備え得る。上記デジタルコンピューターによって、検索方向を計算する工程は、確率的勾配降下法（ＳＧＤ）、確率的平均勾配法（ＳＡＧとＳＡＧＡ）、確率的分散減少勾配（ＳＶＲＧ）、あるいは確率的双対座標上昇（ＳＤＣＡ）の１つ以上を使用する工程を含み得る。上記デジタルコンピューターによって、ステップ長を計算する工程は、上記適応勾配降下法の１つ以上を使用する工程を含み、上記適応勾配降下法は、適応モーメント推定（Ａｄａｍ）、減少平均平方（ＲＭＳ）、二乗平均平方根プロパゲーション（ＲＭＳＰｒｏｐ）、および／または適応勾配アルゴリズム（ＡｄａＧｒａｄ）を含む。上記サンプリングデバイスは、スケーリングパラメーターの上記集合の上記スケジュールおよび上記ロバスト推定問題の上記データを得るために、量子プロセッサーと量子デバイス制御システムを備え得る。上記量子プロセッサーは、上記デジタルコンピューターと上記量子デバイス制御システムに結合され得る。上記量子プロセッサーは、複数のキュービットと複数のカプラーを備えてもよく、上記複数のカプラーの各カプラーは、上記複数のキュービットの２つのキュービットの交差点で通信可能な結合を提供するためのものである。離散ベクトルの上記１つ以上のサンプルは、ボルツマン分布に従うこともある。上記サンプリングデバイスは、光パラメトリック発振器のネットワークを備え得、上記ネットワークは：（ａ）光学装置であって、光エネルギー源からエネルギーを受信し、複数の光パラメトリック発振器を生成するように構成された光学装置；および、（ｂ）複数の結合装置であって、その各々が上記複数の光パラメトリック発振器の光パラメトリック発振器と制御可能に結合する、結合装置を含む。上記サンプリングデバイスは、中央処理装置と、上記中央処理装置に結合された記憶装置を備え得る。上記記憶装置は、上記スケーリングパラメーターの上記スケジュールおよび上記ロバスト推定問題の上記データを得るためのアプリケーションを備え得、上記アプリケーションはマルコフ連鎖モンテカルロアルゴリズムを実行するように構成される。上記サンプリングデバイスは再構成可能なデジタルハードウェア、中央処理装置、および記憶装置を備え得、上記中央処理装置と上記記憶装置は、上記再構成可能なデジタルハードウェアに結合される。上記再構成可能なデジタルハードウェアは、上記スケーリングパラメーターの上記スケジュールと、上記ロバスト推定問題の上記データを得るように構成され得、上記再構成可能なデジタルハードウェアは、マルコフ連鎖モンテカルロアルゴリズムを実行するように構成され得る。上記マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッド量子アニーリングを含み得る。上記マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッドアニーリングを含み得る。上記マルコフ連鎖モンテカルロアルゴリズムは、ギブスサンプリングを含み得る。目的関数あるいは損失関数の上記集合は、１つ以上の目的関数あるいは損失関数を備え得る。上記ロバスト推定問題の上記確率的最適化は、構造化サポートベクターマシンの訓練に関連付けられ得る。目的関数あるいは損失関数の上記重複しない部分集合の各部分集合は、２つの目的関数あるいは損失関数しか備えないこともある。上記ロバスト推定問題の上記データは、画像分割問題に関連付けられ得る。上記ロバスト推定問題の上記データは、圧縮センシング問題からの上記双対基底追跡問題に関連付けられ得る。上記ロバスト推定問題の上記データは、半教師あり学習に関連付けられ得る。上記ロバスト推定問題の上記データは、名詞句共参照解析問題から得られ得る。上記ロバスト推定問題の上記データは、アクティブラーニングに関連付けられ得る。上記ロバスト推定問題の上記データは、画像タグ付け問題に関連付けられ得る。上記ロバスト推定問題の上記データは、推奨システムに関連付けられ得る。スケーリングパラメーターの上記集合の上記スケジュールは、ユーザーによって、あるいはアルゴリズムによって自動的に決定され得る。上記デジタルコンピューターは、上記サンプリングデバイスに対して遠隔に位置し得る。上記停止基準は、上記現在の連続ベクトルと上記更新された現在のするベクトルとの間の距離の大きさに少なくとも部分的に基づき得る。上記第１の引数と第２の引数は独立してもよく、第１の引数はその値として連続ベクトルを使用し得、上記第２の引数はその値として離散ベクトルを使用し得、および、許容可能なベクトルの上記集合は、許容可能な離散ベクトルの集合を含み得る。（１）は上記サンプリングデバイスによって、離散ベクトルの１つ以上のサンプルを生成する工程を含み得、上記１つ以上のサンプルの各サンプルは、上記の目的関数あるいは損失関数に関連付けられる許容可能な離散ベクトルの上記集合から生成され、上記１つ以上のサンプルの各サンプルは、スケーリングパラメーターの集合と上記の目的関数あるいは損失関数によって少なくとも部分的に決定された確率分布に基づき生成され、上記の目的関数あるいは損失関数の上記第１の引数は、上記連続ベクトルの上記現在値をとる。（２）は上記デジタルコンピューターによって、１つ以上の勾配を得る工程を含み得、上記１つ以上の勾配の各々が上記第１の引数に対して得られた上記の損失関数のものである、工程；上記損失関数の上記第１の引数は、上記連続ベクトルの現在値をとり、上記第２の引数は、上記１つ以上のサンプルから、選択されたサンプルの値をとり、上記選択されたサンプルは、非反復的に選択される。上記停止基準は、上記ロバスト推定問題の解の精度を決定するためのルールの集合を含み得る。目的関数あるいは損失関数の上記部分集合の上記選択は、非反復的あるいは反復的であり得る。

別の態様において、サンプリングデバイスを使用して、ロバスト推定問題の確率的最適化のためのシステムは、デジタルコンピューターを含み得、上記デジタルコンピューターは：（ａ）上記ロバスト推定問題のデータを受け取ることであって、上記データが：（ｉ）重複しない部分集合へと分類された目的関数あるいは損失関数の集合であって、損失関数の上記集合中のそれぞれの目的関数あるいは損失関数が、第１の引数と第２の引数を受け入れる、集合；および、（ｉｉ）上記目的関数あるいは損失関数の上記集合中のそれぞれの目的関数あるいは損失関数の許容可能なベクトルの集合、を含む、こと；（ｂ）ベクトルの現在値を設定すること；（ｃ）スケーリングパラメーターの集合のスケジュールを受け取ること；および、（ｄ）停止基準が満たされるまで：（ｉ）上記スケジュールに少なくとも部分的に基づいてスケーリングパラメーターの上記集合の現在値を決定すること；（ｉｉ）上記重複しない部分集合から上記の目的関数あるいは損失関数の部分集合を選択すること；（ｉｉｉ）上記の目的関数あるいは損失関数の上記選択された部分集合のそれぞれの目的関数あるいは損失関数について以下の工程を繰り返すこと：（１）上記サンプリングデバイスによって、上記の目的関数あるいは損失関数に関連付けられる許容可能なベクトルの上記集合からベクトルの１つ以上のサンプルを生成する工程；（２）上記デジタルコンピューターによって、１つ以上の勾配を得る工程であって、上記１つ以上の勾配の各々が上記第１の引数に対して得られた上記の目的関数あるいは損失関数のものである、工程；および、（３）上記１つ以上の勾配の平均値を得る工程；（ｉｖ）上記１つ以上の勾配の上記平均値の和あるいは部分和を得ることであって、上記和は、上記の目的関数あるいは損失関数の上記選択された部分集合中のすべての目的関数あるいは損失関数に関するものであり、上記部分和は、上記損失関数の上記選択された部分集合中の１つを超える目的関数あるいは損失関数に関するものである、こと；（ｖ）：ｖ１）上記１つ以上の勾配の上記平均値の上記和あるいは上記部分和；ｖ２）スケーリングパラメーターの上記集合の上記現在値；ｖ３）上記１つ以上の勾配の上記平均値の上記和あるいは上記部分和の履歴の少なくとも一部；および、ｖ４）スケーリングパラメーターの上記集合の上記値の履歴の少なくとも一部；の１つ以上に少なくとも部分的に基づいて検索方向を計算すること；（ｖｉ）：ｖｉ１）スケーリングパラメーターの上記集合の上記現在値；ｖｉ２）上記損失関数の上記選択された部分集合；ｖｉ３）スケーリングパラメーターの上記集合の値の履歴の少なくとも一部、および、ｖｉ４）上記の目的関数あるいは損失関数の上記選択された部分集合の履歴の少なくとも一部；の１つ以上に少なくとも部分的に基づいて、ステップ長を計算すること；および、（ｖｉｉ）上記ステップ長と上記検索方向に基づいて上記ベクトルの上記現在値を設定すること、を行うように構成される。上記の目的関数あるいは損失関数は、上記の第１の引数と第２の引数の１つ以上の合成関数を備え得る。上記デジタルコンピューターによって、１つ以上の勾配を得る工程であって、上記１つ以上の勾配の各々が上記第１の引数に対して得られた上記の目的関数あるいは損失関数のものである、工程が、連鎖律の反復適用を含み得る。上記連鎖律は自動微分を使用して実施され得る。上記合成関数の１つ以上の変関数は微分可能な特徴抽出器を備え得る。上記微分可能な特徴抽出器はディープニューラルネットワークを備え得る。上記デジタルコンピューターによって、検索方向を計算する工程は、確率的勾配降下法（ＳＧＤ）、確率的平均勾配法（ＳＡＧとＳＡＧＡ）、確率的分散減少勾配（ＳＶＲＧ）、あるいは確率的双対座標上昇（ＳＤＣＡ）の１つ以上を使用する工程を含み得る。上記デジタルコンピューターによって、ステップ長を計算する工程は、上記適応勾配降下法の１つ以上を使用する工程を含み、上記適応勾配降下法は、適応モーメント推定（Ａｄａｍ）、減少平均平方（ＲＭＳ）、二乗平均平方根プロパゲーション（ＲＭＳＰｒｏｐ）、および／または適応勾配アルゴリズム（ＡｄａＧｒａｄ）を含む。上記サンプリングデバイスは、スケーリングパラメーターの上記集合の上記スケジュールおよび上記ロバスト推定問題の上記データを得るために、量子プロセッサーと量子デバイス制御システムを備え得る。上記量子プロセッサーは、上記デジタルコンピューターと上記量子デバイス制御システムに結合され得る。上記量子プロセッサーは、複数のキュービットと複数のカプラーを備えてもよく、上記複数のカプラーの各カプラーは、上記複数のキュービットの２つのキュービットの交差点で通信可能な結合を提供するためのものである。離散ベクトルの上記１つ以上のサンプルは、ボルツマン分布に従うこともある。上記サンプリングデバイスは、光パラメトリック発振器のネットワークを備え得、上記ネットワークは：（ａ）光学装置であって、光エネルギー源からエネルギーを受信し、複数の光パラメトリック発振器を生成するように構成された光学装置；および、（ｂ）複数の結合装置であって、その各々が上記複数の光パラメトリック発振器の光パラメトリック発振器と制御可能に結合する、結合装置を含む。上記サンプリングデバイスは、中央処理装置と、上記中央処理装置に結合された記憶装置を備え得る。上記記憶装置は、上記スケーリングパラメーターの上記スケジュールおよび上記ロバスト推定問題の上記データを得るためのアプリケーションを備え得る。上記アプリケーションはマルコフ連鎖モンテカルロアルゴリズムを実行するように構成される。上記サンプリングデバイスは再構成可能なデジタルハードウェア、中央処理装置、および記憶装置を備え得、上記中央処理装置と上記記憶装置は、上記再構成可能なデジタルハードウェアに結合される。上記再構成可能なデジタルハードウェアは、上記スケーリングパラメーターの上記スケジュールと、上記ロバスト推定問題の上記データを得るように構成され得、上記再構成可能なデジタルハードウェアは、マルコフ連鎖モンテカルロアルゴリズムを実行するように構成され得る。上記マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッド量子アニーリングを含み得る。上記マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッドアニーリングを含み得る。上記マルコフ連鎖モンテカルロアルゴリズムは、ギブスサンプリングを含み得る。目的関数あるいは損失関数の上記集合は、１つ以上の目的関数あるいは損失関数を備え得る。上記ロバスト推定問題の上記確率的最適化は、構造化サポートベクターマシンの訓練に関連付けられ得る。目的関数あるいは損失関数の上記重複しない部分集合の各部分集合は、２つの目的関数あるいは損失関数しか含まないこともある。上記ロバスト推定問題の上記データは、画像分割問題に関連付けられ得る。上記ロバスト推定問題の上記データは、圧縮センシング問題からの上記双対基底追跡問題に関連付けられ得る。上記ロバスト推定問題の上記データは、半教師あり学習に関連付けられ得る。上記ロバスト推定問題の上記データは、名詞句共参照解析問題から得られ得る。上記ロバスト推定問題の上記データは、アクティブラーニングに関連付けられ得る。上記ロバスト推定問題の上記データは、画像タグ付け問題に関連付けられ得る。上記ロバスト推定問題の上記データは、推奨システムに関連付けられ得る。スケーリングパラメーターの上記集合の上記スケジュールは、ユーザーによって、あるいはアルゴリズムによって自動的に決定され得る。上記デジタルコンピューターは、上記サンプリングデバイスに対して遠隔に位置し得る。上記停止基準は、上記現在の連続ベクトルと上記更新された現在のするベクトルとの間の距離の大きさに少なくとも部分的に基づき得る。上記第１の引数と第２の引数は独立してもよく、第１の引数はその値として連続ベクトルを使用し得、上記第２の引数はその値として離散ベクトルを使用し得、および、許容可能なベクトルの上記集合は、許容可能な離散ベクトルの集合を含み得る。（１）は上記サンプリングデバイスによって、離散ベクトルの１つ以上のサンプルを生成する工程を含み得、上記１つ以上のサンプルの各サンプルは、上記の目的関数あるいは損失関数に関連付けられる許容可能な離散ベクトルの上記集合から生成され、上記１つ以上のサンプルの各サンプルは、スケーリングパラメーターの集合と上記の目的関数あるいは損失関数によって少なくとも部分的に決定された確率分布に基づき生成され、上記の目的関数あるいは損失関数の上記第１の引数は、上記連続ベクトルの上記現在値をとる。（２）は上記デジタルコンピューターによって、１つ以上の勾配を得る工程を含み得、上記１つ以上の勾配の各々が上記第１の引数に対して得られた上記の損失関数のものである、工程；上記損失関数の上記第１の引数は、上記連続ベクトルの現在値をとり、上記第２の引数は、上記１つ以上のサンプルから、選択されたサンプルの値をとり、上記選択されたサンプルは、非反復的に選択される。上記停止基準は、上記ロバスト推定問題の解の精度を決定するためのルールの集合を含み得る。目的関数あるいは損失関数の上記部分集合の上記選択は、非反復的あるいは反復的であり得る。

本開示の別の態様は、１つ以上のコンピュータプロセッサによる実行に際し、上記または本明細書のどこかに記載の方法のいずれかを実行する、機械実行可能コードを含む非一時的なコンピューター可読媒体を提供する。

本開示の別の態様は、１つ以上のコンピュータプロセッサと、それに結合された非一時的なコンピューター可読媒体（例えば、コンピュータメモリー）とを含むシステムを提供する。非一時的なコンピューター可読媒体は、１つ以上のコンピュータプロセッサによる実行に際し、上記または本明細書のどこかに記載の方法のいずれかを実行する機会実行可能コードを含む。

本開示のさらなる態様および利益は、以下の詳細な説明から、当業者に容易に明らかとなり、ここでは、本開示の例示的な実施形態のみが示され、記載される。以下の記載から分かるように、本開示は他のおよび異なる実施形態であってもよく、そのそれぞれの詳細は、すべてが本開示から逸脱することなく、様々な明白な点において修正が可能である。従って、図面と記載は本来、例示的なものとしてみなされ、限定的なものであるとはみなされない。

引用による組み込み
本明細書で言及される出願公開、特許、および特許出願はすべて、あたかも個々の出願公開、特許、あるいは特許出願がそれぞれ参照により組み込まれることが具体的かつ個別に示されている場合と同様の範囲で、参照により本明細書に組み込まれる。参照により組み込まれる特許公開、特許、または特許出願が本明細書に含まれる開示に矛盾するという程度まで、本明細書は、そのような矛盾のある題材に取って代わるおよび／またはそれに優先することを意図している。

本主題の特徴と利点のより良い理解は、例証的な実施形態と添付の図面を説明する以下の詳細な記載を参照することによって得られる：
サンプリングデバイスを使用して、ロバスト推定問題の確率的最適化のための方法の非限定的な例のフローチャートを示す。 ロバスト推定問題の確率的最適化のためのシステムの非限定的な例を示す。

本発明の様々な実施形態が本明細書中に示され記述された一方、そのような実施形態が一例として提供されているにすぎないことは当業者に明らかになるであろう。多くの変更、変化、および置換が、本発明から逸脱することなく当業者に想到され得る。本明細書に記載される本発明の実施形態の様々な代替物が利用され得ることを理解されたい。

本明細書で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確に指定していない限り、複数の基準を含む。「または」への任意の言及は、別段の定めがない限り、「および／または」を包含することを意図している。

本明細書で開示されるように、「変数」とは本明細書の「引数」の同等物である。

本明細書で開示されたように、ベクトルの値、例えば、連続ベクトルまたは離散ベクトルを設定することは、ベクトルのすべての要素の設定値であり得る。その他の場合において、ベクトルの値を設定することは、ベクトルの１つ以上の要素の設定値であり得る。ロバスト推定問題

１つの態様において、本開示は、ロバスト推定問題を解決するための確率的最適化方法内でサンプリングデバイスを利用する方法およびシステムを提供する。方法およびシステムは、機械学習方法において効率的でロバストな最適化テクニックを可能にするフレームワークを提供し得る。機械学習方法の非限定な例としては：構造的なサポートベクターマシン（ＳＳＶＭ）、半教師あり学習、およびアクティブラーニングが挙げられる。これらの方法は、自然言語処理（例えば、名詞句共参照解析）、コンピュータビジョンと画像処理（例えば、画像分割、画像タグ付け）、およびデータサイエンス（例えば、文書のクラスタリング、群集内の集団検出、推奨システム、半教師あり学習、およびアクティブラーニングなど）などの用途に役立ち得る。

ロバスト推定問題は、計算タスクに対する解が見出され得る推定または仮定のロバスト性および／または精度に関連付けられ得る。言い換えれば、解が得られ得る推定や仮定からどれだけ多くの逸脱が生じうるか。推定方法のロバスト性は、例えば、非理想的な予測や最も信頼性の低い予測に対しても、確率を高めたり、あるいは優れた性能を保証したりするモデルを訓練することによって、外れ値に対するその抵抗性に関連することもある。ロバスト推定問題は方程式（１）のように表現され得る：

ここで、

は、ｎ次元の実ベクトル空間中の許容可能なベクトルを規定する集合であり得；

は、ｎ次元の実ベクトル空間中のベクトルを実数の値にマッピングする関数であり得；すべての

は、実数値関数であり得；

は実数であり得、

は、引数ｙが値をとることができるベクトル（ベクトルの有限集合など）の集合であり得、ｉ_１とｉ_２は、それぞれ１～ｍ_１までと１～ｍ_２までの範囲の独立した添え字であり得、および、ｘとｙは、それぞれＣと、

からの任意のベクトルであり得る２つの引数（２つの独立した引数など）であり得る。本明細書で記載されるロバスト推定問題の最適化は、方程式（１）で記載される最小化問題、あるいは、方程式（１）と同等であり得るかまたは方程式（１）によって記載され得る任意の他の問題を解決することを指すこともある。場合によっては、集合Ｃは凸集合であり、関数ｆ（ｘ）とすべての関数

は凸であり、すべての実数

は正である。そのような場合、方程式（１）によって記載された最適化問題は凸最適化問題になり、大域的最適解の都合のいい近似値を作成するために、凸最適化方法を使用することができる。そのような凸最適化方法は、多項式時間でスケーリングする手続きを用いて効率的に実装することができる。しかしながら、その他の場合、最適化問題は非凸であり得る。例えば、潜在的なＳＳＶＭ最適化問題のように、実数

が負であり得るとき、最適化問題は非凸であり得る。別の例として、関数

がニューラルネットに対応する場合のように、関数

が非凸であるとき、（１）の中の最適化問題は非凸であり得る。

関数（例えば、目的関数あるいは損失関数）

（本明細書では、ｇ（ｘ，ｙ）とも呼ばれる）のうちの１つを参照すると、関数

は、最大値が一意に達成されるｘに関してのみ微分可能であり得る。その場合、最大値（例えば、

）が一意でない場合、ｇ（ｘ，ｙ）は単に劣微分可能（ｓｕｂｄｉｆｆｅｒｅｎｔｉａｂｌｅ）であり得、劣微分は方程式（２）によって以下のように与えられ得る：

ここで、ｃｏは凸包の表記法であり得、∂ｘはｘに関して偏導関数であり得る。その後、この集合の要素を計算する（例えば、∂ｇ（ｘ）をコンピューターで計算する）ことは、結局、方程式（１）の内部最大化問題

を解くことと、閾値あるいは最大値を達成する点ｙでｘに関してｇ（ｘ，ｙ）を微分することになり得る。

場合によっては、目的関数あるいは損失関数ｇ（ｘ，ｙ）は、任意の実数値関数であり得る。場合によっては、目的関数あるいは損失関数ｇ（ｘ，ｙ）は、任意の実数値関数であり得、第２の引数ｙは離散的であり、第１の引数ｘは離散ベクトルである。場合によっては、目的関数あるいは損失関数ｇ（ｘ，ｙ）は、任意の実数値関数であり得、第２の引数ｙは継続ベクトルであり、第１の引数ｘは離散ベクトルである。場合によっては、目的関数あるいは損失関数ｇ（ｘ，ｙ）は、任意の実数値関数であり得、第２の引数ｙは継続ベクトルであり、第１の引数ｘは継続ベクトルである。場合によっては、目的関数あるいは損失関数ｇ（ｘ，ｙ）は、任意の実数値関数であり得、第２の引数ｙは離散ベクトルであり、第１の引数ｘは継続ベクトルである。

場合によっては、目的関数あるいは損失関数ｇ（ｘ，ｙ）は、その第２の引数ｙで線形であり得る。場合によっては、目的関数あるいは損失関数ｇ（ｘ，ｙ）は、その第２の引数ｙで二次式であり得る。もし目的関数あるいは損失関数ｇ（ｘ，ｙ）がその第２の引数ｙにおいて二次式である場合、方程式（１）の内部最大化は、いくつかのｍ、および、ｘに依存し得る対称行列Ｑ（ｘ）とベクトルｃ（ｘ）について、方程式（３）のような二次最適化問題（２値変数の二次最適化問題など）と言い変えることができ：

ここで、方程式（３）の左辺式の解ｙは、方程式（３）の右辺の解ｚから構成することができる。ここで、変数ｚは、変数ｙの符号化（２進符号化など）に対応し得る。いくつかの実施形態では、このような符号化は、計算可能なマッピングｚ→ｙによって与えることができる。したがって、ｇの劣勾配は、二次最適化問題（２進法の二次最適化問題などの）を解くことにより得ることができる。

方程式（１）は、連続ベクトルｘの関数であり得る関数ｆ（ｘ）を含むことができ、連続ベクトルは実数値であってもよい。関数ｆ（ｘ）は、方程式（１）の最適化を調整し得る。関数ｆ（ｘ）はオプションの関数であり得、変数ｘがとり得る１つ以上の可能な値に対して０の値をとることもある。例えば、構造化サポートベクターマシン（ＳＳＶＭ）では、ｆ（ｘ）はｒｅｇｕｌａｒｉｚｅｒであり得、これは、過剰適合を減らすのに役立ち得る。

方程式（１）では、ｘは、制約集合Ｃからその値を取ることができる第１の変数または引数であってもよく、実数値を含んでもよい。制約集合Ｃは多くの連続ベクトルを含み得、その数は１以上の任意の数であり得る。それぞれの連続ベクトルは実数値を含み得る。ロバスト推定問題の最適化は、ｙによって決定されるｘに関してのみ閾値化または最小化を含み得、その一方で、ベクトルｙは「内部」であってもよい。

ロバスト推定問題のデータ
本明細書に記載されるロバスト推定問題の確率的最適化のための方法は、ロバスト推定問題のデータを得る工程を含み得る。そのようなデータは、生データから手動あるいは自動であらかじめ生成されてもよい。そのようなデータは、デジタルコンピューターによって得られてもよい。そのようなデータは、本明細書に記載されるロバスト推定問題などの、ロバスト推定問題の確率的最適化のための本明細書に記載される方法によって、少なくとも部分的に利用されてもよい。

ロバスト推定問題のそのようなデータは、反復最適化プロセスが当初の値で開始することができるように、方程式（１）の１つ以上のパラメーターおよび／または引数の当初の値を含み得る。

ロバスト推定問題のそのようなデータは目的関数あるいは損失関数の集合を含み得、ここで、各目的関数あるいは損失関数は、

として表すことができ、ｉ_１とｉ_２は、添え字ｉ_１∈｛１，．．．，ｍ_１｝とｉ_２∈｛１，．．．，ｍ_２｝を有する独立した添え字であり、ｘは連続ベクトルであり得、および

は離散ベクトルであり得る。添え字ｉ_１は、目的関数または損失関数の重複しない部分集合を選択する最適化プロセスの１つ以上の全反復のための定数であってもよく、予め決められた選択手順に基づいて他の反復のために選択されてもよい。添え字ｉ_２は、添え字ｉ_１に対応するそれぞれ重複しない部分集合中の目的関数または損失関数の数に対する添え字であってもよい。

目的関数あるいは損失関数の集合は、１つ以上の目的関数あるいは損失関数を含み得る。目的関数あるいは損失関数の集合は、複数の目的関数あるいは損失関数を含み得る。１つの目的関数あるいは損失関数のみが集合に含まれている場合では、目的関数または損失関数の部分集合は目的関数あるいは損失関数の集合であり得る。目的関数あるいは損失関数の集合が２つ以上の目的関数あるいは損失関数を含む場合、目的関数あるいは損失関数の集合は、重複しない部分集合へと分類され得る。目的関数または損失関数の重複しない部分集合の各々は、わずか２つの目的関数あるいは損失関数のみを含み得る。各部分集合は、１、２、３、４、５、６、１０、２０、３０、５０、６０、７０、８０、９０、１００またはそれより多くの目的関数あるいは損失関数を含んでいてもよい。各部分集合は少なくとも約１、２、３、４、５、６、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００またはそれより多くの目的関数あるいは損失関数を含んでいてもよい。その他の場合において、各部分集合は、最大約１、２、３、４、５、６、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、またはそれより少ない目的関数あるいは損失関数を含んでいてもよい。目的関数あるいは損失関数の集合間で、各目的関数あるいは損失関数は第１の引数ｘおよび第２の引数ｙを受け入れることができる。第１および第２の引数は独立引数であってもよい。第１および第２の引数は依存引数であってもよい。第１の引数はその値として連続ベクトルをとる場合があり、第２の引数はその値として離散ベクトルをとる場合がある。

ロバスト推定問題のそのようなデータは、各目的関数あるいは損失関数の線型結合の重み（ｌｉｎｅａｒ－ｃｏｍｂｉｎａｔｉｏｎ ｗｅｉｇｈｔ）を含み得：方程式（１）中の各損失関数は、全体的な和へのその寄与に影響を及ぼすスカラー

であり得る、重みによって重み付けされてもよい。

ロバスト推定問題のそのようなデータは、変数ｙが値をとることができる各損失関数について、許容可能な離散ベクトルの集合

を含んでいてもよい。

ロバスト推定問題のそのようなデータは、第１の反復における全損失関数の第１の引数についての当初の連続ベクトルを含み得る。ロバスト推定問題のそのようなデータは、第１の反復における１つ以上の損失関数の第１の引数についての初期連続ベクトルを含み得る。

ロバスト推定問題の方法は、反復最適化プロセスの第１の反復中のスケーリングパラメーターの集合の現在値を、スケーリングパラメーターの集合の当初の値に設定することができる。当初の値は、本明細書に記載されるスケジュールに少なくとも部分的に基づく場合がある。後の反復では、スケーリングパラメーターの集合の現在値は、本明細書で記載されるように、スケジュールに少なくとも部分的に基づいて更新されてもよい。

ロバスト推定問題を解決するための方法は、スケーリングパラメーターの集合のスケジュールを受け取るか、あるいは生成することができ、そこからスケーリングパラメーターの集合の現在値を得ることができる。上記スケジュールは、ユーザーによって先験的に決定されるか、あるいは選択されたアルゴリズムによって自動的に調節されてもよい。スケーリングパラメーターの集合の当初の値は、スケジュールに含まれているか、あるいはスケジュールに少なくとも部分的に基づいていてもよい。スケジュールは理論的または経験的知識に基づいて生成され得る。スケジュールは、以下から選択される１つ以上のアルゴリズムあるいは手順を使用して生成されてもよい：統計的アルゴリズムあるいは手順、パターン認識アルゴリズムあるいは手順、機械学習アルゴリズムあるいは手順、深層学習アルゴリズムあるいは手順、人工知能アルゴリズムあるいは手順、ニューラルネットなど。上記スケジュールは、スケーリングパラメーターの集合の歴史的価値を用いて生成されてもよい。スケーリングパラメーターの集合は、任意の実数の値をとり得る。スケーリングパラメーターの集合は、任意の０ではない実数の値をとり得る。スケーリングパラメーターの集合は、任意の正の数および／または負の数の値をとり得る。

スケーリングパラメーターの集合は、本明細書のロバスト推定問題を解くための「ソフトマックス関数」において使用されてもよい。「ソフトマックス関数」は、方程式（４）のような滑らかな関数で、方程式（１）、例えば、

の「最大」関数を近似することができ：

式中、ｘは連続ベクトルであり得、

は、離散ベクトルであり得、この離散ベクトルは、変数ｙが値をとり得る許容可能な状態の離散集合

から選択され、

は目的関数または損失関数であり得、ここで、ｉ_１とｉ_２は添え字ｉ_１∈｛１，．．．，ｍ_１｝およびｉ_２∈｛１，．．．，ｍ_２｝を有する、依存した添え字または独立した添え字であり得、ならびにβは、スケーリングパラメーターの集合のスケジュールから値を得る、スケーリングパラメーターの集合中の要素であり得る。方程式（４）では、βはスケーリングパラメーターの集合中で唯一の要素であってもよい。

より高い値を有するそれらのβは、より低い値と比べて、方程式（４）中の左側の「最大」関数のより良い近似を可能にすることができる。しかし、より高い値は、トレードオフとしてサンプルの生成を遅くする可能性がある。最適化が比較的低いβで始まり、それが徐々に増加する場合、より高い値を有するスケーリングパラメーターの集合で始める場合と比べて、より少数の反復ステップで最適化問題を解くことができる。

方程式（４）のように、ソフトマックス近似と本明細書において同等な「スムースマックス（Ｓｍｏｏｔｈ－ｍａｘ）」の近似は、以下の受益者プロパティ（ｂｅｎｅｆｉｃｉａｒｙ ｐｒｏｐｅｒｔｉｅｓ）を有する。

最大関数ｈ（ｚ）＝ｍａｘ｛ｚ_１，．．．，ｚ_ｎ｝は、方程式（５）のソフトマックス関数によって近似することができ：

式中、μは１／βと同等の正のパラメーターであり得る。

最大関数ｈ（ｚ）＝ｍａｘ｛ｚ_１，．．．，ｚ_ｎ｝は、関数の集合（１集合の非線形関数など）で構成され得、方程式（４．１ａ）および（４．１ｂ）のように、最大関数およびその滑らかな近似がともに考慮され得る：

方程式（４．１ｂ）のようなこの滑らかな近似のプロパティは、成分関数ｇ_ｉの滑らかなプロパティに依存し得る。方程式（１）の文脈では、Ｙ中の各要素はｉ＝１：ｍで指標付けされてもよく、ｍ＝｜Ｙ｜であり、ゆえに、

であり、ここで、

である。

最大化されることになっている、ｉ_１∈｛１，．．．，ｍ_１｝とｉ_２∈｛１．．．，ｍ_２｝により指標付けされた目的関数あるいは損失関数

を参照すると、本明細書に記載されるソフトマックスは、目的関数あるいは損失関数

の各々に別々に適用することができ、ここで、

である。

関数

（ここで、

コンパクト（ｃｏｍｐａｃｔ）である）は、凸であり得、定数Ｌ_ｉおよび有界ノルム

を有するリプシッツ連続勾配を有しており、ｉ＝１：ｍである。

にする。その後、方程式（４．１ａ）および（４．１ｂ）に記述される関数は、以下の３つのステートメントの１つ以上を満たし得る：

たとえ未合成の（ｕｎｃｏｍｐｏｓｅｄ）滑らかな近似のリプシッツ定数が無限大ノルムで記述され得るとしても、これらのステートメントに現れるノルムは２ノルムであり得る。方程式（４．１ｂ）中で与えられる滑らかな近似の勾配は以下によって与えられ得：

式中、

である。滑らかな近似ｈ_μの勾配は、勾配の平均値または加重平均値として得られ得る。したがって、近似ｈ_μの勾配は期待値として得ることができ、ｉは確率変数であり得る。ｉが方程式（５）から与えられたボルツマン分布に従う確率変数であり得る場合、近似値ｈ_μの勾配は期待値として得られ得：

式中、

はスケーリングパラメーターの集合における唯一の要素であり得る。

反復最適化プロセス
ロバスト推定問題の確率的最適化のための方法は、少なくとも１つの停止基準が満たされるまで、反復最適化プロセスの各反復における１つ以上の工程を反復して実施する工程を含み得る。そのような停止基準は、ロバスト推定問題の精度、感度、あるいは特異性の１つ以上を決定するための１つ以上のルールを含むルールの集合を含み得る。停止基準は、最適化プロセスの１反復における現在の連続ベクトルと、同じ反復あるいは異なる反復（例えば、前または後の反復）における更新された現在の連続ベクトルとの間の距離の大きさに少なくとも部分的に基づき得る。

各反復では、反復最適化プロセスの１つ以上の工程は、スケーリングパラメーターの集合の現在値を決定することを含み得る。現在値は、スケーリングパラメーターの集合のスケジュールに少なくとも部分的に基づき得る。

各反復では、反復最適化プロセスの１つ以上の工程は、重複しない部分集合から目的関数または損失関数の部分集合を、非反復的にあるいは反復的に選択することを含み得る。

各反復では、１つ以上のサブ工程は、目的関数あるいは損失関数の選択された部分集合の各目的関数あるいは損失関数に対して実施され得る。１つ以上のサブ工程は、方程式（１）中の変数または引数ｙに関する離散ベクトルの１つ以上のサンプルを生成することを含み得る。１つ以上のサンプルの各サンプルは、特定の目的関数あるいは損失関数に関連する許容可能な離散ベクトルの集合から選択され得る。１つ以上のサンプルの各サンプルは確率分布に基づいて生成され得る。場合によっては、確率分布は、スケーリングパラメーターの集合および特定の目的関数あるいは損失関数によって少なくとも部分的に決定される。損失関数の第１の引数は、反復における連続ベクトルの現在値を取り得る。例えば、各サンプルは、方程式（６）における確率分布に従って生成され得：

式中、ｘは、各反復におけるすべてのサンプルに対する固定連続ベクトルとして保持され、および、βはスケーリングパラメーターであり得る。１つ以上のサンプルの各々は、本明細書に開示されるサンプリングデバイスを使用して生成さてれてもよい。例えば、ｋ個の数のサンプルが生成され得、ｋ個のサンプルが

となるように、各サンプルは許容可能な状態の集合から選択され得、および、式中、ｉ_１∈｛１，．．．，ｍ_１｝の選択は、目的関数あるいは損失関数の選択された部分集合を表し得、およびｉ_２∈｛１，．．．，ｍ_２｝は選択された部分集合における関数を表し得る。サンプルの確率分布は、任意の単一の確率分布あるいは様々な確率分布の任意の組み合わせであり得る。

本明細書のサンプリングデバイスは、ボルツマンモデルに従って分布されたサンプルを生成する、ランダムまたは擬似ランダムのジェネレータを含み得る。そのようなサンプリングデバイスは、ハードウェア（例えば、専用コンピューティングデバイス、量子プロセッサー、非古典コンピューター、量子コンピュータシステム、デジタルコンピューター、デジタル処理デバイスなど）および／または「ボルツマンサンプリング」を実施するように構成されるソフトウェアを含み得る。その後、近似勾配は、あらかじめ選択されたレベルの精度で、ロバスト推定問題を解くために使用することができる。サンプリングデバイスの利用およびサンプリングデバイスの接続は、複雑なロバスト推定問題を解くことができるように、ボルツマン分布に対する滑らかな関数近似の勾配を有利に接続ことができる。サンプリングデバイスは、方程式（６）で与えられたボルツマン分布の数学的定義によって決定される、１つ以上のプロパティを示し得る。サンプリングデバイスは、方程式（６）で与えられたボルツマン分布の数学的定義によって決定された１つ以上のプロパティを示すように構成され得る、任意のハードウェア、ソフトウェア、あるいはハードウェアとソフトウェアの組み合わせを含み得る。場合によっては、様々な構成を観察する規格化周波数は、それぞれの構成の方程式（６）で与えられた、数学的に定義される確率から選択された距離内にある。１つ以上のサンプルは、離散ベクトルのものであり得、および／またはボルツマン分布に従い得る。

ロバスト推定問題を解くためのシステムは、サンプル数を生成するためのサンプリングデバイスを含み得る。サンプリングデバイスは、スケーリングパラメーターの集合のスケジュール、ロバスト推定問題のデータ、あるいはそれらの組み合わせを得るための量子プロセッサーおよび量子デバイス制御システムを備え得る。量子プロセッサーは、デジタルコンピューターおよび量子デバイス制御システムに結合され得る。量子プロセッサーは、複数のキュービットと複数のカプラーを備えることができ、複数のカプラーの各カプラーは、複数のキュービットの２つのキュービットの交差点で通信結合を提供する。デジタルコンピューターは、サンプリングデバイスに対して遠隔に位置してもよい。

量子プロセッサーまたは量子コンピューターは、１つ以上の断熱量子コンピューター、量子ゲートアレイ、一方向量子コンピューター、トポロジカル量子コンピューター、量子チューリング機械、超伝導体ベースの量子コンピューター、イオントラップ量子コンピューター、トラップされた原子量子コンピューター（ｔｒａｐｐｅｄ ａｔｏｍ ｑｕａｎｔｕｍ ｃｏｍｐｕｔｅｒ）、光格子、量子ドットコンピュータ、スピンを用いた量子コンピューター、空間ベースの量子コンピューター、Ｌｏｓｓ－ＤｉＶｉｎｃｅｎｚｏ量子コンピューター、核磁気共鳴（ＮＭＲ）ベースの量子コンピューター、溶液ＮＭＲ量子コンピューター、固体ＮＭＲ量子コンピューター、固体ＮＭＲ Ｋａｎｅ量子コンピューター、ｅｌｅｃｔｒｏｎｓ－ｏｎ－ｈｅｌｉｕｍの量子コンピューター、空洞量子電気力学ベースの量子コンピューター、分子磁石量子コンピューター、フラーレンベースの量子コンピューター、線形光学量子コンピューター、ダイヤモンドベースの量子コンピューター、窒素空孔（ＮＶ）ダイヤモンドベースの量子コンピューター、ボース＝アインシュタイン凝縮ベースの量子コンピューター、トランジスタベースの量子コンピューター、および希土類金属イオンにドープした無機結晶ベースの量子コンピューターを含む。量子プロセッサーまたは量子コンピューターは、以下の１つ以上を備え得る：量子アニーラー、Ｉｓｉｎｇ ｓｏｌｖｅｒ、光パラメトリック発振器、および量子計算のゲートモデル。

量子プロセッサーまたは量子コンピューターは、１つ以上のキュービットを備え得る。１つ以上のキュービットは、超伝導キュービット、トラップされたイオンのキュービット、トラップされた原子のキュービット、光子キュービット、量子ドットのキュービット、電子スピンベースのキュービット、核スピンベースのキュービット、分子磁石のキュービット、フラーレンベースのキュービット、ダイヤモンドベースのキュービット、窒素空孔（ＮＶ）ダイヤモンドベースのキュービット、ボース＝アインシュタイン凝縮ベースのキュービット、トランジスタベースのキュービット、あるいは希土類金属イオンにドープした無機結晶ベースのキュービットを含み得る。

サンプリングデバイスは、光パラメトリック発振器のネットワークであって、上記ネットワークは、光エネルギー源からエネルギーを受け取り、かつ複数の光パラメトリック発振器を生成するように構成される光学デバイスを含む、ネットワークと；複数の結合装置であって、その各々は、複数の光パラメトリック発振器の１つの光パラメトリック発振器を制御可能に結合する、複数の結合装置と、を含み得る。サンプリングデバイスは、基準位相に関連する光パルスの干渉を介して、二体相互作用、三体相互作用、あるいは多体相互作用をシミュレートする、光パラメトリック発振器のネットワークを含み得る。サンプリングデバイスは、その熱平衡の近くに留まるか、あるいはその定常状態に近づくことができる、調整可能および／または制御可能な多体相互作用を用いた１つ以上の物理システムを含み得る。

ロバスト推定問題を解くためのシステムは、デジタルコンピューター、あるいはその使用が含まれ得る。サンプリングデバイスは、デジタルコンピューター、中央処理装置、および上記中央処理装置に結合される記憶装置を含み得る。サンプリングデバイスは、スケーリングパラメーターのスケジュール、ロバスト推定問題のデータ、またはそれらの組み合わせを得るために、アプリケーション、ソフトウェアモジュール、コンピュータプログラム、ユーザーコンソール、あるいはそれらの使用を含み得る。アプリケーション、ソフトウェアモジュール、あるいはそれらの使用は、モンテカルロベースのアルゴリズムを実施するために適合され得る。モンテカルロベースのアルゴリズムは、シミュレーテッドアニーリング、シミュレーテッド量子アニーリング、ギブスサンプリング、あるいは任意のそれらの組み合わせを含み得る。

サンプリングデバイスは、再構成可能なデジタルハードウェア、中央処理装置、および記憶装置を含み得、上記中央処理装置ならびに記憶装置は再構成可能なデジタルハードウェアに結合される。再構成可能なデジタルハードウェアは、スケーリングパラメーターのスケジュール、ロバスト推定問題のデータ、あるいはそれらの組み合わせを得るために適合され得る。再構成可能なデジタルハードウェアは、モンテカルロベースのアルゴリズムを実施するために適合され得る。モンテカルロベースのアルゴリズムは、シミュレーテッドアニーリング、シミュレーテッド量子アニーリング、ギブスサンプリング、あるいは任意のそれらの組み合わせを含み得る。

１つ以上の所与のスケーリングパラメーターあるいはユーザー指定のパラメーターでボルツマン分布の近似を生成するためのデバイスおよびシステムは、本明細書におけるサンプリングデバイスとして使用することができる。本明細書のサンプリングデバイスは、シミュレーテッドアニーリング、モンテカルロ、および／または量子モンテカルロ法を利用することができるデバイスあるいはシステムであり得る。サンプリングデバイスは、プロセッサー、デジタル処理デバイス、デジタルコンピューター、ＣＰＵ、あるいは任意の他のカスタマイズされたハードウェア、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、またはそれらの組み合わせで実行されるアルゴリズムを含み得る。サンプリングデバイスは、量子回路に基づく量子計算システム、量子アニーリングの物理的実現および／または近似実現、あるいは量子断熱計算を実行する計算デバイス、あるいはそれらの組み合わせを含み得る。

本明細書におけるロバスト推定問題の確率的最適化は、構造化サポートベクトルマシン（ＳＳＶＭ）の訓練に関連付けられる場合がある。ロバスト推定問題の確率的最適化は、画像分割、画像のタグ付け、および／または推奨システムに関連付けられる場合がある。ロバスト推定問題の確率的最適化は、圧縮センシングからの双対基底追跡問題に関連付けられる場合がある。ロバスト推定問題の確率的最適化は、教師なし学習、半教師あり学習、教師あり学習、および／またはアクティブラーニングに関連付けられる場合がある。

１つ以上のサブ工程は、第１の引数ｘに関して得られた目的関数または損失関数の勾配を得ることを含んでもよく、ここで、目的関数または損失関数の第１の引数は、連続ベクトルの現在値をとることができ、目的関数または損失関数の第２の引数ｙは、選択されたサンプルの値をとることができる。ｋ個のサンプル（ｙ_１，．．．，ｙ_ｋ）∈ｙは、方程式（６）を使用する確率に従って、サンプリングデバイスを使用して生成することができ、ｘは固定したままであり得る。各サンプルｙ_ｊについて、添え字ｊは１からｋまでの範囲であり得、関数

の勾配は、それらの現在値で評価される連続変数ｘに対して評価され得る。そのサンプルについて、ｙ_ｊは方程式（７）を使用して生成され得る：

例えば、選択された目的関数または損失関数に対するｋ個サンプルの総数があり得る場合（ｋは任意の整数であり得る）、ｋ個サンプルの１つの各勾配でｋ個の勾配を生成することができる。各勾配は、同じ現在の連続ベクトルをとる第１の引数ｘ、および選択されたサンプルの値をとる目的関数または損失関数の第２の引数ｙで得ることができる。勾配は、サンプリングデバイスによって生成されたサンプルを使用して、デジタルコンピューターを用いて得ることができる。サンプリングデバイスは、デジタルコンピューター、量子コンピューター、あるいは任意の他の１つのデジタル処理デバイス、および／または任意の他の複数のデジタル処理デバイスを備え得る。他のデジタル処理デバイスは、制限されないが、デジタルコンピューターおよび量子コンピューターを少なくとも含むハイブリッドコンピューターを備え得る。

１つ以上のサブ工程は、方程式（８）を使用して、方程式（７）で得られた１つ以上の勾配の平均値を得ることを含み得る：

例えば、ｋ個のサンプルに対して得られたｋ個の勾配がある場合、ｋ個の勾配の平均値を得ることができる。ｋは１を超える整数であり得る。ｋが１と等しい場合、１つ以上の勾配の平均値は単一の勾配と等しくなり得る。

各反復では、反復最適化プロセスの１つ以上の工程は、１つ以上の勾配の平均値の和および／または部分和を得ることを含み得、ここで、和は、目的関数または損失関数の選択された部分集合中のすべての目的関数あるいは損失関数についてのものであり得、部分和は、目的関数または損失関数の選択された部分集合中の１を超える目的関数あるいは損失関数についてのものであり得る。和および／または部分和は、方程式（９）のような勾配の平均値の線型結合であり得る：

例えば、目的関数または損失関数の選択された部分集合は、４つの目的関数あるいは損失関数を含んでいてもよく；および、各目的関数あるいは損失関数についての勾配の平均値が得られてもよい。本明細書の和は、その関連する重みを乗算した勾配の４つの異なる平均値を合計することを含み得るが、部分和は、その関連する重みを乗算した勾配の任意の２つあるいは３つの異なる平均値を合計することを含み得る。選択された部分集合に１つの目的関数あるいは損失関数しかない場合、和は、上記１つの目的関数あるいは損失関数のその関連する重量を乗算した勾配の平均値であってもよい。目的関数または損失関数の選択された部分集合は、少なくとも約１、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、あるいはそれ以上の目的関数あるいは損失関数を含んでいてもよい。目的関数または損失関数の選択された部分集合は、最大約１００、９０、８０、７０、６０、５０、４０、３０、２０、１０、９、８、７、６、５、４、３、２、あるいは１つの目的関数あるいは損失関数を含んでいてもよい。目的関数または損失関数の選択された部分集合は、前述の値のいずれか２つによって定義された範囲内にある、目的関数または損失関数の数を含んでいてもよい。

各反復では、反復最適化プロセスの１つ以上の工程は、以下の任意の１つ以上に少なくとも部分的に基づいて検索方向を計算することをさらに含み得る：ｖ１）１つ以上の勾配の平均値の和あるいは部分和（例えば、加重和あるいは加重部分和）、ｖ２）スケーリングパラメーターの集合の現在値、ｖ３）１つ以上の勾配の平均値の和あるいは部分和の履歴の少なくとも一部、および／またはｖ４）スケーリングパラメーターの集合の値の履歴の少なくとも一部。特定の要素の履歴、例えば、本明細書の勾配の平均値の和は、特定の要素の現在値（目的関数または損失関数の現在の選択された部分集合についての）、および／または特定の要素の以前の値（目的関数または損失関数の以前に選択された部分集合についての）を含み得る。この検索方向、あるいは同等に降下方向－ｄは、現在の

に依存してもよく、および、ｉ_１の以前の選択に対する

の以前の計算に依存してもよい。

反復最適化プロセスの１つ以上の工程は、方向－ｄが最適化方程式（１）に向かって進むことを確実にするか、あるいは、方向－ｄが最適化方程式（１）に向かって進む確率を増大する傾向があるステップ長αを計算することを含んでもよい。ステップ長は、以下の１つ以上に少なくとも部分的に基づいて計算され得る：ｖｉ１）スケーリングパラメーターの集合の現在値、ｖｉ２）損失関数の選択された部分集合、ｖｉ３）スケーリングパラメーターの集合の値の履歴の少なくとも一部、および／またはｖｉ４）損失関数の選択された部分集合の履歴の少なくとも一部。本明細書における目的関数または損失関数の選択された部分集合の履歴は、目的関数あるいは損失関数の現在の選択された部分集合、および／または目的関数または損失関数の１つ以上の以前に選択された部分集合を含んでもよい。反復最適化プロセスの１つ以上の工程は、ステップ長および検索方向を使用して、更新された現在の連続ベクトルを計算し、連続ベクトルの現在値を更新された現在の連続ベクトルに設定することさらに含み得る。更新は、方程式（１０）から与えられ得る：

式中、

は制約集合Ｃ上の射影を表示する。一連の更新は方程式（１）の近似解に収束し得る。

図１は、サンプリングデバイスを使用して、ロバスト推定問題の確率的最適化のための方法（１００）の非限定的な例のフローチャートを示す。第１の操作（１０２）では、方法（１００）は、（例えば、デジタルコンピューターによって）ロバスト推定問題のデータを受け取る工程を含み得る。上記データは、重複しない部分集合へと分類された目的関数あるいは損失関数の集合を含むことができる。損失関数の集合中の各目的関数あるいは損失関数は、第１および第２の引数を受け入れ得る。上記データは、目的関数あるいは損失関数の集合中の各目的関数あるいは損失関数の許容ベクトルの集合をさらに含み得る。

第２の操作（１０４）では、方法（１００）は、連続ベクトルの現在値を（例えば、デジタルコンピューターによって）設定する工程を含み得る。

第３の操作（１０６）では、方法（１００）は、スケーリングパラメーターの集合のスケジュールを（例えば、デジタルコンピューターによって）受け取る工程を含み得る。

第４の操作（１０８）では、方法（１００）は、上記スケジュールに少なくとも部分的に基づいて、スケーリングパラメーターの集合の現在値を決定する工程を含み得る。

第５の操作（１１０）では、方法（１００）は、重複しない部分集合から目的関数または損失関数の部分集合を選択する工程を含み得る。

第６の操作（１１２）では、方法（１００）は、複数の目的関数あるいは損失関数の各目的関数あるいは損失関数の１つ以上の勾配を得るために、一連の工程を繰り返す工程を含み得る。一連の工程は、サンプリングデバイスによって、目的関数あるいは損失関数に関連する許容ベクトルの集合からのベクトルの１つ以上のサンプルを生成する工程を含み得る。一連の工程は、（例えば、デジタルコンピューターによって）１つ以上の勾配を得る工程を含み得る。１つ以上の勾配の各々は、第１の引数に関して得られた目的関数あるいは損失関数のものであってもよい。一連の工程は、（例えば、デジタルコンピューターによって）１つ以上の勾配の平均値を得る工程を含み得る。

第７の操作（１１４）では、方法（１００）は、（例えば、デジタルコンピューターによって）１つ以上の勾配の和あるいは部分和を得る工程を含み得る。和は、目的関数あるいは損失関数の選択された部分集合中のすべての目的関数あるいは損失関数についてのものであり得る。部分的和は、目的関数あるいは損失関数の選択された部分集合中の１つを超える目的関数あるいは損失関数についてのものであり得る。

第８の操作（１１６）では、方法（１００）は、（例えば、デジタルコンピューターによって）検索方向を計算する工程を含み得る。検索方向は、以下の１つ以上に少なくとも部分的に基づき得る：ｖ１）１つ以上の勾配の平均値の和あるいは部分和；ｖ２）スケーリングパラメーターの集合の現在値；ｖ３）１つ以上の勾配の平均値の和あるいは部分和の履歴の少なくとも一部；および、ｖ４）スケーリングパラメーターの集合の値の履歴の少なくとも一部。

第９の操作（１１８）では、方法（１００）は、（例えば、デジタルコンピューターによって）ステップ長を計算する工程を含み得る。ステップ長は、以下の１つ以上に少なくとも部分的に基づき得る：ｖｉ１）スケーリングパラメーターの集合の現在値；ｖｉ２）目的関数あるいは損失関数の選択された部分集合；ｖｉ３）少なくとも集合のスケーリングパラメーターの値の履歴の一部；および、ｖｉ４）目的関数あるいは損失関数の選択された部分集合の履歴の少なくとも一部。

第１０の操作（１２０）では、方法（１００）は、（例えば、デジタルコンピューターによって）ステップ長および検索方向に基づいて連続ベクトルの現在値を設定する工程を含み得る。

第１１の操作（１２２）では、方法（１００）は、連続ベクトルの現在値を提供する工程を含み得る。

第４の操作（１０８）、第５の操作（１１０）、第６の操作（１１２）、第７の操作（１１４）、第８の操作（１１６）、第９の操作（１１８）、第１０の操作（１２０）、および第１１の操作（１２２）の任意の１、２、３、４、５、６、７、あるいは８つは、停止基準を満たすまで繰り返され得る。停止基準は、本明細書に記載される任意の停止基準であってもよい。

目的関数あるいは損失関数は、第１および第２の引数の１つ以上の合成関数を含み得る。（例えば、デジタルコンピューターによって）１つ以上の勾配を得る工程であって、１つ以上の勾配の各々が第１の引数に対して得られた目的関数あるいは損失関数のものであり得る工程は、連鎖律の反復的適用を含み得る。連鎖律の反復的適用は、自動微分を使用して実施されてもよい。合成関数の１つ以上の変関数は微分可能な特徴抽出器を含んでいてもよい。微分可能な特徴抽出器は、ディープニューラルネットワークを備え得る。

（例えば、デジタルコンピューターによって）検索方向を計算する工程は、確率的勾配降下法（ＳＧＤ）、確率的平均勾配法（ＳＡＧおよびＳＡＧＡ）、確率的分散減少勾配法（ＳＶＲＧ）、および／または確率的双対座標上昇法（ＳＤＣＡ）の１つ以上の使用を含み得る。

（例えば、デジタルコンピューターによって）ステップ長を計算する工程は、１つ以上の適応勾配降下法の使用を含み得る。適応勾配降下法は、適応モーメント推定（Ａｄａｍ）、減少平均平方（ＲＭＳ）、二乗平均平方根のプロパゲーション（ＲＭＳＰｒｏｐ）、および／または適応勾配アルゴリズム（ＡｄａＧｒａｄ）を含み得る。

サンプリングデバイスは、スケーリングパラメーターの集合のスケジュールおよびロバスト推定問題のデータを得るための量子プロセッサーおよび量子デバイス制御システムを備えていてもよい。量子プロセッサーは、デジタルコンピューターおよび量子デバイス制御システムに結合され得る。量子プロセッサーは、本明細書に記載される任意の量子プロセッサーあるいは量子コンピューターを備えていてもよい。量子プロセッサーは、複数のキュービットおよび複数のカプラーを含んでも良い。複数のカプラーの各カプラーは、複数のキュービットの２つのキュービットの交差点で通信結合を提供するものであり得る。ベクトルの１つ以上のサンプルがボルツマン分布に従い得る。サンプルデバイスは光パラメトリック発振器のネットワークであってもよい。ネットワークは、光エネルギー源からエネルギーを受け取り、複数の光パラメトリック発振器および複数の結合装置を生成するように構成された光学デバイスを含み得、その各々は、複数の光パラメトリック発振器の１つの光パラメトリック発振器を制御可能に結合する。サンプリングデバイスは、中央処理装置と、中央処理装置に結合された記憶装置とを備え得る。記憶装置は、スケーリングパラメーターのスケジュールおよびロバスト推定問題のデータを得るためのアプリケーションを備えていてもよく、上記アプリケーションは、マルコフ連鎖モンテカルロアルゴリズムを実行するように構成されてもよい。サンプリングデバイスは、再構成可能なデジタルハードウェア、中央処理装置、および記憶装置を備え得る。中央処理装置および記憶装置は、再構成可能なデジタルハードウェアに結合され得る。再構成可能なデジタルハードウェアは、スケーリングパラメーターのスケジュールおよびロバスト推定問題のデータを得るように構成されてもよく、再構成可能なデジタルハードウェアは、マルコフ連鎖モンテカルロアルゴリズムを実行するように構成されてもよい。マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッド量子アニーリングを含み得る。マルコフ連鎖モンテカルロアルゴリズムは、シミュレーテッドアニーリングを含み得る。マルコフ連鎖モンテカルロアルゴリズムは、ギブスサンプリングを含み得る。

目的関数あるいは損失関数の集合は、１つ以上の目的関数あるいは損失関数を含み得る。目的関数あるいは損失関数の重複しない部分集合の部分集合は、わずか２つの目的関数あるいは損失関数のみを含み得る。

ロバスト推定問題の確率的最適化は、構造化サポートベクターマシンの訓練に関連付けられてもよい。ロバスト推定問題のデータは、画像分割問題に関連付けられてもよい。ロバスト推定問題のデータは、圧縮センシング問題からの双対基底追跡問題に関連付けられてもよい。ロバスト推定問題のデータは、半教師あり学習に関連付けられてもよい。ロバスト推定問題のデータは、名詞句共参照解析問題から得られてもよい。ロバスト推定問題のデータは、アクティブラーニングに関連付けられてもよい。ロバスト推定問題のデータは、画像のタグ付け問題に関連付けられてもよい。ロバスト推定問題のデータは、推奨システムに関連付けられてもよい。

スケーリングパラメーターのスケジュールの集合は、ユーザーによって決定されるか、あるいは自動的にアルゴリズムによって決定されてもよい。

停止基準は、現在のベクトルと更新された現在のベクトルとの間の距離の大きさに少なくとも部分的に基づき得る。第１および第２の引数は独立していてもよく、第１の引数はその値として連続ベクトルを使用してもよく、第２の引数はその値として離散ベクトルを使用してもよく、許容ベクトルの集合は許容可能な離散ベクトルの集合を含んでいてもよい。

本明細書で提供される方法（１００）に基づく多くの変形、変更、および適例えば、方法（１００）の操作の順序は、変更されてもよく、操作の一部が除去されてもよく、操作の一部が重複されてもよく、および、追加の操作が適宜加えられてもよい。操作の一部は連続して実施され得る。操作の一部は並行して実施され得る。操作の一部は１回実施され得る。操作の一部は１回より多く実施され得る。操作の一部はサブ操作を含み得る。操作の一部は自動化され得、操作の一部は手動で行われ得る。

図２は、サンプルデバイスを使用して、ロバスト推定問題の確率的最適化のためのシステム（２００）の非限定的な例を概略的に示す。システムは、量子計算システムと相互作用するデジタルコンピューターを備え得る。システム（２００）は、デジタルコンピューター（２０２）および非古典的計算システムを備えることがき、これは量子計算システム（２０４）であってもよい。システム（２００）は、図１の方法（１００）を実行することができる。システム（２００）は、例えば、米国特許公報第２０１７／０３５７５３９号および第２０１８／００９１４４０号に記載される通りであり得、その各々が参照によって全体が本明細書に組み込まれる。量子計算システム（２０４）は、１以上の超伝導キュービットを含み得る。量子計算システムは、本明細書に記載される任意の量子コンピューターまたは量子プロセッサーを備え得る。量子計算システムは、本明細書に記載される任意の量子計算キュービットを備え得る。デジタルコンピューター（２０２）は、データを送信および／または受信することによって、（例えば、直通無線を経由して、あるいはネットワーク上で）量子計算システム（２０４）と通信することができる。デジタルコンピューターおよびそのキュービットは互いに遠隔に位置してもよい。デジタルコンピューターおよびそのキュービットは、互いに遠隔であり得る。いくつかの実施形態では、デジタルコンピューター（２０２）は任意のタイプあってもよい。デジタルコンピューター（２０２）は、デスクトップコンピューター、ラップトップコンピューター、タブレットパーソナルコンピュータ、サーバー、あるいはスマートフォンであってもよい。デジタルコンピューター（２０２）は、マイクロプロセッサー、ディスプレイ装置（３０４）、入力装置（３０６）、通信ポート（３０８）、データバス（３１０）、記憶装置（３１２）、およびネットワークインターフェースカード（ＮＩＣ）（３２２）とも呼ばれる中央処理装置（ＣＰＵ）（３０２）を備えてもよい。ＣＰＵ（３０２）はシングルコアプロセッサーまたはマルチコアプロセッサーであってもよい。デジタルコンピューター（２０２）は、並行処理のための複数のプロセッサーを備えてもよい。ディスプレイ装置（３０４）は、ユーザーインターフェース（ＵＩ）を備え得る。

ＵＩの例としては、限定されないが、グラフィカルユーザーインターフェース（ＧＵＩ）およびウェブベースのユーザーインターフェースが挙げられる。

ＣＰＵ（３０２）はコンピューター命令を処理するために使用され得る。ＣＰＵ（３０２）の様々な実施形態が提供され得る。例えば、中央処理装置（３０２）は、３．６ＧＨｚで動作し、Ｉｎｔｅｌ^（商標）によって製造されるＣＰＵコア ｉ７ ３８２０であってもよい。

ディスプレイ装置（３０４）は、ユーザーにデータを表示するために使用され得る。当業者は、様々なタイプのディスプレイ装置（３０４）が使用され得ることを認識するだろう。ディスプレイ装置（３０４）は液晶ディスプレイ（ＬＣＤ）モニターであってもよい。ディスプレイ装置（３０４）は、例えば、容量性または抵抗性のタッチスクリーンなどのタッチスクリーンを有し得る。

通信ポート（３０８）は、デジタルコンピューター（２０２）とデータを共有するために使用され得る。通信ポート（３０８）は、例えば、キーボードおよびマウスをデジタルコンピューター（２０２）に接続するための、ユニバーサルシリアルバス（ＵＳＢ）ポートを備え得る。通信ポート（３０８）は、データネットワークを介した別のコンピューターとデジタルコンピューター（２０２）の接続を可能にするためのＩＥＥＥ ８０２．３ポートなどのデータネットワーク通信ポートをさらに備えてもよい。当業者は、通信ポート（３０８）の様々な代替的な実施形態が提供され得ることを理解するだろう。通信ポート（３０８）はイーサネットポートおよびマウスポートを備え得る。

記憶装置（３１２）は、コンピューター実行可能命令を記憶するために使用され得る。記憶装置（３１２）は、オペレーティングシステムモジュール（３１４）を備えてもよい。オペレーティングシステムモジュール（３１４）は様々なタイプのものであってもよい。いくつかの実施形態では、オペレーティングシステムモジュール（３１４）は、Ａｐｐｌｅ^（商標）によって製造されるＯＳ Ｘ Ｙｏｓｅｍｉｔｅであってもよい。

記憶装置（３１２）は１つ以上のアプリケーションをさらに備えることができる。中央処理装置（３０２）、ディスプレイ装置（３０４）、入力装置（３０６）、通信ポート（３０８）、および記憶装置（３１２）の１つ以上は、データバス（３１０）を介して相互接続されてもよい。

システム（２０２）は、ネットワークインターフェースカード（ＮＩＣ）（３２２）をさらに備えてもよい。アプリケーション（３２０）は、データバス（３１０）に沿ってＮＩＣ（３２２）へと適切な信号を送ることができる。次に、ＮＩＣ（３２２）は、量子デバイス制御システム（３２４）にそのような情報を送ることができる。

量子計算システム（２０４）は、複数の量子ビットおよび複数の結合装置を備えることができる。量子計算システム（２０４）のさらなる説明が、例えば、米国特許公報第２００６／０２２５１６５号に開示され、これは、参照によってその全体が本明細書に組み込まれる。

量子計算デバイスの量子計算システム（２０４）は、量子デバイス制御システム（３２４）および量子プロセッサーあるいは量子コンピューター（３３０）を備えることができる。制御システム（３２４）は、対応する結合の結合強度を調整することが可能な量子計算システム（２０４）の複数の結合（３２８）における各結合のための結合制御装置、ならびに、各キュービット上の局所場バイアスを設定することが可能な量子計算システム（２０４）の複数キュービット（３２６）における各キュービットのための局所場バイアス制御装置を備え得る。

本明細書に記載されるような方法は、コンピュータシステム（２００）の電子記憶場所、例えば、記憶装置（３１２）または電子記憶装置などに記憶された機械（例えば、コンピュータ処理装置）実行可能なコードとして実行され得る。いくつかの実施形態では、機械実行可能なまたは機械読み取り可能なコードは、ソフトウェアの形で提供されてもよい。使用中、コードはＣＰＵ（３０２）により実行され得る。場合によっては、上記コードは、電子記憶装置から検索され、かつＣＰＵ（３０２）による即時のアクセスのために記憶装置（３１２）に記憶することができる。いくつかの状況において、電子記憶装置は除外することができ、機械実行可能命令が記憶装置（３１２）に記憶される。

コードを実行するように適合されたプロセッサーを有するマシンと共に使用するために、コードは予めコンパイルかつ構成されてもよいし、あるいは実行時にコンパイルされてもよい。コードは、予めコンパイルされた様式か、コンパイルされたままの様式で、コードを実行可能なように選択できる、プログラミング言語で提供され得る。

コンピュータシステム（１１０１）などの本明細書中に提供されるシステムおよび方法の態様は、プログラミングにおいて具体化され得る。この技術の様々な態様は、典型的に一種の機械可読媒体上で保持され、あるいはそれに埋め込まれる、機械（または、プロセッサ）実行可能コードおよび／または関連データの形の「製品」または「製造用品」として考慮され得る。機械実行可能コードは、メモリ（例えば、リードオンリーメモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスクなどの電子記憶装置に記憶することができる。「記憶」型の媒体は、様々な半導体メモリ、テープドライブ、ディスクドライブなどの、コンピューターやプロセッサーなどの有形メモリ、あるいはその関連するモジュールのいずれかまたは全てを含むことができ、これらは、ソフトウェアのプログラミングのための非一時的な記憶をいつでも提供することができる。ソフトウェアの全てまたは一部は、時に、インターネットまたは様々な他の電気通信ネットワークを介して通信されてもよい。そのような通信は、例えば、１つのコンピューターまたはプロセッサーから別のものへの、例えば、管理サーバーまたはホストコンピュータからアプリケーションサーバーのコンピュータプラットフォームへの、ソフトウェアのローディングを可能にし得る。したがって、ソフトウェア要素を保持することができる別のタイプの媒体には、有線電気ネットワークおよび／または光陸上通信線ネットワーク、および／または様々なエアリンクを介して、ローカルデバイス間の物理インターフェース全体で使用されるような、光、電気、および電磁波が含まれる。そのような波を運ぶ物理要素、例えば、有線リンクまたは無線のリンク、電気リンク、または光リンクは、ソフトウェアを有する媒体としても考えられ得る。本明細書に使用されるように、非一時的な有形「記憶」媒体に限定されない限り、コンピューターまたは機械の「可読媒体」などの用語は、実行のためにプロセッサーに命令を提供する際に関与する任意の媒体を指す。

従って、コンピューター実行可能コードなどの機械可読媒体は、有形ストレージ媒体、搬送波媒体、または物理的伝送媒体を含むが、これに限定されない、多くの形態をとってもよい。不揮発性ストレージ媒体は、例えば、図面に示されるデータベースなどを実装するために使用され得るような、任意のコンピューターなどにおける、記憶装置のいずれかなどの光学ディスクまたは磁気ディスクを含む。揮発性ストレージ媒体は、そのようなコンピュータプラットフォームのメインメモリなどの動的メモリを含む。有形送信媒体は、同軸ケーブル；コンピュータシステム内のバスを含むワイヤーを含む、銅線および光ファイバーを含んでいる。搬送波送信媒体は、無線周波（ＲＦ）および赤外線（ＩＲ）データ通信中に生成されるものなどの、電気信号または電磁気信号、あるいは音波または光波の形態をとり得る。したがって、コンピューター可読媒体の共通の形式は、例えば：フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤもしくはＤＶＤ－ＲＯＭ、他の光学媒体、パンチカード、紙テープ、穴のパターンを有する他の物理的な記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、他のメモリチップあるいはカートリッジ、データもしくは命令を運ぶ搬送波、そのような搬送波を伝達するケーブルもしくはリンク、またはコンピューターがプログラミングのコードおよび／またはデータを読み取ることができる他の媒体を含む。コンピューター可読媒体のこれらの形態の多くは、実行のためにプロセッサーに１つ以上の命令の１つ以上のシーケンスを運ぶことに関与し得る。

この明細書と請求項で使用されるように、特に明記されていない限り、用語「約」、「実質的に」、および「おおよそ」は、実施形態に応じて、数値の＋／－１％、＋／－２％、＋／－３％、＋／－４％、＋／－５％、＋／－６％、＋／－７％、＋／－８％、＋／－９％、＋／－１０％、＋／－１１％、＋／－１２％、＋／－１４％、＋／－１５％、または＋／－２０％未満であるか、またはそれに等しい変動を意味する。非限定的な例として、約１００メートルは、実施形態に応じて、９５メートル～１０５メートル（１００メートルの＋／－５％）、９０メートル～１１０メートル（１００メートルの＋／－１０％）、あるいは８５メートル～１１５メートル（１００メートルの＋／－１５％）の範囲を表す。

本開示の方法およびシステムは、米国特許公報第２０１７／０３５７５３９号および第２０１８／００９１４４０号に記載されるものなどの他の方法およびシステムと組み合わせるか、あるいはそれらによって変更することができ、それらの各々は、参照によって全体が本明細書に組み込まれる。

本発明の好ましい実施形態が本明細書で示されかつ記載されてきたが、こうした実施形態がほんの一例として提供されているに過ぎないということは当業者にとって明白である。本発明が本明細書内で提供された特定の実施例によって限定されることは、意図されていない。本発明は前述の明細書を参照して記載されているが、本明細書における実施形態の説明および例示は、限定的な意味で解釈されることは意図されていない。多くの変更、変化、および置換が、本発明から逸脱することなく、当業者には思い浮かぶであろう。さらに、本発明の全ての態様は、様々な条件および変数に依存する、本明細書で述べられる特定の描写、構成、または相対的な比率に限定されないことが理解されよう。本明細書に記載される本発明の実施形態の様々な代案が、本発明の実施において利用され得ることを理解されたい。それゆえ、本発明は、任意のそのような代替物、修正物、変形物、または同等物にも及ぶものと企図される。以下の特許請求の範囲は本発明の範囲を定義するものであり、この特許請求の範囲およびその同等物の範囲内の方法および構造は、それにより包含されることが、意図されている。

Claims (29)

1. 問題の最適化のための、コンピューターで実施される方法であって、前記方法は、
   （ａ）デジタルコンピューターによって、前記問題に対応するデータを受け取る工程であって、前記データが１つ以上の目的関数を含み、ここで、前記１つ以上の目的関数の１つの目的関数が、第１の引数と第２の引数を受け入れるように構成される、工程と、
   （ｂ）前記目的関数について、（ｉ）前記第２の引数の値をサンプリングデバイスに提供することであって、ここで、前記サンプリングデバイスの１つ以上のサンプルは、前記第２の引数の内部最適化を行うために使用される、提供すること、（ｉｉ）前記内部最適化に基づいて、前記目的関数の１つ以上の勾配または劣勾配を得ること、（ｉｉｉ）前記勾配または前記劣勾配に基づいて、１つ以上の古典的な最適化プロトコルを実施し、それにより、前記第１の引数の外部最適化を得ること、および（ｉｖ）前記外部最適化を出力すること、を少なくとも行うために、前記デジタルコンピューターを使用する工程と、
   を含む、コンピューターで実施される方法。
2. 停止基準が満たされるまで反復的に（ｂ）を繰り返す工程をさらに含む、請求項１に記載のコンピューターで実施される方法。
3. 前記１つ以上の目的関数は損失関数を含む、請求項１に記載のコンピューターで実施される方法。
4. 前記目的関数は、前記第１の引数と前記第２の引数の１つ以上の合成関数を含む、請求項１に記載のコンピューターで実施される方法。
5. （ｂ）の（ｉｉ）は、連鎖律の１以上の適用によって実施される、請求項１に記載のコンピューターで実施される方法。
6. 前記１以上の適用は、前記連鎖律の１以上の反復適用を含む、請求項５に記載のコンピューターで実施される方法。
7. 前記１以上の適用は自動微分を使用して実施される、請求項５に記載のコンピューターで実施される方法。
8. 前記合成関数の１つ以上の変関数は１つ以上の微分可能な特徴抽出器を含む、請求項４に記載のコンピューターで実施される方法。
9. 前記１つ以上の微分可能な特徴抽出器は１つ以上のディープニューラルネットワークを備える、請求項８に記載のコンピューターで実施される方法。
10. 前記データは前記第２の引数の許容値の集合をさらに含む、請求項１に記載のコンピューターで実施される方法。
11. （ｂ）は、許容値の前記集合から前記１つ以上のサンプルを生成するために、前記サンプリングデバイスを使用することを含む、請求項１０に記載のコンピューターで実施される方法。
12. 確率分布に基づいて前記１つ以上のサンプルを生成する工程をさらに含む、請求項１０に記載のコンピューターで実施される方法。
13. 前記確率分布は、前記目的関数とスケーリングパラメーターの集合によって少なくとも部分的に決定される、請求項１２に記載のコンピューターで実施される方法。
14. （ｂ）の（ｉｉｉ）は、確率的勾配降下法（ＳＧＤ）、確率的平均勾配法（ＳＡＧまたはＳＡＧＡ）、確率的分散減少勾配法（ＳＶＲＧ）、確率的双対座標上昇法（ＳＤＣＡ）、適応モーメント推定法（Ａｄａｍ）、減少平均平方法（ＲＭＳ）、二乗平均平方根プロパゲーション法（ＲＭＳＰｒｏｐ）、および適応勾配アルゴリズム法（ＡｄａＧｒａｄ）からなる群から選択される、１つ以上のメンバーを適用することを含む、請求項１に記載のコンピューターで実施される方法。
15. 前記サンプリングデバイスは少なくとも１つの非古典的なコンピューターを備える、請求項１に記載のコンピューターで実施される方法。
16. 前記少なくとも１つの非古典的なコンピューターは、少なくとも１つの量子コンピューターを含む、請求項１５に記載のコンピューターで実施される方法。
17. 前記少なくとも１つの非古典的なコンピューターは、少なくとも１つの量子アニーラーを含む、請求項１５に記載のコンピューターで実施される方法。
18. 前記デジタルコンピューターは、前記サンプリングデバイスに対して遠隔に位置する、請求項１に記載のコンピューターで実施される方法。
19. 前記サンプリングデバイスは１つ以上の光パラメトリック発振器を含む、請求項１に記載のコンピューターで実施される方法。
20. 前記問題はロバスト推定問題を含む、請求項１に記載のコンピューターで実施される方法。
21. 前記サンプリングデバイスは、マルコフ連鎖モンテカルロ法を実行するように構成される再構成可能なデジタルハードウェアを含む、請求項１に記載のコンピューターで実施される方法。
22. 前記マルコフ連鎖モンテカルロ法は、シミュレーテッドアニーリング法、シミュレーテッド量子アニーリング法、およびギブスサンプリング法からなる群から選択される１つ以上のメンバーを含む、請求項２１に記載のコンピューターで実施される方法。
23. 前記問題の前記最適化は、構造化サポートベクターマシン（ＳＶＭ）の訓練に関連付けられる、請求項１に記載のコンピューターで実施される方法。
24. 前記問題に対応する前記データは、画像分割問題、圧縮センシング問題、圧縮センシング問題からの基底追跡問題、圧縮センシング問題からの双対基底追跡問題、半教師あり学習問題、名詞句共参照解析問題、アクティブラーニング問題、画像タグ付け問題、および推奨システムからなる群から選択される１つ以上のメンバーと関連付けられる、請求項１に記載のコンピューターで実施される方法。
25. 前記サンプリングデバイスは、少なくとも１つのデジタルコンピューター、フィールドプログラマブルゲートアレイ、グラフィックスプロセッシングユニット、または特定用途向け集積回路を含む、請求項１に記載のコンピューターで実施される方法。
26. サンプリングデバイスを使用したロバスト推定問題の確率的最適化のための、コンピューターで実施される方法であって、前記方法は、
    （ａ）デジタルコンピューターによって、前記ロバスト推定問題のデータを受け取る工程であって、ここで、前記データが、
    ｉ．重複しない部分集合へと分類された目的関数あるいは損失関数の集合であって、目的関数あるいは損失関数の前記集合中の前記目的関数あるいは前記損失関数が、第１の引数と第２の引数を受け入れるように構成される、目的関数あるいは損失関数の集合と、
    ｉｉ．前記目的関数あるいは前記損失関数の許容可能な離散ベクトルの集合と、
    を含む、工程、
    （ｂ）前記デジタルコンピューターによって、連続ベクトルの現在値を設定する工程、
    （ｃ）前記デジタルコンピューターによって、スケーリングパラメーターの集合のスケジュールを受け取る工程、および、
    （ｄ）停止基準が満たされるまで、
    ｉ．前記スケジュールに少なくとも部分的に基づいて、スケーリングパラメーターの前記集合の現在値を決定する工程、
    ｉｉ．前記重複しない部分集合から前記目的関数あるいは前記損失関数の部分集合を選択する工程、
    ｉｉｉ．前記目的関数あるいは前記損失関数について以下の工程を繰り返す工程、
    １．前記サンプリングデバイスによって、前記目的関数あるいは前記損失関数に関連付けられる許容可能な離散ベクトルの前記集合から離散ベクトルの１つ以上のサンプルを生成する工程、
    ２．前記デジタルコンピューターによって、１つ以上の勾配を得る工程であって、
    前記１つ以上の勾配は、前記第１の引数に対して得られた前記目的関数あるいは前記損失関数のものである、工程、および、
    ３．前記デジタルコンピューターによって、前記１つ以上の勾配の平均値を得る工程、
    ｉｖ．前記デジタルコンピューターによって、前記１つ以上の勾配の前記平均値の和あるいは部分和を得る工程であって、前記和は、前記目的関数あるいは前記損失関数の選択された部分集合中のすべての目的関数あるいは損失関数に関するものであり、前記部分和は、前記目的関数あるいは損失関数の前記選択された部分集合中の１つを超える目的関数あるいは損失関数に関するものである、工程、
    ｖ．前記デジタルコンピューターによって、ｖ１）前記１つ以上の勾配の前記平均値の前記和あるいは前記部分和；ｖ２）スケーリングパラメーターの前記集合の前記現在値、ｖ３）前記１つ以上の勾配の前記平均値の前記和あるいは前記部分和の履歴の少なくとも一部、および、ｖ４）スケーリングパラメーターの前記集合の値の履歴の少なくとも一部の１つ以上に少なくとも部分的に基づいて、検索方向を計算する工程、
    ｖｉ．前記デジタルコンピューターによって、ｖｉ１）スケーリングパラメーターの前記集合の前記現在値、ｖｉ２）前記目的関数あるいは前記損失関数の前記選択された部分集合、ｖｉ３）スケーリングパラメーターの前記集合の値の履歴の少なくとも一部、およびｖｉ４）前記目的関数あるいは前記損失関数の前記選択された部分集合の履歴の少なくとも一部の１つ以上に少なくとも部分的に基づいて、ステップ長を計算する工程、および、
    ｖｉｉ．前記デジタルコンピューターによって、前記ステップ長と前記検索方向に基づいて前記連続ベクトルの前記現在値を設定する工程、ならびに、
    ｖｉｉｉ．前記連続ベクトルの前記現在値を提供する工程、
    を含む、コンピューターで実施される方法。
27. デジタルコンピューターとサンプリングデバイスとを備えた、問題の最適化のためのシステムであって、
    前記デジタルコンピューターは、少なくとも、
    ｉ．前記問題に対応するデータを受け取ることであって、前記データが１つ以上の目的関数を含み、ここで、前記１つ以上の目的関数の１つの目的関数が、少なくとも第１の引数と第２の引数を受け入れるように構成される、受け取ること、
    ｉｉ．前記目的関数について、（ｉ）前記第２の引数の値を前記サンプリングデバイスに提供すること、（ｉｉ）前記サンプリングデバイスから前記第２の引数の内部最適化を得ること、（ｉｉｉ）前記内部最適化に基づいて、前記目的関数の１つ以上の勾配または劣勾配を得ること、（ｉｖ）前記勾配または前記劣勾配に基づいて、１つ以上の古典的な最適化プロトコルを実施し、それにより、前記第１の引数の外部最適化を得ること、および（ｖ）前記外部最適化を出力すること、を行うように構成され、ならびに、
    ここで、前記サンプリングデバイスは前記内部最適化を行うように構成される、
    システム。
28. 前記サンプリングデバイスは、少なくとも１つの非古典的なコンピューター、デジタルコンピューター、フィールドプログラマブルゲートアレイ、グラフィックスプロセッシングユニット、または特定用途向け集積回路を含む、請求項２７に記載のシステム。
29. 前記非古典的なコンピューターは、少なくとも１つの量子コンピューターまたは少なくとも１つの量子アニーラーを含む、請求項２８に記載のシステム。

Images