JP7134949B2 - サンプリングサーバからサンプリングするためのシステム、方法、及び装置 - Google Patents

サンプリングサーバからサンプリングするためのシステム、方法、及び装置 Download PDF

Info

Publication number
JP7134949B2
JP7134949B2 JP2019516164A JP2019516164A JP7134949B2 JP 7134949 B2 JP7134949 B2 JP 7134949B2 JP 2019516164 A JP2019516164 A JP 2019516164A JP 2019516164 A JP2019516164 A JP 2019516164A JP 7134949 B2 JP7134949 B2 JP 7134949B2
Authority
JP
Japan
Prior art keywords
samples
machine learning
sampling
sampling server
digital processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019516164A
Other languages
English (en)
Other versions
JP2019533241A (ja
Inventor
ロルフ，ジェイソン，ティー．
マクレディ，ウィリアム，ジー．
ランジバー，マニ
ネヴィシ，マイッサム モハマディ
Original Assignee
ディー－ウェイブ システムズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディー－ウェイブ システムズ インコーポレイテッド filed Critical ディー－ウェイブ システムズ インコーポレイテッド
Publication of JP2019533241A publication Critical patent/JP2019533241A/ja
Application granted granted Critical
Publication of JP7134949B2 publication Critical patent/JP7134949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Description

本開示は、概して、サンプリングサーバを用いる機械学習システムに関する。
機械学習
機械学習は、データから学習し、データに基づいて予測を行うことができる方法及び回路に関する。静的プログラム命令に従う方法又は回路とは対照的に、機械学習方法及び回路は、例示的な入力（訓練事例など）からモデルを導出することと、次いでデータ駆動型予測を作成することとを含み得る。
機械学習は、最適化に関連する。いくつかの問題は、訓練事例に対する損失関数を最小化する点で表すことができ、この損失関数は、訓練されているモデルの予測と観察可能なデータとの間の不等を説明する。
機械学習タスクは、教師なし学習、教師あり学習、及び強化学習を含み得る。機械学習へのアプローチとしては、決定木、線形及び二次分類器、事例ベース推論、ベイズ統計、及び人工ニューラルネットワークが挙げられるが、これらに限定されない。
機械学習は、明示的なアプローチが実行不可能であると考慮される状況で使用され得る。アプリケーションエリアの例としては、光学文字認識、検索エンジン最適化、及びコンピュータビジョンが挙げられる。
量子プロセッサ
量子プロセッサは、非量子デバイスに利用できない量子物理現象（重畳、もつれ、及び量子トンネリングなど）を活用し得るコンピューティングデバイスである。量子プロセッサは、超伝導量子プロセッサの形態をとることができる。超伝導量子プロセッサは、複数の量子ビットと、例えば２以上の超伝導量子ビットからなる結合された局所バイアスデバイスとを含み得る。量子ビットの一例は、フラックス量子ビットである。超伝導量子プロセッサはまた、量子ビット間の通信結合を提供する結合デバイス（すなわち、「カプラ」）を用いることができる。本システム及びデバイスと併せて使用され得る例示的な量子プロセッサの更なる詳細及び実施形態は、例えば、米国特許第７，５３３，０６８号、同第８，００８，９４２号、同第８，１９５，５９６号、同第８，１９０，５４８号、及び同第８，４２１，０５３号に記載されている。
断熱量子計算
断熱量子計算は、典型的には、ハミルトニアンを徐々に変化させることによって、既知の初期ハミルトニアン（ハミルトニアンは、固有値がシステムの許容エネルギーである演算子である）から最終ハミルトニアンにシステムを進化させることを伴う。断熱進化の単純な例は、初期ハミルトニアンと最終ハミルトニアンとの間の線形補間である。一例は、以下のとおりである。
Figure 0007134949000001
式中、Ｈｉは初期ハミルトニアンであり、Ｈｆは最終ハミルトニアンであり、Ｈｅは、進化又は瞬間ハミルトニアンであり、ｓは、進化速度（すなわち、ハミルトニアン変化の速度）を制御する進化係数である。
システムが進化するにつれて、進化係数ｓは、０～１になり、それにより、開始時（すなわち、ｓ＝０）において、進化ハミルトニアンＨｅは、初期ハミルトニアンＨｉに等しく、終了時（すなわち、ｓ＝１）において、進化ハミルトニアンＨｅは、最終ハミルトニアンＨｆに等しい。進化が始まる前に、システムは、典型的には、初期ハミルトニアンＨｉの接地状態で初期化され、その目的は、システムが進化の終了時において最終ハミルトニアンＨｆの接地状態で終了するような方法でシステムを進化させることである。進化が速すぎる場合、本システムは、第１の励起状態などのより高いエネルギー状態に遷移することができる。本明細書で使用するとき、「断熱」進化とは、以下の断熱条件を満たす進化であり、
Figure 0007134949000002
式中、
Figure 0007134949000003
は、ｓの時間微分であり、ｇ（ｓ）は、ｓの関数としてのシステムの接地状態と第１の励起状態との間のエネルギーの差（本明細書では「ギャップサイズ」とも称される）であり、δは、１未満の係数である。
システムが常に進化ハミルトニアンの瞬間接地状態にあるほど進化が十分遅い場合には、反交差での遷移（ギャップサイズが最小であるとき）が回避される。上記の線形進化以外の他の進化スケジュールは、非線形進化、パラメトリック進化などを含むことが可能である。断熱量子計算システム、方法、及び装置に関する更なる詳細は、例えば、米国特許第７，１３５，７０１号及び同第７，４１８，２８３号に記載されている。
量子アニーリング
量子アニーリングは、システムの低エネルギー状態、典型的には好ましくは、接地状態を求めるために使用され得る計算方法である。古典的なシミュレーテッドアニーリングの概念と同様に、本方法は、低エネルギー状態がより安定しているため、自然システムがより低いエネルギー状態に向かう傾向があるという基本原理に依存する。古典的なアニーリングが古典的な熱変動を使用してシステムを低エネルギー状態及び理想的にはその最小のグローバルエネルギーに導く一方、量子アニーリングは、古典的なアニーリングよりも、より正確にかつ／又はより迅速に最小のグローバルエネルギーを達成するために、不規則性のソース（source of disordering）として、量子トンネリングなどの量子効果を使用することができる。量子アニーリングでは、アニーリングに熱効果及び他のノイズが存在することがある。最終的な低エネルギー状態は、最小のグローバルエネルギーではない場合がある。断熱量子計算は、理想的には、システムが接地状態で開始し、断熱進化を通じて接地状態に留まる量子アニーリングの特殊な場合とみなされ得る。それ故、当業者は、量子アニーリングシステム及び方法が、一般に断熱量子コンピュータに実装され得ることを理解するであろう。本明細書及び添付特許請求の範囲の全体にわたって、量子アニーリングに対するいずれの言及も、文脈上別段の解釈が要求されない限り、断熱量子計算を包含することを意図する。
量子アニーリングは、アニーリングプロセス中に、量子力学を不規則のソース（source of disorder）として使用する。最適化問題などの目的関数は、ハミルトニアンＨＰで符号化されており、アルゴリズムは、ＨＰとは交換可能ではない不規則性ハミルトニアン（disordering Hamiltonian）ＨＤを追加することによって量子効果を導入する。例示的な事例は、以下のとおりであり、
Figure 0007134949000004
式中、Ａ（ｔ）及びＢ（ｔ）は、時間依存的な包絡線関数である。例えば、Ａ（ｔ）は、進化中に大きな値から実質的にゼロに変化することができ、ＨＥは、上の断熱量子計算の文脈に記載されるＨｅと同様の進化ハミルトニアンと考えることができる。不規則は、ＨＤを除去することによって（すなわち、Ａ（ｔ）を減少させることによって）緩徐に除去される。
したがって、量子アニーリングは、システムが初期ハミルトニアンで開始し、進化ハミルトニアンを介して、接地状態が問題に対する解決策を符号化する最終「問題」ハミルトニアンＨＰに進化するという点で、断熱量子計算と同様である。進化が十分に遅い場合、本システムは、グローバル最小値（すなわち、正確な解決策）内に、又は正確な解決策にエネルギー的に近い局所最小値に落ち着く可能性がある。計算の性能は、進化時間に対する残留エネルギー（目的関数を使用する正確な解決策との差）を介して査定され得る。計算時間は、いくつかの許容可能な閾値を下回る残留エネルギーを発生させるのに必要な時間である。量子アニーリングでは、ＨＰは、最適化問題を符号化することができ、したがって、ＨＰは、解決策を符号化する量子ビットの下位空間内で斜めであってもよいが、本システムが常に接地状態に留まる必要はない。ＨＰのエネルギー地形は、そのグローバル最小値が解決すべき問題に対する答えであり、低地の局所最小値が良好な近似値であるように作成され得る。
量子アニーリングでは、不規則性ハミルトニアンＨＤの段階的な減少（すなわち、Ａ（ｔ）を減少させること）は、アニーリングスケジュールとして知られる定義されたスケジュールに従うことができる。本システムが進化全体にわたってその接地状態で開始し、そこに留まる断熱量子計算とは異なり、量子アニーリングでは、本システムは、アニーリングスケジュール全体にわたってその接地状態に留まることができない。そのため、量子アニーリングは、ヒューリスティック技術として実装されてもよく、その場合、接地状態の近くのエネルギーを有する低エネルギー状態は、問題に対する近似的な解決策を提供することができる。
前述の関連技術例とそれに関連する制約は、例示的であって排他的ではないものとする。関連技術の他の制約は、本明細書を読み、図面を検討すると、当業者には明らかになるであろう。
アナログプロセッサのワーキンググラフより大きい（及び／又は少なくとも十分には提供されていない）サイズ及び／又は接続性を有する少なくともいくつかの問題を処理することができる必要性がある。計算システム及び方法が説明され、少なくともいくつかの態様において、アナログプロセッサのワーキンググラフ内では適合しない表現を有する少なくともいくつかの問題グラフの計算を可能にする（例えば、問題グラフは、プロセッサが与えるよりも多くの計算デバイス及び／又は多くの／他のカプラを必要とするため）。
機械学習で使用するための計算システムは、少なくとも１つのデジタルプロセッサコアと、少なくとも１つのデジタルプロセッサコアに通信可能に結合可能であり、かつ少なくとも１つのデジタルプロセッサコアによって実行されると、少なくとも１つのデジタルプロセッサコアにサンプリングサーバを実装させるプロセッサ実行可能命令又はデータのうちの少なくとも１つを記憶する、少なくとも１つの非一時的なプロセッサ可読媒体とを含み、サンプリングサーバが、サンプリングサーバが実装された少なくとも１つのデジタルプロセッサコアとは別個の少なくとも１つのデジタルプロセッサコア上でサンプリングサーバと並行して実行されている機械学習プロセスの反復に関するパラメータの初期セットを受信し、機械学習プロセスの実行と一時的に並行して、サンプルの第１のセットをパラメータの初期セットに基づいて生成し、機械学習プロセスの更なる反復で使用するために、少なくとも１つのデジタルプロセッサコアによって実装されたときに、サンプリングサーバによって生成されたサンプルの第１のセットを提供する、ものとして要約され得る。サンプリングサーバは、機械学習プロセスと共に又は更には同時に、その少なくとも一部分と重複して実行される。
サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアは、例えば、所与の問題に対して、機械学習アルゴリズムを実行している１つ以上の他のプロセッサコアに、サンプリングサーバによって生成されたサンプルの第１のセットと共に関数の第１のセットを提供し得る。関数の第１のセットは、一次及び二次統計量を含み得る。
サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアは、ボルツマン分布から、例えば、キメラ構造のボルツマン分布からサンプルを抽出し得る。サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアは、単一温度のギブスサンプリングのマルコフ連鎖、シミュレーテッド焼き戻し、並列焼き戻し、ポピュレーションアニーリング、及びアニールされた重要度サンプリングのうちの少なくとも１つを介してサンプルを抽出し得る。
サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアは、サンプリングサーバからパラメータの現在のセットを提供し、少なくとも１つの量子プロセッサから、量子プロセッサ生成サンプルのセットを受信し得る。サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアは、量子プロセッサから受信したサンプルに対して後処理を実施し得る。
サンプリングサーバは、例えば、機械学習プロセスが実行される少なくとも１つの別個のデジタルプロセッサコアに、サンプル、サンプルの関数、及び対数分配関数に対する近似値を送信し得る。
サンプリングサーバは、例えば、サンプリングサーバが実装された少なくとも１つのデジタルプロセッサコアとは別個の少なくとも１つのデジタルプロセッサコア上でサンプリングサーバと並行して実行されている機械学習プロセスのいくつかの反復の各々に関するパラメータの追加セットを反復して受信し、機械学習プロセスの実行と一時的に並行して、サンプルの追加セットを、パラメータの追加セットのうちのそれぞれのパラメータに基づいて、反復して生成し、機械学習プロセスの反復で使用するために、少なくとも１つのデジタルプロセッサコアによって実装されたときに、サンプリングサーバによって生成されたサンプルの追加セットを反復して提供し得る。
機械学習で使用するための計算システムは、例えば、所与の問題に対して、機械学習プロセスを実行する少なくとも１つのデジタルプロセッサコアを更に含むものとして要約され得る。機械学習プロセスは、例えば、生成モデルの対数尤度を最大化し得る。
サンプリングサーバが実装された少なくとも１つのデジタルプロセッサコアは、メモリ容量を有するグラフィックプロセッサユニットの第１のプロセッサコアであり得、機械学習プロセスを実行する別個の少なくとも１つのデジタルプロセッサコアは、グラフィックプロセッサユニットの第２のプロセッサコアであり得、グラフィックプロセッサユニットの第１のプロセッサコアとメモリ容量を共有する。サンプリングサーバが実装された少なくとも１つのデジタルプロセッサコアは、第１のグラフィックプロセッサユニットのプロセッサコアであり得、機械学習プロセスを実行する別個の少なくとも１つのデジタルプロセッサコアは、第２のグラフィックプロセッサユニットのプロセッサコアであり得、第２のグラフィックプロセッサユニットは、第１のグラフィックプロセッサユニットとは別個の異なるものである。第１のグラフィック処理ユニットは、第１のコンピュータの一部であり得、第２のグラフィック処理ユニットは、第２のコンピュータの一部であり得、第２のコンピュータは、第１のコンピュータとは別個の異なるものである。サンプリングサーバが実装された少なくとも１つのデジタルプロセッサコアは、互いに別個の異なるものである複数のプロセッサの複数のデジタルプロセッサコアを含み得、複数のプロセッサは、複数のコンピュータの構成要素であり得、コンピュータは、ネットワークインフラストラクチャを介して通信可能に結合されたマシンのクラスタを形成し得る。
機械学習で使用するための計算システムは、サンプリングサーバによって提供されたパラメータの現在のセットに少なくとも部分的に基づいて分布からサンプルを抽出する１つ以上の量子プロセッサを更に含むものとして要約され得る。量子プロセッサ（複数可）は、サンプルを抽出する前に連鎖埋め込みを実施し得る。
機械学習で使用するための計算システムは、第１のデジタルプロセッサコア又はコアのセット（すなわち、非一時的なコンピュータ又はプロセッサ可読媒体に記憶されたソフトウェア又はファームウェア命令を実行するハードウェアプロセッサ回路）、及び第２のデジタルプロセッサコア又はコアのセットに実装されたサンプリングサーバ（すなわち、非一時的なコンピュータ又はプロセッサ可読媒体に記憶されたソフトウェア又はファームウェア命令を実行するハードウェアプロセッサ回路）を含み得る。機械学習アルゴリズムを実行するデジタルプロセッサコア（複数可）は、生成モデルの対数尤度を最大化する。サンプリングサーバは、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア（複数可）に通信可能に結合されており、第１のデジタルプロセッサコア（複数可）からパラメータの初期セットを受信し、パラメータの初期セットに基づいて分布からサンプルを抽出し、サンプル及びサンプルの関数を第１のデジタルプロセッサコア（複数可）に送信する。サンプルの関数は、一次及び二次統計量であり得る。サンプリングサーバは、ボルツマン分布からサンプルを抽出し得る。ボルツマン分布は、キメラ構造であり得る。サンプリングサーバは、単一温度のギブスサンプリングのマルコフ連鎖、シミュレーテッド焼き戻し、並列焼き戻し、ポピュレーションアニーリング、及びアニールされた重要度サンプリングのうちの任意の１つ以上を介してサンプルを抽出し得る。計算システムは、サンプリングサーバと通信結合した量子プロセッサを更に備え得る。量子プロセッサは、サンプリングサーバからパラメータの現在のセットを周期的に受信し、分布からサンプルを抽出し、サンプルをサンプリングサーバに送信し、サンプリングサーバは、サンプルを第１のデジタルプロセッサコア又はコアのセットに送信する前に、量子プロセッサから受信したサンプルに対して後処理を実行する。量子プロセッサは、サンプルを抽出する前に連鎖埋め込みを実施し得る。サンプリングサーバは、ＧＰＵ上でデジタルプロセッサとメモリ容量を共有し得る。サンプリングサーバは、異なるＧＰＵ上にあり得る。サンプリングサーバは、異なるマシン上にあり得る。サンプリングサーバは、ネットワーク上のマシンのクラスタ上にあり得る。
第１のデジタルプロセッサコア又はコアのセット、及び第２のデジタルプロセッサコア又はコアのセットに実装されたサンプリングサーバを用いる機械学習のための方法は、第１のデジタルプロセッサコア又はコアのセット（すなわち、非一時的なコンピュータ又はプロセッサ可読媒体に記憶されたソフトウェア又はファームウェア命令を実行するハードウェアプロセッサ回路）が、パラメータの初期セットを初期化することと、第１のデジタルプロセッサコア（複数可）が、パラメータの初期セットをサンプリングサーバに送信することと、第１のデジタルプロセッサコア（複数可）が、パラメータの初期セット及びサンプルの関数の計算に基づいて、サンプリングサーバが分布からサンプルを抽出するのと並行して、生成モデルの対数尤度を最大化することと、サンプリングサーバが、サンプルを第１のデジタルプロセッサコア（複数可）に送信することと、第１のデジタルプロセッサコア（複数可）が、サンプルを使用して、生成モデルの対数尤度を最大化することによって分布を学習することとを含む。サンプルの関数は、一次及び二次統計量であり得る。分布は、ボルツマン分布であり得る。サンプリングサーバは、単一温度のギブスサンプリングのマルコフ連鎖、シミュレーテッド焼き戻し、並列焼き戻し、ポピュレーションアニーリング、及びアニールされた重要度サンプリングのうちの任意の１つ以上を介してサンプルを抽出し得る。特許請求の範囲の方法は、サンプリングサーバと通信結合した量子プロセッサを更に備え得る。デジタルプロセッサは、学習される分布に対応する初期パラメータのセットをサンプリングサーバに送信し、サンプリングサーバは、初期パラメータを使用して、分布からサンプルの第１のセットを抽出し、それによって、更新されたパラメータを生成し、サンプリングサーバがサンプルの第１のセット及びサンプルの関数を第１のデジタルプロセッサコア（複数可）に周期的に又は断続的に送信し、サンプリングサーバは、更新されたパラメータを量子プロセッサに送信し、量子プロセッサは、量子ハードウェアを使用して、更新されたパラメータに対応するサンプルの第２のセットを抽出し、量子プロセッサは、サンプルの第２のセットをサンプリングサーバに返却し、サンプリングサーバは、サンプルの第１のセットを更新するようにサンプルの第２のセットを使用して、更新されたパラメータ及びサンプルの第２のセットに対応するサンプルの第３のセットを生成し、サンプリングサーバは、サンプルの第３のセットを第１のデジタルプロセッサコア又はコアのセットに返却し、第１のデジタルプロセッサコア（複数可）は、サンプルの第３のセットを使用して、生成モデルの対数尤度を最大化する。サンプルの関数は、一次及び二次統計量であり得る。本方法は、サンプルを抽出する前に連鎖埋め込みを実施する量子プロセッサを更に含み得る。
図面において、同一の参照番号は同様の要素又は行為を特定する。図面中の要素の大きさ及び相対位置は必ずしも一定の比率で描かれていない。例えば、種々の要素の形状及び角度は必ずしも一定の比率で描かれておらず、図面の見やすさを向上させるために、これらの要素の一部が任意に拡大されて配置される場合がある。また、描画された要素の特定の形状は、必ずしも特定の要素の実際の形状に関する情報を伝達することを意図せず、図面における認識の容易さのために単独で選択されていてもよい。
本システム、デバイス、方法、及び物品によるデジタルプロセッサ及びアナログプロセッサを含む例示的なハイブリッドコンピュータを図示する概略図である。 例えば、本システム、デバイス、物品、及び方法による量子アニーリングを介して、図１のアナログコンピュータを実装するのに好適な例示的なトポロジーの一部分を図示する概略図である。 図２のトポロジーを実装するのに好適な制御可能なＺＺカプラの概略図を示す。 ２つの超伝導量子ビット、並びにＺＸカプラ及びＸＺカプラの両方を含むシステムの一実施形態の概略図であり、ＺＸカプラ及びＸＺカプラの各々は、図２のトポロジーを実装するのに好適な２つの量子ビット間の情報を通信可能に結合するように動作可能である。 本システム、デバイス、物品、及び方法に従ってサンプリングサーバからサンプリングすることによって機械学習を実施するための方法を示すフロー図である。 本システム、方法、及び装置に従って、デジタルプロセッサ、サンプリングサーバ、及び量子プロセッサ、並びにそれらの間の通信を含む例示的なハイブリッドシステムを図示する概略図である。 本システム、方法、及び装置に従って、デジタルプロセッサ、プロセッサのクラスタとして実装されたサンプリングサーバ、及び量子プロセッサ、並びにそれらの間の通信を含む例示的なハイブリッドシステムを図示する概略図である。 サンプリングサーバ及び量子プロセッサからサンプリングすることによって機械学習を実施するための方法を示すフロー図である。
以下の説明では、開示される様々な態様に対する十分な理解が得られるようにするために、特定の詳細について説明する。しかしながら、関連する技術分野の当業者であれば、これらの特定の詳細のうちの１つ以上を用いずに、又は、他の方法、構成要素、材料などを用いて態様が実施され得ることがわかるであろう。他の例においては、態様の説明を不必要に曖昧にすることを避けるために、コンピュータシステム、サーバコンピュータ、並びに／又は通信ネットワーク及び関連するハードウェア構成要素若しくは回路に関連付けられた周知の構造を詳細には図示及び説明していない。
文脈上で断らない限り、本明細書及び後続の特許請求の範囲を通して、「含む」「備える」（comprising）は「含む」「備える」（including）と同義であって、包含的又はオープンエンド的である（すなわち、付加的な、挙げられていない要素又は方法行為を排除しない）。
本明細書全体を通して「一態様」又は「態様」への言及は、態様に関連して説明される特定の特徴、構造、又は特性が、少なくとも１つの態様に含まれることを意味する。それ故、本明細書を通した様々な箇所における語句「一態様において」又は「態様において」の出現は、必ずしも全てが同じ態様を指さない。更に、１つ以上の態様において、特定の特徴、構造、又は特性を任意の好適な様式で組み合わせることができる。
本明細書及び添付の特許請求の範囲において用いられるとき、「１つの（a）」、「１つの（an）」、及び「その（the）」という単数形は、文脈上で明示的に断らない限り、複数の参照対象を含む。なお、「又は」という語は、一般に、文脈上で明示的に断らない限り、「及び／又は」を含む意味で使用される。
本明細書で提供される本開示の見出し及び要約書は、便宜的なものでしかなく、態様の範囲又は意味を説明しない。
図１は、アナログコンピュータ１０４に結合されたデジタルコンピュータ１０２を含むハイブリッドコンピューティングシステム１００を図示する。いくつかの態様では、アナログコンピュータ１０４は、量子コンピュータである。例示的なデジタルコンピュータ１０２は、古典的なデジタル処理タスクを実施するために使用され得るデジタルプロセッサ１０６を含む。
デジタルコンピュータ１０２は、１つ以上のコアを有する少なくとも１つのデジタルプロセッサ１０６、少なくとも１つのシステムメモリ１０８、及びシステムメモリ１０８を含む様々なシステム構成要素をデジタルプロセッサ１０６に結合する少なくとも１つのシステムバス１１０を含み得る。
デジタルプロセッサ１０６は、論理処理ユニット、例えば、１つ以上の中央処理ユニット（central processing unit、ＣＰＵ）、グラフィック処理ユニット（graphics processing unit、ＧＰＵ）、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、プログラマブルゲートアレイ（programmable gate array、ＦＰＧＡ）、プログラマブル論理コントローラ（programmable logic controller、ＰＬＣ）などを形成する任意の回路であり得る。
デジタルコンピュータ１０２は、ユーザ入出力サブシステム１１２を含み得る。いくつかの態様では、ユーザ入出力サブシステムは、ディスプレイ１１４、マウス１１６、及び／又はキーボード１１８などの、１つ以上のユーザ入出力構成要素を含む。
システムバス１１０は、メモリコントローラを有するメモリバス、周辺バス、及びローカルバスを含む、任意の既知のバス構造又はアーキテクチャを用いることができる。システムメモリ１０８は、読み出し専用メモリ（read-only memory、ＲＯＭ）、静的ランダムアクセスメモリ（static random access memory、ＳＲＡＭ）、フラッシュＮＡＮＤなどの不揮発性メモリ、及びランダムアクセスメモリ（random access memory、ＲＡＭ）などの揮発性メモリを含み得る（図示せず）。
デジタルコンピュータ１０２はまた、他の非一時的なコンピュータ可読若しくはプロセッサ可読記憶媒体又は不揮発性メモリ１２０を含み得る。不揮発性メモリ１２０は、回転媒体、例えば、磁気ハードディスクの読み出しと書き込みを行うためのハードディスクドライブ（hard disk drive、ＨＤＤ）及び／若しくは取り外し可能な光ディスクの読み出しと書き込みを行うための光ディスクドライブ、並びに／又は非回転媒体、例えば、ソリッドステートメモリの読み出しと書き込みを行うためのソリッドステートドライブ（solid state drive、ＳＳＤ）を含む種々の形態をとり得る。光ディスクはＣＤ－ＲＯＭ又はＤＶＤであり得、磁気ディスクは磁気フロッピーディスク若しくはディスケット、又は１つ以上の磁気ディスクプラッタであり得る。不揮発性メモリ１２０は、システムバス１１０を介してデジタルプロセッサと通信し得、システムバス１１０に結合された適切なインターフェース又はコントローラ１２２を含み得る。不揮発性メモリ１２０は、プロセッサ可読若しくはコンピュータ可読命令、データ構造、又はデジタルコンピュータ１０２のための他のデータ（プログラムモジュールと呼ばれることもある）のための長期記憶装置として機能し得る。
デジタルコンピュータ１０２は、ハードディスク、光ディスク、及び／又は磁気ディスクを用いるとして記載されているが、当業者は、他のタイプの不揮発性コンピュータ可読媒体、例えば、磁気カセット、フラッシュメモリカード、フラッシュ、ＲＯＭ、スマートカードなどが用いられ得ることを理解するであろう。当業者は、いくつかのコンピュータアーキテクチャが揮発性メモリ及び不揮発性メモリを用いることを理解するであろう。例えば、揮発性メモリ内のデータは、不揮発性メモリに、又は不揮発性メモリを提供するために集積回路を用いるソリッドステートドライブにキャッシュすることができる。
システムメモリ１０８には、様々なプロセッサ可読若しくはコンピュータ可読命令、データ構造、又は他のデータを記憶させることができる。例えば、システムメモリ１０８は、遠隔のクライアントと通信し、デジタルコンピュータ１０２及びアナログコンピュータ１０４上のリソースを含むリソースの使用をスケジューリングするための命令を記憶し得る。
いくつかの態様では、システムメモリ１０８は、アナログコンピュータ１０４に対する前処理、共処理、及び後処理を実施するためのプロセッサ可読又はコンピュータ可読計算命令を記憶し得る。システムメモリ１０８は、アナログコンピュータ１０４と相互作用するための一組のアナログコンピュータインターフェース命令を記憶し得る。
アナログコンピュータ１０４は、量子プロセッサ１２４などのアナログプロセッサを含み得る。アナログコンピュータ１０４は、隔離された環境、例えば、熱、磁場、及び他の外部ノイズ（図示せず）から量子コンピュータの内部要素を遮蔽する隔離された環境、及び／又はアナログプロセッサの回路が超伝導になる温度（すなわち、臨界温度）以下にアナログプロセッサを冷却する隔離された環境に提供され得る。対照的に、デジタルコンピュータ１０２は、典型的には、超伝導が発生しないはるかに高い温度（例えば、室温）で動作し、及び／又は臨界温度以下でさえも超伝導しない材料を用いてもよい。
図２は、本明細書に記載されるシステム、デバイス、物品、及び方法に従って、量子プロセッサの例示的なトポロジー２００を示す。トポロジー２００は、図１の量子プロセッサ１２４を実装するために使用され得るが、他のトポロジーもまた、本開示のシステム及び方法のために使用することができる。トポロジー２００は、セル２０２ａ、２０２ｂ、２０２ｃ、及び２０２ｄ（集合的に２０２）などの２×２個のセルのグリッドを含み、各セルは、８個の量子ビット、例えば、量子ビット２０４を含む（図２では１個のみがコールアウトされている）。
各セル２０２内には８個の量子ビット２０４が存在し、量子ビット２０４が各セル２０２において、（抽出シート内で水平に延在する）４つの行と、（抽出シート内で垂直に延在する）４つの列とで配列されている。行と列とによる一対の量子ビット２０４を、それぞれのカプラ、例えば、（太い交差形状によって図示された、図２では１つのみがコールアウトされている）カプラ２０６によって、互いに通信可能に結合することができる。それぞれのカプラ２０６は、各セル内の各列の量子ビット（抽出シート内で垂直に向けられた量子ビットを、同じセル内の各行の量子ビット（抽出シート内で水平に向けられた量子ビット）に通信可能に結合するように位置付けられて、動作可能である。追加的に、それぞれのカプラ、例えば、（図２では１つのみがコールアウトされている）カプラ２０８は、各セル内の各列の量子ビット（抽出シート内で垂直に向けられた量子ビット）を、列の向きと同じ方向で最近傍セル内の各列の対応する量子ビット（抽出シート内で垂直に向けられた量子ビット）に通信可能に結合するように位置付けられ、動作可能である。同様に、それぞれのカプラ、例えば、（図２では１つのみがコールアウトされている）カプラ２１０は、各セル内の各行の量子ビット（抽出シート内で水平に向けられた量子ビット）を、行の向きと同じ方向で各最近傍セル内の各行の対応する量子ビット（抽出シート内で水平に向けられた量子ビット）に通信可能に結合するように位置付けられ、動作可能である。カプラ２０６は太い交差形状によって図示されているが、限定することを意図するものではなく、カプラ２０６は、種々の他の形状のいずれかを有し得る。
図３Ａは、制御可能なＺＺカプラ３０１を備えるシステム３００ａの例示的な態様の概略図を示す。制御可能なＺＺカプラ３０１は、ジョセフソン接合３０３によって中断された超伝導材料３０２のループを含み、第１の量子ビット３１０及び第２の量子ビット３２０を結合するために使用される。第１の量子ビット３１０は、複合ジョセフソン接合（compound Josephson junction、ＣＪＪ）３１２によって中断された超伝導材料のループ（又は「量子ビットループ」）３１１を含み、制御可能なＺＺカプラ３０１と第１の量子ビット３１０との間のフラックス３０３の交換を通じて制御可能なＺＺカプラ３０１に結合される。第２の量子ビット３２０は、ＣＪＪ３２２によって中断された超伝導材料のループ（又は「量子ビットループ」）３２１を含み、制御可能なＺＺカプラ３０１と第２の量子ビット３２０との間のフラックス３０４の交換を通じて制御可能なＺＺカプラ３０１に結合される。超伝導材料のループ３０２は、磁気フラックスインダクタ３０６を通って流れる電流によって作り出されたフラックス３０５によって実行処理（threaded）される。本明細書に記載されるシステム、デバイス、物品、及び方法に従って、制御可能なＺＺカプラ３０１をトポロジー２００で使用して量子ビット間の通信結合を提供することができ、ひいては、量子プロセッサで使用することができる。
図３Ａに示されるＺＺカプラの設計の変更例及び、いくつかの用途については改良が、米国特許第７，８９８，２８２号及び米国特許第７，８００，３９５号に提示されている。
図３Ｂは、２つの超伝導量子ビット３３１、３３２、並びにＺＸカプラ３４０及びＸＺカプラ３５０の両方を含むシステム３００ｂの例示的な態様の概略図であり、ＺＸカプラ３４０及びＸＺカプラ３５０の各々は、量子ビット３３１と３３２との間の情報を通信可能に結合するように構成されている。量子ビット３３１及び３３２の各々は、それぞれＣＪＪ ３３５、３３６によって中断された閉じた超伝導電流経路によって形成された量子ビットループ３３３、３３４をそれぞれ含む。
ＺＸカプラ３４０は、量子ビット３３１の量子ビットループ３３３及び量子ビット３３２のＣＪＪ ３３６の両方に誘導結合された閉じた超伝導電流経路３４１を含む。したがって、ＺＸカプラ３４０は、量子ビット３３１の量子ビットループ３３３内の持続的電流を量子ビット３３２のＣＪＪ ３３６に誘導結合することによって、量子ビット３３１におけるＺ自由度と量子ビット３３２におけるＸ自由度との間の結合を提供する。
ＺＸカプラ３４０の場合、２つの同調要素によって同調性が実現される。閉じた超伝導電流経路３４１は、少なくとも１つのジョセフソン接合３４２によって中断され、閉じた超伝導電流経路３４１は、プログラミングインターフェース３４３に誘導結合される。
同様に、ＸＺカプラ３５０は、量子ビット３３２の量子ビットループ３３４及び量子ビット３３１のＣＪＪ ３３５の両方に誘導結合された閉じた超伝導電流経路３５１を含む。したがって、ＸＺカプラ３５０は、量子ビット３３２の量子ビットループ３３４内の持続的電流を量子ビット３３１のＣＪＪ ３３５に誘導結合することによって、量子ビット３３１におけるＸ自由度と量子ビット３３２におけるＺ自由度との間の結合を提供する。
ＸＺカプラ３５０及びＺＸカプラ３４０の両方はまた、２つの同調要素の組み合わせによって同調可能に作製され得る。閉じた超伝導電流経路３５１は、少なくとも１つのジョセフソン接合３５２によって中断され、プログラミングインターフェース３５３に誘導結合され、閉じた超音波電流経路３４１は、少なくとも１つのジョセフソン接合３４２によって中断され、プログラミングインターフェース３４３に誘導結合される。
本明細書に記載されるシステム、デバイス、物品、及び方法に従って、システム３００ｂをトポロジー２００で使用して量子ビット間の通信結合を提供することができ、ひいては、量子プロセッサで使用することができる。
本開示は、サンプリングサーバからサンプリングすることによって機械学習を実施するためのシステム、方法、及び装置を説明する。
多くの機械学習アルゴリズムは、計算的に扱いが難しい分布からのサンプルに依存する。かかるアルゴリズムの例は、制限付きボルツマンマシン（Restricted Boltzmann Machine、ＲＢＭ）の予想される負の対数尤度に対する勾配降下である。他のアルゴリズムは、深層ボルツマンマシン又は深層ボルツマンネットワークを訓練するための予想される負の対数尤度に対する勾配降下を計算する。上述のアルゴリズムの全てについては、良好なサンプルは、成功した学習につながり得る。
しかしながら、ＲＢＭ及びそれらの子孫からのサンプリングは、＃Ｐハードであり、多項式時間で近似することは困難である。ヒューリスティック近似値は、正確なサンプルの代わりに使用することができる。コントラスティブダイバージェンス（contrastive divergence、ＣＤ）及び持続的コントラスティブダイバージェンス（persistent contrastive divergence、ＰＣＤ）などのアルゴリズムは、ヒューリスティック近似値を使用する。ＣＤ及びＰＣＤは、単一温度のギブスサンプリングの単一のマルコフ連鎖に基づく。ＣＤ及びＰＣＤは、所望の精度でサンプルを得るために、特定の反復回数にわたって作動され得る。シミュレーテッド焼き戻し及び並列焼き戻し（ポピュレーションアニーリングを含む）などの他のアルゴリズムは、複数の温度を使用する。全ての方法は、複数の鎖を使用してもよい。アニールされた重要度サンプリングは、計算的に扱いが難しい分布からの予想を評価するために近似する別のアプローチである。この方法を使用したアニールされた重要度サンプリング及び用途の説明は、米国特許出願公開第２０１５／０２６９１２４号に見出すことができる。アニールされた重要度サンプリングは重要度重み付きサンプルを得るが、良好な提案分布が未知である問題に大きな計算時間を被る場合がある。したがって、計算的に扱いが難しい分布からより良好なサンプルを生成するシステム及び方法に対する一般的な要望が存在する。
ＣＤ及びＰＣＤなどのアルゴリズムは、サンプリング動作を機械学習アルゴリズムに統合し、訓練データを与えられた潜在変数にわたる近似値から事後分布へマルコフ連鎖をシードするか、又はマルコフ連鎖の最後のセットの終了時からマルコフ連鎖をシードする。出願人は、これらのアルゴリズムの全てにおいて、サンプリング動作が主機械学習アルゴリズムと同じマシンで実施されると考える。加えて、サンプリング動作は、概して、機械学習アルゴリズムの他の構成要素よりも多くの処理電力の次数を消費しないように実装される。しかしながら、正確なサンプルを得ることはリソース集約的であり、機械学習アルゴリズムの他の計算（例えば、予想される負の対数尤度の勾配を計算すること）よりも指数関数的により多くの時間をとる場合がある。
計算的に扱いが難しい分布から正確なサンプルを得ることが困難であることに応じて、現代の生成学習アルゴリズムは、指向されたグラフィックモデルに基づいており、サンプリングが構築によって計算的に追跡可能である前の分布を使用する。かかる生成学習アルゴリズムの例は、様々な自動エンコーダである。
計算的に扱いが難しい分布から正確なサンプルを得ることが困難であることを考慮すると、機械学習アルゴリズムの性能は、サンプルを生成するために必要な計算時間及びリソースによって制限される。
以下のシステム、方法、及び装置は、機械学習アルゴリズムの他の計算からサンプリング動作を分離することによって、機械学習アルゴリズムの性能を大幅に改善することができるアプローチ、ひいては、機械学習システムを説明する。
機械学習アルゴリズムがサンプルを必要とする分布は、訓練の過程で緩徐に変化する。結果として、反復ｎにおける分布からのサンプルは、反復ｎ＋１における分布からのサンプルとの良好な近似値である。したがって、前の反復で行われた作業を使用して、現在の反復からのサンプリングをブートストラップすることができる。ＰＣＤもまた、この現象を活用する。
反復ｎ＋１の調製において反復ｎ中に可能な限り多くの作業を行うために、サンプリング動作は、異なるサーバにオフロードされ得る。機械学習アルゴリズムが他の動作を実施、例えば、勾配降下を計算する間に、異なるサーバ又はサンプリングサーバは、バックグラウンドでサンプリング作業を行うことができる。サンプリングサーバは、その全てのリソースを、機械学習アルゴリズムの作動時間に影響を与えることなく、サンプルの品質を増加させるために宛てることができる。サンプリングサーバをマシンのクラスタ上で作動させることができ、この場合、サンプリング作業をマシンのクラスタ内のマシンの数にわたって並列化することができる。
一態様では、サンプリングサーバは、機械学習アルゴリズムからボルツマン分布の緩徐に変化するパラメータ（ｈ、ｊ）のストリームを受信し、現在の分布からサンプルの関数を返却する。サンプルの関数の一例は、一次及び二次統計量（すなわち、平均スピン及びスピン－スピン相関）である。次いで、機械学習アルゴリズムは、ボルツマンマシンに基づいて、生成モデルの対数尤度を最大化し得る。
パラメータ（ｈ、ｊ）を受信すると、サンプリングサーバは、パラメータ（ｈ、ｊ）を使用して、ＲＢＭであって、そこからギブスサンプリング、並列焼き戻し、ポピュレーションアニーリング、又は他のアルゴリズムを使用するサンプルを、サンプリングサーバへの最後の呼び出しによりシードされた鎖と共に生成するための、ＲＢＭを構築する。パラメータ（ｈ、ｊ）がサンプリングサーバへの呼び出しの間に緩徐に変化する限り、シードは有用なサンプルを生成し得る。サンプリングサーバへの逐次呼び出しは、パラメータの直近のセット（ｈ’、ｊ’）を伴い、それにより、サンプリングサーバは、呼び出されるたびに、受信したパラメータ（ｈ’、ｊ’）に基づいて新しいＲＢＭを構築する。
サンプル及び統計量に加えて、サンプリングサーバは、機械学習アルゴリズムに他のメトリクスを返すことができる。サンプリングサーバによって計算され得るメトリクスの一例は、対数分配関数の近似値、現在の分布の自動相関時間、サンプリングの困難さの他の測定値である。これらの追加のメトリクスは、まれに、例えば、サンプルに対する３０００回の要求ごとに要求及び返却されることがある。
ボルツマン分布の場合、分布は、キメラ構造の完全に二部に分かれていても、完全に接続されていてもよい。ある特定の事例では、例えば、低木幅のグラフでは、特殊なアルゴリズムを使用することができる。
サンプリングサーバは、機械学習アルゴリズムとしてサンプルＧＰＵ又はＣＰＵ上で作動され得、この場合、メモリは、サンプリングサーバと機械学習アルゴリズムとの間で共有される。異なる態様では、サンプリングサーバは、機械学習アルゴリズムと同じマシンを作動させることができるが、異なるＧＰＵ又はＣＰＵ上で作動させることはできない。
代替的に、サンプリングサーバは、機械学習アルゴリズムとは異なるマシン上で作動され得、ネットワークを介して機械学習アルゴリズムと通信し得る。後者の場合、サンプルの要求、並びにパラメータ及びサンプルの転送は、ネットワークを介して起こる。サンプリングサーバは、ネットワークを介してマシンのクラスタ上に拡散され得る。
サンプリングサーバが機械学習アルゴリズムと同じＧＰＵ又はＣＰＵ上にない場合、サンプリングサーバは、パラメータの現在のセットの下でサンプルの品質を改善するために、サンプルの要求間の利用可能な時間を使用し得る。機械学習アルゴリズムが新しい、わずかに異なるパラメータのセットを有するサンプルを要求する場合、これらの高品質のサンプルをサンプリングサーバによって使用してサンプリングをシードすることができる。
その前に、サンプリングサーバを様々な自動エンコーダと共に使用して、ボルツマンマシンからサンプルを生成することができる。サンプリングサーバの使用は、完全に接続されたボルツマンマシンの使用を容易にするであろう。このことは、サンプリング動作をボルツマンマシン内の複数のユニットにわたって並列化することができることを考慮すると、ＴｅｎｓｏｒＦｌｏｗなどの従来の方法を使用してサンプルを効率的に生成することは困難である。様々な自動エンコーダの説明は、国際特許出願第ＰＣＴ／ＵＳ２０１６／０４７６２７号に見出すことができる。
図４は、本システム、デバイス、物品、及び方法に従って、サンプリングサーバからサンプルを抽出することによって機械学習を実施するための方法４００を示す。本システム、デバイス、物品、及び方法に従って、１つ以上のプロセッサベースのデバイスによる方法４００の実行を行うことができる。本明細書の他の方法と同様、方法４００は、１つ以上のプロセッサ（すなわち、ハードウェア回路）によって実行される一連のプロセッサ可読命令又はそのセットによって実装され得る。方法４００は、例えば、単一のプロセッサ（例えば、グラフィックプロセッサユニット又はＧＰＵ）の２つ以上のコア上で実行され得、コアの各々は、他のプロセッサコアとは別個の異なるものであり得る。方法４００は、２つ以上のプロセッサユニットの２つ以上のコア上で実行され得、プロセッサユニットの各々は、他のプロセッサユニットとは別個の異なるものであり得る。方法４００は、２つ以上のコンピュータ又はマシンに属する２つ以上のプロセッサユニットの２つ以上のコア上で実行され得、各コンピュータ又はマシンは、他のコンピュータ又はマシンとは別個の異なるものであり得る。コンピュータ又はマシンは、例えば、ネットワークインフラストラクチャ、例えば、様々なパケットスイッチ及び／又はルータを有するパケットスイッチネットワークによって通信可能に結合された１つ以上のクラスタを形成し得る。
方法４００は、例えば、別のルーチンからの呼び出し又は起動に応答して、４０２で開始する。
４０４において、第１のデジタルプロセッサコア又はコアのセットは、学習される分布のパラメータを初期化することによって、機械学習アルゴリズムを開始又は作動し始める。分布の一例は、パラメータ（ｈ、ｊ）を有するボルツマン分布である。
方法４００は、並行して若しくは共に、又は更には同時に、行為４０６及び４０８を実行する。
４０６において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、分布のパラメータを使用して、サンプリングサーバから受信したサンプルを有する当該分布を学習するように機械学習アルゴリズムを作動させる。例えば、第１のデジタルプロセッサコア又はコアのセットは、生成モデルの対数尤度を最大化することを目的として、サンプルを使用して、ボルツマンマシンに基づいて生成モデルの対数尤度の勾配を計算することができる。
４０８において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、パラメータの現在のセットをサンプリングサーバに送信する。第１の反復では、第１のデジタルプロセッサコア又はコアのセットは、４０４で初期化されたパラメータを送信する。逐次反復では、第１のデジタルプロセッサコア又はコアのセットは、４０６で作動中の機械学習アルゴリズムの直近の反復からのパラメータのセットをサンプリングサーバに送信する。
４１０において、サンプリングサーバを実装する第２デジタルプロセッサコア又はコアのセットは、４０８で受信したパラメータを使用して、４０６で作動中の機械学習アルゴリズムで使用されるサンプルを生成する。サンプリングサーバは、受信したパラメータを使用して、ＲＢＭであって、そこからサンプルを抽出するための、ＲＢＭを構築し得る。サンプリングサーバは、ギブスサンプリング、並列焼き戻し、又は他のアルゴリズムなどの技術を使用して、サンプルを抽出することができる。
４１２において、サンプリングサーバは、機械学習アルゴリズムを実行する第１デジタルプロセッサコア又はコアのセットにサンプルを提供する。前述のように、４０６において、第１のデジタルプロセッサコア又はコアのセットは、機械学習アルゴリズムを作動させるためのサンプルを使用する。サンプリングサーバが機械学習とは異なるマシン上に実装されている場合、サンプルは、通信ネットワーク、例えば、パケットスイッチ及びルータのパケットスイッチネットワークを介して返却される。
４１４において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、より多くのサンプルが必要であるかどうかを決定する。より多くのサンプルを抽出する決定は、多数の反復の完了に基づくか、又は計算された性能係数に基づき得る。後者の場合、性能係数が改善を欠いているか又は劣化し始めたときが、サンプリング動作を中断する指標である。
より多くのサンプルを抽出する決定がなされた場合、制御は４０８に移り、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、パラメータの更新されたセットをサンプリングサーバに送信する。そうでなければ、制御は４０６に移り、第１のデジタルプロセッサコア又はコアのセットは、機械学習アルゴリズムを作動させる。
４１８において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、停止基準が満たされたかどうかをチェックするために試験する。停止基準は、例えば、逐次反復間の性能基準の反復又は測定の回数に関連し得る。性能基準は、例えば、機械学習アルゴリズムの反復の出力と訓練データセットとの間の差によって査定され得る。後者の場合、逐次反復間の性能基準が劣化し始めるか又は改善を欠いたときが、機械学習アルゴリズムが停止し、制御が４２０に移るべきであるという指標である。そうでなければ、制御は４０６に移り、機械学習アルゴリズムが作動し続ける。
４２０において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、機械学習アルゴリズムの結果を返却する。
４２２において、方法４００は、例えば、再び起動されるまで、終了する。
サンプリングサーバを量子プロセッサと共に使用することができ、その場合、サンプリングサーバは、機械学習アルゴリズムと量子プロセッサとの間のインターフェースとして機能する。
図５Ａは、デジタルプロセッサコア５０２と、サンプリングサーバコンピュータ５０４と、量子プロセッサ５０６とを備えるハイブリッドシステム５００ａを示す。
図４の方法４００を参照して上に記載されるように、１つ以上のプロセッサコア５０２は機械学習アルゴリズムを作動させ、異なるプロセッサコア又はコアのセットによって実装されたサンプリングサーバコンピュータ５０４はサンプルを提供する。サンプリングサーバコンピュータ５０４は、機械学習アルゴリズムと同じＧＰＵ又はＣＰＵ上に、例えば、別個のコア又は別個のコアのセット上に実装され得る。代替的に、サンプリングサーバコンピュータ５０４は、機械学習アルゴリズムを実行する同じマシン又はマシンのセット上の別個のＧＰＵ／ＣＰＵ又は別個のＧＰＵ／ＣＰＵのセット上に実装され得る。追加的に又は代替的に、サンプリングサーバコンピュータ５０４は、機械学習アルゴリズムを実行するマシン又はマシンのセットから、別個のマシン又は別個のマシンのセット上に実装され得る。１つ以上のネットワーク、例えば、パケットスイッチネットワークを介して機械学習アルゴリズムを実行するデジタルプロセッサ（複数可）と通信しているサンプリングサーバを実装するマシン（複数可）。量子プロセッサ５０６は、超伝導量子プロセッサであり得、図２のトポロジー２００で構築され得る。
量子プロセッサをサンプル発生器として操作するための方法は、米国特許第９，２１８，５６７号及び米国特許公開第２０１６／００４２２９４(Ａ１)号に記載されている。
サンプリングサーバ５０４は、量子プロセッサ５０６からのサンプルを要求し、かかるサンプルを使用して適切な温度で持続的マルコフ連鎖を再シードすることができる。量子プロセッサ５０６からのサンプルを要求する場合、サンプリングサーバ５０４は、量子プロセッサ５０６にパラメータを送信する前にパラメータスケーリングを実施して、量子プロセッサ５０６によってサンプリングされた分布が所望の論理温度に対応することを確実にすることができる。サンプリングサーバ５０４は、鎖の強度を選択し、鎖上でスピン反転変換（spin reversal transformation）を実施し得る。
サンプリングサーバ５０４は、パラメータが機械学習アルゴリズムから受信され、サンプルが機械学習アルゴリズムに返却される速度よりも遅い速度で、又はサンプルのセットごとに、量子プロセッサ５０６からのサンプルを要求し得る。
サンプリングサーバ５０４は、量子プロセッサによって生成されたサンプルが、機械学習アルゴリズムに送信される前に必要に応じて後処理されることを確実にし得る。サンプリングサーバ５０４は、ＭＣＭＣ及び重要度サンプリングなどの後処理技術を使用し得るが、他の後処理アルゴリズムを使用することもできる。量子プロセッサの出力を後処理するための方法及び技術は、米国特許第７，３０７，２７５号及び米国特許第８，２４４，６５０号に見出すことができる。
所望の分布に直接対応する量子プロセッサ５０６からのサンプルを使用して、そのマルコフ連鎖を再シードすることに加えて、サンプリングサーバ５０４は、量子プロセッサ５０６によって提供されたサンプルを異なる方法で使用することができる。例えば、量子プロセッサ５０６を使用して、間接的な方法でサンプルの品質を改善することができる。一例として、量子プロセッサ５０６を使用して、分布のエネルギー地形内の新しい谷部分を発見し、その結果、デジタルプロセッサ５０２によって使用されるサンプルの品質を改善して機械学習アルゴリズムを作動させることができる。
ハイブリッドシステム５００ａ内のデジタルプロセッサ５０２は、パラメータのセット（すなわち、ボルツマン分布のｈ、ｊ）をサンプリングサーバ５０４に送信する（図５Ａの矢印５０８）。サンプリングサーバ５０４は、サンプルを生成し、それらをデジタルプロセッサに送信する（図５Ａの矢印５１０）か、又はパラメータ（例えば、ｈ、ｊ）を量子プロセッサ５０６に送信し得る（図５Ａの矢印５１２）。量子プロセッサ５０６は、サンプルを生成し、それらをサンプリングサーバ５０４に送信する（図５Ａの矢印５１４）。量子プロセッサ５０６からサンプルを受信すると、サンプリングサーバ５０４は、それらのサンプルを使用して、そのマルコフ連鎖を再シードし、更新されたサンプルをデジタルプロセッサ５０２に送信する（図５Ａの矢印５１０）。
図５Ｂは、デジタルプロセッサ５０２と、量子プロセッサ５０６と、ネットワーク５１８を介した通信結合においてマシン５１６ａ～５１６ｄ（集合的に５１６）のクラスタとして実装されるサンプリングサーバ５０４とを備えるハイブリッドシステム５００ｂを示す。ネットワーク５１８は、バスネットワーク、リングネットワーク、又は他のタイプのネットワーク構造として実装され得る。図５Ｂでは、サンプリングサーバ５０４は４つのマシン５１６ａ～５１６ｄのクラスタとして実装されるように図示されているが、マシンの数は例示目的のみであり、マシン５１６のクラスタは、より少数の又はより多くの数の異なるマシンを有し得る。
図４の方法４００及びハイブリッドシステム５００ａを参照して上に記載されるように、デジタルプロセッサ５０２は機械学習アルゴリズムを作動させ、サンプリングサーバ５０４はサンプルを提供する。量子プロセッサ５０６は、超伝導量子プロセッサであり得、図２のトポロジー２００で構築され得る。
ハイブリッドシステム５００１を参照して上に記載されるように、サンプリングサーバ５０４は、量子プロセッサ５０６からのサンプルを要求し、かかるサンプルを使用して適切な温度で持続的マルコフ連鎖を再シードすることができる。
サンプリングサーバ５０４は、パラメータが機械学習アルゴリズムから受信され、サンプルが機械学習アルゴリズムに返却される速度よりも遅い速度で、又はサンプルのセットごとに、量子プロセッサ５０６からのサンプルを要求し得る。
サンプリングサーバ５０４は、量子プロセッサによって生成されたサンプルが、機械学習アルゴリズムに送信される前に必要に応じて後処理されることを確実にし得る。いくつかの態様では、サンプリングサーバ５０４は、量子プロセッサによって生成された後処理サンプルを用いて、サンプリングサーバ５０４によるサンプルの生成を改善する。
所望の分布に直接対応する量子プロセッサ５０６からのサンプルを使用して、そのマルコフ連鎖を再シードすることに加えて、サンプリングサーバ５０４は、量子プロセッサ５０６によって提供されたサンプルを異なる方法で使用することができる。ハイブリッドシステム５００ａを参照して上に記載されるように、例えば、量子プロセッサ５０６を使用して、間接的な方法でサンプルの品質を改善することができる。
ハイブリッドシステム５００ｂ内のデジタルプロセッサ５０２は、パラメータのセット（すなわち、ボルツマン分布のｈ、ｊ）をサンプリングサーバ５０４に送信する（図５Ｂの矢印５０８）。サンプリングサーバ５０４は、サンプルを生成し、それらをデジタルプロセッサに送信する（図５Ｂの矢印５１０）か、又はパラメータ（例えば、ｈ、ｊ）を量子プロセッサ５０６に送信し得る（図５Ｂの矢印５１２）。量子プロセッサ５０６は、サンプルを生成し、それらをサンプリングサーバ５０４に送信する（図５Ｂの矢印５１４）。量子プロセッサ５０６からサンプルを受信すると、サンプリングサーバ５０４は、それらのサンプルを使用して、そのマルコフ連鎖を再シードし、更新されたサンプルをデジタルプロセッサ５０２に送信する（図５Ｂの矢印５１０）。
図６は、サンプリングサーバ及び量子プロセッサからサンプルを抽出することによって機械学習を実施するための方法６００を示す。方法６００は、ハイブリッドシステム５００ａ又は５００ｂを使用して実装され得る。本システム、デバイス、物品、及び方法に従って、１つ以上のプロセッサベースのデバイスによる方法６００の実行を行うことができる。本明細書の他の方法と同様、方法６００は、１つ以上のプロセッサ（すなわち、ハードウェア回路）によって実行される一連のプロセッサ可読命令又はそのセットによって実装され得る。方法６００は、例えば、単一のプロセッサ（例えば、グラフィックプロセッサユニット又はＧＰＵ）の２つ以上のコア上で実行され得、コアの各々は、他のプロセッサコアとは別個の異なるものであり得る。方法６００は、２つ以上のプロセッサユニットの２つ以上のコア上で実行され得、プロセッサユニットの各々は、他のプロセッサユニットとは別個の異なるものであり得る。方法６００は、２つ以上のコンピュータ又はマシンに属する２つ以上のプロセッサユニットの２つ以上のコア上で実行され得、各コンピュータ又はマシンは、他のコンピュータ又はマシンとは別個の異なるものであり得る。コンピュータ又はマシンは、例えば、ネットワークインフラストラクチャ、例えば、様々なパケットスイッチ及び／又はルータを有するパケットスイッチネットワークによって通信可能に結合された１つ以上のクラスタを形成し得る。
方法６００は、例えば、別のルーチンからの呼び出しに応答して、６０２で開始する。
方法４００の４０４を参照して記載されるように、６０４において、第１のデジタルプロセッサコア又はコアのセットは、学習される分布のパラメータを初期化することによって、機械学習アルゴリズムを作動し始める。
方法６００は、並行して若しくは共に、又は更には同時に、行為６０６及び６０８を実行する。
方法４００の４０６を参照して記載されるように、６０６において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、分布のパラメータを使用して、サンプリングサーバから受信したサンプルを有する当該分布を学習するように機械学習アルゴリズムを作動させる。
方法４００の４０８を参照して上に記載されるように、６０８において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、パラメータの現在のセットをサンプリングサーバに送信する。
方法４００の４１０を参照して記載されるように、６１０において、サンプリングサーバを実装する第２デジタルプロセッサコア又はコアのセットは、６０８で受信したパラメータを使用して、６０６で作動中の機械学習アルゴリズムで使用されるサンプルを生成する。
６１１において、サンプリングサーバは、量子プロセッサからのサンプルを要求するかどうかを決定する。サンプリングサーバは、量子プロセッサの可用性若しくはスケジューリング能力、量子プロセッサに対するサンプルの最近の要求、又は他の要因を含む、いくつかの要因に基づいて、量子プロセッサからのサンプルを要求するかどうかを決定し得る。サンプリングサーバが量子プロセッサからのサンプルを要求しないと決定した場合、制御は６１２に移り、そうでなければ６１３に移る。
方法４００の４１２を参照して記載されるように、６１２において、サンプリングサーバは、機械学習アルゴリズムを実行する第１デジタルプロセッサコア又はコアのセットにサンプルを返却する。
方法４００の４１４を参照して記載されるように、６１４において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、より多くのサンプルが必要かどうかを決定する。第１のデジタルプロセッサコア又はコアのセットが、より多くのサンプルが必要であると決定した場合、制御は６０８に移り、そうでなければ６０６に移る。
６１３において、サンプリングサーバは、パラメータの直近のセットを量子プロセッサに送信する。パラメータの直近のセットは、デジタルプロセッサから最後に受信したパラメータである。上に記載されるように、サンプリングサーバは、パラメータを量子プロセッサに送信する前にパラメータスケーリングを実施し得る。
６１５において、量子プロセッサは、受信したパラメータのセットを使用して、パラメータに対応する分布を構築し、当該分布からサンプルを抽出する。
６１６において、量子プロセッサは、サンプルをサンプリングサーバに送信する。サンプルの伝達は、ネットワークを介して発生し得る。
６１７において、サンプリングサーバは、量子プロセッサから受信したサンプルに対して後処理を実施してから、サンプルを使用してそのマルコフ連鎖を再シードすることによって、量子プロセッサからの結果に基づいて更新されたサンプルを生成することができる。次いで、制御は６１１に移る。
方法４００の４２８を参照して記載されるように、６１８において、方法６００は、停止基準が満たされたかどうかをチェックするために試験する。
６２０において、機械学習アルゴリズムを実行する第１のデジタルプロセッサコア又はコアのセットは、機械学習アルゴリズムの結果を返却する。
６２２において、方法６００は、再び起動されるまで、終了する。代替的に、方法６００は、自動的に繰り返すことができる。
上述の方法（複数可）、プロセス（複数可）、又は技術（複数可）は、１つ以上の非一時的なプロセッサ可読媒体に記憶された一連のプロセッサ読み取り可能な命令によって実施され得る。上述の方法（複数可）、プロセス（複数可）、又は技術（複数可）方法のいくつかの例は、部分的に、断熱量子コンピュータ、又は量子アニーリング装置などの専用デバイス、あるいは、例えば少なくとも１つのデジタルプロセッサを含むコンピュータなど、断熱量子コンピュータ又は量子アニーリング装置の動作をプログラムするか、又は制御するシステムによって実行される。上述の方法（複数可）、プロセス（複数可）、又は技術（複数可）は、様々な行為を含み得るが、当業者であれば、代替例において特定の行為が省略され得、かつ／又は更なる行為が追加され得ることを理解することになる。当業者であれば、図示された行為の順序が例示の目的のみで示され、代替例で変化し得ることを理解するであろう。上述の方法（複数可）、プロセス（複数可）、又は技術（複数可）の例示的な行為又は動作の中には、反復して実行されるものがある。上述の方法（複数可）、プロセス（複数可）、又は技術（複数可）のいくつかの行為は、各反復行程中に、複数の反復行程後に、又は全ての反復行程の最後に実行され得る。
示された態様についての上記の説明は、要約書に記載されたものを含めて、排他的であることも、態様を開示された形態と同じものに限定することも意図していない。特定の態様及び例が、本明細書において例示の目的で説明されるが、当業者であれば認識するように、本開示の趣旨及び範囲から逸脱することなく、様々な均等な変更がなされ得る。様々な態様について本明細書で提供される教示は、以上に概説した例示の量子計算方法に限らず、他の量子計算方法にも適用され得る。
上記の様々な態様を組み合わせて、更なる態様を提供することができる。本明細書における特定の教示及び定義と矛盾しない程度に、Ｄ－Ｗａｖｅ Ｓｙｓｔｅｍｓ Ｉｎｃ．が一般に所有する、本明細書で参照され、及び／又は出願データシートに挙げられる米国特許出願公開、米国特許出願、米国特許、国際特許出願、外国特許、及び外国特許出願は全て、それらの全体において、参照によって本明細書に援用され、米国特許第７，８９８，２８２号、米国特許第７，８００，３９５号、米国特許第８，６７０，８０７号、米国特許出願第１４／６７６６０５号、国際特許出願第ＰＣＴ／ＵＳ２０１６／０４７６２７号、米国特許第９，２１８，５６７号、米国特許公開第２０１６／００４２２９４（Ａ１）号、並びに「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｇｅｎｅｒａｃｙ Ｍｉｔｉｇａｔｉｏｎ ｉｎ ａ Ｑｕａｎｔｕｍ Ｐｒｏｃｅｓｓｏｒ」と題する２０１６年９月２６日出願の米国仮特許出願第６２／３９９，７６４号、及び「Ｓｙｓｔｅｍｓ，Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓａｍｐｌｉｎｇ ｆｒｏｍ ａ Ｓａｍｐｌｉｎｇ Ｓｅｒｖｅｒ」と題する２０１６年９月２６日出願の米国仮特許出願第６２／３９９，６８３号を含むが、これらに限定されない。
これら及びその他の変更は、上記の詳細な説明を考慮して態様に施し得る。一般に、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、本明細書及び特許請求の範囲で開示された特定の態様に限定するものと捉えるべきではなく、かかる特許請求の範囲が権利を有する均等物の全範囲を併せた全ての可能な態様を含むものと捉えるべきである。したがって、特許請求の範囲は、本開示によって限定されない。

Claims (35)

  1. 機械学習で使用するための計算システムであって、前記計算システムが、
    少なくとも１つのデジタルプロセッサコアと、
    前記少なくとも１つのデジタルプロセッサコアに通信可能に結合可能であり、かつ前記少なくとも１つのデジタルプロセッサコアによって実行されると、前記少なくとも１つのデジタルプロセッサコアにサンプリングサーバを実装させるプロセッサ実行可能命令の少なくとも１つを記憶する、少なくとも１つの非一時的なプロセッサ可読媒体と、を備え、前記サンプリングサーバが、
    前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアとは別個の少なくとも１つのデジタルプロセッサコア上で前記サンプリングサーバと並行して実行されている機械学習プロセスの反復に関するパラメータの初期セットを受信し、
    前記機械学習プロセスの実行と一時的に並行して、サンプルの第１のセットを前記パラメータの初期セットに基づいて生成し、
    前記機械学習プロセスの更なる反復で使用するために、前記少なくとも１つのデジタルプロセッサコアによって実装されたときに、サンプリングサーバによって生成された前記サンプルの第１のセットを提供し、
    前記サンプリングサーバが実装される前記少なくとも１つのデジタルプロセッサコアは、少なくとも１つの量子プロセッサに更に通信可能に結合可能であり、プロセッサ実行可能命令又はデータの実行は、前記サンプリングサーバが実装される前記少なくとも１つのデジタルプロセッサコアに、
    前記サンプリングサーバから前記少なくとも１つの量子プロセッサに、パラメータの現在のセットを提供させ、
    前記少なくとも１つの量子プロセッサから量子プロセッサ生成サンプルのセットを受信させ、
    前記量子プロセッサは、前記サンプリングサーバによって提供された前記パラメータの現在のセットに少なくとも部分的に基づいて、分布からサンプルを抽出する、計算システム。
  2. 前記プロセッサ実行可能命令又の実行が、前記少なくとも１つのデジタルプロセッサコアに、サンプリングサーバによって生成された前記サンプルの第１のセットと共に関数の第１のセットを提供させ、前記関数の第１のセットが、前記サンプルの第１のセットの平均スピン及びスピン－スピン相関を含み、前記機械学習プロセスに、前記サンプルの第１のセットの平均スピン及びスピン－スピン相関を用いて、生成モデルの対数尤度を最大化させる、請求項１に記載の計算システム。
  3. 前記プロセッサ実行可能命令の実行が、前記少なくとも１つのデジタルプロセッサコアにボルツマン分布からサンプルを抽出させる、請求項１に記載の計算システム。
  4. 前記プロセッサ実行可能命令の実行が、前記少なくとも１つのデジタルプロセッサコアに、単一温度のギブスサンプリングのマルコフ連鎖、シミュレーテッド焼き戻し、並列焼き戻し、ポピュレーションアニーリング、及びアニールされた重要度サンプリングのうちの少なくとも１つを介してサンプルを抽出させる、請求項１に記載の計算システム。
  5. 前記機械学習プロセスが、生成モデルの対数尤度を最大化する、請求項１に記載の計算システム。
  6. 前記プロセッサ実行可能命令の実行が、前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアに更に、
    前記量子プロセッサから受信した前記サンプルに対して後処理を実施させる、請求項１に記載の計算システム。
  7. 前記量子プロセッサが、前記サンプリングサーバによって提供された前記パラメータの現在のセットに少なくとも部分的に基づいて分布からサンプルを抽出する、請求項１に記載の計算システム。
  8. 前記量子プロセッサが、サンプルを抽出する前に連鎖埋め込みを実施する、請求項７に記載の計算システム。
  9. 前記サンプリングサーバが、前記機械学習プロセスが実行される前記少なくとも１つの別個のデジタルプロセッサコアに、サンプル、サンプルの関数、及び対数分配関数に対する近似値を送信し、
    前記プロセッサ実行可能命令の実行が、前記機械学習プロセスに、前記サンプルの関数及び前記対数分配関数に対する近似値を用いて、生成モデルの対数尤度を最大化させる、請求項１に記載の計算システム。
  10. 前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアが、メモリ容量を有するグラフィックプロセッサユニットの第１のプロセッサコアであり、前記機械学習プロセスを実行する前記別個の少なくとも１つのデジタルプロセッサコアが、前記グラフィックプロセッサユニットの第２のプロセッサコアであり、前記グラフィックプロセッサユニットの前記第１のプロセッサコアと前記メモリ容量を共有する、請求項１に記載の計算システム。
  11. 前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアが、第１のグラフィックプロセッサユニットのプロセッサコアであり、前記機械学習プロセスを実行する前記別個の少なくとも１つのデジタルプロセッサコアが、第２のグラフィックプロセッサユニットのプロセッサコアであり、前記第２のグラフィックプロセッサユニットが、前記第１のグラフィックプロセッサユニットとは別個の異なるものである、請求項１に記載の計算システム。
  12. 前記第１のグラフィックプロセッサユニットが、第１のコンピュータの一部であり、前記第２のグラフィックプロセッサユニットが、第２のコンピュータの一部であり、前記第２のコンピュータが、前記第１のコンピュータとは別個の異なるものである、請求項１１に記載の計算システム。
  13. 前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアが、互いに別個の異なるものである複数のプロセッサの複数のデジタルプロセッサコアを含み、前記複数のプロセッサが、複数のコンピュータの構成要素であり、前記コンピュータが、ネットワークインフラストラクチャを介して通信可能に結合されたマシンのクラスタを形成する、請求項１２に記載の計算システム。
  14. 前記プロセッサ実行可能命令の実行が、前記少なくとも１つのデジタルプロセッサコアに更に、
    前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアとは別個の前記少なくとも１つのデジタルプロセッサコア上で前記サンプリングサーバと並行して実行されている前記機械学習プロセスのいくつかの反復の各々に関するパラメータの追加セットを反復して受信させ、
    前記機械学習プロセスの実行と一時的に並行して、サンプルの追加セットを、前記パラメータの追加セットのうちのそれぞれのパラメータに基づいて、反復して生成させ、
    前記機械学習プロセスの前記反復で使用するために、前記少なくとも１つのデジタルプロセッサコアによって実装されたときに、サンプリングサーバによって生成された前記サンプルの追加セットを反復して提供させる、請求項１に記載の計算システム。
  15. 前記サンプリングサーバが、前記機械学習プロセスと共に、その少なくとも一部と重複して実行される、請求項１に記載の計算システム。
  16. 前記サンプリングサーバが、前記機械学習プロセスと同時に実行される、請求項１に記載の計算システム。
  17. 機械学習で使用するための計算システムの動作の方法であって、前記方法が、
    サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアによって、前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアとは別個の少なくとも１つのデジタルプロセッサコア上で前記サンプリングサーバと並行して実行されている機械学習プロセスの反復に関するパラメータの初期セットを受信することと、
    サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアによって、前記機械学習プロセスの実行と一時的に並行して、サンプルの第１のセットを前記パラメータの初期セットに基づいて生成することと、
    サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアによって、前記機械学習プロセスの更なる反復で使用するために、前記少なくとも１つのデジタルプロセッサコアによって実装されたときに、サンプリングサーバによって生成された前記サンプルの第１のセットを提供することと、
    前記サンプリングサーバから少なくとも１つの量子プロセッサに、パラメータの現在のセットを提供することと、
    前記サンプリングサーバにより提供される前記パラメータの現在のセットに少なくとも部分的に基づいて、前記サンプリングサーバによって、前記少なくとも１つの量子プロセッサから、量子プロセッサ生成サンプルの第２のセットを受信することと、
    を含む、方法。
  18. サンプリングサーバを実装する少なくとも１つのデジタルプロセッサコアによって、サンプリングサーバによって生成された前記サンプルの第１のセットと共に関数の第１のセットを提供することを更に含み、前記関数の第１のセットが、前記サンプルの第１のセットの平均スピン及びスピン－スピン相関を含み、
    前記機械学習プロセスにより、前記サンプルの第１のセットの平均スピン及びスピン－スピン相関を用いて、生成モデルの対数尤度を最大化させる、請求項１７に記載の方法。
  19. サンプリングサーバを実装する前記少なくとも１つのデジタルプロセッサコアによって、ボルツマン分布からサンプルを抽出することを更に含む、請求項１７に記載の方法。
  20. サンプリングサーバを実装する前記少なくとも１つのデジタルプロセッサコアによって、単一温度のギブスサンプリングのマルコフ連鎖、シミュレーテッド焼き戻し、並列焼き戻し、ポピュレーションアニーリング、及びアニールされた重要度サンプリングのうちの少なくとも１つを介してサンプルを抽出することを更に含む、請求項１７に記載の方法。
  21. 前記サンプリングサーバによって、前記機械学習プロセスが実行される前記少なくとも１つの別個のデジタルプロセッサコアにサンプルの関数及び対数分配関数に対する近似値を送信することと、
    前記機械学習プロセスにより、前記サンプルの関数及び前記対数分配関数に対する近似値を用いて、生成モデルの対数尤度を最大化させること、
    を更に含む、請求項１７に記載の方法。
  22. 前記サンプリングサーバによって、前記サンプルの現在のセットを更新する前に前記サンプルの第２のセットに対して後処理を実施して、前記サンプルの第２のセットに少なくとも部分的に基づいてサンプルの第３のセットを生成することを更に含む、請求項１９に記載の方法。
  23. 前記量子プロセッサによって、前記サンプリングサーバによって提供された前記パラメータの現在のセットに少なくとも部分的に基づいて分布からサンプルを抽出することを更に含む、請求項１９に記載の方法。
  24. 前記量子プロセッサによってサンプルを抽出する前に、前記量子プロセッサによって連鎖埋め込みを実施することを更に含む、請求項２３に記載の方法。
  25. 前記サンプリングサーバが実装された前記少なくとも１つのデジタルプロセッサコアとは別個の前記少なくとも１つのデジタルプロセッサコア上で前記サンプリングサーバと並行して実行されている前記機械学習プロセスのいくつかの反復の各々に関するパラメータの追加セットを反復して受信することと、
    前記機械学習プロセスの実行と一時的に並行して、サンプルの追加セットを、前記パラメータの追加セットのうちのそれぞれのパラメータに基づいて、反復して生成することと、
    前記機械学習プロセスの前記反復で使用するために、前記少なくとも１つのデジタルプロセッサコアによって実装されたときに、サンプリングサーバによって生成された前記サンプルの追加セットを反復して提供することと、を更に含む、請求項１７に記載の方法。
  26. 前記サンプリングサーバが、前記機械学習プロセスと共に、その少なくとも一部と重複して実行される、請求項１７に記載の方法。
  27. 前記サンプリングサーバが、前記機械学習プロセスと同時に実行される、請求項１７に記載の方法。
  28. 機械学習で使用するための方法であって、前記方法が、
    第１の問題に対する機械学習プロセスの実行の一部として、前記第１の問題に対する前記機械学習プロセスを実行するデジタルプロセッサによってパラメータの初期セットを初期化することと、
    前記第１の問題に対する前記機械学習プロセスの実行の一部として、前記機械学習プロセスを実行する前記デジタルプロセッサによって、前記パラメータの初期セットを、前記機械学習プロセスと並行して実行されているサンプリングサーバに送信することと、
    前記第１の問題に対する前記機械学習プロセスの実行の一部として、前記サンプリングサーバによる分布からのサンプルの抽出と並行して、前記機械学習プロセスを実行する前記デジタルプロセッサによって生成モデルの対数尤度を最大化することであって、生成モデルの対数尤度を最大化することが、前記パラメータの初期セット及び前記サンプルの関数に基づく、ことと、
    前記第１の問題に対する前記機械学習プロセスの実行の一部として、前記機械学習プロセスを実行する前記デジタルプロセッサによって、前記サンプルを前記サンプリングサーバから受信することと、
    前記第１の問題に対する前記機械学習プロセスの実行の一部として、前記機械学習プロセスを実行する前記デジタルプロセッサによって前記生成モデルの前記対数尤度を最大化することによって、前記受信されたサンプルを使用して前記分布を学習することと、
    を含み、
    前記サンプリングサーバが実装される前記デジタルプロセッサは、少なくとも１つの量子プロセッサに更に通信可能に結合可能であり、
    前記第１の問題に対する機械学習プロセスの実行の一部として、前記少なくとも１つの量子プロセッサにパラメータの現在のセットを、前記サンプリングサーバにより、随時、送信することと、前記量子プロセッサから返却されるサンプルを前記サンプリングサーバにより、随時、受信することと、
    を含む、方法。
  29. 前記サンプリングサーバによって、分布から前記サンプルを抽出することと、
    前記サンプルの前記関数を、前記サンプリングサーバによって、計算することであって、前記サンプルの前記関数は、前記サンプルの第１のセットの平均スピン及びスピン－スピン相関を含む、ことと、
    を更に含む、請求項２８に記載の方法。
  30. 前記サンプリングサーバによって、ボルツマン分布から前記サンプルを抽出することを更に含む、請求項２８に記載の方法。
  31. 前記サンプリングサーバによって、単一温度のギブスサンプリングのマルコフ連鎖、シミュレーテッド焼き戻し、並列焼き戻し、ポピュレーションアニーリング、及びアニールされた重要度サンプリングのうちの少なくとも１つを介して前記サンプルを抽出することを更に含む、請求項２８に記載の方法。
  32. 機械学習で使用するための方法であって、前記方法が、
    第１の問題に対する機械学習プロセスの実行の一部として、
    前記第１の問題に対する前記機械学習プロセスを実行するデジタルプロセッサによって、学習される分布に対応する初期パラメータのセットをサンプリングサーバに送信することと、
    前記初期パラメータに少なくとも部分的に基づいて、サンプリングサーバによって前記分布からサンプルの第１のセットを抽出することと、
    前記第１の問題に対する前記機械学習プロセスを実行する前記デジタルプロセッサによって、前記サンプルの第１のセット及び前記サンプルの関数を受信することと、
    前記第１の問題に対する前記機械学習プロセスを実行するデジタルプロセッサによって、受信された前記サンプルの第１のセットに基づいて、更新されたパラメータのセットを生成することと、
    随時、前記サンプリングサーバによって、前記更新されたパラメータを量子プロセッサに送信することであって、前記サンプリングサーバが実装される前記デジタルプロセッサは、前記量子プロセッサに通信可能に結合可能である、ことと、
    随時、前記サンプリングサーバによって、前記量子プロセッサから返却されたサンプルの第２のセットを受信することと、
    前記サンプリングサーバによって、前記サンプルの第１のセットを更新して、前記サンプルの第２のセットに少なくとも部分的に基づいて、前記更新されたパラメータ及び前記サンプルの第２のセットに対応するサンプルの第３のセットを生成することと、
    前記第１の問題に対する前記機械学習プロセスを実行する前記デジタルプロセッサによって、前記サンプルの第３のセットを受信することと、
    前記第１の問題に対する前記機械学習プロセスを実行する前記デジタルプロセッサによって、前記サンプルの第３のセット及び前記サンプルの関数を使用して、生成モデルの対数尤度を最大化することと、を含む、方法。
  33. 量子ハードウェアを介して、前記量子プロセッサよって、前記更新されたパラメータに対応する前記サンプルの第２のセットを抽出することを更に含む、請求項３２に記載の方法。
  34. 前記サンプリングサーバによって前記サンプルの第１のセットを抽出することと、
    前記サンプリングサーバによって、前記サンプルの第１のセットの前記サンプルの前記関数を計算することであって、前記サンプルの関数は、前記サンプルの第１のセットの平均スピン及びスピン－スピン相関を含む、ことと、
    を更に含む、請求項３２に記載の方法。
  35. サンプルを抽出する前に、前記量子プロセッサによって連鎖埋め込みを実施することを更に含む、請求項３４に記載の方法。
JP2019516164A 2016-09-26 2017-09-25 サンプリングサーバからサンプリングするためのシステム、方法、及び装置 Active JP7134949B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662399683P 2016-09-26 2016-09-26
US62/399,683 2016-09-26
PCT/US2017/053303 WO2018058061A1 (en) 2016-09-26 2017-09-25 Systems, methods and apparatus for sampling from a sampling server

Publications (2)

Publication Number Publication Date
JP2019533241A JP2019533241A (ja) 2019-11-14
JP7134949B2 true JP7134949B2 (ja) 2022-09-12

Family

ID=61690663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019516164A Active JP7134949B2 (ja) 2016-09-26 2017-09-25 サンプリングサーバからサンプリングするためのシステム、方法、及び装置

Country Status (6)

Country Link
US (1) US11481669B2 (ja)
EP (1) EP3516599A4 (ja)
JP (1) JP7134949B2 (ja)
KR (1) KR102593690B1 (ja)
CN (1) CN109983481B (ja)
WO (1) WO2018058061A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100416B2 (en) 2015-10-27 2021-08-24 D-Wave Systems Inc. Systems and methods for degeneracy mitigation in a quantum processor
WO2018165021A1 (en) * 2017-03-10 2018-09-13 Rigetti & Co., Inc. Modular control in a quantum computing system
EP3718026B1 (en) * 2017-12-01 2023-11-29 1QB Information Technologies Inc. Systems and methods for stochastic optimization of a robust inference problem
US11176478B2 (en) 2019-02-21 2021-11-16 International Business Machines Corporation Method for estimating a quantum phase
WO2020255076A1 (en) 2019-06-19 2020-12-24 1Qb Information Technologies Inc. Method and system for mapping a dataset from a hilbert space of a given dimension to a hilbert space of a different dimension
CN113110931A (zh) * 2020-01-10 2021-07-13 北京小米松果电子有限公司 内核运算优化方法、装置及系统
US20230214700A1 (en) * 2020-04-09 2023-07-06 Socpra Sciences Et Genie S.E.C. Method of performing a quantum computation
CN111601490B (zh) * 2020-05-26 2022-08-02 内蒙古工业大学 数据中心主动通风地板的强化学习控制方法
CN111768007B (zh) * 2020-06-28 2023-08-08 北京百度网讯科技有限公司 用于挖掘数据的方法和装置
US11809426B2 (en) 2022-02-03 2023-11-07 Bank Of America Corporation System for implementing a data driven channel for query executions using quantum computing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317558A1 (en) 2014-05-01 2015-11-05 Lockheed Martin Corporation Quantum-assisted training of neural networks
WO2015193531A1 (en) 2014-06-16 2015-12-23 Nokia Technologies Oy Data processing
US20160042294A1 (en) 2011-07-06 2016-02-11 D-Wave Systems Inc. Quantum processor based systems and methods that minimize an objective function

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3470828A (en) 1967-11-21 1969-10-07 James R Powell Jr Electromagnetic inductive suspension and stabilization system for a ground vehicle
US5249122A (en) 1990-03-15 1993-09-28 Mount Sinai School Of Medicine Of The City University Of New York Method and apparatus for forming images using orthogonal polynomials for temporal deconvolution
US6671661B1 (en) 1999-05-19 2003-12-30 Microsoft Corporation Bayesian principal component analysis
JP3266586B2 (ja) 1999-07-07 2002-03-18 インターナショナル・ビジネス・マシーンズ・コーポレーション データ分析システム
MXPA02009001A (es) 2000-03-16 2004-10-15 Yuan Yan Chen Aparato y metodo para analisis confuso de evidencia.
US20030030575A1 (en) 2001-05-07 2003-02-13 Harmonic Data Systems Ltd. Lossless data compression
US7636651B2 (en) 2003-11-28 2009-12-22 Microsoft Corporation Robust Bayesian mixture modeling
US7418283B2 (en) 2004-03-29 2008-08-26 D-Wave Systems Inc. Adiabatic quantum computation with superconducting qubits
US7299171B2 (en) 2004-08-17 2007-11-20 Contentguard Holdings, Inc. Method and system for processing grammar-based legality expressions
US7212949B2 (en) 2004-08-31 2007-05-01 Intelligent Automation, Inc. Automated system and method for tool mark analysis
US7565627B2 (en) 2004-09-30 2009-07-21 Microsoft Corporation Query graphs indicating related queries
US20060115145A1 (en) 2004-11-30 2006-06-01 Microsoft Corporation Bayesian conditional random fields
US7533068B2 (en) 2004-12-23 2009-05-12 D-Wave Systems, Inc. Analog processor comprising quantum devices
US7401305B2 (en) 2005-07-11 2008-07-15 International Business Machines Corporation Adaptive application of SAT solving techniques
WO2010148120A2 (en) 2009-06-17 2010-12-23 D-Wave Systems Inc. Systems and methods for solving computational problems
US8560282B2 (en) 2005-07-11 2013-10-15 D-Wave Systems Inc. Quantum processor-based systems, methods and apparatus for solving problems as logic circuits
US7467118B2 (en) 2006-01-12 2008-12-16 Entelos Inc. Adjusted sparse linear programming method for classifying multi-dimensional biological data
CN101473346B (zh) 2006-04-12 2012-06-20 法国卓然 鲁棒的超分辨率视频缩放的方法及装置
US8195726B2 (en) 2006-06-20 2012-06-05 D-Wave Systems Inc. Systems, devices, and methods for solving computational problems
US8271043B2 (en) 2006-08-21 2012-09-18 Qualcomm Incorporated Approach to a unified SU-MIMO/MU-MIMO operation
US7729531B2 (en) 2006-09-19 2010-06-01 Microsoft Corporation Identifying repeated-structure elements in images
US7792353B2 (en) * 2006-10-31 2010-09-07 Hewlett-Packard Development Company, L.P. Retraining a machine-learning classifier using re-labeled training samples
US20090077001A1 (en) 2006-11-02 2009-03-19 William Macready Integrating optimization directly into databases
EP2126800A4 (en) 2006-12-05 2012-07-11 Dwave Sys Inc SYSTEMS, METHODS AND DEVICES FOR LOCAL PROGRAMMING OF QUANTUM PROCESSOR ELEMENTS
CN1973756A (zh) 2006-12-20 2007-06-06 复旦大学附属中山医院 氧化还原纳米药物量子点构成室温超导量子比特网络的方法
US8195596B2 (en) 2007-01-12 2012-06-05 D-Wave Systems Inc. Systems, devices, and methods for interconnected processor topology
US8275635B2 (en) 2007-02-16 2012-09-25 Bodymedia, Inc. Integration of lifeotypes with devices and systems
WO2008128338A1 (en) 2007-04-19 2008-10-30 D-Wave Systems Inc. Systems, methods, and apparatus for automatic image recognition
US20080313430A1 (en) 2007-06-12 2008-12-18 Bunyk Paul I Method and system for increasing quantum computer processing speed using digital co-processor
US8244650B2 (en) * 2007-06-12 2012-08-14 D-Wave Systems Inc. Systems, methods, and apparatus for recursive quantum computing algorithms
US8103671B2 (en) 2007-10-11 2012-01-24 Honda Motor Co., Ltd. Text categorization with knowledge transfer from heterogeneous datasets
US8190548B2 (en) 2007-11-08 2012-05-29 D-Wave Systems Inc. Systems, devices, and methods for analog processing
US8832165B2 (en) 2007-12-12 2014-09-09 Lockheed Martin Corporation Computer systems and methods for quantum verification and validation
JP5296189B2 (ja) 2008-03-24 2013-09-25 ディー−ウェイブ システムズ，インコーポレイテッド アナログ処理用のシステム、装置、および方法
US8131660B2 (en) 2008-04-08 2012-03-06 Microsoft Corporation Reconfigurable hardware accelerator for boolean satisfiability solver
EP2283373B1 (en) 2008-04-28 2021-03-10 Cornell University Accurate quantification of magnetic susceptibility in molecular mri
CA2724617C (en) 2008-05-20 2017-02-21 D-Wave Systems, Inc. Systems, methods, and apparatus for calibrating, controlling, and operating a quantum processor
WO2009152180A2 (en) 2008-06-10 2009-12-17 D-Wave Systems Inc. Parameter learning system for solvers
US8081209B2 (en) 2008-06-26 2011-12-20 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system of sparse code based object classification with sensor fusion
US8145334B2 (en) 2008-07-10 2012-03-27 Palo Alto Research Center Incorporated Methods and systems for active diagnosis through logic-based planning
US20100169243A1 (en) 2008-12-27 2010-07-01 Kibboko, Inc. Method and system for hybrid text classification
US8095345B2 (en) 2009-01-20 2012-01-10 Chevron U.S.A. Inc Stochastic inversion of geophysical data for estimating earth model parameters
US8239336B2 (en) * 2009-03-09 2012-08-07 Microsoft Corporation Data processing using restricted boltzmann machines
US20100332423A1 (en) 2009-06-24 2010-12-30 Microsoft Corporation Generalized active learning
JP5254893B2 (ja) 2009-06-26 2013-08-07 キヤノン株式会社 画像変換方法及び装置並びにパターン識別方法及び装置
US10223632B2 (en) 2009-07-27 2019-03-05 International Business Machines Corporation Modeling states of an entity
US20110142335A1 (en) 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
US20110295845A1 (en) 2010-05-27 2011-12-01 Microsoft Corporation Semi-Supervised Page Importance Ranking
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US8566260B2 (en) 2010-09-30 2013-10-22 Nippon Telegraph And Telephone Corporation Structured prediction model learning apparatus, method, program, and recording medium
US8242799B2 (en) 2010-11-16 2012-08-14 Northrop Grumman Systems Corporation System and method for phase error reduction in quantum systems
US8977576B2 (en) 2010-11-19 2015-03-10 D-Wave Systems Inc. Methods for solving computational problems using a quantum processor
US8589319B2 (en) 2010-12-02 2013-11-19 At&T Intellectual Property I, L.P. Adaptive pairwise preferences in recommenders
CN102364497B (zh) 2011-05-06 2013-06-05 北京师范大学 一种应用于电子导盲系统的图像语义提取方法
KR101318812B1 (ko) 2011-07-18 2013-10-17 한양대학교 산학협력단 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
CN102324047B (zh) 2011-09-05 2013-06-12 西安电子科技大学 基于稀疏核编码skr的高光谱图像地物识别方法
US20130097103A1 (en) 2011-10-14 2013-04-18 International Business Machines Corporation Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set
US9700276B2 (en) 2012-02-28 2017-07-11 Siemens Healthcare Gmbh Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update
US8958632B2 (en) 2012-03-12 2015-02-17 Mitsubishi Electric Research Laboratories, Inc. Learning dictionaries with clustered atoms
CN102651073B (zh) 2012-04-07 2013-11-20 西安电子科技大学 基于稀疏动态集成选择的sar图像地物分类方法
CN102831402B (zh) 2012-08-09 2015-04-08 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法
US11082490B2 (en) * 2012-11-28 2021-08-03 Nvidia Corporation Method and apparatus for execution of applications in a cloud system
US9241102B2 (en) 2012-12-05 2016-01-19 Xerox Corporation Video capture of multi-faceted documents
US9378733B1 (en) 2012-12-19 2016-06-28 Google Inc. Keyword detection without decoding
US20140201208A1 (en) 2013-01-15 2014-07-17 Corporation Symantec Classifying Samples Using Clustering
US9944520B2 (en) 2013-01-15 2018-04-17 Alcatel Lucent Syndrome of degraded quantum redundancy coded states
US20140214835A1 (en) * 2013-01-29 2014-07-31 Richard Thomas Oehrle System and method for automatically classifying documents
EP2951720B1 (en) 2013-01-31 2018-05-02 Betazi, LLC Production analysis and/or forecasting methods, apparatus, and systems
US9111230B2 (en) 2013-03-14 2015-08-18 International Business Machines Corporation Frequency arrangement for surface code on a superconducting lattice
WO2014174087A1 (en) 2013-04-25 2014-10-30 Thomson Licensing Method and device for performing super-resolution on an input image
CN105531725B (zh) * 2013-06-28 2018-03-13 D-波系统公司 用于对数据进行量子处理的系统和方法
US10318881B2 (en) 2013-06-28 2019-06-11 D-Wave Systems Inc. Systems and methods for quantum processing of data
US8863044B1 (en) 2013-09-06 2014-10-14 International Business Machines Corporation Layout assessment method and system
US10339466B1 (en) 2013-09-11 2019-07-02 Google Llc Probabilistic inference in machine learning using a quantum oracle
WO2015061631A1 (en) 2013-10-23 2015-04-30 Rutgers, The State University Of New Jersey Color standardization for digitized histological images
US9588940B2 (en) * 2013-12-05 2017-03-07 D-Wave Systems Inc. Sampling from a set of spins with clamping
US20150161524A1 (en) 2013-12-05 2015-06-11 D-Wave Systems Inc. Sampling from a set spins with clamping
US10282465B2 (en) 2014-02-25 2019-05-07 Intel Corporation Systems, apparatuses, and methods for deep learning of feature detectors with sparse coding
US9158971B2 (en) 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
US11256982B2 (en) 2014-07-18 2022-02-22 University Of Southern California Noise-enhanced convolutional neural networks
CN107077642B (zh) 2014-08-22 2021-04-06 D-波系统公司 可用于量子计算的用于求解问题的系统和方法
US20160110657A1 (en) * 2014-10-14 2016-04-21 Skytree, Inc. Configurable Machine Learning Method Selection and Parameter Optimization System and Method
WO2016089711A1 (en) * 2014-12-05 2016-06-09 Microsoft Technology Licensing, Llc Quantum deep learning
US11238364B2 (en) 2015-02-13 2022-02-01 National Ict Australia Limited Learning from distributed data
USD795416S1 (en) 2015-02-27 2017-08-22 3M Innovative Properties Company Respirator mask
CN104766167A (zh) 2015-03-31 2015-07-08 浪潮集团有限公司 一种使用受限玻尔兹曼机的税务大数据分析方法
US20180137422A1 (en) 2015-06-04 2018-05-17 Microsoft Technology Licensing, Llc Fast low-memory methods for bayesian inference, gibbs sampling and deep learning
GB2555002A (en) 2015-06-11 2018-04-18 L Foster Kenneth Tip-proof feeding bowl for house pets
US9801313B2 (en) 2015-06-26 2017-10-24 Microsoft Technology Licensing, Llc Underwater container cooling via integrated heat exchanger
CN108351987A (zh) 2015-08-19 2018-07-31 D-波系统公司 用于使用绝热量子计算机进行机器学习的系统和方法
US11157817B2 (en) 2015-08-19 2021-10-26 D-Wave Systems Inc. Discrete variational auto-encoder systems and methods for machine learning using adiabatic quantum computers
US10255628B2 (en) 2015-11-06 2019-04-09 Adobe Inc. Item recommendations via deep collaborative filtering
US10296846B2 (en) 2015-11-24 2019-05-21 Xerox Corporation Adapted domain specific class means classifier
CN108701263B (zh) 2015-12-30 2022-06-24 谷歌有限责任公司 用于耦合量子比特的设备以及用于训练量子处理器以解决机器学习推断问题的方法
US20190018933A1 (en) 2016-01-15 2019-01-17 Preferred Networks, Inc. Systems and methods for multimodal generative machine learning
WO2017124299A1 (zh) 2016-01-19 2017-07-27 深圳大学 基于序贯贝叶斯滤波的多目标跟踪方法及跟踪系统
CN108780525A (zh) 2016-01-29 2018-11-09 D-波系统公司 用于生成学习的系统和方法
US10817796B2 (en) 2016-03-07 2020-10-27 D-Wave Systems Inc. Systems and methods for machine learning
US10789540B2 (en) 2016-04-18 2020-09-29 D-Wave Systems Inc. Systems and methods for embedding problems into an analog processor
US10180688B2 (en) 2016-06-13 2019-01-15 International Business Machines Corporation Optimization through use of conductive threads and biometric data
US10853695B2 (en) 2016-06-30 2020-12-01 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
US20180025291A1 (en) 2016-07-20 2018-01-25 Carnegie Mellon University Data Processing System for Generating Data Structures
CN109996437A (zh) 2016-09-08 2019-07-09 沃尔玛阿波罗有限责任公司 用于经由无人载具来对作物授粉的系统和方法
CN106569601A (zh) 2016-10-28 2017-04-19 华南理工大学 一种基于p300脑电的虚拟驾驶系统控制方法
US11157828B2 (en) 2016-12-08 2021-10-26 Microsoft Technology Licensing, Llc Tomography and generative data modeling via quantum boltzmann training
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160042294A1 (en) 2011-07-06 2016-02-11 D-Wave Systems Inc. Quantum processor based systems and methods that minimize an objective function
US20150317558A1 (en) 2014-05-01 2015-11-05 Lockheed Martin Corporation Quantum-assisted training of neural networks
WO2015193531A1 (en) 2014-06-16 2015-12-23 Nokia Technologies Oy Data processing

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
吉原 輝（外３名），「深層学習による経済指標動向推定」，2014年度 人工知能学会全国大会（第28回）論文集，[CD-ROM]，Session ID: 3H3-OS-24a-5，日本，一般社団法人 人工知能学会，2014年05月12日，全４頁.
宮田 裕章（外７名），「マルチＧＰＵ環境における大規模データの分割による２Ｄ－ＦＦＴ処理手法の検討」，電子情報通信学会技術研究報告，日本，一般社団法人 電子情報通信学会，2014年07月21日，Vol.114, No.155，第１０３～１０８頁，ISSN: 0913-5685.
甘利 俊一，「神経計算学 - 並列学習情報処理を目指して」，計測と制御，日本，社団法人 計測自動制御学会，1988年03月10日，Vol.27, No.3，第２５５～２６３頁，[online]，[令和3年11月14日検索]，インターネット，<URL: https://doi.org/10.11499/sicejl1962.27.255>，ISSN: 0453-4662.
谷 和也（外２名），「ＧＰＵを用いた高スループット計算システムの実装」，電子情報通信学会技術研究報告，日本，一般社団法人 電子情報通信学会，2014年11月06日，Vol.114, No.302，第９３～９８頁，ISSN: 0913-5685.

Also Published As

Publication number Publication date
KR20190068559A (ko) 2019-06-18
EP3516599A4 (en) 2019-10-02
CN109983481B (zh) 2023-08-15
US11481669B2 (en) 2022-10-25
US20210289020A1 (en) 2021-09-16
KR102593690B1 (ko) 2023-10-26
JP2019533241A (ja) 2019-11-14
CN109983481A (zh) 2019-07-05
EP3516599A1 (en) 2019-07-31
WO2018058061A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
JP7134949B2 (ja) サンプリングサーバからサンプリングするためのシステム、方法、及び装置
US20210365826A1 (en) Discrete variational auto-encoder systems and methods for machine learning using adiabatic quantum computers
US20220076131A1 (en) Discrete variational auto-encoder systems and methods for machine learning using adiabatic quantum computers
Xin et al. Neurolkh: Combining deep learning model with lin-kernighan-helsgaun heuristic for solving the traveling salesman problem
Carrasquilla Machine learning for quantum matter
US20230385668A1 (en) Systems and methods for analog processing of problem graphs having arbitrary size and/or connectivity
Lu et al. Nsga-net: A multi-objective genetic algorithm for neural architecture search
US11410067B2 (en) Systems and methods for machine learning using adiabatic quantum computers
CN108369668B (zh) 用于创建和使用量子玻尔兹曼机的系统和方法
Baymurzina et al. A review of neural architecture search
US20210166148A1 (en) Variationally and adiabatically navigated quantum eigensolvers
US10275422B2 (en) Systems and methods for finding quantum binary optimization problems
CN109716360B (zh) 用于量子计算的系统和方法
US20170255871A1 (en) Systems and methods for machine learning
Chou et al. Classical and quantum-inspired Tabu search for solving 0/1 knapsack problem
Oudelha et al. HMM parameters estimation using hybrid Baum-Welch genetic algorithm
Li et al. Neural architecture tuning with policy adaptation
Ni et al. Efficient off-policy reinforcement learning via brain-inspired computing
Yuan Intrinsically-motivated reinforcement learning: A brief introduction
Fan et al. Finding spin glass ground states through deep reinforcement learning
Liu et al. Nature inspired population-based heuristics for rough set reduction
Saju et al. Analysis on Role of Quantum Computing in Machine Learning
De Prins Photonic quantum reservoir computing
Salmenperä et al. Software techniques for training restricted Boltzmann machines on size-constrained quantum annealing hardware
Tiwari et al. IoT-Based Reinforcement Learning Using Probabilistic Model for Determining Extensive Exploration through Computational Intelligence for Next-Generation Techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7134949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150