JP7840397B2 - 垂直および水平ａｉの統合のための連合学習エンジンを実装するシステムおよび方法 - Google Patents

Description

関連出願の相互参照
本出願は、２０２１年８月１１日に出願され、「垂直および水平ＡＩの統合のための連合学習エンジンを実装するためのシステムおよび方法」と題されている米国特許出願第１７／３９９，９１１号の利益および優先権を主張するものであり、その特許出願は、参照によりその全体が本明細書に組み込まれる。

背景
本出願は、分散機械学習および連合学習に関する。

簡単な概要
本開示の一態様は方法に関する。この方法は、複数のユーザ環境と通信可能に接続されている中央アグリゲータから、複数の層を含むグローバルモデルを受信することと、ユーザ環境内で収集されるデータを用いてグローバルモデルの上で最小モデルをトレーニングすることと、最小モデルの少なくとも一部を中央アグリゲータにアップロードすることと、複数の最小モデルを受信することと、受信される複数の最小モデルに基づいて融合モデルを作成することと、を含む。

いくつかの実施形態では、複数のユーザ環境は、クラウドコンピューティングネットワーク内の複数のテナンシを含む。いくつかの実施形態では、グローバルモデルは深層学習モデルであり得る。いくつかの実施形態では、深層学習モデルはトランスフォーマであり得る。いくつかの実施形態では、深層学習モデルは、トランスフォーマによる双方向エンコード表現（ＢＥＲＴ）モデルであり得る。

いくつかの実施形態では、最小モデルは、グローバルモデルの出力を取り込むことができる。いくつかの実施形態では、グローバルモデルの出力は、グローバルモデルの層の少なくともいくつかの層出力を含む。いくつかの実施形態では、最小モデルを中央アグリゲータにアップロードすることは、最小モデルから分類子ヘッドを取り除くことを含む。いくつかの実施形態では、最小モデルを中央アグリゲータにアップロードすることは、最小モデルのバイナリをアップロードすることを含む。

いくつかの実施形態では、複数の最小モデルが中央アグリゲータから受信される。いくつかの実施形態では、受信される複数の最小モデルに基づいて融合モデルを作成することは、受信される最小モデルの上で融合モデルをトレーニングすることを含む。いくつかの実施形態では、受信される複数の最小モデルに基づいて融合モデルを作成することは、複数の最小モデルの各々からの層および重みを表すデータを結合することを含む。

いくつかの実施形態では、受信される複数の最小モデルに基づいて融合モデルを作成することは、分類子ヘッドを生成することと、分類子ヘッドを融合モデルの層に適用することとを含む。いくつかの実施形態では、方法は、機械学習モデル出力の生成に使用するデータを受信することと、ユーザ環境でグローバルモデルを用いてデータを取り込むことと、グローバルモデルの中間出力を収集すること、融合モデルを用いて中間出力を取り込むことと、融合モデルを用いて予測を出力すること、を含む。いくつかの実施形態では、方法は、機械学習モデル出力の生成に使用するためのデータを受信すること、ユーザ環境でグローバルモデルを用いてデータを取り込むこと、グローバルモデルの第１の中間出力を収集すること、複数の最小モデルの少なくともいくつかを用いてグローバルモデルの第１の中間出力を取り込むことと、複数の最小モデルの少なくともいくつかの第２の中間出力を収集することと、融合モデルを使用して中間出力を取り込むことと、融合モデルを用いて予測を出力することと、を含む。

本開示の一態様は、メモリおよび少なくとも１つのプロセッサを含むシステムに関する。少なくとも１つのプロセッサは、複数のユーザ環境と通信可能に接続されている中央アグリゲータからグローバルモデルを受信することができ、グローバルモデルは複数の層を含み、ユーザ環境内で収集されるデータを用いてグローバルモデルの上で最小モデルをトレーニングし、最小モデルの少なくとも一部を中央アグリゲータにアップロードし、複数の最小モデルを受信し、受信される複数の最小モデルに基づいて融合モデルを作成できる。

いくつかの実施形態では、最小モデルの少なくとも一部を中央アグリゲータにアップロードすることは、最小モデルから分類子ヘッドを取り除くことを含む。いくつかの実施形態では、受信される複数の最小モデルに基づいて融合モデルを作成することは、受信される最小モデルの上で融合モデルをトレーニングすることを含む。

本開示の一態様は、１つまたは複数のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体に関する。１つまたは複数のプロセッサによって実行されると、複数の命令は、１つまたは複数のプロセッサに、複数のユーザ環境と通信可能に接続されている中央アグリゲータから、複数の層を含むグローバルモデルを受信させ、ユーザ環境内で収集されるデータを用いて、グローバルモデルの上で最小モデルをトレーニングし、最小モデルの少なくとも一部を中央アグリゲータにアップロードし、複数の最小モデルを受信し、受信される複数の最小モデルに基づいて融合モデルを作成させる。

いくつかの実施形態では、最小モデルの少なくとも一部を中央アグリゲータにアップロードすることは、最小モデルから分類子ヘッドを取り除くことを含む。いくつかの実施形態では、受信される複数の最小モデルに基づいて融合モデルを作成することは、受信される最小モデルの上で融合モデルをトレーニングすることを含む。

ＡＩの態様の一実施形態の概略図である。 連合学習システムの一実施形態の概略図である。 連合学習システムの一実施形態の詳細な概略図である。 融合モデル出力を生成するためのプロセスの一実施形態の概略図である。 融合モデルを生成するプロセスの一実施形態を示すフローチャートである。 融合モデルを生成するために顧客環境で実行されるプロセスの一実施形態を示すフローチャートである。 融合モデルを用いて出力を生成するプロセスの一実施形態を示すフローチャートである。 少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための１つのパターンを示すブロック図である。 少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。 少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。 少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。 少なくとも１つの実施形態による例示的なコンピュータシステムを示すブロック図である。

詳細な説明
以下の説明では、説明の目的で、特定の実施形態の完全な理解を提供するために特定の詳細が記載される。しかし、これらの特定の詳細がなくても、さまざまな実施形態を実施できることは明らかであろう。図および説明は、限定することを意図したものではない。「例示的な」という言葉は、本明細書では「実施例、例、または実例として機能する」という意味で使用される。本明細書で「例示的」として説明される任意の実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。

インテリジェンスシステム
ここで図１を参照すると、インテリジェンスシステム１５１の態様の一実施形態の概略図が示されている。インテリジェンスシステム１５１は、データソース１５０、データ処理１５２、企業ＩＴ１５８、ＡＩサービス１６０、インテリジェントアプリ／洞察モジュール１６８、および企業ソリューション顧客１７０またはサービス顧客１７２の間の接続を示す。いくつかの実施形態では、インテリジェンスシステム１５１の態様は、データを収集し、モデルをトレーニングし、モデルおよび／またはそのモデルの出力を１人または何人かの顧客に提供することができる。

インテリジェンスシステム１５１は、データソース１５０を含む。データソースには、インテリジェンスシステム１５１によって使用されるデータソースが含まれ得る。これらには、例えば、モノのインターネット装置、ソーシャルメディア、モバイルアプリ、スマートウォッチ、健康アプリ、またはその他のデータソースが含まれ得る。

データソース１５０から収集されるデータは、データ処理モジュール１５２に提供され得る。これには、例えば、リアルタイムおよび／またはバッチ取り込みを、データガバナンスモジュール１５６に提供することができる取り込みサブモジュール１５４を含めることができる。ガバナンスモジュール１５６は、データカタログ化、データオーケストレーション、および／またはデータ統合を提供することができる。

データ処理モジュール１５２は、記録システム、企業リスク管理、人的資本管理、顧客関係管理などを提供できる企業ＩＰ１５８に接続することができる。企業ＩＴ１５８は、１つまたはいくつかのサービスを含むサービスモジュール１６２を含むことができるＡＩサービス１６０に接続することができる。これらの１つまたはいくつかのサービスは各々、ＡＩ機能を表す。これらには、例えば、コンピュータビジョン、音声翻訳、異常検出、言語サービス、予測サービス、連合ＡＩサービスなどが含まれ得る。

サービスモジュール１６２内のサービスは各々、顧客が、ＡＩサービス１６０を介して提供される事前トレーニングモデルインテリジェンスとカスタムモデルインテリジェンスの両方を使用できるようにする顧客エンドポイントであり得る。サービスモジュール１６２は、上で識別されるサービスを含むことができ、より新しいサービスが開発され、生産されるにつれて、より新しいサービスを含むことができる。

ＡＩサービス１６０は、ＡＩおよびデータサイエンスプラットフォーム１６４を含むことができる。ＡＩおよびデータサイエンスプラットフォーム１６４は、機械学習およびデータワークロードの実行をサポートするためのインフラストラクチャおよび機能を提供することができる。これには、例えば、モデルのトレーニングのサポート、推論のサポートなどが含まれ得る。いくつかの実施形態では、プラットフォーム１６４は、ＡＩサービス論理内での消費および管理を容易にするために、ＭＬインフラ層とサービス層の両方をそれらの層の複雑さおよび特異性からカプセル化する機能の集合であり得るオーケストレーション層を含むことができる。この層には、例えば、資産マネージャ、トレーニングマネージャ、展開マネージャ、および／またはオーケストレーションマネージャを含めることができる。

ネットワークサービス１６６は、複数のＡＩサービス顧客にわたる個々のＡＩサービスによって使用できる、または複数のＡＩサービス顧客にわたる複数のＡＩサービスによって共有できるインフラストラクチャリソースを提供することができる。そのようなセキュリティとプライバシーの分離がＡＩサービス顧客によって要求される場合、複数のＡＩサービスは、特定のＡＩサービス顧客向けの専用ＭＬインフラストラクチャリソースを共有できる。必要な共通インフラストラクチャは、コンピューティング（ＣＰＵ／ＧＰＵ）、ネットワーク、記憶装置である。

システム１５１は、インテリジェントアプリ／洞察モジュール１６８をさらに含む。このモジュールのアプリは、例えば、ビジネス洞察までの時間の短縮、プロセスの加速、市場投入までの時間の延長、および顧客エクスペリエンスの向上を可能にする。いくつかの実施形態では、これらはコストをさらに削減し、生産性を向上させることができる。いくつかの実施形態では、これは、データサイエンティストまたはＩＴを使用せずに達成することができる。

システム１５１は、ＡＩサービス１６０を介して直接、またはインテリジェントアプリ／洞察モジュール１６８を介して、顧客１７０、１７２と対話することができる。

連合学習エンジン
多くの機械学習アプローチは、集中化されるトレーニングデータを利用する。このトレーニングデータは、例えば、データセンター内または１台もしくはいくつかの機械内で集中化できる。このようなデータの集中化は効果的であることが証明されているが、このような集中化にはいくつかの欠点がある可能性がある。これらの欠点には、個人情報、保護情報、および／または機密情報を含むデータの収集および／または管理から生じる問題が含まれる。さらに、大量のデータを集約するには、大量のハードウェアとそのようなハードウェアに関連するコストが必要になり得る。最後に、壊滅的な忘却に関連する問題により、トレーニングデータの集合体が大きく成長しても、機械学習モデルの性能が向上しない可能性がある。

この問題は、複数の異なる市場に対して人工知能モデルを使用する場合に特に困難となる。例えば、単一のＡＩモデルは、医療市場とホスピタリティ市場の両方で効果的に機能するのが難しい場合がある。このようなモデルが両方の市場で同様にうまく機能するには、モデルに市場固有のトレーニングを含めることはできない。これは、他の市場に関連するトレーニングを壊滅的に忘れてしまうことになる可能性があるためである。したがって、そのようなモデルの多くは、高レベルの性能を提供するために必要な特別なトレーニングが不足している。

例えば、水平ＡＩモデルは、１つまたはいくつかの業界ドメインに固有ではない可能性がある。この水平ＡＩモデルは、多くの異なる業界にわたる広範な問題を解決することができ、いくつかの実施形態では、ユースケースにとらわれないプログラムを提供することができる。いくつかの実施形態では、水平ＡＩを使用して、顧客リードに優先順位を付け、どの採用が最も成功するかを予測し、製品を推奨し、または広告を標的にすることができる。垂直ＡＩは、インダストリバーティカルに固有のものであり、特定の業界の特定の問題に適用でき、例えば、その業界向けに高度に最適化できる。垂直ＡＩアプリケーションでは、標的業界からの業界固有のタイプのデータを利用してモデルをトレーニングできる。いくつかの実施形態では、垂直ＡＩからの推論は、独自の改善される予測および／または洞察を提供することができる。

いくつかの実施形態では、本明細書に開示される水平ＡＩと垂直ＡＩの組み合わせは、広範囲の問題の解決を可能にすることができ、いくつかの実施形態では、顧客がＡＩ垂直を構築するためのデータを選択するのを助けることができる。いくつかの実施形態では、本開示は、複数のソースからの非常に異質なデータを使用して、ＡＩモデルを迅速にトレーニングし、生成し、および／または生産に移すことを容易にすることができる。本明細書に開示される実施形態は、例えば、特定の産業ドメインにおける垂直差別化を伴う業界特有のモデルのラピッドプロトタイピングを加速することができる。本明細書に開示される実施形態は、モデル学習の使用を可能にして、モデルのトレーニングおよび展開のためのインフラストラクチャコストを最適化することができる。

本明細書に開示される特定の一実施形態では、初期グローバルモデルの形態の水平ＡＩを、１つまたはいくつかの最小モデルおよび／または融合モデルの形態の垂直ＡＩと組み合わせて使用することができる。本明細書に開示される水平ＡＩと垂直ＡＩの組み合わせを介して、いくつかの実施形態では、水平ＡＩと垂直ＡＩの両方の利点を同時に達成することができる。いくつかの実施形態では、グローバルモデルは、時間の経過とともに、最小モデルに基づいて、および／または融合モデルに基づいて更新することができ、したがって、時間の経過とともに、グローバルモデルは、これらの更新により垂直ＡＩになることができる。次いで、この標的を絞った垂直モデルを記憶して利用し、さらなる連合学習を行わずに垂直固有のＡＩを提供できる。

さらに、本開示は、連合学習のシステムおよび方法に関する。このようなシステムおよび方法では、グローバルモデルが集中的にトレーニングされ、本明細書ではユーザとも呼ばれる異なる顧客に提供される。これらのユーザは、このグローバルモデルをインストールして利用することができ、これらのユーザが収集したデータに基づいて、本明細書では最小モデルとも呼ばれる補足的な機械学習モデルをトレーニングできる。この補足的な機械学習モデルは、いくつかの実施形態では、グローバルモデルの１つまたはいくつかの出力、例えばグローバルモデルの層間出力を入力として受信することができる。グローバルモデルからのこれらの入力および／または他の入力に基づいて、補足モデルは出力を生成できる。

そのような補足モデルは、これらの補足モデルを記憶できる中央サーバに提供することができる。これらの補足モデルは、最初に分類子ヘッドを取り除き、次に取り除いた補足モデルを中央サーバに送信することによって中央サーバに提供できる。いくつかの実施形態では、補足モデルはバイナリ形式で中央サーバに送信することができ、このバイナリは、補足モデルの層および／またはノード、ならびに補足モデルの層および／またはノードに関連付けられる重みを識別することができる。

これらの補足モデルは、グローバルモデルが提供された何人かのユーザから受信することができ、アグリゲータにおいて補足モデルのライブラリを作成することができる。ユーザは１つまたはいくつかの補足モデルを要求したり、および／または１つまたはいくつかの補足モデルを提供したりできる。これら１つまたはいくつかの補足モデルの一部またはすべてを融合モデルの作成に使用できる。いくつかの実施形態では、融合モデルは補足モデルの組み合わせから作成することができ、および／または融合モデルは補足モデルの上でトレーニングすることができる。いくつかの実施形態では、融合モデルは、最小モデルからのデータを組み込むことができ、具体的には、最小モデルからの層および／またはノード、ならびにそれらに関連する重みを含むことができる。

最小モデルと組み合わせた事前トレーニングされるグローバルモデルを使用することによって、ユーザは、変更および／または更新を迅速に組み込むことができ、ユーザは、例えば壊滅的な忘れのリスクを伴うことなく、特定のアプリケーション向けにモデルをカスタマイズすることができる。さらに、ユーザは融合モデルに含める最小モデルを選択できる。これらの最小モデルは、最小モデルに関連する情報に基づいて選択することができ、その情報には、最小モデルに関連するメタデータを含めることができる。いくつかの実施形態では、このメタデータは、最小モデルのソース、最小モデルの信頼レベルおよび／もしくは精度、ならびに／または最小モデルに関連する他の情報を示すことができる。ユーザは、この情報に基づいて、最小モデルを信頼するかどうかを決定したり、および／または融合モデルに含める１つまたはいくつかの最小モデルを選択したりできる。

動作中、ユーザが融合モデルを用いて予測を行いたい場合、ユーザは、特徴データなどのデータを受信および／または選択することができる。このデータは、ユーザ環境のグローバルモデルによって取り込むことができる。グローバルモデルの中間出力（出力には層間出力が含まれ得る）は、ユーザが収集できる。グローバルモデルのこれらの中間出力は、次の機械学習モデルに取り込むための特徴とすることができる。いくつかの実施形態では、この次の機械学習モデルは、融合モデルが作成される最小モデルとすることができる。このような実施形態では、最小モデルの中間出力（その出力は層間出力を含むことができる）をユーザが収集することができる。最小モデルのこれらの中間出力は、融合モデルに取り込むための特徴とすることができる。

融合モデルが作成されるグローバルモデルおよび／または最小モデルの特徴の一部またはすべては、融合モデルによって取り込まれることができる。分類子ヘッドを含むことができる融合モデルは、最終出力となり得る出力を生成することができる。この出力は、予測、分類などであり得る。

次に図２を参照すると、連合学習システム２００の一実施形態の概略図が示されている。連合学習システム２００は、アグリゲータ２０２および１つまたはいくつかの顧客環境２１２を含むことができる。アグリゲータ２０２および１つまたはいくつかの顧客環境２１２の各々は、ハードウェアを備えることも、仮想インスタンスを備えることもできる。したがって、いくつかの実施形態では、アグリゲータ２０２および１つまたはいくつかの顧客環境２１２の各々は、１つまたはいくつかのプロセッサ、サーバ、コンピュータなどを備えることができ、あるいは仮想コンピューティングインスタンスを備えることができる。いくつかの実施形態では、アグリゲータ２０２および１つまたはいくつかの顧客環境２１２のすべては、例えば仮想クラウドネットワーク上のような仮想インスタンスを備えることができる。いくつかの実施形態では、アグリゲータおよび１つまたはいくつかの顧客環境２１２は、クラウドネットワーク内で別個のテナンシとして実行することができる。いくつかの実施形態では、１つまたはいくつかの顧客環境２１２の各々は、関連する顧客のプライベートデータにアクセスできるが、いくつかの実施形態では、アグリゲータ２０２は、この顧客のプライベートデータにアクセスできない。

アグリゲータ２０２および顧客環境の各々は、いくつかの実施形態では、通信ネットワーク２１０を介して通信可能にリンクされ得る。通信ネットワーク２１０は、アグリゲータ２０２と１つまたはいくつかの顧客環境２１２との間の通信および／またはデータ転送を可能にすることができる。いくつかの実施形態では、通信ネットワーク２１０は、有線または無線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、パブリックネットワーク、プライベートネットワークなどを含むことができる。

アグリゲータ２０２は、情報を収集し、管理することができる。これには、例えば１人または何人かの顧客を識別する情報、処理の現在の状態、情報の記録および監視などが含まれ得る。いくつかの実施形態では、アグリゲータ２０２は情報を管理し、それによって最小モデルの収集、平均化、および分散を容易にする。いくつかの実施形態では、アグリゲータ２０２は、グローバルモデルのトレーニングをさらにトレーニングおよび／または更新することができる。

アグリゲータ２０２は、連合サーバ２０４を含むことができる。連合サーバ２０４は、ハードウェアまたはソフトウェアで実現することができる。連合サーバ２０４は、グローバルモデルを生成および／またはトレーニングすることができ、そのグローバルモデルを１つまたはいくつかの顧客環境２１２に提供することができ、１つまたはいくつかの顧客環境２１２から最小モデルを受信することができ、最小モデルの記憶および追跡を管理することができ、最小モデルに関連するメタデータを生成および／または収集することができ、１つまたはいくつかの最小モデルを１つまたはいくつかの顧客環境２１２に提供することができる。連合サーバ２０４は、ハードウェアまたはソフトウェアで実現することができる。いくつかの実施形態では、連合サーバ２０４は、仮想クラウドネットワークの一部として提供される仮想コンピューティングインスタンスおよび／またはサービスを備えることができる。

アグリゲータは、グローバルモデルストア２０６を含むことができる。グローバルモデルストア２０６は、グローバルモデルを記憶することができる。いくつかの実施形態では、これには、グローバルモデルに関連するメタデータを記憶することが含まれ得る。このメタデータには、例えば、バージョン、トレーニングデータなどを含めることができる。グローバルモデルストア２０６は、データベースおよび／またはメモリを備えることができる。このメモリには、メモリの割り当てられる部分を含めることも、１つまたはいくつかの個別のメモリ装置を含めることもできる。

グローバルモデルは、ベースモデルであり得る。グローバルモデルは、例えば、ニューラルネットワーク、デシジョンツリー、線形分類子／回帰、深層学習モデル、深層強化学習モデルを含み得、例えば、深層決定論的ポリシー勾配（ＤＤＰＧ）または深層Ｑネットワーク（ＤＱＮ）などである。いくつかの実施形態では、グローバルモデルは、例えば、トランスフォーマによる双方向エンコード表現（ＢＥＲＴ）モデルなどのトランスフォーマを備えることができる。グローバルモデルは、アグリゲータ、具体的には連合サーバによってトレーニングできる。いくつかの実施形態では、グローバルモデルは、特徴抽出のためにトレーニングされ得る。いくつかの実施形態では、例えば、グローバルモデルは、所与のテキストからの特徴抽出のためにトレーニングされ得る。これらの特徴には、例えば、言語的特徴および／または文脈的特徴が含まれ得る。いくつかの実施形態では、グローバルモデルは、グローバルモデルストア２０６内のトレーニングデータを含む、アグリゲータ２０２によってアクセス可能なデータを使用してトレーニングすることができる。

アグリゲータは、本明細書では補足モデルストア２０８またはローカルモデルストア２０８とも呼ばれる最小モデルストア２０８を含むことができる。最小モデルストア２０８は、１つまたはいくつかの最小モデルを記憶することができる。最小モデルストア２０８は、最小モデルのバイナリを記憶することができ、そのバイナリは、最小モデルの層、ノード、および／または重みを表すことができる。最小モデルストア２０８は、いくつかの実施形態では、最小モデルに関連するメタデータを記憶することができる。このメタデータには、例えば、最小モデルのソースの識別、妥当性モデルの信頼性を確立および／または評価するための情報、妥当性モデルのトレーニングに関する情報などが含まれ得る。いくつかの実施形態では、妥当性モデルのトレーニングに関連する情報は、妥当性モデルがトレーニングされたタスク、および／または妥当性モデルがトレーニングされた特定の垂直を識別することができる。最小モデルストア２０８は、データベースおよび／またはメモリを備えることができる。このメモリには、メモリの割り当てられる部分を含めることも、１つまたはいくつかの個別のメモリ装置を含めることもできる。

顧客環境２１２の各々は、融合サーバ２１４を含むことができる。融合サーバ２１４は、アグリゲータ２０２からグローバルモデルを受信することができ、グローバルモデルを記憶することができ、グローバルモデルの上で最小モデルを生成することができ、最小モデルストア２０８に記憶するためにグローバルモデルをアグリゲータ２０２に送信することができ、アグリゲータ２０２から１つまたはいくつかの最小モデルおよび／またはアップデートを受信することができ、アグリゲータ２０２から受信されるこれらの１つまたはいくつかの最小モデルおよび／または更新に基づいて融合モデルをトレーニングおよび／または構築することができ、最小モデルおよび／またはグローバルモデルを使用して１つまたはいくつかの出力および／または予測を生成することができる。融合サーバ２１４は、ハードウェアまたはソフトウェアで実現することができる。いくつかの実施形態では、融合サーバ２１４は、仮想クラウドネットワークの一部として提供される仮想コンピューティングインスタンスおよび／またはサービスを備えることができる。

顧客環境２１２は、データストア２１６を含むことができる。データストア２１６は、顧客環境に関連付けられる顧客の顧客情報を記憶することができる。いくつかの実施形態では、この顧客情報は非公開とすることができ、この顧客情報がアグリゲータ２０２および／または他の顧客環境２１２によってアクセスできないように記憶することができる。データストア２１６内の顧客情報は、最小モデルのトレーニングおよび融合モデルのトレーニングに使用することができる。データストア２１６は、データベースおよび／またはメモリを備えることができる。このメモリには、メモリの割り当てられる部分を含めることも、１つまたはいくつかの個別のメモリ装置を含めることもできる。

顧客環境２１２は、モデルストア２１８を含むことができる。モデルストア２１８は、いくつかの実施形態では、顧客環境２１２によってトレーニングされる最小モデルをグローバルモデルの上に記憶することができ、いくつかの実施形態では、顧客環境２１２によって生成および／またはトレーニングされる融合モデルを、受信される最小モデルの上に記憶することができる。モデルストア２１８は、いくつかの実施形態では、アグリゲータ２０２から顧客環境２１２によって受信されるグローバルモデルをさらに記憶することができる。モデルストア２１８は、データベースおよび／またはメモリを備えることができる。このメモリには、メモリの割り当てられる部分を含めることも、１つまたはいくつかの個別のメモリ装置を含めることもできる。

次に図３を参照すると、システム２００の一実施形態の詳細な概略図が示されている。いくつかの実施形態では、システム２００は、連合学習のためのフレームワークを提供することができる。このシステムには、アグリゲータ２０２と１つの顧客環境２１２とが含まれる。図２に示されるように、システム２００は、複数の追加の顧客環境２１２を含むことができるが、アグリゲータ２０２および顧客環境２１２の各々の構成要素および／またはモジュールについてより詳細を提供する目的で、単一の顧客環境２１２のみが示されている。

アグリゲータ２０２は、融合マネージャ３０２、プロトコルマネージャ３０４、およびＦＬ接続マネージャ３０６を含むことができる。これらのモジュールは、連合サーバ２０４内のモジュール、ならびに／または連合サーバ２０４によってアクセス可能および／もしくは制御可能なモジュールであり得る。融合マネージャ３０２は、モデルストア、具体的にはグローバルモデルストア２０６およびローカルモデルストア２０８と結合することができる。

図３に見られるように、ローカルモデルストア２０８は、本明細書では補足モデル３０８またはローカルモデル３０８とも呼ばれる、複数の最小モデル３０８を含むことができる。これらには、例えば図２に示す顧客環境Ａ２１２－Ａなどの第１の顧客環境２１２から受信される第１の最小モデル３０８－Ａ、および、例えば、図２と３に示す顧客環境Ｂ２１２－Ｂなどの第２の顧客環境２１２から受信される第２の最小モデル３０８－Ｂを含めることができる。ローカルモデルストア２０８は、ローカルモデルストア２０８に含まれる最小モデル３０８の各々に対するバイナリを含むことができ、そのバイナリは、最小モデルが作成されたモデルの層、ノード、および／または重み付け値を識別することができる。

さらに図３に見られるように、グローバルモデルストア２０６はグローバルモデル３１０を含むことができる。グローバルモデル３１０は、アグリゲータ２０２によって、具体的にはいくつかの実施形態では融合マネージャ３０２によってトレーニングおよび／または生成され得る。

融合マネージャ３０２は、モデルストア２０６、２０８のうちの１つから特定のモデルを選択することができる。いくつかの実施形態では、融合マネージャ３０２は、モデルストア２０６、２０８に情報を提供し、および／またはモデルストア２０６、２０８から情報を取得することができる。これには、グローバルモデル３１０をグローバルモデルストア２０６に提供すること、および／または最小モデル３０８のうちの１つもしくはいくつかを最小モデルストア２０８に提供することが含まれ得る。いくつかの実施形態では、融合マネージャ３０２は、モデルストア２０６、２０８からモデルを取得することができる。これには、グローバルモデルストア２０６からグローバルモデル３１０を取得して、顧客環境２１２のうちの１つまたは複数にグローバルモデルを提供できるようにすることが含まれ得る。いくつかの実施形態では、これには、最小モデルストア２０８から最小モデル３０８のうちの１つまたはいくつかを取得することが含まれ得る。これらの最小モデル３０８は、次いで、１つまたは複数の顧客環境２１２に提供できる。いくつかの実施形態では、融合マネージャ３０２は、モデル性能に関する情報を取得および／または提供することができる。したがって、いくつかの実施形態では、融合マネージャ３０２は、モデルストア２０６、２０８のうちの１つに記憶されるモデルに関連付けられるメタデータにアクセスすることができる。融合マネージャは、ハードウェアまたはソフトウェアで実現することができ、いくつかの実施形態では、連合サーバ２０４の一部とすることができる。

プロトコルマネージャ３０４は、アグリゲータ２０２および／または連合サーバ２０４と、顧客環境２１２のうちの１つまたはいくつかとの間の通信を容易にする。プロトコルマネージャ３０４はさらに、顧客環境２１２とアグリゲータ２０２および／または連合学習サーバとの間のメッセージ交換、例えば学習プロトコルにわたるガバナンスを提供することができる。これらのメッセージには、例えば、クエリ、モデルの更新、ＦＬ構成の確立、新規顧客の登録などが含まれ得る。

ＦＬ接続マネージャ３０６は、アグリゲータ２０２と顧客環境２１２との間の接続インターフェースとして機能することができる。いくつかの実施形態では、ＦＬ接続マネージャ３０６は、システム２００の動作に必要なさまざまな構成要素間のネットワーキングを確立および管理することができる。具体的には、ＦＬ接続マネージャは、アグリゲータ２０２と１つまたはいくつかの顧客環境２１２との間の通信および／またはネットワークを確立および管理することができる。いくつかの実施形態では、ＦＬ接続マネージャは、ＯＳＩ／ＴＣＰ－ＩＰスタックからの低レベルＡＰＩをサポートすることができる。

顧客環境２１２は、ローカルトレーニングマネージャ３１２、プロトコルマネージャ３１４、およびＦＬ接続マネージャ３１６を含むことができる。これらのモジュールは、連合サーバ２０４内のモジュール、ならびに／または連合サーバ２０４によってアクセス可能および／もしくは制御可能なモジュールであり得る。

ローカルトレーニングマネージャ３１２は、顧客環境２１２において機械学習モデルをトレーニングすることができる。これには、グローバルモデル上での最小モデルのトレーニング、ならびに／または融合モデルのトレーニングおよび／もしくは構築が含まれ得る。ローカルトレーニングマネージャ３１２は、ローカルデータマネージャ３１８およびモデルストア２１８と通信可能に結合することができる。ローカルデータマネージャ３１８は、データストア２１６と通信可能に結合することができる。ローカルデータマネージャ３１８は、データストア２１６内のデータにアクセスし、データへのアクセスを提供することができる。顧客環境２１２のデータストア２１６内のこのデータは、いくつかの実施形態では、それが含まれる特定の顧客環境２１２に対して分離することができる。

データストア２１６内のデータにアクセスすることにより、ローカルトレーニングマネージャ３１８は、機械学習モデルをトレーニング、生成、および／または構築することができる。具体的には、ローカルトレーニングマネージャ３１８は、最小モデルおよび／または融合モデルをトレーニング、生成、および／または構築することができる。これらのモデルはモデルストア２１８に記憶することができる。

アグリゲータ２０２と同様に、顧客環境２１２は、プロトコルマネージャ３１４およびＦＬ接続マネージャ３１６を含むことができる。プロトコルマネージャ３１４は、顧客環境２１２とアグリゲータ２０２との間の通信を容易にする。いくつかの実施形態では、プロトコルマネージャ３１４は、他の顧客環境２１２との通信をさらに容易にすることができる。プロトコルマネージャ３１４はさらに、顧客環境２１２間、ならびに／または顧客環境とアグリゲータ２０２および／もしくは連合学習サーバ２０４との間のメッセージ交換にわたるガバナンスを提供することができる。これらのメッセージには、例えば、クエリ、モデルの更新、ＦＬ構成の確立、新規顧客の登録などが含まれ得る。

ＦＬ接続マネージャ３１６は、顧客環境２１２とアグリゲータ２０２の間、および／またはセットの顧客環境２１２の間の接続インターフェースとして機能することができる。いくつかの実施形態では、ＦＬ接続マネージャ３１６は、システム２００の動作に必要なさまざまな構成要素間のネットワーキングを確立および管理することができる。具体的には、ＦＬ接続マネージャは、顧客環境２１２とアグリゲータ２０２との間、および／またはセットの顧客環境２１２の間で通信および／またはネットワークを確立および管理することができる。いくつかの実施形態では、ＦＬ接続マネージャは、ＯＳＩ／ＴＣＰ－ＩＰスタックからの低レベルＡＰＩをサポートすることができる。

次に図４を参照すると、予測を生成する際に顧客環境によって実行されるプロセス４００の一実施形態の概略図が示されている。図４に見られるように、いくつかの実施形態では、複数のモデルを利用して予測を行うことができる。これらのモデルは顧客環境２１２に記憶できる。ユーザ入力４０１はモデルに取り込まれる。いくつかの実施形態では、これには、ユーザ入力４０１をグローバルモデル４０２に取り込むことが含まれ得る。グローバルモデル４０２は、複数の層４０４－Ａ～４０４－Ｎを備えることができる。いくつかの実施形態では、グローバルモデル４０２は、特徴抽出器として動作することができ、グローバルモデル４０２は、複数の出力４０６を提供することができる。これらの出力は後続のモデルによって特徴として使用されるため、本明細書ではこれらの出力を中間出力と呼ぶ。

いくつかの実施形態では、グローバルモデル４０２は、層の一部またはすべてによる分類および／または処理の後に出力を提供することができる。したがって、例えば、グローバルモーダル４０２は、層４０４－Ｎの処理および／または分類後のＮ番目の出力まで、層４０４－Ａの処理および／または分類の後に第１の出力、層４０４－Ｂの処理および／または分類後の第２の出力、層４０４－Ｃの処理および／または分類後の第３の出力などを提供することができる。

これらの中間出力４０６は、最小モデルまたは融合モデルなどの後続のモデルによって取り込まれることができる。いくつかの実施形態では、最小モデルおよび融合モデルは、グローバルモデルの出力を取り込むように構成され、その出力は、グローバルモデルの層の少なくともいくつかの層出力を含むことができる。いくつかの実施形態では、これらの中間出力４０６は、顧客環境２１２のモデルストア２１８に記憶される１つまたはいくつかの最小モデル４０８によって取り込むことができ、いくつかの実施形態では、これらの中間出力４０６は、融合モデル４１４によって取り込むことができる。

特に図４を参照すると、グローバルモデル４０２からの中間出力は、顧客環境２１２のモデルストア２１８内の複数の最小モデル４０８によって取り込まれることができる。これらの最小モデル４０８の各々は、特徴抽出器として動作することができ、いくつかの実施形態では、複数の出力を提供することができる。これらの出力は後続のモデルによって特徴として使用されるため、本明細書ではこれらの出力を中間出力と呼ぶ。

いくつかの実施形態では、最小モデル４０８は、層の一部またはすべてによる分類および／または処理の後に出力４１２を提供することができる。具体的には、いくつかの実施形態では、出力４１２は、層の一部またはすべての各々が完了した後に提供することができる。したがって、いくつかの実施形態では、最小モデルは、その最小モデル内の層の数と同じ数までの出力４１２を提供することができる。

これらの出力は受信され、融合モデル４１４に取り込まれることができ、融合モデルは複数の層４１６および分類子ヘッド４１８を備えることができる。融合モデル４１４、具体的には分類子ヘッドは、所望のタスク出力４２０の形で最終出力を提供することができる。

次に図５を参照すると、融合モデルを生成するためのプロセス５００の一実施形態を示すフローチャートが示されている。プロセス５００は、連合学習システム２００のすべてまたは一部によって実行することができる。プロセス５００はブロック５０２で始まり、アグリゲータ２０２、具体的には連合サーバ２０４がグローバルトレーニングデータを受信および／または取得する。いくつかの実施形態では、これには、グローバルモデルストア２０６からグローバルトレーニングデータを受信および／または取得することが含まれ得る。

ブロック５０４で、グローバルモデルがトレーニングされる。いくつかの実施形態では、グローバルモデルは、アグリゲータ２０２によって、具体的には連合サーバ２０４および／または融合マネージャ３０２によってトレーニングされ得る。グローバルモデルは、グローバルトレーニングデータを使用してトレーニングできる。グローバルモデルがトレーニングされた後、グローバルモデルはグローバルモデルストア２０６に記憶され得る。

ブロック５０６で、グローバルモデルが顧客環境２１２に提供される。グローバルモデルは、アグリゲータ２０２によって連合サーバ２０４を介して、具体的にはＦＬ接続マネージャ３０６およびプロトコルマネージャ３０４を介して顧客環境に提供することができる。いくつかの実施形態では、アグリゲータ２０２は、アグリゲータが接続されている顧客環境２１２の一部またはすべてにグローバルモデルを送信することができる。グローバルモデルは顧客環境２１２によって受信され、顧客環境２１２はグローバルモデルをそのモデルストア２１８に記憶する。

ブロック５０８で、ローカルデータが顧客環境２１２の各々で収集される。顧客環境２１２によって収集されるローカルデータは、その顧客環境２１２のデータストア２１６に記憶することができる。ローカルデータは、顧客環境２１２のローカルデータマネージャ３１８によってデータストア２１６に記憶することができる。

ブロック５１０で、グローバルモデルを受信した顧客環境２１２の一部またはすべては、最小モデルをトレーニングすることができる。いくつかの実施形態では、これには、グローバルモデル上の最小モデルのトレーニングが含まれ得る。

顧客環境２１２によってトレーニングされる最小モデルは、その顧客環境２１２のローカルトレーニングマネージャ３１２によってトレーニングすることができる。顧客環境２１２の最小モデルは、その顧客環境２１２のローカルデータを使用してトレーニングすることができる。このローカルデータは、その顧客環境２１２のローカルデータマネージャ３１８によってその顧客環境２１２のデータストア２１６から取得することができる。複数の顧客環境２１２によるブロック５１０のステップの実行は、複数の最小モデルの作成をもたらすことができ、その最小モデルの各々は、最小モデルがトレーニングされる顧客環境２１２のローカルデータを用いてトレーニングされ得る。顧客環境２１２によって生成される最小モデルは、その顧客環境２１２のモデルストア２１８に記憶することができる。

ブロック５１２で、顧客環境は、トレーニングされる最小モデルからヘッド層を除去して、取り除かれる最小モデルを作成する。これには、顧客環境２１２が、その顧客環境２１２の最小モデルの分類子ヘッドを削除することを含むことができる。いくつかの実施形態では、この取り除かれる最小モデルは、最小モデルのバイナリを含むことができ、このバイナリは、例えば、補足モデルの層および／またはノード、ならびに補足モデルの層および／またはノードに関連付けられる重みを識別することができる。

最小モデルのヘッド層が除去された後、取り除かれる最小モデルは、顧客環境によってアグリゲータ２０２にアップロードされ得る、すなわち、最小モデルのバイナリがアップロードされ得る。これには、取り除かれる最小モデルをアグリゲータ２０２の接続マネージャ３０６および／またはプロトコルマネージャ３０４に通信する、顧客環境２１２のプロトコルマネージャ３１４および／またはＦＬ接続マネージャ３１６が含まれ得る。アグリゲータ２０２は、顧客環境２１２から取り除かれる最小モデルを受信することができ、取り除かれる最小モデルをグローバルモデルストア２０６に記憶することができる。

ブロック５１４で、受信される取り除かれる最小モデルがアグリゲータ２０２によって評価される。アグリゲータ２０２は、最小モデルスコアを生成することができ、最小モデルをその最小モデルストアに関連付けることができる。これらの最小モデルスコアは、最小モデルの１つまたはいくつかの属性、最小モデルのトレーニング、最小モデルをトレーニングした顧客環境２１２などを特徴付けることができる。いくつかの実施形態では、これらの最小モデルスコアは、例えば、関連する最小モデルの信頼性を反映することができる。いくつかの実施形態では、最小モデルの最小モデルスコアは、その最小モデルに関連付けられるメタデータに基づいて生成され得る。

ブロック５１６で、顧客環境は、アグリゲータから１つまたはいくつかの取り除かれる最小モデルを選択、フェッチ、要求、および／または受信する。いくつかの実施形態では、顧客は、顧客環境を介して、１つまたはいくつかの取り除かれる最小モデルを特徴付ける情報を要求することができる。この情報には、例えば、最小モデルのスコア、最小モデルに関連付けられるメタデータなどを含めることができる。いくつかの実施形態では、顧客は、顧客環境を介して、１つまたはいくつかの最小モデルを選択および／または要求することができる。いくつかの実施形態では、これらの１つまたはいくつかの最小モデルは、１つまたはいくつかの取り除かれる最小モデルを特徴付けるこの情報に基づいて選択され得る。例えば、顧客は、要求される１つまたはいくつかの最小モデルが、例えば十分に高い信頼性、１つまたはいくつかの所望のタスクに対する最小モデルのトレーニングなど、１つまたはいくつかの所望の属性を示す情報を有する場合、１つまたはいくつかの最小モデルを選択および／または要求することができる。いくつかの実施形態では、顧客は、所定の閾値に基づいて最小モデルを選択することができ、いくつかの実施形態では、顧客は、受信される最小モデルの比較に基づいて最小モデルを選択することができる。したがって、いくつかの実施形態では、例えば、顧客は最高のスコアを有する最小モデルを選択することができる。

アグリゲータ２０２は、取り除かれる最小モデルの選択および／または要求を受信することができ、要求されるおよび／または選択される最小モデルを顧客環境２１２に提供することができる。取り除かれる最小モデルは、プロトコルマネージャ３０４および／またはＦＬ接続マネージャ３０６を介して顧客環境に提供され得る。顧客環境２１２は、選択される取り除かれる最小モデルをアグリゲータ２０２から受信することができ、取り除かれる最小モデルをモデルストア２１８に記憶することができる。いくつかの実施形態では、顧客環境２１２は、ＦＬ接続マネージャ３１６および／またはプロトコルマネージャ３１４を介して、取り除かれる最小モデルを受信することができる。

ブロック５１８で、顧客環境２１２は融合モデルをトレーニングする。いくつかの実施形態では、顧客環境２１２は、受信される取り除かれる最小モデルの上で融合モデルをトレーニングすることができる。融合モデルは、ローカルトレーニングマネージャ３１２によってトレーニングすることができる。いくつかの実施形態では、融合モデルのトレーニングは、最小モデルを融合モデルに融合することを含むことができる。いくつかの実施形態では、融合モデルは、例えば、ＦｅｄＡＶＧ（例えば、Ｇｒａｄｉｅｎｔ Ａｖｅｒａｇｅ、Ｆｅｄ＋、ＦｅｄＰｏｘ）のようなニューラルネットワーク、ＩＤ３融合などのデシジョンツリー、反復平均やＦｅｄＡｖｇなどの強化学習、反復平均などの線形分類子、および／または差分プライバシーとのナイーブベイズ融合などのナイーブベイズを含むことができる。

いくつかの実施形態では、融合モデルのトレーニングは、受信される最小モデルの各々からのバイナリの結合を含むことができる。この融合トレーニングは、いくつかの実施形態では、融合モデルの作成を容易にし、簡単にすることができる。

ブロック５２０で、タスク固有のヘッド、具体的にはタスク固有の分類子ヘッドが生成され、融合モデルに適用される。このタスク固有の分類子ヘッドは、顧客環境によって生成することができ、具体的には、ローカルトレーニングマネージャ３１２によって生成することができる。融合モデルは、融合モデルがトレーニングおよび／または生成された顧客環境のモデルストア２１８に記憶することができる。

次に図６を参照すると、融合モデルを生成するためのプロセス６００の一実施形態を示すフローチャートが示されている。プロセス６００は、顧客環境２１２によって実行することができる。プロセス６００はブロック６０２で始まり、顧客環境２１２がグローバルモデルを受信して実装する。グローバルモデルは、顧客環境２１２によってアグリゲータから受信され得る。顧客環境２１２は、グローバルモデルを顧客環境のモデルストア２１８に記憶することができる。

ブロック６０４で、顧客環境２１２でデータが収集される。このデータには、顧客環境によって生成されるローカルデータ、または顧客環境に関連して生成されるローカルデータが含まれ得る。例えば、顧客環境２１２は病院に関連付けることができる。ローカルデータは、その病院によって生成される、またはその病院に関連して生成されるデータの一部またはすべてであり得る。いくつかの実施形態では、このデータは顧客環境に提供されるか、顧客環境によってアクセスされることができる。顧客環境２１２で収集されるローカルデータは、ローカルデータマネージャ３１８によってその顧客環境２１２のデータストア２１６に記憶することができる。

ブロック６０６で、最小モデルが顧客環境２１２によってトレーニングされる。いくつかの実施形態では、最小モデルはグローバルモデルの上でトレーニングされる。顧客環境２１２によってトレーニングされる最小モデルは、具体的には、その顧客環境２１２のローカルトレーニングマネージャ３１２によってトレーニングすることができる。

顧客環境２１２の最小モデルは、その顧客環境２１２のローカルデータを用いてトレーニングすることができる。このローカルデータは、その顧客環境２１２のローカルデータマネージャ３１８によってその顧客環境２１２のデータストア２１６から取得することができる。したがって、いくつかの実施形態では、最小モデルのトレーニングは、例えばローカルデータマネージャ３１８を介してデータストア２１６からローカルデータを取得することを含むことができる。

ブロック６０８で、最小モデルヘッド層が顧客環境２１２によって取り除かれ、取り除かれる最小モデル、換言すれば、最小モデルバイナリがアグリゲータに送信および／または提供される。いくつかの実施形態では、これは、トレーニングされる最小モデルからのヘッド層の識別および除去を含むことができ、そのヘッド層は分類子ヘッドを含むことができる。いくつかの実施形態では、この取り除かれる最小モデルは、最小モデルのバイナリを含むことができ、このバイナリは、例えば、補足モデルの層および／またはノード、ならびに補足モデルの層および／またはノードに関連付けられる重みを識別することができる。

最小モデルのヘッド層が除去された後、取り除かれる最小モデルは、顧客環境によってアグリゲータ２０２にアップロードされ得る、すなわち、最小モデルのバイナリがアップロードされ得る。これには、取り除かれる最小モデルをアグリゲータ２０２の接続マネージャ３０６および／またはプロトコルマネージャ３０４に通信する、顧客環境２１２のプロトコルマネージャ３１４および／またはＦＬ接続マネージャ３１６が含まれ得る。アグリゲータ２０２は、顧客環境２１２から取り除かれる最小モデルを受信することができ、取り除かれる最小モデルをグローバルモデルストア２０６に記憶することができる。

ブロック６１０で、顧客環境は、アグリゲータから１つまたはいくつかの取り除かれる最小モデルを選択、フェッチ、要求、および／または受信する。いくつかの実施形態では、取り除かれる最小モデルの分散は、プッシュ機構またはプル機構に従って行うことができる。いくつかの実施形態では、例えば、１つまたはいくつかの最小モデルおよび／またはアップデートをアグリゲータ２０２によって顧客環境２１２にプッシュすることができる。他の実施形態では、顧客環境２１２は、１つまたはいくつかの最小モデルを選択および／または要求することができる。

最小モデルが顧客環境にプッシュされる実施形態では、アグリゲータ２０２は、受信される最小モデルの数、およびグローバルモデルと比較した最小モデルの変化を追跡することができる。いくつかの実施形態では、例えば、所定の期間が経過したとき、または変更の閾値が満たされるときに、アグリゲータによって更新をプッシュすることができる。

最小モデルが顧客環境２１２にプルされる実施形態では、顧客は顧客環境を介して、１つまたはいくつかの取り除かれる最小モデルを特徴付ける情報を要求することができる。この情報には、例えば、最小モデルのスコア、最小モデルに関連付けられるメタデータなどを含めることができる。いくつかの実施形態では、顧客は、顧客環境を介して、１つまたはいくつかの最小モデルを選択および／または要求することができる。いくつかの実施形態では、これらの１つまたはいくつかの最小モデルは、１つまたはいくつかの取り除かれる最小モデルを特徴付けるこの情報に基づいて選択され得る。例えば、顧客は、要求される１つまたはいくつかの最小モデルが、例えば十分に高い信頼性、１つまたはいくつかの所望のタスクに対する最小モデルのトレーニングなど、１つまたはいくつかの所望の属性を示す情報を有する場合、１つまたはいくつかの最小モデルを選択および／または要求することができる。いくつかの実施形態では、顧客は、所定の閾値に基づいて最小モデルを選択することができ、いくつかの実施形態では、顧客は、受信される最小モデルの比較に基づいて最小モデルを選択することができる。したがって、いくつかの実施形態では、例えば、顧客は最高のスコアを有する最小モデルを選択することができる。

アグリゲータ２０２は、取り除かれる最小モデルの選択および／または要求を受信することができ、要求されるおよび／または選択される最小モデルを顧客環境２１２に提供することができる。取り除かれる最小モデルは、プロトコルマネージャ３０４および／またはＦＬ接続マネージャ３０６を介して顧客環境に提供され得る。顧客環境２１２は、選択される取り除かれる最小モデルをアグリゲータ２０２から受信することができ、取り除かれる最小モデルをモデルストア２１８に記憶することができる。いくつかの実施形態では、顧客環境２１２は、ＦＬ接続マネージャ３１６および／またはプロトコルマネージャ３１４を介して、取り除かれる最小モデルを受信することができる。

ブロック６１２で、受信される取り除かれる最小モデルの信頼性が検証される。いくつかの実施形態では、この信頼性の検証は、顧客環境２１２によって実行することができる。いくつかの実施形態では、信頼性の検証は、外部の信頼確立システムを利用して実行することができる。これには、例えば、ブロックチェーンの利用が含まれ得る。いくつかの実施形態では、外部信頼確立システムは、例えば、分散型コンセンサスを介して、受信される最小モデルの信頼性を検証することができる。

ブロック６１４で、受信される最小モデルおよび／またはアップデートは、顧客環境２１２によって記憶される。いくつかの実施形態では、これには、受信される最小モデルおよび／または更新をモデルストア２１８に記憶することが含まれ得る。

ブロック６１６で、受信される最小モデルの上に融合モデルが構築される。いくつかの実施形態では、融合モデルは補足モデルの組み合わせから作成することができ、および／または融合モデルは補足モデルの上でトレーニングすることができる。融合モデルは、ローカルトレーニングマネージャ３１２によってトレーニングすることができる。いくつかの実施形態では、受信される取り除かれる最小モデルに基づいて融合モデルを作成することは、複数の最小モデルの各々からの層および重みを表す、取り除かれる最小モデルのバイナリなどのデータを結合することを含むことができる。

いくつかの実施形態では、融合モデルのトレーニングは、最小モデルを融合モデルに融合することを含むことができる。いくつかの実施形態では、融合モデルは、例えば、ＦｅｄＡＶＧ（、Ｇｒａｄｉｅｎｔ Ａｖｅｒａｇｅ、Ｆｅｄ＋、ＦｅｄＰｏｘ）；ＩＤ３融合などのデシジョンツリー、反復平均やＦｅｄＡｖｇなどの強化学習、反復平均などの線形分類子、および／または差分プライバシーとのナイーブベイズ融合などのナイーブベイズなどのニューラルネットワークを含むことができる。

ブロック６１８で、タスク固有のヘッド、具体的にはタスク固有の分類子ヘッドが生成され、融合モデルに適用される。このタスク固有の分類子ヘッドは、顧客環境によって生成することができ、具体的には、ローカルトレーニングマネージャ３１２によって生成することができる。融合モデルは、融合モデルがトレーニングおよび／または生成された顧客環境のモデルストア２１８に記憶することができる。

ブロック６２０で、融合モデルが記憶される。融合モデルは、融合モデルがトレーニングおよび／または生成された顧客環境のモデルストア２１８に記憶することができる。

次に図７を参照すると、融合モデルを用いて出力を生成するためのプロセス７００の一実施形態を示すフローチャートが示されている。プロセス７００は、顧客環境２１２によって実行することができる。プロセス７００はブロック７０２で始まり、機械学習モデルの出力を生成する際に使用するためのデータ、具体的には融合モデルを用いて出力を生成するためのデータが受信される。ブロック７０４で、このデータがグローバルモデルに取り込まれる。グローバルモデルは、例えば１つまたはいくつかの層出力など、本明細書では第１の中間出力とも呼ばれる複数の中間出力を生成することができる。ブロック７０６に示すように、グローバルモデルのこれらの中間出力を受信および／または収集することができる。

ブロック７０８で、グローバルモデルの中間出力が、融合モデルが生成された複数の最小モデルに取り込まれる。これらの最小モデルの各々は、本明細書では第２の中間出力とも呼ばれる１つまたはいくつかの中間出力を生成することができ、ブロック７１０に示すように受信および／または収集することができる。

最小モデルから中間出力が受信および／または収集された後、プロセス７００はブロック７１２に進み、最小モデルおよび／またはグローバルモデルの中間出力が融合モデルに取り込まれる。最小モデルの出力が望ましくないいくつかの実施形態では、ステップ７０８および７１０をスキップすることができ、プロセスはブロック７０６からブロック７１２に直接進むことができ、そこでグローバルモデルの中間出力が融合モデルに取り込まれる。いくつかの実施形態では、融合モデルへの中間出力の取り込みに加えて、ブロック７０２で受信されるデータの一部またはすべてを融合モデルに取り込むことができる。

ブロック７１４で、融合モデルの分類子ヘッドは、融合モデルへ取り込まれた入力に基づいて、融合モデルの層から受信される入力に基づいて出力を生成し、および／または予測を行う。これは、融合モデルによって出力できる。

実装例
図８は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャのパターン例を示すブロック図８００である。サービスオペレータ８０２は、仮想クラウドネットワーク（ＶＣＮ）８０６およびセキュアホストサブネット８０８を含むことができるセキュアホストテナンシ８０４に通信可能に結合することができる。いくつかの例では、サービスオペレータ８０２は、１つまたは複数のクライアントコンピューティング装置を使用することができ、これは、ポータブルハンドヘルド装置（例えば、ｉＰｈｏｎｅ（登録商標）、携帯電話、ｉＰａｄ（登録商標）、コンピューティングタブレット、携帯情報端末（ＰＤＡ））もしくはウェアラブル装置（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイ）、Ｍｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）などの実行ソフトウェア、および／またはｉＯＳ、ＷｉｎｄｏｗｓＰｈｏｎｅ、Ａｎｄｒｏｉｄ、ＢｌａｃｋＢｅｒｒｙ８、ＰａｌｍＯＳなどのさまざまなモバイルオペレーティングシステム、ならびにインターネット、電子メール、ショートメッセージサービス（ＳＭＳ）、Ｂｌａｃｋｂｅｒｒｙ（登録商標）、または有効な他の通信プロトコルであり得る。あるいは、クライアントコンピューティング装置は、例えば、さまざまなバージョンのＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）、および／またはＬｉｎｕｘ（登録商標）オペレーティングシステムを実行するパーソナルコンピュータおよび／またはラップトップコンピュータを含む汎用パーソナルコンピュータであってもよい。クライアントコンピューティング装置は、例えばＧｏｏｇｌｅ Ｃｈｒｏｍｅ ＯＳなどのさまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステムを含むがこれらに限定されない、さまざまな市販のＵＮＩＸ（登録商標）またはＵＮＩＸ類似のオペレーティングシステムのいずれかを実行するワークステーションコンピュータであり得る。代替として、または追加として、クライアントコンピューティング装置は任意の他の電子装置であってもよく、シンクライアントコンピュータ、インターネット対応ゲームシステム（例えば、Ｋｉｎｅｃｔ（登録商標）ジェスチャ入力装置有り、または無しのＭｉｃｒｏｓｏｆｔ Ｘｂｏｘゲームコンソール）、および／またはＶＣＮ８０６および／またはインターネットにアクセスできるネットワークを介して通信できるパーソナルメッセージング装置などである。

ＶＣＮ８０６は、ＳＳＨＶＣＮ８１２に含まれるＬＰＧ８１０を介してセキュアシェル（ＳＳＨ）ＶＣＮ８１２に通信可能に結合することができるローカルピアリングゲートウェイ（ＬＰＧ）８１０を含むことができる。ＳＳＨＶＣＮ８１２は、ＳＳＨサブネット８１４を含むことができ、ＳＳＨＶＣＮ８１２は、制御プレーンＶＣＮ８１６に含まれるＬＰＧ８１０を介して制御プレーンＶＣＮ８１６に通信可能に結合することができる。また、ＳＳＨＶＣＮ８１２は、ＬＰＧ８１０を介してデータプレーンＶＣＮ８１８に通信可能に結合することができる。制御プレーンＶＣＮ８１６およびデータプレーンＶＣＮ８１８は、ＩａａＳプロバイダが所有および／または動作できるサービステナンシ８１９に含めることができる。

制御プレーンＶＣＮ８１６は、境界ネットワーク（例えば、企業イントラネットと外部ネットワークとの間の企業ネットワークの一部）として機能する制御プレーン非武装地帯（ＤＭＺ）層８２０を含むことができる。ＤＭＺベースのサーバは責任が制限されており、セキュリティ侵害を阻止するのに役立ち得る。さらに、ＤＭＺ層８２０は、１つまたは複数のロードバランサ（ＬＢ）サブネット８２２、アプリサブネット８２６を含むことができる制御プレーンアプリ層８２４、データベース（ＤＢ）サブネット８３０（例えば、フロントエンドＤＢサブネットおよび／またはバックエンドＤＢサブネット）を含むことができる制御プレーンデータ層８２８を含み得る。制御プレーンＤＭＺ層８２０に含まれるＬＢサブネット８２２は、制御プレーンアプリ層８２４に含まれるアプリサブネット８２６と、制御プレーンＶＣＮ８１６に含まれ得るインターネットゲートウェイ８３４とに通信可能に結合することができ、アプリサブネット８２６は、制御プレーンデータ層８２８に含まれるＤＢサブネット８３０、ならびにサービスゲートウェイ８３６およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ８３８に通信可能に結合することができる。制御プレーンＶＣＮ８１６は、サービスゲートウェイ８３６およびＮＡＴゲートウェイ８３８を含むことができる。

制御プレーンＶＣＮ８１６は、アプリサブネット８２６を含むことができるデータプレーンミラーアプリ層８４０を含むことができる。データプレーンミラーアプリ層８４０に含まれるアプリサブネット８２６は、コンピューティングインスタンス８４４を実行できる仮想ネットワークインターフェースコントローラ（ＶＮＩＣ）８４２を含むことができる。コンピューティングインスタンス８４４は、データプレーンミラーアプリ層８４０のアプリサブネット８２６を、データプレーンアプリ層８４６に含めることができるアプリサブネット８２６に通信可能に結合することができる。

データプレーンＶＣＮ８１８は、データプレーンアプリ層８４６、データプレーンＤＭＺ層８４８、およびデータプレーンデータ層８５０を含むことができる。データプレーンＤＭＺ層８４８は、データプレーンアプリ層８４６のアプリサブネット８２６およびデータプレーンＶＣＮ８１８のインターネットゲートウェイ８３４に通信可能に結合され得るＬＢサブネット８２２を含むことができる。アプリサブネット８２６は、データプレーンＶＣＮ８１８のサービスゲートウェイ８３６およびデータプレーンＶＣＮ８１８のＮＡＴゲートウェイ８３８に通信可能に結合することができる。データプレーンデータ層８５０は、データプレーンアプリ層８４６のアプリサブネット８２６に通信可能に結合できるＤＢサブネット８３０を含むこともできる。

制御プレーンＶＣＮ８１６およびデータプレーンＶＣＮ８１８のインターネットゲートウェイ８３４は、パブリックインターネット８５４に通信可能に結合され得るメタデータ管理サービス８５２に通信可能に結合され得る。パブリックインターネット８５４は、制御プレーンＶＣＮ８１６およびデータプレーンＶＣＮ８１８のＮＡＴゲートウェイ８３８に通信可能に結合することができる。制御プレーンＶＣＮ８１６およびデータプレーンＶＣＮ８１８のサービスゲートウェイ８３６は、クラウドサービス８５６に通信可能に結合することができる。

いくつかの例では、制御プレーンＶＣＮ８１６またはデータプランＶＣＮ８１８のサービスゲートウェイ８３６は、パブリックインターネット８５４を経由せずに、クラウドサービス８５６へのアプリケーションプログラミングインターフェース（ＡＰＩ）呼び出しを行うことができる。サービスゲートウェイ８３６からクラウドサービス８５６へのＡＰＩ呼び出しは一方向であり得る：サービスゲートウェイ８３６はクラウドサービス８５６へのＡＰＩ呼び出しを行うことができ、クラウドサービス８５６は要求されるデータをサービスゲートウェイ８３６に送信することができる。しかし、クラウドサービス８５６は、サービスゲートウェイ８３６へのＡＰＩ呼び出しを開始できない場合がある。

いくつかの例では、セキュアホストテナンシ８０４は、サービステナンシ８１９に直接接続することができ、そうでなければ分離され得る。セキュアホストサブネット８０８は、ＬＰＧ８１０を介してＳＳＨサブネット８１４と通信することができ、ＬＰＧ８１０は、そうでなければ分離されるシステムを介した双方向通信を可能にすることができる。セキュアホストサブネット８０８をＳＳＨサブネット８１４に接続すると、セキュアホストサブネット８０８にサービステナンシ８１９内の他のエンティティへのアクセスを与えることができる。

制御プレーンＶＣＮ８１６は、サービステナンシ８１９のユーザが所望のリソースをセットアップまたはプロビジョニングできるようにすることができる。制御プレーンＶＣＮ８１６内にプロビジョニングされる所望のリソースは、データプレーンＶＣＮ８１８内に展開または使用され得る。いくつかの例では、制御プレーンＶＣＮ８１６はデータプレーンＶＣＮ８１８から分離することができ、制御プレーンＶＣＮ８１６のデータプレーンミラーアプリ層８４０は、データプレーンミラーアプリ層８４０およびデータプレーンアプリ層８４６に含まれることができるＶＮＩＣ８４２を介して、データプレーンＶＣＮ８１８のデータプレーンアプリ層８４６と通信することができる。

いくつかの例では、システムのユーザまたは顧客は、要求をメタデータ管理サービス８５２に通信することができるパブリックインターネット８５４を介して、例えば、作成、読み取り、更新、または削除（ＣＲＵＤ）動作などの要求を行うことができる。メタデータ管理サービス８５２は、インターネットゲートウェイ８３４を介して要求を制御プレーンＶＣＮ８１６に通信することができる。この要求は、制御プレーンＤＭＺ層８２０に含まれるＬＢサブネット８２２によって受信され得る。ＬＢサブネット８２２は、要求が有効であると決定することができ、この決定に応答して、ＬＢサブネット８２２は、制御プレーンアプリ層８２４に含まれるアプリサブネット８２６に要求を送信することができる。要求が検証され、パブリックインターネット８５４への呼び出しが必要な場合、パブリックインターネット８５４への呼び出しは、パブリックインターネット８５４への呼び出しを行うことができるＮＡＴゲートウェイ８３８に送信され得る。要求によって記憶されることが望ましい場合があるメモリは、ＤＢサブネット８３０に記憶できる。

いくつかの例では、データプレーンミラーアプリ層８４０は、制御プレーンＶＣＮ８１６とデータプレーンＶＣＮ８１８との間の直接通信を容易にすることができる。例えば、構成に対する変更、更新、または他の適切な修正を、データプレーンＶＣＮ８１８に含まれるリソースに適用することが望ましい場合がある。ＶＮＩＣ８４２を介して、制御プレーンＶＣＮ８１６は、データプレーンＶＣＮ８１８に含まれるリソースと直接通信することができ、それにより、データプレーンＶＣＮ８１８に含まれるリソースに対する構成の変更、更新、または他の適切な修正を実行することができる。

いくつかの実施形態では、制御プレーンＶＣＮ８１６およびデータプレーンＶＣＮ８１８は、サービステナンシ８１９に含めることができる。この場合、システムのユーザまたは顧客は、制御プレーンＶＣＮ８１６またはデータプレーンＶＣＮ８１８のいずれも所有または動作できない。代わりに、ＩａａＳプロバイダは、制御プレーンＶＣＮ８１６およびデータプレーンＶＣＮ８１８を所有または動作することができ、これらは両方ともサービステナンシ８１９に含まれることができる。この実施形態は、ユーザまたは顧客が他のユーザまたは他の顧客のリソースと対話することを防止し得るネットワークの分離を可能にすることができる。また、この実施形態により、システムのユーザまたは顧客は、記憶のために所望のセキュリティレベルを持たない可能性があるパブリックインターネット８５４に依存する必要なく、データベースをプライベートに記憶することができる。

他の実施形態では、制御プレーンＶＣＮ８１６に含まれるＬＢサブネット８２２は、サービスゲートウェイ８３６から信号を受信するように構成され得る。この実施形態では、制御プレーンＶＣＮ８１６およびデータプレーンＶＣＮ８１８は、パブリックインターネット８５４を呼び出すことなく、ＩａａＳプロバイダの顧客によって呼び出されるように構成され得る。顧客が使用するデータベースはＩａａＳプロバイダによって制御され、パブリックインターネット８５４から分離され得るサービステナンシ８１９に記憶され得るため、ＩａａＳプロバイダの顧客は、この実施形態を望む可能性がある。

図９は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図９００である。サービスオペレータ９０２（例えば、図８のサービスオペレータ８０２）は、セキュアホストテナンシ９０４（例えば、図８のセキュアホストテナンシ８０４）に通信可能に結合することができ、これは、仮想クラウドネットワーク（ＶＣＮ）９０６（例えば、図８のＶＣＮ８０６）およびセキュアホストサブネット９０８（例えば、図８のセキュアホストサブネット８０８）を含むことができる。ＶＣＮ９０６は、ローカルピアリングゲートウェイ（ＬＰＧ）９１０（例えば、図８のＬＰＧ８１０）を含むことができ、これはＳＳＨ ＶＣＮ９１２に含まれるＬＰＧ８１０を介して、セキュアシェル（ＳＳＨ）ＶＣＮ９１２（例えば、図８のＳＳＨ ＶＣＮ８１２）に通信可能に結合することができる。ＳＳＨＶＣＮ９１２は、ＳＳＨサブネット９１４（例えば、図８のＳＳＨサブネット８１４）を含むことができ、ＳＳＨＶＣＮ９１２は、制御プレーンＶＣＮ９１６（例えば、図８の制御プレーンＶＣＮ８１６）に含まれるＬＰＧ９１０を介して制御プレーンＶＣＮ９１６に通信可能に結合することができる。制御プレーンＶＣＮ９１６は、サービステナンシ９１９（例えば、図８のサービステナンシ８１９）に含まれることができ、データプレーンＶＣＮ９１８（例えば、図８のデータプレーンＶＣＮ８１８）は、顧客テナンシ９２１に含まれることができ、これはシステムのユーザまたは顧客によって所有または動作され得る。

制御プレーンＶＣＮ９１６は、ＬＢサブネット９２２（例えば、図８のＬＢサブネット８２２）を含むことができる制御プレーンＤＭＺ層９２０（例えば、図８の制御プレーンＤＭＺ層８２０）、アプリサブネット９２６（例えば、図８のアプリサブネット８２６）を含むことができる制御プレーンアプリ層９２４（例えば、図８の制御プレーンアプリ層８２４）、データベース（ＤＢ）サブネット９３０（例えば、図８のＤＢサブネット８３０と同様）を含むことができる制御プレーンデータ層９２８（例えば、図８の制御プレーンデータ層８２８）を含むことができる。制御プレーンＤＭＺ層９２０に含まれるＬＢサブネット９２２は、制御プレーンアプリ層９２４に含まれるアプリサブネット９２６と、制御プレーンＶＣＮ９１６に含まれ得るインターネットゲートウェイ９３４（例えば、図８のインターネットゲートウェイ８３４）とに通信可能に結合され得、アプリサブネット９２６は、制御プレーンデータ層９２８に含まれるＤＢサブネット９３０、サービスゲートウェイ９３６（例えば、図８のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ９３８（例えば、図８のＮＡＴゲートウェイ８３８）に通信可能に結合することができる。制御プレーンＶＣＮ９１６は、サービスゲートウェイ９３６およびＮＡＴゲートウェイ９３８を含むことができる。

制御プレーンＶＣＮ９１６は、アプリサブネット９２６を含むことができるデータプレーンミラーアプリ層９４０（例えば、図８のデータプレーンミラーアプリ層８４０）を含むことができる。データプレーンミラーアプリ層９４０に含まれるアプリサブネット９２６は、コンピューティングインスタンス９４４（例えば、図８のコンピューティングインスタンス８４４と同様）を実行できる仮想ネットワークインターフェースコントローラ（ＶＮＩＣ）９４２（例えば、８４２のＶＮＩＣ）を含むことができる。コンピューティングインスタンス９４４は、データプレーンミラーアプリ層９４０に含まれるＶＮＩＣ９４２とデータプランアプリ層９４６に含まれるＶＮＩＣ９４２を介して、データプレーンミラーアプリ層９４０のアプリサブネット９２６と、データプレーンアプリ層９４６（例えば、図８のデータプレーンアプリ層８４６）に含めることができるアプリサブネット９２６との間の通信を容易にすることができる。

制御プレーンＶＣＮ９１６に含まれるインターネットゲートウェイ９３４は、メタデータ管理サービス９５２（例えば、図８のメタデータ管理サービス８５２）に通信可能に結合することができ、メタデータ管理サービス９５２は、パブリックインターネット９５４（例えば、図８のパブリックインターネット８５４）に通信可能に結合することができる。パブリックインターネット９５４は、制御プレーンＶＣＮ９１６に含まれるＮＡＴゲートウェイ９３８に通信可能に結合することができる。制御プレーンＶＣＮ９１６に含まれるサービスゲートウェイ９３６は、クラウドサービス９５６（例えば、図８のクラウドサービス８５６）に通信可能に結合することができる。

いくつかの例では、データプレーンＶＣＮ９１８は顧客テナンシ９２１に含まれることができる。この場合、ＩａａＳプロバイダは、各顧客に対して制御プレーンＶＣＮ９１６を提供することができ、ＩａａＳプロバイダは、各顧客に対して、サービステナンシ９１９に含まれる一意のコンピューティングインスタンス９４４をセットアップすることができる。各コンピューティングインスタンス９４４は、サービステナンシ９１９に含まれる制御プレーンＶＣＮ９１６と、顧客テナンシ９２１に含まれるデータプレーンＶＣＮ９１８との間の通信を可能にすることができる。コンピューティングインスタンス９４４は、サービステナンシ９１９に含まれる制御プレーンＶＣＮ９１６内にプロビジョニングされるリソースが、顧客テナンシ９２１に含まれるデータプレーンＶＣＮ９１８内に展開されるか、さもなければ使用されることを可能にし得る。

他の例では、ＩａａＳプロバイダの顧客は、顧客テナンシ９２１内に存在するデータベースを有し得る。この例では、制御プレーンＶＣＮ９１６は、アプリサブネット９２６を含むことができるデータプレーンミラーアプリ層９４０を含むことができる。データプレーンミラーアプリ層９４０はデータプレーンＶＣＮ９１８内に存在することができるが、データプレーンミラーアプリ層９４０はデータプレーンＶＣＮ９１８内に存在しなくてもよい。つまり、データプレーンミラーアプリ層９４０は、顧客テナンシ９２１にアクセスできるが、データプレーンミラーアプリ層９４０は、データプレーンＶＣＮ９１８に存在しないか、ＩａａＳプロバイダの顧客によって所有または動作されない可能性がある。データプレーンミラーアプリ層９４０は、データプレーンＶＣＮ９１８への呼び出しを行うように構成されてもよいが、制御プレーンＶＣＮ９１６に含まれる任意のエンティティへの呼び出しを行うように構成されなくてもよい。顧客は、制御プレーンＶＣＮ９１６内にプロビジョニングされるデータプレーンＶＣＮ９１８内のリソースを展開または使用することを望む場合があり、データプレーンミラーアプリ層９４０は、リソースの顧客の所望の展開または他の使用を容易にすることができる。

いくつかの実施形態では、ＩａａＳプロバイダの顧客は、データプレーンＶＣＮ９１８にフィルタを適用することができる。この実施形態では、顧客はデータプレーンＶＣＮ９１８が何にアクセスできるかを決定することができ、顧客はデータプレーンＶＣＮ９１８からパブリックインターネット９５４へのアクセスを制限することができる。ＩａａＳプロバイダは、フィルタを適用したり、外部ネットワークまたはデータベースへのデータプレーンＶＣＮ９１８のアクセスを制御したりできない場合がある。顧客によるフィルタおよび制御を顧客テナンシ９２１に含まれるデータプレーンＶＣＮ９１８に適用すると、データプレーンＶＣＮ９１８を他の顧客およびパブリックインターネット９５４から分離するのに役立ち得る。

いくつかの実施形態では、クラウドサービス９５６は、パブリックインターネット９５４上、制御プレーンＶＣＮ９１６上、またはデータプレーンＶＣＮ９１８上に存在しない可能性があるサービスにアクセスするために、サービスゲートウェイ９３６によって呼び出すことができる。クラウドサービス９５６と制御プレーンＶＣＮ９１６またはデータプレーンＶＣＮ９１８との間の接続は、存在しないまたは継続的ではない可能性がある。クラウドサービス９５６は、ＩａａＳプロバイダが所有または運営する別のネットワーク上に存在し得る。クラウドサービス９５６は、サービスゲートウェイ９３６から呼び出しを受信するように構成されてもよいし、パブリックインターネット９５４から呼び出しを受信しないように構成されてもよい。一部のクラウドサービス９５６は、他のクラウドサービス９５６から分離されてもよく、制御プレーンＶＣＮ９１６は、制御プレーンＶＣＮ９１６と同じ領域になくてもよいクラウドサービス９５６から分離されてもよい。例えば、制御プレーンＶＣＮ９１６は「リージョン１」に配置され、クラウドサービス「展開１１」はリージョン１と「リージョン２」に配置され得る。展開１１への呼び出しが、リージョン１にある制御プレーンＶＣＮ９１６に含まれるサービスゲートウェイ９３６によって行われた場合、その呼び出しはリージョン１の展開１１に送信され得る。この例では、制御プレーンＶＣＮ９１６、またはリージョン１の展開１１は、リージョン２の展開１１に通信可能に結合されていない、または通信していない可能性がある。

図１０は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図１０００である。サービスオペレータ１００２（例えば、図８のサービスオペレータ８０２）は、セキュアホストテナンシ１００４（例えば、図８のセキュアホストテナンシ８０４）に通信可能に結合することができ、これは、仮想クラウドネットワーク（ＶＣＮ）１００６（例えば、図８のＶＣＮ８０６）およびセキュアホストサブネット１００８（例えば、図８のセキュアホストサブネット８０８）を含むことができる。ＶＣＮ１００６は、ＳＳＨＶＣＮ１０１２に含まれるＬＰＧ１０１０を介してＳＳＨＶＣＮ１０１１（例えば、図８のＳＳＨＶＣＮ８１２）に通信可能に結合され得るＬＰＧ１０１０（例えば、図８のＬＰＧ８１０）を含むことができる。ＳＳＨＶＣＮ１０１２は、ＳＳＨサブネット１０１４（例えば、図８のＳＳＨサブネット８１４）を含むことができ、ＳＳＨＶＣＮ１０１２は、制御プレーンＶＣＮ１０１６（例えば、図８の制御プレーンＶＣＮ８１６）に含まれるＬＰＧ１０１０を介して、制御プレーンＶＣＮ１０１６に通信可能に結合することができ、データプレーンＶＣＮ１０１８（例えば、図８のデータプレーン８１８）に含まれるＬＰＧ１０１０を介して、データプレーンＶＣＮ１０１８に通信可能に結合することができる。制御プレーンＶＣＮ１０１６およびデータプレーンＶＣＮ１０１８は、サービステナンシ１０１９（例えば、図８のサービステナンシ８１９）に含めることができる。

制御プレーンＶＣＮ１０１６は、ロードバランサ（ＬＢ）サブネット１０２２（例えば、図８のＬＢサブネット８２２）を含むことができる制御プレーンＤＭＺ層１０２０（例えば、図８の制御プレーンＤＭＺ層８２０）、アプリサブネット１０２６（例えば、図８のアプリサブネット８２６と同様）を含むことができる制御プレーンアプリ層１０２４（例えば、図８の制御プレーンアプリ層８２４）、ＤＢサブネット１０３０を含むことができる制御プレーンデータ層１０２８（例えば、図８の制御プレーンデータ層８２８）を含むことができる。制御プレーンＤＭＺ層１０２０に含まれるＬＢサブネット１０２２は、制御プレーンアプリ層１０２４に含まれるアプリサブネット１０２６に通信可能に結合することができ、制御プレーンＶＣＮ１０１６に含めることができるインターネットゲートウェイ１０３４（例えば、図８のインターネットゲートウェイ８３４）に通信可能に結合することができ、アプリサブネット１０２６は、制御プレーンデータ層１０２８に含まれるＤＢサブネット１０３０に通信可能に結合することができ、サービスゲートウェイ１０３６（例えば、図８のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１０３８（例えば、図８のＮＡＴゲートウェイ８３８）に通信可能に結合することができる。制御プレーンＶＣＮ１０１６は、サービスゲートウェイ１０３６およびＮＡＴゲートウェイ１０３８を含むことができる。

データプレーンＶＣＮ１０１８は、データプレーンアプリ層１０４６（例えば、図８のデータプレーンアプリ層８４６）、データプレーンＤＭＺ層１０４８（例えば、図８のデータプレーンＤＭＺ層８４８）、およびデータプレーンデータ層１０５０（例えば、図８のデータプレーンデータ層８５０）を含むことができる。データプレーンＤＭＺ層１０４８は、ＬＢサブネット１０２２を含むことができ、それは、信頼できるアプリサブネット１０６０に通信可能に結合され得、データプレーンアプリ層１０４６の信頼できないアプリサブネット１０６２およびデータプレーンＶＣＮ１０１８に含まれるインターネットゲートウェイ１０３４に通信可能に結合することができる。信頼できるアプリサブネット１０６０は、データプレーンＶＣＮ１０１８に含まれるサービスゲートウェイ１０３６に通信可能に結合することができ、データプレーンＶＣＮ１０１８に含まれるＮＡＴゲートウェイ１０３８、およびデータプレーンデータ層１０５０に含まれるＤＢサブネット１０３０に通信可能に結合することができる。信頼できないアプリサブネット１０６２は、データプレーンＶＣＮ１０１８に含まれるサービスゲートウェイ１０３６およびデータプレーンデータ層１０５０に含まれるＤＢサブネット１０３０に通信可能に接続することができる。データプレーンデータ層１０５０は、データプレーンＶＣＮ１０１８に含まれるサービスゲートウェイ１０３６に通信可能に結合できるＤＢサブネット１０３０を含むことができる。

信頼できないアプリサブネット１０６２は、テナンシ仮想機械（ＶＭ）１０６６（１）～（Ｎ）に通信可能に結合できる１つまたは複数の１次ＶＮＩＣ１０６４（１）～（Ｎ）を含むことができる。各テナンシＶＭ１０６６（１）～（Ｎ）は、それぞれの顧客テナンシ１０７０（１）～（Ｎ）に含めることができるそれぞれのコンテナ出口ＶＣＮ１０６８（１）～（Ｎ）に含めることができるそれぞれのアプリサブネット１０６７（１）～（Ｎ）に通信可能に結合することができる。それぞれの２次ＶＮＩＣ１０７２（１）～（Ｎ）は、データプレーンＶＣＮ１０１８に含まれる信頼できないアプリサブネット１０６２と、コンテナ出口ＶＣＮ１０６８（１）～（Ｎ）に含まれるアプリサブネットとの間の通信を容易にすることができる。各コンテナ出口ＶＣＮ１０６８（１）～（Ｎ）は、パブリックインターネット１０５４（例えば、図８のパブリックインターネット８５４）に通信可能に結合できるＮＡＴゲートウェイ１０３８を含むことができる。

制御プレーンＶＣＮ１０１６に含まれ、データプレーンＶＣＮ１０１８に含まれるインターネットゲートウェイ１０３４は、パブリックインターネット１０５４に通信可能に結合できるメタデータ管理サービス１０５２（例えば、図８のメタデータ管理システム８５２）に通信可能に結合することができる。パブリックインターネット１０５４は、制御プレーンＶＣＮ１０１６に含まれ、データプレーンＶＣＮ１０１８に含まれるＮＡＴゲートウェイ１０３８に通信可能に結合することができる。制御プレーンＶＣＮ１０１６に含まれ、データプレーンＶＣＮ１０１８に含まれるサービスゲートウェイ１０３６は、クラウドサービス１０５６に通信可能に結合することができる。

いくつかの実施形態では、データプレーンＶＣＮ１０１８は、顧客テナンシ１０７０と統合することができる。この統合は、コード実行時のサポートが望ましい場合など、ＩａａＳプロバイダの顧客にとって有益または望ましい場合がある。顧客は、破壊的な可能性があるコード、他の顧客リソースと通信する可能性のあるコード、またはその他の望ましくない影響を引き起こす可能性のあるコードの実行を提供し得る。これに応じて、ＩａａＳプロバイダは、顧客からＩａａＳプロバイダに提供されるコードを実行するかどうかを決定できる。

いくつかの例では、ＩａａＳプロバイダの顧客は、ＩａａＳプロバイダへの一時的なネットワークアクセスを許可し、データプレーン層アプリ１０４６に付加される機能を要求することができる。機能を実行するコードは、ＶＭ１０６６（１）～（Ｎ）で実行されてもよく、コードは、データプレーンＶＣＮ１０１８上の他の場所で実行されるように構成されなくてもよい。各ＶＭ１０６６（１）～（Ｎ）は、１つの顧客テナンシ１０７０に接続され得る。ＶＭ１０６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１０７１（１）～（Ｎ）は、コードを実行するように構成され得る。この場合、二重分離が存在し得（例えば、コンテナ１０７１（１）～（Ｎ）のコード実行、コンテナ１０７１（１）～（Ｎ）は、信頼できないアプリサブネット１０６２に含まれる少なくともＶＭ１０６６（１）～（Ｎ）に含まれ得る）、これは、間違ったコードや望ましくないコードがＩａａＳプロバイダのネットワークに損害を与えたり、別の顧客のネットワークに損害を与えたりすることを防ぐのに役立ち得る。コンテナ１０７１（１）～（Ｎ）は、顧客テナンシ１０７０に通信可能に結合されてもよく、顧客テナンシ１０７０からデータを送信または受信するように構成されてもよい。コンテナ１０７１（１）～（Ｎ）は、データプレーンＶＣＮ１０１８内の他の任意のエンティティからデータを送信または受信するように構成されていない可能性がある。コードの実行が完了すると、ＩａａＳプロバイダは、コンテナ１０７１（１）～（Ｎ）を強制終了するか、その他の方法で廃棄することができる。

いくつかの実施形態では、信頼できるアプリサブネット１０６０は、ＩａａＳプロバイダによって所有または動作され得るコードを実行し得る。この実施形態では、信頼できるアプリサブネット１０６０は、ＤＢサブネット１０３０に通信可能に結合され、ＤＢサブネット１０３０においてＣＲＵＤ動作を実行するように構成され得る。信頼できないアプリサブネット１０６２は、ＤＢサブネット１０３０に通信可能に結合され得るが、この実施形態では、信頼できないアプリサブネットは、ＤＢサブネット１０３０において読み取り動作を実行するように構成され得る。各顧客のＶＭ１０６６（１）～（Ｎ）に含めることができ、顧客からのコードを実行することができるコンテナ１０７１（１）～（Ｎ）は、ＤＢサブネット１０３０と通信可能に結合されなくてもよい。

他の実施形態では、制御プレーンＶＣＮ１０１６とデータプレーンＶＣＮ１０１８は、直接通信可能に結合されていなくてもよい。この実施形態では、制御プレーンＶＣＮ１０１６とデータプレーンＶＣＮ１０１８との間に直接通信はなくてもよい。しかし、通信は少なくとも１つの方法を通じて間接的に行うことができる。ＬＰＧ１０１０は、制御プレーンＶＣＮ１０１６とデータプレーンＶＣＮ１０１８との間の通信を容易にすることができるＩａａＳプロバイダによって確立され得る。別の例では、制御プレーンＶＣＮ１０１６またはデータプレーンＶＣＮ１０１８は、サービスゲートウェイ１０３６を介してクラウドサービス１０５６への呼び出しを行うことができる。例えば、制御プレーンＶＣＮ１０１６からクラウドサービス１０５６への呼び出しは、データプレーンＶＣＮ１０１８と通信できるサービスに対する要求を含むことができる。

図１１は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１１００である。サービスオペレータ１１０２（例えば、図８のサービスオペレータ８０２）は、仮想クラウドネットワーク（ＶＣＮ）１１０６（例えば、図８のＶＣＮ８０６）を含むことができるセキュアホストテナンシ１１０４（例えば、図８のセキュアホストテナンシ８０４）およびセキュアホストサブネット１１０８（例えば、図８のセキュアホストサブネット８０８）に通信可能に結合することができる。ＶＣＮ１１０６は、ＳＳＨ ＶＣＮ１１１２に含まれるＬＰＧ１１１０を介してＳＳＨ ＶＣＮ１１１２（例えば、図８のＳＳＨ ＶＣＮ８１２）に通信可能に結合され得るＬＰＧ１１１０（例えば、図８のＬＰＧ８１０）を含むことができる。ＳＳＨ ＶＣＮ１１１２は、ＳＳＨサブネット１１１４（例えば、図８のＳＳＨサブネット８１４）を含むことができ、ＳＳＨ ＶＣＮ１１１２は、制御プレーンＶＣＮ１１１６に含まれるＬＰＧ１１１０を介して、制御プレーンＶＣＮ１１１６（例えば、図８の制御プレーンＶＣＮ８１６）およびデータプレーンＶＣＮ１１１８に含まれるＬＰＧ１１１０を介して、データプレーンＶＣＮ１１１８（例えば、図８のデータプレーン８１８）に通信可能に結合することができる。制御プレーンＶＣＮ１１１６およびデータプレーンＶＣＮ１１１８は、サービステナンシ１１１９（例えば、図８のサービステナンシ８１９）に含めることができる。

制御プレーンＶＣＮ１１１６は、ＬＢサブネット１１２２（例えば、図８のＬＢサブネット８２２）を含むことができる制御プレーンＤＭＺ層１１２０（例えば、図８の制御プレーンＤＭＺ層８２０）、アプリサブネット１１２６（例えば、図８のアプリサブネット８２６）を含むことができる制御プレーンアプリ層１１２４（例えば、図８の制御プレーンアプリ層８２４）、ＤＢサブネット１１３０（例えば、図１０のＤＢサブネット１０３０）を含むことができる制御プレーンデータ層１１２８（例えば、図８の制御プレーンデータ層８２８）を含むことができる。制御プレーンＤＭＺ層１１２０に含まれるＬＢサブネット１１２２は、制御プレーンアプリ層１１２４に含まれるアプリサブネット１１２６、および制御プレーンＶＣＮ１１１６に含めることができるインターネットゲートウェイ１１３４（例えば、図８のインターネットゲートウェイ８３４）に通信可能に結合することができ、アプリサブネット１１２６は、制御プレーンデータ層１１２８に含まれるＤＢサブネット１１３０およびサービスゲートウェイ１１３６（例えば、図８のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１１３８（例えば、図８のＮＡＴゲートウェイ８３８）に通信可能に結合することができる。制御プレーンＶＣＮ１１１６は、サービスゲートウェイ１１３６およびＮＡＴゲートウェイ１１３８を含むことができる。

データプレーンＶＣＮ１１１８は、データプレーンアプリ層１１４６（例えば、図８のデータプレーンアプリ層８４６）、データプレーンＤＭＺ層１１４８（例えば、図８のデータプレーンＤＭＺ層８４８）、およびデータプレーンデータ層１１５０（例えば、図８のデータプレーンデータ層８５０）を含むことができる。データプレーンＤＭＺ層１１４８は、信頼できるアプリサブネット１１６０（例えば、図１０の信頼できるアプリサブネット１０６０）およびデータプレーンＶＣＮ１１１８に含まれるデータプレーンアプリ層１１４６およびインターネットゲートウェイ１１３４の信頼できないアプリサブネット１１６２（例えば、図１０の信頼できないアプリサブネット１０６２）に通信可能に結合できるＬＢサブネット１１２２を含むことができる。信頼できるアプリサブネット１１６０は、データプレーンＶＣＮ１１１８に含まれるサービスゲートウェイ１１３６およびデータプレーンＶＣＮ１１１８に含まれるＮＡＴゲートウェイ１１３８、およびデータプレーンデータ層１１５０に含まれるＤＢサブネット１１３０に通信可能に結合することができる。信頼できないアプリサブネット１１６２は、データプレーンＶＣＮ１１１８に含まれるサービスゲートウェイ１１３６およびデータプレーンデータ層１１５０に含まれるＤＢサブネット１１３０に通信可能に結合することができる。データプレーンデータ層１１５０は、データプレーンＶＣＮ１１１８に含まれるサービスゲートウェイ１１３６に通信可能に結合できるＤＢサブネット１１３０を含むことができる。

信頼できないアプリサブネット１１６２は、信頼できないアプリサブネット１１６２内に載置するテナンシ仮想機械（ＶＭ）１１６６（１）～（Ｎ）に通信可能に結合できる１次ＶＮＩＣ１１６４（１）～（Ｎ）を含むことができる。各テナンシＶＭ１１６６（１）～（Ｎ）は、それぞれのコンテナ１１６７（１）～（Ｎ）内でコードを実行することができ、コンテナ出口ＶＣＮ１１６８に含まれることができるデータプレーンアプリ層１１４６に含まれることができるアプリサブネット１１２６に通信可能に結合され得る。それぞれの２次ＶＮＩＣ１１７２（１）～（Ｎ）は、データプレーンＶＣＮ１１１８に含まれる信頼できないアプリサブネット１１６２とコンテナ出口ＶＣＮ１１６８に含まれるアプリサブネットとの間の通信を容易にすることができる。コンテナ出口ＶＣＮは、パブリックインターネット１１５４（例えば、図８のパブリックインターネット８５４）に通信可能に結合できるＮＡＴゲートウェイ１１３８を含むことができる。

制御プレーンＶＣＮ１１１６に含まれ、データプレーンＶＣＮ１１１８に含まれるインターネットゲートウェイ１１３４は、パブリックインターネット１１５４に通信可能に結合できるメタデータ管理サービス１１５２（例えば、図８のメタデータ管理システム８５２）に通信可能に結合することができる。パブリックインターネット１１５４は、制御プレーンＶＣＮ１１１６に含まれるＮＡＴゲートウェイ１１３８およびデータプレーンＶＣＮ１１１８に含まれるＮＡＴゲートウェイ１１３８に通信可能に結合することができる。制御プレーンＶＣＮ１１１６に含まれ、データプレーンＶＣＮ１１１８に含まれるサービスゲートウェイ１１３６は、クラウドサービス１１５６に通信可能に結合することができる。

いくつかの例では、図１１のブロック図１１００のアーキテクチャによって示されるパターンは、図１０のブロック図１０００のアーキテクチャによって示されるパターンの例外であると考えられ、ＩａａＳプロバイダが顧客と直接通信できない場合（例えば、切断されている領域）、ＩａａＳプロバイダの顧客にとっては望ましい場合がある。各顧客のＶＭ１１６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１１６７（１）～（Ｎ）は、顧客によってリアルタイムでアクセス可能である。コンテナ１１６７（１）～（Ｎ）は、コンテナ出口ＶＣＮ１１６８に含まれることができるデータプレーンアプリ層１１４６のアプリサブネット１１２６に含まれるそれぞれの２次ＶＮＩＣ１１７２（１）～（Ｎ）への呼び出しを行うように構成され得る。２次ＶＮＩＣ１１７２（１）～（Ｎ）は、呼び出しをパブリックインターネット１１５４に送信することができるＮＡＴゲートウェイ１１３８に呼び出しを送信することができる。この例では、顧客がリアルタイムでアクセスできるコンテナ１１６７（１）～（Ｎ）は、制御プレーンＶＣＮ１１１６から分離することができ、データプレーンＶＣＮ１１１８に含まれる他のエンティティから分離することができる。コンテナ１１６７（１）～（Ｎ）は、他の顧客からのリソースから隔離されてもよい。

他の例では、顧客は、コンテナ１１６７（１）～（Ｎ）を使用して、クラウドサービス１１５６を呼び出すことができる。この例では、顧客は、クラウドサービス１１５６からサービスを要求するコードをコンテナ１１６７（１）～（Ｎ）内で実行することができる。コンテナ１１６７（１）～（Ｎ）は、この要求を２次ＶＮＩＣ１１７２（１）～（Ｎ）に送信することができ、２次ＶＮＩＣ１１７２（１）～（Ｎ）は、要求をパブリックインターネット１１５４に送信することができるＮＡＴゲートウェイに要求を送信することができる。パブリックインターネット１１５４は、インターネットゲートウェイ１１３４を介して、制御プレーンＶＣＮ１１１６に含まれるＬＢサブネット１１２２に要求を送信することができる。要求が有効であるとの決定に応答して、ＬＢサブネットは、サービスゲートウェイ１１３６を介してクラウドサービス１１５６に要求を送信できるアプリサブネット１１２６に要求を送信することができる。

図に示されているＩａａＳアーキテクチャ８００、９００、１０００、１１００は、示されているもの以外の構成要素を有し得ることを理解されたい。さらに、図に示される実施形態は、本開示の実施形態を組み込むことができるクラウドインフラストラクチャシステムのいくつかの例にすぎない。他のいくつかの実施形態では、ＩａａＳシステムは、図示されているよりも多いもしくは少ない構成要素を有してもよく、２つ以上の構成要素を組み合わせてもよく、または構成要素の異なる構成もしくは配置を有してもよい。

特定の実施形態では、本明細書で説明されるＩａａＳシステムは、セルフサービス、サブスクリプションベース、弾力的に拡張可能、信頼性が高く、可用性が高く、安全な方法で顧客に提供されるアプリケーション、ミドルウェア、およびデータベースサービス製品のスイートを含むことができる。このようなＩａａＳシステムの一例として、本譲受人が提供するＯｒａｃｌｅ Ｃｌｏｕｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ（ＯＣＩ）がある。

図１２は、本開示のさまざまな実施形態が実装され得る例示的なコンピュータシステム１２００を示す。システム１２００は、上述のコンピュータシステムのいずれかを実装するために使用することができる。図に示すように、コンピュータシステム１２００は、バスサブシステム１２０２を介して多くの周辺サブシステムと通信する処理装置１２０４を含む。これらの周辺サブシステムは、処理加速装置１２０６、Ｉ／Ｏサブシステム１２０８、記憶サブシステム１２１８、および通信サブシステム１２２４を含み得る。記憶サブシステム１２１８は、有形のコンピュータ可読記憶媒体１２２２およびシステムメモリ１２１０を含む。

バスサブシステム１２０２は、コンピュータシステム１２００のさまざまな構成要素およびサブシステムが意図したとおりに相互に通信できるようにする機構を提供する。バスサブシステム１２０２は単一のバスとして概略的に示されているが、バスサブシステムの代替実施形態では複数のバスを利用することができる。バスサブシステム１２０２は、さまざまなバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のいずれであってもよい。例えば、そのようなアーキテクチャには、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスが含まれ得る。これは、ＩＥＥＥＰ１３８６．１標準に従って製造されるメザニンバスとして実装できる。

処理装置１２０４は、１つまたは複数の集積回路（例えば、従来のマイクロプロセッサまたはマイクロコントローラ）として実装することができ、コンピュータシステム１２００の動作を制御する。１つまたは複数のプロセッサが処理装置１２０４に含まれてもよい。これらのプロセッサには、単一コアプロセッサまたはマルチコアプロセッサが含まれ得る。特定の実施形態では、処理装置１２０４は、各処理装置に含まれる単一コアプロセッサまたはマルチコアプロセッサを有する１つまたは複数の独立した処理装置１２３２および／または１２３４として実装され得る。他の実施形態では、処理装置１２０４は、２つのデュアルコアプロセッサを単一のチップに統合することによって形成されるクアッドコア処理装置として実装されてもよい。

さまざまな実施形態において、処理装置１２０４は、プログラムコードに応答してさまざまなプログラムを実行することができ、複数の同時実行プログラムまたはプロセスを維持することができる。いつでも、実行されるプログラムコードの一部またはすべては、プロセッサ１２０４および／または記憶サブシステム１２１８に存在することができる。適切なプログラミングを通じて、プロセッサ１２０４は、上述のさまざまな機能を提供することができる。コンピュータシステム１２００は、デジタルシグナルプロセッサ（ＤＳＰ）、専用プロセッサ等を含むことができる処理加速装置１２０６をさらに含むことができる。

Ｉ／Ｏサブシステム１２０８は、ユーザインターフェース入力装置およびユーザインターフェース出力装置を含むことができる。ユーザインターフェース入力装置にはキーボード、マウスやトラックボールなどのポインティング装置、ディスプレイに組み込まれたタッチパッドやタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを備えたオーディオ入力装置、マイク、および他のタイプの入力装置が含まれ得る。ユーザインターフェース入力装置には、例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）モーションセンサーなどのモーションセンシングおよび／またはジェスチャ認識装置が含まれ得、ユーザは、ジェスチャや音声コマンドを使用した自然なユーザインターフェースを通じて、Ｍｉｃｒｏｓｏｆｔ Ｘｂｏｘ（登録商標）３６０ゲームコントローラなどの入力装置を制御し、対話できるようになる。ユーザインターフェース入力装置には、ユーザからの目の活動（例えば、写真撮影中および／またはメニュー選択中の「瞬き」）を検出し、目のジェスチャを入力装置（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標））への入力として変換するＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）瞬き検出器などのアイジェスチャ認識装置も含まれ得る。さらに、ユーザインターフェース入力装置は、ユーザが音声コマンドを通じて音声認識システム（例えば、Ｓｉｒｉ（登録商標）ナビゲータ）と対話できるようにする音声認識センシング装置を含んでもよい。

ユーザインターフェース入力装置には、限定されないが、３次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびにスピーカ、デジタルカメラ、デジタルビデオカメラなどのオーディオ／ビジュアル装置、ポータブルメディアプレーヤ、ウェブカメラ、イメージスキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザ距離計、および視線追跡装置なども含まれ得る。さらに、ユーザインターフェース入力装置には、例えば、コンピュータ断層撮影法、磁気共鳴画像法、位置放射断層撮影法、医療用超音波検査装置などの医療用画像入力装置が含まれてもよい。ユーザインターフェース入力装置には、例えば、ＭＩＤＩキーボード、デジタル楽器などのオーディオ入力装置も含まれ得る。

ユーザインターフェース出力装置には、ディスプレイサブシステム、インジケータライト、またはオーディオ出力装置などの非視覚的ディスプレイが含まれてもよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するものなどのフラットパネル装置、投影装置、タッチスクリーンなどであってもよい。一般に、「出力装置」という用語の使用は、コンピュータシステム１２００からユーザまたは他のコンピュータに情報を出力するためのあらゆる可能なタイプの装置および機構を含むことを意図している。例えば、ユーザインターフェース出力装置には、モニタ、プリンタ、スピーカ、ヘッドフォン、自動車ナビゲーションシステム、プロッタ、音声出力装置、およびモデムなど、テキスト、グラフィックス、およびオーディオ／ビデオ情報を視覚的に伝達するさまざまな表示装置が含まれるが、これらに限定されない。

コンピュータシステム１２００は、システムメモリ１２１０内に現在配置されているように示されるソフトウェア要素を備える記憶サブシステム１２１８を備えることができる。システムメモリ１２１０は、処理装置１２０４上でロード可能および実行可能なプログラム命令、ならびにこれらのプログラムの実行中に生成されるデータを記憶することができる。

コンピュータシステム１２００の構成および種類に応じて、システムメモリ１２１０は、揮発性（ランダムアクセスメモリ（ＲＡＭ）など）および／または不揮発性（読み取り専用メモリ（ＲＯＭ）、フラッシュメモリなど）の場合がある。ＲＡＭは通常、処理装置１２０４に即座にアクセス可能な、ならびに／または処理装置１２０４によって現在動作および実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実装形態では、システムメモリ１２１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）またはダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの複数の異なるタイプのメモリを含み得る。いくつかの実装形態では、起動中など、コンピュータシステム１２００内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、通常、ＲＯＭに記憶され得る。限定ではなく一例として、システムメモリ１２１０は、クライアントアプリケーション、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などを含み得るアプリケーションプログラム１２１２、プログラムデータ１２１４、およびオペレーティングシステム１２１６も示す。一例として、オペレーティングシステム１２１６には、さまざまなバージョンのＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）、および／またはＬｉｎｕｘオペレーティングシステム、さまざまな市販のＵＮＩＸ（登録商標）もしくはＵＮＩＸ系オペレーティングシステム（さまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）ＯＳなどを含むがこれらに限定されない）、ならびに／またはｉＯＳ、Ｗｉｎｄｏｗｓ（登録商標）Ｐｈｏｎｅ、Ａｎｄｒｏｉｄ（登録商標）ＯＳ、ＢｌａｃｋＢｅｒｒｙ（登録商標）１５ＯＳ、およびＰａｌｍ（登録商標）ＯＳオペレーティングシステムなどのモバイルオペレーティングシステムが含まれ得る。

記憶サブシステム１２１８はまた、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構造を記憶するための有形のコンピュータ可読記憶媒体を提供することもできる。プロセッサによって実行されると、上述の機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム１２１８に記憶され得る。これらのソフトウェアモジュールまたは命令は、処理装置１２０４によって実行され得る。記憶サブシステム１２１８はまた、本開示に従って使用されるデータを記憶するためのリポジトリを提供することもできる。

記憶サブシステム１２００はまた、コンピュータ可読記憶媒体１２２２にさらに接続できるコンピュータ可読記憶媒体リーダ１２２０を含んでもよい。一緒に、そして任意でシステムメモリ１２１０と組み合わせて、コンピュータ可読記憶媒体１２２２は、リモート、ローカル、固定、および／または取り外し可能な記憶装置に加えて、コンピュータ可読情報を一時的および／またはより永続的に収容、記憶、送信、および取得するための記憶媒体を包括的に表すことができる。

コードまたはコードの一部を含むコンピュータ可読記憶媒体１２２２には、当技術分野で既知または使用されている任意の適切な媒体を含めることもでき、これには、情報の記憶および／または送信のための任意の方法または技術で実装される揮発性および不揮発性、取り外し可能なおよび取り外し不可能な媒体などの記憶媒体および通信媒体が含まれるが、これらに限定されない。これには、ＲＡＭ、ＲＯＭ、電子的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリもしくはその他のメモリテクノロジ、ＣＤ－ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）などの有形のコンピュータ可読記憶媒体、または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または他の有形のコンピュータ可読媒体が含まれ得る。これには、データ信号、データ送信、または所望の情報を送信するために使用でき、コンピューティングシステム１２００によってアクセスできる任意の他の媒体などの、無形のコンピュータ可読媒体も含まれ得る。

一例として、コンピュータ可読記憶媒体１２２２は、取り外し不可能な不揮発性磁気媒体に対して読み取りまたは書き込みを行うハードディスクドライブ、取り外し可能な不揮発性磁気ディスクに対して読み取りまたは書き込みを行う磁気ディスクドライブ、およびＣＤＲＯＭ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）ディスクなどの取り外し可能な不揮発性光ディスク、またはその他の光媒体に対して読み取りまたは書き込みを行う光ディスクドライブを含むことができる。コンピュータ可読記憶媒体１２２２には、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどが含まれてもよいが、これらに限定されない。コンピュータ可読記憶媒体１２２２には、フラッシュメモリベースのＳＳＤなどの不揮発性メモリに基づくソリッドステートドライブ（ＳＳＤ）、エンタープライズフラッシュドライブ、ソリッドステートＲＯＭなど、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭなどの揮発性メモリをベースにしたＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤを組み合わせて使用するハイブリッドＳＳＤも含まれ得る。ディスクドライブおよびそれらに関連するコンピュータ可読媒体は、コンピュータシステム１２００のためのコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶を提供し得る。

通信サブシステム１２２４は、他のコンピュータシステムおよびネットワークへのインターフェースを提供する。通信サブシステム１２２４は、コンピュータシステム１２００から他のシステムとの間でデータを送受信するためのインターフェースとして機能する。例えば、通信サブシステム１２２４は、コンピュータシステム１２００がインターネットを介して１つまたは複数の装置に接続できるようにすることができる。いくつかの実施形態では、通信サブシステム１２２４は、無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）トランシーバ構成要素を含めることができる（例えば、携帯電話技術、３Ｇ、４Ｇ、またはＥＤＧＥ（地球規模の進化のための強化されるデータレート）などの高度なデータネットワーク技術を使用する）、ＷｉＦｉ（ＩＥＥＥ８０２．１１ファミリ標準、または他のモバイル通信技術、またはそれらの任意の組み合わせ）、全地球測位システム（ＧＰＳ）受信機構成要素、および／または他の構成要素を含むことができる。いくつかの実施形態では、通信サブシステム１２２４は、無線インターフェースに加えて、またはその代わりに、有線ネットワーク接続（例えば、イーサネット（登録商標））を提供することができる。

いくつかの実施形態では、通信サブシステム１２２４は、コンピュータシステム１２００を使用することができる１人または複数のユーザに代わって、構造化および／または非構造化データフィード１２２６、イベントストリーム１２２８、イベント更新１２３０などの形式で入力通信を受信することもできる。

一例として、通信サブシステム１２２４は、ソーシャルネットワーク、および／もしくはＴｗｉｔｔｅｒ（登録商標）フィード、Ｆａｃｅｂｏｏｋ（登録商標）更新、リッチサイトサマリー（ＲＳＳ）フィードなどのＷｅｂフィードなどのその他の通信サービス、ならびに／または１つもしくは複数のサードパーティ情報ソースからのリアルタイム更新のユーザからリアルタイムでデータフィード１２２６を受信するように構成され得る。

さらに、通信サブシステム１２２４は、連続データストリームの形式でデータを受信するように構成されてもよく、これには、リアルタイムイベントおよび／またはイベント更新１２３０のイベントストリーム１２２８が含まれ得、これらは、連続的または明示的な終わりのない本質的に無制限であり得る。連続データを生成するアプリケーションの例には、例えば、センサーデータアプリケーション、金融ティッカ、ネットワーク性能測定ツール（例えば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などが含まれ得る。

通信サブシステム１２２４はまた、構造化および／または非構造化データフィード１２２６、イベントストリーム１２２８、イベント更新１２３０などを、コンピュータシステム１２００に結合される１つまたは複数のストリーミングデータソースコンピュータと通信することができる１つまたは複数のデータベースに出力するように構成することもできる。

コンピュータシステム１２００は、ハンドヘルドポータブル装置（例えば、ｉＰｈｏｎｅ（登録商標）携帯電話、ｉＰａｄ（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブル装置（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイ）、ＰＣ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムを含むさまざまなタイプのうちの１つであり得る。

コンピュータおよびネットワークの絶え間なく変化する性質のため、図に示されるコンピュータシステム１２００の説明は、特定の例としてのみ意図されている。図に示されているシステムよりも多くの、または少ない構成要素を備えた他の多くの構成が可能である。例えば、カスタマイズされているハードウェアも使用されたり、特定の要素がハードウェア、ファームウェア、ソフトウェア（アプレットを含む）、またはその組み合わせで実装されたりし得る。さらに、ネットワーク入出力装置などの他のコンピューティング装置への接続が使用されてもよい。本明細書で提供される開示および教示に基づいて、当業者であれば、さまざまな実施形態を実装するための他の手法および／または方法を理解するであろう。

Claims (17)

1. 複数のユーザ環境と通信可能に接続されている中央アグリゲータから、複数の層を含むグローバルモデルを受信することと、
   前記ユーザ環境内で収集されるデータを用いて、前記グローバルモデルの上で最小モデルをトレーニングすることと、
   前記最小モデルの少なくとも一部を前記中央アグリゲータにアップロードすることと、
   複数の最小モデルを受信することと、
   前記受信される複数の最小モデルに基づいて融合モデルを作成することと、を含む、方法。
2. 前記複数のユーザ環境は、クラウドコンピューティングネットワーク内の複数のテナンシを含む、請求項１に記載の方法。
3. 前記グローバルモデルは、深層学習モデルを含む、請求項１に記載の方法。
4. 前記深層学習モデルは、トランスフォーマを含む、請求項３に記載の方法。
5. 前記深層学習モデルは、トランスフォーマによる双方向エンコード表現（ＢＥＲＴ）モデルを含む、請求項３に記載の方法。
6. 前記最小モデルは、前記グローバルモデルの出力を取り込むように構成されている、請求項１に記載の方法。
7. 前記グローバルモデルの前記出力は、前記グローバルモデルの前記層の少なくともいくつかの層出力を含む、請求項６に記載の方法。
8. 前記中央アグリゲータに前記最小モデルをアップロードすることは、前記最小モデルから分類子ヘッドを取り除くことを含む、請求項１に記載の方法。
9. 前記中央アグリゲータに前記最小モデルをアップロードすることは、前記最小モデルのバイナリをアップロードすることを含む、請求項８に記載の方法。
10. 前記複数の最小モデルは、前記中央アグリゲータから受信される、請求項１に記載の方法。
11. 前記受信される複数の最小モデルに基づいて前記融合モデルを作成することは、前記受信される最小モデルの上で前記融合モデルをトレーニングすることを含む、請求項１に記載の方法。
12. 前記受信される複数の最小モデルに基づいて前記融合モデルを作成することは、前記複数の最小モデルの各々からの層および重みを表すデータを組み合わせることを含む、請求項１に記載の方法。
13. 前記受信される複数の最小モデルに基づいて前記融合モデルを作成することは、分類子ヘッドを生成することと、前記分類子ヘッドを前記融合モデルの層に適用することと、を含む、請求項１に記載の方法。
14. 機械学習モデル出力の生成に使用するデータを受信することと、
    前記ユーザ環境で前記グローバルモデルを用いて前記データを取り込むことと、
    前記グローバルモデルの中間出力を収集することと、
    前記融合モデルを用いて前記中間出力を取り込むことと、
    前記融合モデルを使用して予測を出力することと、
    をさらに含む、請求項１に記載の方法。
15. 機械学習モデル出力の生成に使用するデータを受信することと、
    前記ユーザ環境で前記グローバルモデルを用いて前記データを取り込むことと、
    前記グローバルモデルの第１の中間出力を収集することと、
    前記複数の最小モデルの少なくともいくつかを用いて前記グローバルモデルの前記第１の中間出力を取り込むことと、
    前記複数の最小モデルのうちの前記少なくともいくつかの第２の中間出力を収集することと、
    前記融合モデルを用いて前記中間出力を取り込むことと、
    前記融合モデルを用いて予測を出力することと、
    をさらに含む、請求項１に記載の方法。
16. メモリと、
    請求項１～１５のいずれかに記載の方法を実施するよう構成される少なくとも１つのプロセッサと、を備えるシステム。
17. 請求項１～１５のいずれかに記載の方法を１つ以上のプロセッサに実行させるためのプログラム。