JP7828702B2 - 機械学習モデルの連携訓練 - Google Patents

機械学習モデルの連携訓練

Info

Publication number
JP7828702B2
JP7828702B2 JP2023566649A JP2023566649A JP7828702B2 JP 7828702 B2 JP7828702 B2 JP 7828702B2 JP 2023566649 A JP2023566649 A JP 2023566649A JP 2023566649 A JP2023566649 A JP 2023566649A JP 7828702 B2 JP7828702 B2 JP 7828702B2
Authority
JP
Japan
Prior art keywords
model
entity
worker
entities
master feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023566649A
Other languages
English (en)
Other versions
JP2024517749A (ja
Inventor
リー、シュオ
ワン、メン
チャン、アペン
ワン、シャオボ
スン、シェンヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2024517749A publication Critical patent/JP2024517749A/ja
Application granted granted Critical
Publication of JP7828702B2 publication Critical patent/JP7828702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の態様は、一般に機械学習に関し、より詳細には、機械学習モジュールの連携訓練に関連する。
一般に、機械学習とは、明示的な指示に従わずに学習や適応を行うために、コンピュータがアルゴリズムや統計モデルを用いてデータのパターンを分析および推論することである。機械学習アルゴリズムは、明示的にプログラムされることなく予測や決定を行うために、サンプルデータ（例えば、訓練データ）に基づいてモデルを構築する。機械学習モデルは、特定のドメイン（例えば、主題分野）の入力データを利用して、時間の経過とともに学習し、適応することができる。データプライバシーに関する懸念は、コンピュータシステムで利用可能なデータ量を制限する場合があり、したがって、機械学習モデルの訓練もしくは更新またはその両方に利用可能なデータの質または量に影響を与える場合がある。
連携アーキテクチャ（Federated Architecture（ＦＡ））とは、半自律的に非中央集権的に組織されたラインオブビジネス（ＬＯＢ）、情報技術システム、アプリケーション間の相互運用性と情報共有を可能にするエンタープライズアーキテクチャのパターンである。連携学習（協調学習）とは、データサンプルを交換することなく、ローカルなデータサンプルを保持する複数の分散型エッジデバイスまたはサーバにわたってアルゴリズムを訓練する機械学習技術である。このアプローチは、すべてのローカルデータセットを１つのサーバにアップロードする従来の集中型機械学習技術とは異なる。一般に、連携学習は、複数のアクターがデータを共有することなく、共通の機械学習モデルを構築することを可能にする。ある連携アプローチでは、各関係者は、個々のデータの要約を交換することによって、集中型アグリゲーターの助けを借りて、グローバルな機械学習モデルを共同で訓練する。当事者のデータの要約のみが共有されるが、要約は依然として重要な個人情報または機密情報を明らかにする可能性がある。したがって、複数の参加者のプライベートデータを利用した機械学習モデルの構築と訓練を可能にしながら、データプライバシーに関する懸念に対処するシステムおよび方法が必要とされている。
本発明の第１の態様では、コンピューティングデバイスによって、ネットワーク化されたエンティティのグループ内のエンティティのキャッシュされたデータを、データの変化について監視することを含むコンピュータ実装方法が存在する。キャッシュされたデータは、エンティティのワーカーモデルおよびマスター特徴モデルからのモデル出力データを含む。ワーカーモデルおよびマスター特徴モデルは機械学習モデルを含む。本方法はまた、コンピューティングデバイスによって、監視に基づいて、ワーカーモデルおよびマスター特徴モデルのパラメータ重みを反復更新し、それによって、更新されたワーカーモデルおよび更新されたマスター特徴モデルを生成することを含む。本方法はまた、エンティティの更新されたワーカーモデルおよび更新されたマスター特徴モデルを、ネットワーク化されたエンティティのグループ内の他のエンティティの他の更新されたマスター特徴モデルおよび他の更新されたワーカーモデルに組み込む連携モデルで使用するために、コンピューティングデバイスによって、遠隔の連携サーバに更新されたワーカーモデルおよび更新されたマスター特徴モデルを提供することを含む。
有利なことに、かかる方法は、ローカルエンティティレベルでの更新を必要とする中間モデルを生成する必要なく、ネットワーク化されたエンティティのグループ内の複数のエンティティからの更新された機械学習モデルを組み込んだ連携モデルを生成することを可能にする。
実装形態では、マスター特徴モデルおよびワーカーモデルからのモデル出力データは、エンティティによるプライベートデータ入力に基づいて生成される。したがって、本発明の実施形態は、連携モデルがプライベートデータにアクセスする必要なく、それぞれのエンティティによるプライベートデータ入力に基づいて生成されたマスター特徴モデルおよびワーカーモデルを利用することを可能にする。
実施形態において、本方法は、コンピューティングデバイスによって、エンティティのワーカーモデルおよびマスター特徴モデルの精度を決定することをさらに含む。実施形態において、エンティティのワーカーモデルおよびマスター特徴モデルのパラメータ重みを反復更新することは、エンティティのマスター特徴モデルおよびワーカーモデルの精度にさらに基づく。したがって、本発明の実施形態は、精度に基づいて更新されるワーカーモデルおよびマスター特徴モデルを有する連携サーバを提供し、それによって、更新されたワーカーモデルおよびマスター特徴モデルを利用する連携モデルの精度を向上させることができる。
本発明の別の態様では、プログラム命令が１または複数のコンピュータ可読記憶媒体に集合的に記憶されている１または複数のコンピュータ可読記憶媒体を含むコンピュータプログラム製品が存在する。プログラム命令は、コンピューティングデバイスによって実行可能であり、コンピューティングデバイスに、ネットワーク化されたエンティティのグループ内のエンティティのキャッシュされたデータを、データの変化について監視させる。キャッシュされたデータは、エンティティのワーカーモデルおよびマスター特徴モデルからの出力データを含む。ワーカーモデルおよびマスター特徴モデルは機械学習モデルを含む。プログラム命令は、さらに、監視に基づいて、ワーカーモデルおよびマスター特徴モデルのパラメータ重みを反復更新し、それによって、更新されたワーカーモデルおよび更新されたマスター特徴モデルを生成することを実行可能である。さらに、プログラム命令は、エンティティの更新されたマスター特徴モデルおよび更新されたワーカーモデルを、ネットワーク化されたエンティティのグループ内の他のエンティティの他の更新されたマスター特徴モデルおよび他の更新されたワーカーモデルに組み込む連携モデルで使用するために、遠隔の連携サーバに更新されたマスター特徴モデルおよび更新されたワーカーモデルを提供することを実行可能である。有利には、かかるコンピュータプログラム製品は、ネットワーク化されたエンティティのグループ内の複数のエンティティからの更新された機械学習モデルを組み込んだ連携モデルの生成を可能にする。
実施形態では、ワーカーモデルおよびマスター特徴モデルからのモデル出力データは、エンティティによるプライベートデータ入力に基づいて生成される。したがって、本発明の実施形態は、連携モデルが、それぞれのエンティティによるプライベートデータ入力に基づいて生成されたマスター特徴モデルおよびワーカーモデルを利用することを可能にする。
本発明の別の態様では、プロセッサと、コンピュータ可読メモリと、１または複数のコンピュータ可読記憶媒体と、１または複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令とを含むシステムが存在する。プログラム命令は、連携サーバによって実行可能であり、連携サーバに、ネットワーク化されたエンティティのグループの参加メンバーからの照会を受信させる。プログラム命令は、さらに、ネットワーク化されたエンティティのグループ内のそれぞれのエンティティのマスター特徴モデルおよびワーカーモデルに基づいて、連携モデルを生成することを実行可能である。加えて、プログラム命令は、連携モデルの出力に基づいて、照会に対する応答を生成することを実行可能である。さらに、プログラム命令は、照会に対する応答を参加メンバーに送信することを実行可能である。マスター特徴モデルは、それぞれ、ネットワーク化されたエンティティのグループ内のそれぞれのエンティティのすべての特徴を含む。ワーカーモデルは、それぞれ、ネットワーク化されたエンティティのグループ内のそれぞれのエンティティのすべての特徴のサブセットを含む。さらに、マスター特徴モデルおよびワーカーモデルは、連携サーバによってアクセスできないプライベートデータに基づいて、それぞれのエンティティによって反復更新される。有利なことに、かかるシステムは、連携サーバがエンティティのプライベートデータにアクセスすることなく、複数の参加エンティティのモデルに基づいて照会に応答することを可能にする。
実施態様において、本システムのプログラム命令は、さらに、連携サーバによって実行可能であり、連携サーバに、公開情報に基づいて、複数の遠隔のエンティティ間の関係を表すベクトルマップを生成させる。実施態様において、プログラム命令は、さらに、ベクトルマップに基づいて、複数の遠隔のエンティティからネットワーク化されたエンティティのグループを特定することを実行可能である。したがって、本発明の実施形態は、マスター特徴モデルおよびワーカーモデルが、ネットワークの参加メンバーに利用可能な連携モデルで利用され得る関連エンティティのネットワークを構築する。
本発明の態様は、本発明の例示的な実施形態の非限定的な例によって、注記された複数の図面を参照して、以下の詳細な説明で説明される。
本発明の一実施形態によるクラウドコンピューティングノードを示す図である。 本発明の一実施形態によるクラウドコンピューティング環境を示す図である。 本発明の一実施形態による抽象化モデルレイヤを示す図である。 エンティティ間のデータの流れがガバナンスルールによって制限される例示的な環境を示す図である。 本発明の態様による例示的な環境のブロック図である。 本発明の態様による例示的な方法のフローチャートである。 本発明の態様によるエンティティグループの識別を示す図である。 本発明の態様による単一エンティティによるワーカーモデルとマスター特徴モデルの集約を示す図である。 本発明の態様によるサブセットグループのデータキャッシュを示す図である。 本発明の態様による連携モデルの生成を示す図である。 本発明の態様による連携ワーカーモデルの使用を示す図である。 本発明の態様による機械学習モデルの連携システムにおけるワークフローを示す図である。
本発明の態様は、一般に機械学習に関し、より詳細には、機械学習モジュールの連携訓練に関する。本発明の態様によれば、機密データに対する正確な予測のために、個々のエンティティの連携モデルレベルの動的仮想学習ネットワークとともに、マスター特徴レベルモデル（以下、マスター特徴モデル）およびワーカー特徴レベルモデル（以下、ワーカーモデル）をセットアップするシステムが提供される。
機械学習モデルを利用して、明示的な指示に従わずに学習および適応するコンピュータシステムの使用と開発が増加している。機械学習モデルを長期的に更新または改善するためのデータの使用に関する懸念には、データの入手可能性と、データのプライバシーや機密性の問題がある。データのプライバシーは、個人または企業の好みや、政府の規制によって管理されることがある。例えば、一般データ保護規則（ＧＤＰＲ）は、データのプライバシーとセキュリティに関連する欧州連合の法律である。データのプライバシーに関する懸念は、コンピュータシステムで利用可能なデータ量を制限する可能性があり、したがって、機械学習モデルの訓練もしくは更新またはその両方に利用可能なデータの質または量に影響を与える可能性がある。
本発明の実施形態は、プライベートデータまたは機密データの利用可能性によってデータアクセスが制限される場合に、機械学習モデルを構築および更新するという技術的問題を解決するための技術的解決策を実装する。実装形態では、コンピュータサーバは、個々のエンティティを複数の仮想の一時的な組織またはグループにグループ化するために、各エンティティのパブリック（非プライベート）特性を計算することによって、エンティティの動的仮想ネットワークを構築する。公開特性には、エンティティの規模、エンティティの所有者の特性、エンティティの統計、もしくはエンティティが共有することを許可されている他のタイプの情報、またはその組み合わせが含まれるが、これらに限定されるものではない。実装形態では、コンピュータサーバは、大規模なテキストコーパスから単語の関連性を学習するためにニューラルネットワークモデルを使用する自然言語処理アルゴリズムであるword2vecアルゴリズムなどの自然言語処理を利用して、エンティティ情報を数学的ベクトルへ変換する。実施形態では、コンピュータサーバは、各エンティティのベクトル距離を計算し、次に、最も近い距離のエンティティを、類似性の高い数のエンティティ（高類似度エンティティ）を含む一時的な組織またはグループにグループ化する。特定の一時的な組織内のエンティティからのデータは、機械学習を進めるために利用することができる。
実施形態では、各仮想ネットワークまたはサブセットグループに対して、コンピュータサーバがマスター特徴モデルおよび複数のワーカーモデルを構築し、動的特徴の重みの関係で結果を集約する。実装形態では、マスター特徴モデルは、エンティティのすべてのプライベート特徴を評価するために利用され、全体的なデータを保持することができる。しかし、マスター特徴モデルは、リフレッシュや更新時に比較的大量のデータを利用するため、継続的な学習での使用には不都合な場合がある。各ワーカーモデルは、部分的な私的特徴を含み、マスター特徴モデルの補足として継続的に学習するために最小限のデータしか利用しないので、リフレッシュ／更新が比較的容易である。実施形態において、コンピュータサーバ（例えば、エンティティサーバ）は、多次元私的特徴学習を可能にするために、マスター特徴モデルおよびワーカーモデルを集約する。実装形態では、集約された特徴モデルの重みは、エンティティによって初期値として割り当てられるが、値は、連続的なデータストリームのキャッシュによって動的に変化することになる。
本発明の態様では、学習オブジェクトのプライベート特徴はいつでも変化し得るので、集約されたモデル（例えば、マスター特徴モデルおよびワーカーモデル）は、エンティティによって調整される。例えば、時間の経過とともに変化し得るプライベート特徴（プライベートデータ）には、環境のアップグレード、特徴のスケール、およびデータ分布が含まれるが、これらに限定されない。実施形態において、再訓練は、新しいモデルを含むが、同じ特徴セットを有するか、または全く新しい特徴セットを有する新しいマスター特徴モデルまたはワーカーモデルを含む。実施形態において、コンピュータサーバ（例えば、エンティティサーバ）は、再訓練された新しいモデルをモデルメトリックでソートし、次に、新しいマスター特徴モデルおよびワーカーモデルセットとしてトップＮモデルを選択する。実装形態では、コンピュータサーバはまた、モデルメトリック分析式でモデルの重みを調整する。
実施形態において、連携サーバは、エンティティのマスター特徴モデルおよびワーカーモデルを、ユーザの照会に対する最終結果を予測するように構成された連携仮想ネットワークモデル（連携モデル）に連携させる。実装形態において、連携サーバは、エンティティの動的な仮想ネットワークにおいて、関連するエンティティのすべてのマスター特徴モデルおよびワーカーモデルを特定する。実施形態において、連携学習は、すべてのエンティティモデルを結合するために並列計算重み方程式を利用する。並列計算重み方程式は、パフォーマンスコストおよびコンピューティングメトリックに依存する非同期確率的勾配降下（ＳＧＤ）またはパラメータ平均化であり得る。
上記に基づき、本発明の実装形態は、ネットワーク内の個々のエンティティからのモデルに基づいてマスター機械学習モデル（例えば、連携モデル）を生成するために連携学習を利用し、マスター機械学習モデルは、ネットワーク内の個々のエンティティからプライベートデータを直接取得せずにネットワークのメンバーに対する照会に答えるために利用され得ることが理解されよう。したがって、本発明の実施形態は、マスター機械学習モデルの生成を含む技術的解決策を利用して、データアクセスがプライバシーまたは機密性に関する懸念によって制限されている場合に機械学習モデルを構築および更新するという技術的問題に対処する。
本発明の実装形態が、個人から提供された、または個人から取得した個人情報（例えば、エンティティメンバーの個人データ）を収集、保存、または使用する限りにおいて、かかる情報は、個人情報の保護に関するすべての適用法に従って使用されることを理解されたい。また、かかる情報の収集、保存および使用は、例えば状況や情報の種類に応じて、「オプトイン」または「オプトアウト」プロセスなどを通じて、かかる活動に対する個人の同意が必要となる場合がある。個人情報の保管および使用は、情報の種類に応じた適切な安全性の高い方法で行われる場合があり、例えば、様々な暗号化および匿名化を通じて行われる。
本発明は、任意の可能な技術詳細レベルで統合されたシステム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくはワイヤレスネットワークまたはその組み合わせ）を介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバーまたはその組み合わせで構成される。各コンピューティング／処理装置のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、統合回路のための構成データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、または（例えば、インターネットサービスプロバイダーを使用したインターネット経由で）外部コンピュータに接続されてよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に記載されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／動作を実装するための手段を生成するように、機械を生成するためにコンピュータのプロセッサまたは他のプログラム可能なデータ処理装置に提供されることができる。これらのコンピュータ可読プログラム命令はまた、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為の態様を実装する命令を含む生成品の１つを命令が記憶されたコンピュータ可読記憶媒体が構成するように、コンピュータ、プログラム可能なデータ処理装置、もしくは特定の方法で機能する他のデバイスまたはその組み合わせに接続可能なコンピュータ可読記憶媒体の中に記憶されることができる。
コンピュータ、他のプログラム可能な装置、または他のデバイス上でフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為を実行する命令のように、コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行し、コンピュータ実装された過程を生成することができる。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品が実行可能な実装の構成、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してよく、これは、指定された論理機能を実装するための１つまたは複数の実行可能命令を構成する。いくつかの代替の実施形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して示される２つのブロックは、実際には、１つのステップとして達成される場合があり、同時に、実質的に同時に、部分的または全体的に時間的に重複する方法で実行されるか、またはブロックは、関係する機能に応じて逆の順序で実行される場合がある。ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できることにも留意されたい。
本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載した教示の実装形態はクラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在公知のまたは将来開発される他の任意の種類のコンピュータ環境と共に実施することができる。
クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの実装モデルを含むことがある。
特性は以下の通りである。
オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。
ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、パーソナルデジタルアシスタント（ＰＤＡ））による利用が促進される。
リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。
迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。
測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。
サービスモデルは以下の通りである。
サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。ただし、ユーザ固有の限られたアプリケーション構成の設定はその限りではない。
サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。
サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含み得る任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。
展開モデルは以下の通りである。
プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。
コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。
パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。
ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。
クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。
ここで図１を参照すると、クラウドコンピューティングノードの一例の概略図が示されている。クラウドコンピューティングノード１０は、好適なクラウドコンピューティングノードの一例に過ぎず、本明細書に記載の本発明の実施形態の使用範囲または機能性に関する制限を示唆することを意図していない。それにもかかわらず、クラウドコンピューティングノード１０は、本明細書で規定された機能性のいずれかを実装もしくは実行またはその両方を行うことが可能である。
クラウドコンピューティングノード１０では、多数の他の汎用または特殊目的のコンピューティングシステム環境または構成で動作可能なコンピュータシステム／サーバ１２が存在する。コンピュータシステム／サーバ１２と共に使用するのに適し得る周知のコンピューティングシステム、環境、もしくは構成、またはその組み合わせの例としては、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能家電、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、上記のシステムまたは装置のいずれかを含む分散クラウドコンピューティング環境などがあるがそれだけにとどまらない。
コンピュータシステム／サーバ１２は、コンピュータシステムによって実行されるプログラムモジュールなどの、コンピュータシステム実行可能命令との一般的な関連において説明できる。一般に、プログラムモジュールは、特定のタスクを実行するかまたは特定のデータ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバ１２は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される分散型クラウドコンピューティング環境で実施することができる。分散型クラウドコンピューティング環境において、プログラムモジュールは、メモリ記憶装置を含む、ローカルおよびリモート両方のコンピュータシステム記憶媒体に記憶することができる。
図１に示すように、クラウドコンピューティングノード１０内のコンピュータシステム／サーバ１２は汎用コンピュータ装置として示されている。コンピュータシステム／サーバ１２のコンポーネントの一例としては、１つ以上のプロセッサまたは処理ユニット１６、システムメモリ２８、およびシステムメモリ２８を含む種々のシステムコンポーネントをプロセッサ１６に接続するバス１８が挙げられるが、これらに限定されるものではない。
バス１８は、種々のバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、およびプロセッサまたはローカルバスを含む複数種類のバス構造のうち１つ以上の任意のものを表す。一例として、かかるアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、およびペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含む。
コンピュータシステム／サーバ１２は、一般的に、種々のコンピュータシステム可読媒体を含む。かかる媒体は、コンピュータシステム／サーバ１２によってアクセス可能な任意の利用可能な媒体でよく、揮発性媒体および不揮発性媒体の両方と、取り外し可能媒体および取り外し不能媒体の両方とを含むことができる。
システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０もしくはキャッシュメモリ３２またはその両方など、揮発性メモリとしてのコンピュータシステム可読媒体を含むことができる。コンピュータシステム／サーバ１２はさらに、他の取り外し可能／取り外し不能コンピュータシステム可読媒体および揮発性／不揮発性コンピュータシステム可読媒体を含んでもよい。一例として、ストレージシステム３４は、取り外し不能な不揮発性磁気媒体（不図示。一般に「ハードドライブ」と呼ばれる）への読み書きのために設けることができる。また、図示は省略するが、取り外し可能な不揮発性磁気ディスク（例えば、フロッピーディスク）への読み書きのための磁気ディスクドライブ、および取り外し可能な不揮発性光学ディスク（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭや他の光学媒体など）への読み書きのための光学ディスクドライブを設けることができる。これらの例において、それぞれを、１つ以上のデータ媒体インタフェースによってバス１８に接続することができる。以下でさらに図示および説明するように、メモリ２８は、本発明の実施形態の機能を実行するように構成されたプログラムモジュールのセット（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含むことができる。
プログラムモジュール４２のセット（少なくとも１つ）を有するプログラム／ユーティリティ４０は、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータと同様に、メモリ２８に記憶することができる。オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータ、またはそれらのいくつかの組み合わせの各々は、ネットワーク環境の実装形態を含むことができる。プログラムモジュール４２は一般に、本明細書に記載の本発明の実施形態の機能もしくは方法またはその両方を実行する。
コンピュータシステム／サーバ１２は、キーボード、ポインティングデバイス、ディスプレイ２４などの１つ以上の外部装置１４、ユーザとコンピュータシステム／サーバ１２との対話を可能にする１つ以上の装置、もしくはコンピュータシステム／サーバ１２と１つ以上の他のコンピュータ装置との通信を可能にする任意の装置（例えば、ネットワークカードやモデムなど）またはこれらの組み合わせと通信することができる。かかる通信は、入力／出力（Ｉ／Ｏ）インタフェース２２を介して行うことができる。さらに、コンピュータシステム／サーバ１２は、ネットワークアダプタ２０を介して１つ以上のネットワーク（ローカルエリアネットワーク（ＬＡＮ）、汎用広域ネットワーク（ＷＡＮ）、もしくはパブリックネットワーク（例えばインターネット）またはこれらの組み合わせなど）と通信することができる。図示するように、ネットワークアダプタ２０は、バス１８を介してコンピュータシステム／サーバ１２の他のコンポーネントと通信することができる。なお、図示は省略するが、他のハードウェアコンポーネントもしくはソフトウェアコンポーネントまたはその両方を、コンピュータシステム／サーバ１２と併用することができる。それらの一例としては、マイクロコード、デバイスドライバ、冗長化処理ユニット、外付けディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、データアーカイブストレージシステムなどがある。
ここで図２を参照すると、例示的なクラウドコンピューティング環境５０が描かれている。示されるように、クラウドコンピューティング環境５０は、例えば、パーソナルデジタルアシスタント（ＰＤＡ）または携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎ、またはその組み合わせなどの、クラウド消費者によって用いられるローカルコンピューティングデバイスが通信することができる１または複数のクラウドコンピューティングノード１０を含んでいる。ノード１０は、互いに通信してもよい。それらは、本明細書で説明したようなプライベート、コミュニティ、パブリック、またはハイブリッドクラウドなどの１または複数のネットワーク、またはそれらの組み合わせにおいて、物理的または仮想的にグループ化（図示せず）してもよい。これにより、クラウドコンピューティング環境５０は、クラウド消費者がローカルコンピューティングデバイス上のリソースを維持する必要がないサービスとして、インフラストラクチャ、プラットフォームもしくはソフトウェア、またはその組み合わせを提供することができる。図２に示されたコンピューティングデバイス５４Ａ～Ｎのタイプは、例示のみを意図しており、コンピューティングノード１０およびクラウドコンピューティング環境５０は、任意のタイプのネットワークもしくはネットワークアドレス可能接続（例えば、ウェブブラウザを使用して）またはその両方を介して任意のタイプのコンピュータ化デバイスと通信できることが理解される。
図３を参照すると、クラウドコンピューティング環境５０（図２）によって提供される機能的抽象化モデルレイヤのセットが示されている。なお、図３に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。
ハードウェアおよびソフトウェアレイヤ６０は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム６１、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、記憶装置６５、ならびにネットワークおよびネットワークコンポーネント６６が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８を含む。
仮想化レイヤ７０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５。
一例として、管理レイヤ８０は以下の機能を提供することができる。リソース準備８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウドコンシューマおよびタスクの識別確認を可能にする。ユーザポータル８３は、コンシューマおよびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行８５は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。
ワークロードレイヤ９０は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育の配信９３、データ分析処理９４、取引処理９５、ならびに、連携モデル訓練９６が含まれる。
本発明の実装形態は、プログラムモジュール４２の１または複数が、図３の連携モデル訓練９６の１または複数の機能を実行する（またはコンピュータシステム／サーバ１２に実行させる）ように構成されている図１のコンピュータシステム／サーバ１２を含むことができる。例えば、プログラムモジュール４２の１または複数は、以下のように構成され得る：参加エンティティから公開情報を収集し、関連エンティティのグループを識別し、関連エンティティのグループ内の各エンティティについてワーカーおよびマスター特徴モデルを構築し、プライベート情報の変更を示す変更についてエンティティのデータキャッシュを監視し、エンティティにおいてワーカーおよびマスター特徴モデルを更新または訓練し、更新されたワーカーおよびマスター特徴モデルに基づいて連携モデルを生成し、連携モデルを利用するユーザ照会への応答を生成する。
図４は、エンティティ間のデータのフローがガバナンスルールによって制限される、例示的な環境４００を説明する図である。図示されるように、ステップ１において、エンティティＡ（第１のデータコントローラ）は、データ１を作成する。典型的な制限のないデータ交換では、ステップ２で、エンティティＡは、データ１をエンティティＢ（第２のデータコントローラ）に転送し、ステップ３で、エンティティＢは、データ２を作成し、エンティティＡからデータ１を保存し、ステップ４で、エンティティＡはエンティティＢからデータ２を受信する。図４のシナリオでは、エンティティＡからエンティティＢへのデータフローは、４０１でガバナンス規則（例えばＧＤＰＲ規則）により制限される。同様に、エンティティＢからエンティティＡへのデータフローは、ガバナンスルールによって４０２で制限される。このシナリオでは、十分な訓練データがないため、エンティティＡおよびＢでのモデル訓練は不可能である。本発明の実施形態は、複数のエンティティが使用するための連携モデルを生成することによって、この技術的問題に対する技術的解決策を提供する。
図５は、本発明の態様による例示的な環境５００のブロック図である。実施形態では、環境５００は、連携サーバ５０２を、第１のエンティティサーバ５０４Ａ、第２のエンティティサーバ５０４Ｂおよび第３のエンティティサーバ５０４Ｃによって表される複数の単一エンティティサーバ５０４に接続するネットワーク５０１を含む。単一エンティティサーバ５０４の各々は、１または複数のコンピューティングシステム（例えば、図１のコンピュータシステム１２）を含むことができる。実施形態では、単一エンティティサーバ５０４はそれぞれ、図２のクラウドコンピューティング環境５０内の１または複数のコンピューティングノード１０を含む。実施形態では、単一エンティティサーバ５０４の１または複数は、機械学習モデルを生成および更新するために機械学習技術を利用するように構成された特別目的のコンピューティングデバイスを含む。
ネットワーク５０１は、ローカルエリアネットワーク（ＬＡＮ）、一般的なワイドエリアネットワーク（ＷＡＮ）、もしくはパブリックネットワーク（例えば、インターネット）、またはその組み合わせなどの、任意の適切な通信ネットワークまたはネットワークの組み合わせであり得る。実装形態では、連携サーバ５０２は、クラウドネットワークにおいて参加ユーザにサービスを提供する。
実施形態において、本明細書で使用する単一エンティティという用語は、例えば、企業、子会社、非営利組織、または政府機関など、異なる規則もしくは規制またはその両方のセットによって支配されるエンティティを意味する。実施形態では、各エンティティは、他のエンティティとの特定の種類のデータの共有を防止するデータ共有規則（例えば、ポリシー、規則、もしくは法律またはその組み合わせがエンティティ間のデータのフローを制限する）に支配された単一エンティティである。
実装形態では、各エンティティサーバ５０４は、第１のエンティティデバイス５０５Ａ、第２のエンティティデバイス５０５Ｂ、および第３のエンティティデバイス５０５Ｃによって表される１または複数のエンティティデバイス５０５と直接的または間接的に通信している。エンティティデバイス５０５の各々は、１または複数のコンピューティングシステム（例えば、図１のコンピュータシステム１２）を含んでもよく、例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、または他のパーソナルコンピューティングデバイスであってもよい。実施形態では、エンティティデバイス５０５はそれぞれ、図２のクラウドコンピューティング環境５０内の１または複数のコンピューティングノード１０を含む。
図５を引き続き参照すると、各エンティティサーバ５０４は、エンティティサーバ５０４によって実行され、本明細書に記載の１または複数の機能を実行するように構成された１または複数のプログラムモジュール（例えば、図１のプログラムモジュール４２）を含み得る。実施形態において、単一エンティティサーバ５０４の各々は、エンティティサーバ５０４のデータキャッシュ（５１１、５１１’および５１１’’で表される）と他のエンティティサーバ５０４もしくは連携サーバ５０２またはその両方との間でデータを取得もしくは転送またはその両方を行うように構成された５１０、５１０’および５１０’’で表される共有情報モジュール（例えばプログラムモジュール４２）と、１または複数のエンティティサーバ５０４のデータを使用してマスター特徴モデルおよびワーカーモデルを訓練し、ローカルに訓練されたマスター特徴モデルおよびワーカーモデルを使用してモデル出力データを生成するよう構成され、５１２、５１２’および５１２’’で表される機械学習（ＭＬ）モジュール（例えば、プログラムモジュール４２）と、を含む。実装形態において、エンティティサーバ５０４は、図５において５１３、５１３’、および５１３’’で表されるデータストアからデータ（例えば、特徴に関するデータ）を収集するように構成されている。
依然として図５を参照すると、連携サーバ５０２は、連携サーバ５０２によって実行され、本明細書に記載の１または複数の機能を実行するように構成された１または複数のプログラムモジュール（例えば、図１のプログラムモジュール４２）を含み得る。実施形態では、連携サーバ５０２は、以下のモジュール（例えば、プログラムモジュール４２）のうちの１または複数を含む：データベース５１５に記憶され得る複数のエンティティサーバ５０４から公開情報を収集するように構成されたデータ収集モジュール５１４、複数のマスター特徴モデルおよびワーカーモデルから連携モデルを生成するように構成されたモデル構築モジュール５１６、およびユーザの照会を取得してユーザの照会に対する回答を生成および出力する（例えば、エンティティサーバ５０４もしくはエンティティデバイス５０５またはその両方からの照会）ように構成された連携モデルモジュール５１７。実装形態では、連携モデルモジュール５１７は、１または複数の主題ドメインの質問に答えるように構成され、本発明の実施形態により、連携サーバ５０２によって特定されるエンティティの動的仮想ネットワークのメンバーに利用可能にされる。
実施形態において、上述の別々のモジュールは、単一のモジュールに統合されてもよい。さらに、または代替的に、上述した単一のモジュールは、複数のモジュールとして実装されてもよい。さらに、環境５００におけるデバイスもしくはネットワークまたはその両方の数量は、図５に示されるものに限定されない。実際には、環境５００は、追加のデバイスもしくはネットワークまたはその両方、より少ないデバイスもしくはネットワークまたはその両方、異なるデバイスもしくはネットワークまたはその両方、または、図５に図示されたものとは異なる配置のデバイスもしくはネットワークまたはその両方を含むことができる。
図６は、本発明の態様による例示的な方法のフローチャートである。方法のステップは、図５の環境において実施されてもよく、図５に描かれた要素を参照して説明される。
＜エンティティの動的な仮想ネットワークの特定＞
ステップ６００において、各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）もしくは連携サーバ５０２またはその両方は、複数の単一エンティティ参加者から（例えば、参加単一エンティティサーバ５０４を介して）公開情報を収集し、データベース（例えば、共有情報モジュール５１０）に情報を保存する。本明細書で使用する公開情報という用語は、制限的な共有ポリシー、規則または規制の対象とならない情報を指す。例えば、本明細書で使用される公開情報は、プライベート、機密、または他のエンティティに広めることが制限されていない単一エンティティ参加者の特徴に関する情報であってよい。逆に、本明細書で使用されるプライベートデータという用語は、制限的な共有ポリシー、規則または規制の対象となる情報を指す。例えば、本明細書で使用されるプライベートデータは、プライベート、機密、または他のエンティティに広めることが制限されているエンティティの情報を含むことができる。
ステップ６００を引き続き参照すると、データは、各エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ、第２のエンティティサーバ５０４Ｂ、第３のエンティティサーバ５０４Ｃ）によって連続的または定期的に収集されることがあり、それぞれの単一エンティティ参加者に固有のデータブロックにキャッシュされることがある。図６の例では、第１のエンティティサーバ５０４Ａは、第２のエンティティサーバ５０４Ｂ、および第３のエンティティサーバ５０４Ｃから公開情報を収集し、各サーバは参加エンティティに関連付けられる。実施形態では、公開情報は、個々のエンティティによって実行されるタスクまたは機能のコンテキストに関する情報を提供する実行コンテキストデータを含む。公開情報は、例えば、エンティティ規模情報（例えば、エンティティの規模、またはエンティティのタスクもしくは機能またはその両方に関するデータ）、エンティティ所有者特性、エンティティ単変量統計（例えば、単一の変量または変数に関する統計）、およびエンティティ財務資源（例えば、負債、収益など）を含み得る。実装形態では、公開情報は、各エンティティもしくは連携サーバ５０２またはその両方が、関心のある特徴に基づいてエンティティ間の類似性のレベルを決定することを可能にする任意の情報を含む。本明細書で使用される関心のある特徴（以下、特徴）は、機械学習モデルに組み込むことができる公開情報から得られる、または導出される情報を指す。実装形態では、連携サーバ５０２は、ステップ６００で取得された公開情報に基づいて、複数の遠隔のエンティティの特徴を特定する。実施形態では、エンティティサーバ５０４もしくは連携サーバ５０２またはその両方は、所定の規則（例えば、ユーザが選択した規則）に基づいて、公開特徴データのみを取得する。実施形態では、単一エンティティサーバの共有情報モジュール（例えば、５１０）は、ステップ６００を実施する。代替実施形態では、連携サーバ５０２のデータ収集モジュール５１４は、ステップ６００を実施するように構成される。
実施形態では、ステップ６０１で、単一エンティティサーバ（例えば、以下、第１のエンティティサーバ５０４Ａ）または連携サーバ５０２が、各単一エンティティ参加者のベクトルマップを生成し、ベクトルマップは、ステップ６００で特定された特徴（例えば、ステップ６００で収集した公開情報）に基づいて単一エンティティ参加者と他の単一エンティティ参加者の間の関係を表す。本発明の態様において、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、ベクトルマップを生成するために、word2vecアルゴリズムなどの自然言語処理を利用する。実施形態では、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、ベクトルマップに基づいて各エンティティのベクトル距離を計算し、次に、最近接距離のエンティティを、類似性の高い数のエンティティ（例えば、関連エンティティ）を含む一時組織またはサブセットグループにグループ化する。実施形態では、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、ベクトルマップを生成する際に、異なる特徴に異なる重みを適用する。実施形態において、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、ベクトルマップを生成するために、以下のベクトル方程式（１）を利用する。
ステップ６０２において、実施形態では、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、関連エンティティのグループ（サブセットグループ）を特定する。実装形態では、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、ステップ６０１で生成されたベクトルマップに基づいて、サブセットグループを特定する。態様において、複数のサブセットグループを含むエンティティの動的仮想ネットワークは、ステップ６０１のベクトルマップに基づいて、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２によって特定される。実装形態では、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、エンティティ間のベクトル距離を計算し、最も近い距離を有するエンティティを、類似度の高いエンティティを含む一時的な組織（サブセットグループ）にグループ化する。実施形態では、エンティティは、保存されたルール（例えば、閾値ベクトル距離）に基づいてグループ化される。実施形態では、第１のエンティティサーバ５０４Ａの共有情報モジュール（例えば、５１０）は、ステップ６０２を実施する。代替実施形態では、連携サーバ５０２のデータ収集モジュール５１４は、ステップ６０２を実装する。ステップ６０２の図示された例は、後述する図７に示されている。
ステップ６００～６０２は定期的に繰り返されてもよく、エンティティの動的仮想ネットワーク内のサブセットグループは、単一エンティティの１または複数の特徴が変化するにつれて、時間とともに変化してもよい（例えば、新しいグループ化が追加または取り除かれてもよい）ことを理解されたい。実施形態では、第１のエンティティサーバ５０４Ａまたは連携サーバ５０２は、関連エンティティのグループ（サブセットグループ）を示す通知を参加エンティティに発行する。通知は、サブセットグループの１または複数に変更が加えられたとき、またはサブセットグループが追加または取り除かれたときに発行され得る。
＜マスター特徴モデルとワーカーモデルの生成＞
ステップ６０３において、サブセットグループ（例えば、図７の７０２Ａ）内のそれぞれのエンティティ（例えば、図７のＡ、ＣおよびＦ）の各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）は、マスター特徴モデル内の特徴のサブセットについて複数のワーカーモデル（機械学習モデル）を構築する。実装形態では、異なるワーカーモデルは、異なる企業取引タイプ、従業員作業現場などに基づいてもよい。実施形態において、第１のエンティティサーバ５０４Ａは、マスター特徴モデルの特徴の一部を用いてＳ個のワーカーモデルを構築し、ここで、Ｓ＝部分特徴サブセットの大きさである。例えば、Ｓ＝３のとき、ワーカーモデルは、マスター特徴モデルからの特徴（例えば、図７のＦ１、Ｆ２およびＦ３）を含む。実装形態では、ワーカーモデルは、財務状況、ビジネス収益などの固定キー特徴、もしくはメタデータ、パラメータなどのオプション特徴、またはその両方を含む。ワーカーモデルを構築するために様々なモデル構築ツールが利用されてもよく、本明細書の発明の実装は、機械学習モデルを構築するために利用される方法によって限定されることを意図しない。実施形態では、各エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）のＭＬモジュール（例えば、ＭＬモジュール５１２）は、ステップ６０３を実装する。
ステップ６０４において、サブセットグループ（例えば、図７の７０２Ａ）内のそれぞれのエンティティ（例えば、図７のＡ、Ｃ、Ｆ）の各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）は、ワーカーモデルのすべての特徴（例えば、図７のＦ１、Ｆ２、Ｆ３）を有するマスター特徴モデル（機械学習モデル）を構築する。関心のあるすべての特徴（例えば、ステップ６００で情報が収集された特徴）についてマスター特徴モデルを構築するために、様々なモデル構築ツールが利用されてもよく、本明細書の発明の実施形態は、機械学習モデルを構築するために利用される方法によって限定されることを意図しない。実施形態では、各エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）のＭＬモジュール（例えば、ＭＬモジュール５１２）は、ステップ６０４を実施する。
一例では、第１のワーカーデバイス（例えば、エンティティデバイス５０５Ａの１つ）のデータストア（例えば、５１３）は、第１のワーカーモデルを構築するために使用される以下のデータベース統計特徴に関するデータを含む：テーブルカーディナリティ、ページ番号、およびアクセス頻度。この例では、第２のワーカーデバイスのデータストアは、第２のワーカーモデルを構築するために使用される以下のデータベース統計特徴に関するデータを含む：インデックスレベル、Ｉ／Ｏスピード、およびアクセス頻度。さらに、この例では、第３のワーカーデバイスのデータストアは、第３のワーカーモデルを構築するために使用される以下のデータベース統計特徴に関するデータを含む：リーフページ、ページ番号、およびシステムキャッシュ。この例では、第１、第２および第３のワーカーモデルの特徴の一部が重複している。したがって、マスター特徴モデルは、個々のワーカーモデルの上記特徴の全てを考慮することになる。したがって、ワーカーモデルの各々は、サブセットグループ（例えば、図７の７０２Ｂ）のエンティティＡ、ＣおよびＦについての例示的なマスター特徴テーブルに示されるように、マスター特徴モデルによって考慮される全特徴の部分的な特徴セットまたはサブセットを考慮する。
表１は、マスター特徴モデルの特徴を示す、例示的な特徴の表である。
ステップ６０５において、サブセットグループ（例えば、７０２Ａ）内のそれぞれのエンティティ（例えば、Ａ、ＣおよびＦ）の各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）は、マスター特徴モデルおよびワーカーモデルの出力に重み（集約重み）を割り当てる。一例では、第１のエンティティサーバ５０４は、マスター特徴モデル出力重みを０．５、ワーカーモデル出力重みを０．１７として、ワーカーモデルｎに割り当てる。エンティティサーバによる重みの初期割当は、所定のデフォルト重み、所定の規則に基づいてよく、手動で割り当てられてもよい。
実施形態において、サブセットグループの各エンティティは、ローカルデータ（例えば、プライベートデータ）に基づいて、そのマスター特徴モデルおよびワーカーモデルをローカルに訓練する。本発明の実装形態は、モデル訓練の特定の方法に限定されることを意図していない。実装形態では、マスター特徴モデルおよびワーカーモデルの出力データは、他の参加エンティティ（例えば、同じサブセットグループ内の他のエンティティ）によってアクセス可能なそれぞれのデータキャッシュに、各エンティティによってキャッシュされる。例えば、第１のエンティティサーバ５０４Ａからのモデル出力データは、データキャッシュ５１１に保存されることがある。実施形態では、各エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）のＭＬモジュール（例えば、ＭＬモジュール５１２）は、ステップ６０５を実装する。
＜ローカル訓練＞
ステップ６０６において、各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）は、データキャッシュの監視に基づいて、１または複数のデータキャッシュ（例えば、５１１、５１１’、５１１’’）への変化を特定する。実施形態では、参加エンティティ（例えば、図７のサブセットグループ７０２ＡのＡ、ＣおよびＦ）のキャッシュされたデータは、それぞれのエンティティの集約されたマスター特徴モデルおよびワーカーモデルからのモデル出力データ、もしくは別の参加エンティティからのモデル出力データ、またはその両方を含む。データの変化は、例えば、入力データの特性に関する情報、キーパラメータの値、選択されたビジネスに関する情報、および観察された応答を含み得る。一例では、第１のエンティティサーバ５０４Ａは、データキャッシュ（例えば、５１１）内の監視された情報へのあらゆる変化がステップ６０７でキャッシュされたデータの精度の評価をトリガするように、変化を監視される情報のタイプまたはカテゴリを特定するルールを含む。実装形態では、キャッシュされたデータは、プライベートデータに関連するが、プライベートデータを開示することはない。本発明の態様において、各参加単一エンティティサーバ５０４は、エンティティ側（例えば、第１のエンティティサーバ５０４Ａ）でプライベートデータ（マスター特徴モデルおよびワーカーモデルへのプライベートデータ入力）の変化を示すキャッシュされたデータへの変化を特定する。実装形態では、参加単一エンティティサーバのＭＬモジュール（例えば、５１２）は、ステップ６０６に従って、入力データを監視する。エンティティのマスター特徴モデルおよびワーカーモデルを用いたモデル出力データの生成の一例を、後述する図８に示す。
ステップ６０７で、各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）は、モデルの精度を計算する（ＭＡ２）。以下の式（２）を参照されたい。実施形態では、各参加単一エンティティサーバ５０４は、モデルに関連するキャッシュされたデータがユーザ指定のデータ閾値より大きい場合に、モデルの精度の計算を開始する。モデルの精度を計算するために様々な方法を利用することができ、本発明の実装形態は、本明細書に記載された例によって限定されることを意図していない。実装形態において、各参加単一エンティティサーバ５０４のＭＬモジュール（例えば、５１２）は、ステップ６０７を実施する。
ステップ６０８において、各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）は、必要に応じて、（ステップ６０５で最初に適用された）ワーカーモデルおよびマスター特徴モデルの重みを、所定の規則に基づいて更新または調整する。統計モデリングにおいて、回帰分析は、従属変数と１または複数の独立変数との間の関係を推定するための統計処理のセットである。回帰予測モデリングのために、エラーメトリクスが計算されてもよい。回帰のためのメトリクスは、モデルの予測スキルを要約するためにエラースコアを計算することを含む。回帰モデルのパフォーマンスを評価し報告するために一般的に使用される３つのエラーメトリクスは以下を含む：平均二乗誤差（ＭＳＥ）、ルート平均二乗誤差（ＲＭＳＥ）、および平均絶対誤差（ＭＡＥ）。実装形態では、各参加単一エンティティサーバ５０４は、データキャッシュ（例えば、５１１）内のキャッシュされたデータがユーザ指定のデータ閾値より大きいと判断すると、キャッシュされたデータに対するモデル精度またはモデルメトリック（ＭＡ２）の計算を開始し、以下の式（２）を用いてワーカーモデルの重みを調整する。
実装形態では、以下のエラーメトリクスの１つが、モデルメトリック（ＭＡ２）として利用され得る：平均二乗誤差（ＭＳＥ）、ルート平均二乗誤差（ＲＭＳＥ）、または平均絶対誤差（ＭＡＥ）。この例では、式（２）のＷＷｉは、調整されたｉ個のワーカーモデル重みを表し（新しいデータがエンティティに来るので、このエンティティにおけるワーカーモデル重みは調整する必要がある）、ＷＷｊは、ｉを含まない他のワーカーモデル重み（１～ｊ）を表す。同様に、エンティティのマスター特徴モデルは、ワーカーモデルと同じ戦略を利用する。式（２）がマスター特徴モデル重みの調整を表す場合、cached＿ＷＷは、調整後のマスターモデル重みであるcached＿ＭＷを使用するように変換でき、ＷＷ（ｊ）は、マスター特徴モデル重みがすべてのワーカーモデルによって調整されるため、次にすべてのワーカーモデル（ｉを含む１～ｊまで）を表す。したがって、本発明の実施形態では、各参加単一エンティティサーバ５０４は、キャッシュされたデータの計算された精度に基づいて、関連エンティティのワーカーモデルおよびマスター特徴モデルの重みを調整する。実装形態では、各参加単一エンティティサーバ（例えば、５０４Ａ）のＭＬモジュール（例えば、５１２）は、ステップ６０８を実施する。モデル訓練で使用するための関連エンティティによる新しいモデルデータの生成の例示的な例が、後述する図９に描かれている。
＜連携モデル＞
ステップ６０９で、連携サーバ５０２は、サブセットグループの参加メンバーから照会を受信する。例えば、図７のサブセットグループ７０２ＢのエンティティＡの従業員は、連携サーバ５０２によって提供されるグラフィカルユーザインターフェース（ＧＵＩ）を利用して、連携機械学習モデルによって対処され得る照会を連携サーバ５０２に提出し得る。実装において、連携サーバ５０２は、参加メンバーに関連するマスター特徴モデルおよびワーカーモデルを特定する。エンティティの動的仮想ネットワーク７００の参加メンバーは、連携サーバ５０２に登録してもよく、連携サーバ５０２は、連携サーバ５０２の機械学習サービスにアクセスするために参加メンバーによって提供されたログイン情報に基づいて、参加メンバーを特定してもよい。例えば、メンバーは、サブセットグループ７０２ＢのエンティティＡに属していてもよい。この例では、連携サーバ５０２は、照会に応答して出力（連携予測）を生成するために、サブセットグループ７０２Ｂに関連するマスター特徴モデルおよびワーカーモデルを取得し、利用するであろう。実施形態において、連携モデルモジュール５１７は、ステップ６０９を実施する。
ステップ６１０において、連携サーバ５０２は、参加メンバーのサブセットグループ（例えば、図７のサブセットグループ７０２Ｂ）内の各エンティティのマスター特徴モデルおよびワーカーモデルに基づいて、連携モデルを構築する。実装形態では、連携サーバ５０２は、サブセットグループ内のすべてのマスター特徴モデルおよびワーカーモデルを特定し、取得する。例えば、サブセットグループ７０２ＢのエンティティＡの従業員からの照会に対して、連携サーバ５０２は、エンティティＡ、ＣおよびＦのマスター特徴モデルおよびワーカーモデルを取得し利用する。実装形態において、連携サーバ５０２は、参加メンバーからの照会を受信する前に、または照会に応答して連携モデルを構築し得る。本発明の実装は、連携サーバ５０２がマスター特徴モデルおよびワーカーモデルをサブセットグループ内のエンティティを形成して取得する方法に限定されることを意図していない。実装形態では、連携サーバ５０２のモデル構築モジュール５１６は、ステップ６１０を実装し、連携モデルを連携モデルモジュール５１７に記憶する。実装形態では、連携サーバ５０２によって記憶された連携モデルは、エンティティの動的仮想ネットワーク７００のメンバーによって使用可能である。
実施形態では、各参加単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）は、マスター特徴モデルおよびワーカーモデルのキャッシュを管理する。実装形態では、各参加単一エンティティサーバは、ステップ６０７に従って、モデルメトリック別にキャッシュされたデータに基づいてアクティブモデル（エンティティによって使用中のモデル）の精度を連続的または定期的に計算し、それぞれのエンティティのキャッシュされたデータブロック（例えば、データキャッシュ５１１、５１１’、５１１’ ’）への変更に基づいて必要に応じて新しいマスター特徴モデルおよびワーカーモデルを連続的に構築し、連携モデルの生成において連携サーバ５０２が用いるために閾値Ｔａｃｃ１よりも高い精度をもつマスター特徴モデルおよびワーカーモデルをキャッシュする。実装形態では、動的なマスター特徴モデルおよびワーカーモデルの平均精度が閾値Ｔａｃｃ１より小さい場合、連携サーバ５０２はステップ６１０でアクティブモデルとキャッシュされたモデルを利用（混合）する。実施形態において、連携サーバ５０２は、混合されたアクティブモデルおよびキャッシュされたモデルを精度によってソートし、ステップ６１０において、生成された連携モデルにおいて使用するための新しいアクティブモデルリストとしてアクティブモデルの上位Ｓ個を選択する。本発明の態様において、各エンティティサーバ５０４は、モデルの精度に基づいて選択されたアクティブモデルに対して重みを割り当てるか、調整式（２）を利用してモデルの重みを調整するか、モデルに対して以前に割り当てられた重みを再利用する。連携モデルを生成するためにマスター特徴モデルを連携させる例示的な例が、後述する図１０に示されている。連携モデルを生成するためにワーカーモデルを連携させる例示は、後述の図１１に示される。
ステップ６１１において、連携サーバ５０２は、ステップ６１０で特定された適切な連携モデルを利用した応答（連携予測）を生成し、ステップ６０９で受信した照会に応答して、参加メンバーに応答を出力する。実施形態において、連携サーバ５０２の連携モデルモジュール５１７は、ステップ６１１を実施する。
特に断らない限り、図６のステップは、図６に描かれているのとは異なる順序で実行することができる。さらに、複数のエンティティサーバ５０４によって実行される図６のステップは、エンティティサーバの各々によって同時に実行される必要はないことを理解されたい。代わりに、単一エンティティサーバ５０４の各々は、示されたステップを互いに独立して実行することができる。
図７は、図６のステップ６０１および６０２によるエンティティグループの特定を説明する図である。図７に表されるステップは、図５の環境において実施されてもよく、図５に描かれた要素を参照しながら説明される。
図７の例示的なシナリオでは、連携サーバ（例えば、図５の連携サーバ５０２）は、５つのサブセットグループ７０２を含む関連エンティティの動的仮想ネットワーク７００を特定する。より具体的には、連携サーバ５０２は、第１のエンティティサーバ５０４Ａ、第２のエンティティサーバ５０４Ｂおよび第３のエンティティサーバ５０４Ｃから公開データを取得し、それぞれの関係マップ７０４Ａ、７０４Ｂ、７０４Ｃを生成する。図７に示されるように、主要な単一エンティティ参加者の各関係マップは、他の単一エンティティ参加者（例えば、隣接７０６）、他の単一エンティティ参加者の特徴（例えば、特徴７０７）、および主要な単一エンティティ参加者の特徴と他の単一エンティティ参加者の特徴との間の類似性を定量化する関係パラメータ（例えば、関係７０８）を特定する。例えば、関係マップ７０４Ａは、他のエンティティＢ、ＣおよびＤの特徴Ｆ１、Ｆ２およびＦ３が、以下の結果をもたらすことを示す：単一エンティティＡと単一エンティティＢとの間の関係パラメータが０．９９２、単一エンティティＡと単一エンティティＣとの間の関係パラメータが０．９２７、および単一エンティティＡと単一エンティティＤとの間の関係パラメータが０．８７２である。
図７の例では、関係マッピングの結果、単一エンティティＡ～Ｖから得られた情報に基づいて、エンティティＢおよびＶ、エンティティＥ、Ｇ、ＵおよびＨ（サブセットグループ７０２Ａ）、エンティティＡ、ＣおよびＦ（サブセットグループ７０２Ｂ）、エンティティＫ、およびエンティティＧを含む５つの異なるサブセットグループ７０２になる。この例では、単一エンティティＫおよびＧは、別の単一エンティティ参加者とグループ化されるのに必要な最小閾値を満たす関係パラメータを有さない。すなわち、単一エンティティＫおよびＧの特徴は、連携サーバ５０２が他の単一エンティティ参加者とグループ化するために、他の単一エンティティ参加者の特徴に十分類似していない。
図８は、図６のステップ６０６で変化を監視することができるモデル出力を生成およびキャッシュするための、本発明の実施形態による単一エンティティによるワーカーモデルとマスター特徴モデルの集約を示す。図８の例では、エンティティ（例えば、エンティティＡ）の機械学習実行環境８００は、第１のワーカーモデルＷＷ１、第２のワーカーモデルＷＷ２、第３のワーカーモデルＷＷ３、およびマスター特徴モデルＭＷを含む。ワーカーモデルＷＷ１、ＷＷ２、ＷＷ３の出力は、例えば８０２で示されるように、マスター特徴モデルＭＷに提供され、また例えば８０４で示されるように、他のワーカーモデルへの入力として使用することもできる。実装では、エンティティ（例えば、エンティティＡ）は、そのマスター特徴モデルおよびワーカーモデルに基づいて、予測（例えば、照会に対する応答）を生成することができる。実装では、マスター応答は、マスター特徴モデルを適用することによって方程式を用いて予測され、各ワーカー応答は、対応するワーカーモデルを適用することによって予測され、マスター特徴モデルおよびワーカーモデルからの結果は、単一エンティティサーバ（例えば、第１のエンティティサーバ５０４Ａ）によって集約されて、以下の方程式（３）を用いて最終予測を取得する。
ここで、ＷＷｉ、調整されたｉ個のワーカーモデルの重み、ＭＲはマスター特徴モデルの出力（応答）であり、ＷＲｉはワーカーモデルの出力（応答）であり、Ｓは部分特徴サブセットのサイズであり、ｉ＝１～Ｓである。一例では、初期ＭＷ＝０．５、初期ＷＷｉ＝０．１７である。
図９は、図６のステップ６０６に従って監視され得る、本発明の実施形態によるサブセットグループのデータキャッシュを示す図である。図９の例では、エンティティＡ、ＣおよびＦを含むサブセットグループ７０２Ｂが描かれている。図９に示されるように、データの新しいブロック（例えば、ブロック１、ブロック２、ブロック３）として示されるモデル出力は、それぞれのエンティティＡ、ＣおよびＦによって生成され、例えば９００で表されるように、エンティティ間で共有され得る。実施形態では、それぞれのエンティティＡ、ＣおよびＦのマスター特徴モデルおよびワーカーモデルは、モデル出力を生成するためにプライベートデータ入力を利用する。新しいデータは、９０２で示されるように、少なくとも１つのデータキャッシュ９０１に保存される。少なくとも１つのデータキャッシュ９０１内のデータの新しいブロックは、例えば９０４で示されるように、各エンティティＡ、ＣおよびＦによって、各エンティティのマスター特徴モデルおよびワーカーモデルを訓練するために利用され得る。エンティティＡ、ＣおよびＦによってローカルマスター特徴モデルおよびワーカーモデルが訓練されると、エンティティのモデル出力が改善される（より正確な応答／予測を提供する）。したがって、連携サーバ５０２は、以下により詳細に説明するように、エンティティＡ、ＣおよびＦの更新／訓練されたマスター特徴モデルおよびワーカーモデルを利用して、連携モデル９０８を生成し得る。
図１０は、図６のステップ６１０による連携モデル１０００の生成を説明するための図である。図１０の例では、連携サーバ５０２は、エンティティＡ、ＣおよびＦを含む、図７のエンティティの動的仮想ネットワーク７００のサブセットグループ７０２Ｂのための連携モデル１０００を生成する。図１０は、エンティティＡ、ＣおよびＦによって生成された集約マスター特徴モデルおよびワーカーモデル出力ｅ１、ｅ２およびｅ３を描き、モデルを訓練する目的でエンティティ間で共有されてよい。各マスター特徴モデル（例えば、マスターモデル１～３）は、重みＷｉをパラメータに適用し、１００２で示される重み付き出力を提供する。実装形態では、連携サーバ５０２は、並列計算重み方程式を使用して、サブセットグループ（例えば、７０２Ｂ）のすべてのマスター特徴モデルを結合する。方程式は、性能コストおよびコンピューティングメトリックに応じて、確率的勾配降下法（ＳＧＤ）またはパラメータ平均化（図１０の１００４で示される）であってもよい。実装では、連携サーバ５０２は、以下のパラメータ平均化式（４）を利用して連携モデルを生成する。
図１１は、図６のステップ６１０による連携ワーカーモデルの使用を示す図である。機械学習連携モデル１０００では、ワーカーモデルが部分特徴で構築される。図１１の例では、それぞれのエンティティ（例えば、Ａ、Ｆ、Ｃ）のワーカーモデルＦＷＷ１、ＦＷＷ２、およびＦＷＷ３は、それぞれの予測子セット１～３を生成するために利用される。図１１は、各エンティティのワーカー（例えば、ワーカーＡ～Ｃ）によって生成されたワーカーモデル出力ｅ１、ｅ２、およびｅ３を描き、これは、モデルを訓練する目的でエンティティ間で共有され得る。実施形態において、連携サーバ５０２は、以下の式（５）を利用して連携予測を得る。
ここで、ＦＭＷは連携モデル、ＭＷはマスターモデルに対する重み、ＭＲはマスター特徴モデル出力、ＦＷＷは結合／連携ワーカーモデル、ＷＷはマスター特徴モデルに対する初期重み、ＷＲはワーカーモデル出力である。
図１２は、本発明の態様による機械学習モデルの連携システムにおけるワークフローを示す図である。図６のステップは、図１２に図示されており、図５の環境５００において実行され得る。図１２に描かれたワークフローの複数の反復は、本発明の機械学習モデルの継続的な学習をもたらすことを理解されたい。
反復の開始時（１２００）に、エンティティ（例えば、エンティティＡ）の第１のエンティティサーバ５０４Ａは、他の参加エンティティ（例えば、サブセットグループ７０２ＢのＣおよびＦ）に関する公開または共有情報１２０３を１２０２で収集する。第１のエンティティサーバ５０４Ａは、図６のステップ６００に従って１２０２で情報を収集することができる。第１のエンティティサーバ５０４Ａは、エンティティの特徴に関する情報を特徴コレクション１２０４としてデータベースに記憶してもよい。新しい情報が１２０２で収集されると、第１のエンティティサーバ５０４Ａは、新しいマスター特徴モデルおよびワーカーモデルに追加されるべき新しい特徴１２０５を特定してもよい。
依然として図１２を参照すると、１２０６において、第１のエンティティサーバ５０４Ａは、第１のエンティティサーバ５０４Ａによって特定された関心のあるすべての特徴を組み込んで、１つのマスター特徴モデル１２０７を構築する。連携サーバ５０２は、連携モデル１２０９で使用するための連携マスター特徴モデルを取得するために、パラメータ平均化統合１２０８を利用して関連マスター特徴モデル１２０７からの特徴を組み合わせる（連携する）ことができる。ステップ１２０６は、図６のステップ６０４に従って実施されてもよい。エンティティのためのマスター特徴モデル１２０７は、１２１０で示されるように、そのエンティティ（例えば、第１のエンティティサーバ５０４Ａ）によって再訓練されてもよい。実装形態では、エンティティは、部分計算のための特徴のサブセットグループを選択し、回帰の反復を開始する。実施形態では、エンティティは、マスター特徴モデル１２０７の以前の特徴を活用するが、エンティティ位置でより詳細な情報（例えば、プライベートまたは機密情報）を収集する。追加の情報は、例えば、キーパラメータの値、ビジネス構成情報（例えば、財務、クラウド使用など）、もしくは入力データの特性に関する情報、またはその組み合わせを含み得る。態様において、エンティティ（例えば、第１のエンティティサーバ５０４Ａ）は、特徴とターゲットとの間の関係に対する回帰モデルを構築する。実装では、エンティティ（例えば、エンティティＡ）は、以下の式（６）を利用することができる。
式（６）：Ｙ＝Ｆ（Ｘ）、ここでＹは目標値、Ｘは入力特徴量、Ｆは関数である。
図１２の１２１１で、第１のエンティティサーバ５０４Ａは、複数のワーカーモデル１２１２を構築する。各ワーカーモデルは、マスター特徴モデル１２０７の全特徴のサブセットを含む特徴サブセット１２１３のために構築される。実装形態では、１２１１は、図６のステップ６０３に従って実行されてもよい。図１２の例では、ワーカーモデルは、特徴ＦＭ１、ＦＭ２およびＦＭ３について構築され、Ｓは部分特徴サブセットのサイズであり、Ｓ＝３である。実施形態では、ワーカーモデルは、キー特徴サブセット１２１４について構築され、キー特徴はモデリングにおいて常に利用される固定特徴（モデリングされるかもしれないオプション特徴とは対照的に）である。実施形態において、連携サーバ（例えば、図５の５０２）は、連携モデル１２０９で使用するために、パラメータ平均化統合１２１５（すなわち、異なるエンティティからのワーカーモデルを連携させる）を利用してワーカーモデル１２１２から特徴を結合する。第１のエンティティサーバ５０４Ａは、１２１６で描写されるように、図６のステップ６０８に従って、ワーカーモデルの重みを調整することによってワーカーモデルを最適化することができる。
１２１７で、第１のエンティティサーバ５０４Ａは、マスター特徴モデルおよびワーカーモデルに初期重みを割り当てる。ステップ１２１７は、図６のステップ６０５に従って実施され得る。図１２の例では、マスター特徴モデルは初期重みＭＷを割り当てられ、ワーカーモデルは初期重みＷＷｎを有する。この例では、ＭＷ＝ｅであり、ｅは０より大きく１より小さく、ＷＷｎ＝（１－ｅ）／Ｓである。例えば、Ｓ＝３、ｅ＝０．５のとき、ＭＷ＝０．５、ＷＷｎ＝０．１７となる。
１２１８で、第１のエンティティサーバ５０４Ａは、必要に応じて、モデル重みを調整する。ステップ１２１８は、図６のステップ６０８に従って実施され得る。実装形態では、エンティティのデータキャッシュのサイズが閾値トリガーサイズを満たす場合、第１のエンティティサーバ５０４Ａは、現在のマスター特徴モデルおよびワーカーモデルの精度を計算し、精度に従ってモデル重みを調整する。
有利には、本発明の実施形態は、関連エンティティの動的仮想ネットワークを構築して、エンティティの個々の機械学習モデルを共有する。実装形態では、特徴レベルにおいて、マスター特徴モデルおよびワーカーモデルが、動的な特徴の重みの関係で構築される。実施形態において、モデルレベルでは、連携分散システムは、個々の敏感なデータモデルからの反復計算に基づいて連続的に学習する。
実施形態において、サービスプロバイダは、本明細書に記載されたプロセスを実行することを提供し得る。この場合、サービスプロバイダは、１または複数の顧客のために、本発明のプロセスステップを実行するコンピュータインフラストラクチャを作成、維持、配備、サポートなどすることができる。これらの顧客は、例えば、技術を使用するあらゆるビジネスであり得る。その見返りとして、サービスプロバイダは、サブスクリプションもしくは料金契約またはその両方に基づいて顧客から支払いを受けることができ、もしくは、サービスプロバイダは、１または複数の第三者への広告コンテンツの販売から支払いを受けることができる、またはその両方である。
さらに追加の実施形態では、本発明は、ネットワークを介した、コンピュータ実装方法を提供する。この場合、コンピュータシステム／サーバ１２（図１）などのコンピュータインフラストラクチャが提供される場合があり、本発明のプロセスを実行するための１または複数のシステムが、コンピュータインフラストラクチャに入手（例えば、作成、購入、使用、変更など）および配備されることができる。この限りにおいて、システムの展開は、（１）コンピュータシステム／サーバ１２（図１に示す）などのコンピューティングデバイスに、コンピュータ可読媒体からプログラムコードをインストールすること、（２）コンピュータインフラストラクチャに１または複数のコンピューティングデバイスを追加すること、（３）コンピュータインフラストラクチャが本発明のプロセスを実行できるように、コンピュータインフラストラクチャの１または複数の既存のシステムを組み込むもしくは変更するまたはその両方を行うこと、の１または複数を含むことができる。
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図するものではなく、開示される実施形態に限定されることを意図するものでもない。記載される実施形態の範囲から逸脱することなく、多くの修正および変更が可能であることは当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用または技術的改善を最もよく説明するため、または当業者が本明細書に記載の実施形態を理解できるようにするために選択された。

Claims (20)

  1. コンピューティングデバイスによって、ネットワーク化されたエンティティのグループ内のエンティティのキャッシュされたデータを、データの変化について監視することであって、前記キャッシュされたデータは、前記エンティティのワーカーモデルおよびマスター特徴モデルからのモデル出力データを含み、前記ワーカーモデルおよび前記マスター特徴モデルは機械学習モデルを含む、監視することと、
    前記コンピューティングデバイスによって、前記監視に基づいて、前記ワーカーモデルおよび前記マスター特徴モデルのパラメータ重みを反復更新し、それによって、更新されたワーカーモデルおよび更新されたマスター特徴モデルを生成することと、
    前記エンティティの前記更新されたワーカーモデルおよび前記更新されたマスター特徴モデルを、前記ネットワーク化されたエンティティのグループ内の他のエンティティの他の更新されたマスター特徴モデルおよび他の更新されたワーカーモデルに組み込む連携モデルで使用するために、前記コンピューティングデバイスによって、遠隔の連携サーバに前記更新されたワーカーモデルおよび前記更新されたマスター特徴モデルを提供することと、
    を含む、方法。
  2. 前記コンピューティングデバイスによって、前記ワーカーモデルを構築することであって、前記ワーカーモデルはそれぞれ、前記エンティティに関連する特徴のセットのサブセットを含む、構築することと、
    前記コンピューティングデバイスによって、前記マスター特徴モデルを構築することであって、前記マスター特徴モデルは、前記エンティティに関連する前記特徴のセット内のすべての特徴を含む、構築することと、
    をさらに含む、請求項１に記載の方法。
  3. 前記コンピューティングデバイスによって、前記エンティティの前記マスター特徴モデルおよび前記ワーカーモデルのパラメータ平均化統合を利用したモデル出力を生成することをさらに含む、請求項１に記載の方法。
  4. 前記コンピューティングデバイスによって、前記ワーカーモデルおよび前記マスター特徴モデルに初期パラメータ重みを割り当てることをさらに含む、請求項１に記載の方法。
  5. 前記マスター特徴モデルおよび前記ワーカーモデルからの前記モデル出力データは、前記エンティティによるプライベートデータ入力に基づいて生成される、請求項１に記載の方法。
  6. 前記コンピューティングデバイスによって、前記ネットワーク化されたエンティティのグループの参加メンバーからの照会を、前記連携サーバに送信することと、
    前記コンピューティングデバイスによって、前記連携サーバから前記照会に対する応答を受信することであって、前記応答は前記連携モデルの出力に基づく、受信することと、
    をさらに含む、請求項１に記載の方法。
  7. 前記コンピューティングデバイスによって、前記エンティティの前記ワーカーモデルおよび前記マスター特徴モデルの精度を決定することをさらに含み、前記エンティティの前記ワーカーモデルおよび前記マスター特徴モデルの前記パラメータ重みを前記反復更新することは、前記エンティティの前記マスター特徴モデルおよび前記ワーカーモデルの前記精度にさらに基づく、請求項１に記載の方法。
  8. コンピュータプログラムであって、前記コンピュータプログラムは、コンピューティングデバイスによって実行可能であり、前記コンピューティングデバイスに、
    ネットワーク化されたエンティティのグループ内のエンティティのキャッシュされたデータを、データの変化について監視することであって、前記キャッシュされたデータは、前記エンティティのワーカーモデルおよびマスター特徴モデルからのモデル出力データを含み、前記ワーカーモデルおよび前記マスター特徴モデルは機械学習モデルを含む、監視することと、
    前記監視に基づいて、前記ワーカーモデルおよび前記マスター特徴モデルのパラメータ重みを反復更新し、それによって、更新されたワーカーモデルおよび更新されたマスター特徴モデルを生成することと、
    前記エンティティの前記更新されたマスター特徴モデルおよび前記更新されたワーカーモデルを、前記ネットワーク化されたエンティティのグループ内の他のエンティティの他の更新されたマスター特徴モデルおよび他の更新されたワーカーモデルに組み込む連携モデルで使用するために、遠隔の連携サーバに前記更新されたマスター特徴モデルおよび前記更新されたワーカーモデルを提供することと、
    を実行させる、コンピュータプログラム。
  9. 前記コンピュータプログラムは、さらに、前記コンピューティングデバイスによって実行可能であり、前記コンピューティングデバイスに、
    それぞれのエンティティの特徴に基づいて、前記ネットワーク化されたエンティティのグループ内のエンティティ間の関係を表すベクトルマップを生成することと、
    前記ベクトルマップに基づいて、関連するエンティティのグループを特定することであって、前記ネットワーク化されたエンティティのグループは前記関連するエンティティのグループを含み、前記関連するエンティティのグループの各エンティティは特徴のセットに関連付けられる、特定することと、
    を実行させる、請求項８に記載のコンピュータプログラム。
  10. 前記コンピュータプログラムは、さらに、前記コンピューティングデバイスによって実行可能であり、前記コンピューティングデバイスに、複数の遠隔のエンティティの公開情報のみに基づいて前記複数の遠隔のエンティティの前記特徴を特定させる、請求項９に記載のコンピュータプログラム。
  11. 前記コンピュータプログラムは、さらに、前記コンピューティングデバイスによって実行可能であり、前記コンピューティングデバイスに、
    前記ワーカーモデルを構築することであって、前記ワーカーモデルはそれぞれ、前記エンティティに関連する特徴のセットのサブセットを含む、構築することと、
    前記マスター特徴モデルを構築することであって、前記マスター特徴モデルは、前記エンティティに関連する前記特徴のセット内のすべての特徴を含む、構築することと、
    を実行させる、請求項８に記載のコンピュータプログラム。
  12. 前記コンピュータプログラムは、さらに、前記コンピューティングデバイスによって実行可能であり、前記コンピューティングデバイスに、前記エンティティの前記ワーカーモデルおよび前記マスター特徴モデルに基づくモデル出力を生成することを実行させる、請求項８に記載のコンピュータプログラム。
  13. 前記コンピュータプログラムは、さらに、前記コンピューティングデバイスによって実行可能であり、前記コンピューティングデバイスに、前記エンティティの前記ワーカーモデルおよび前記マスター特徴モデルに初期パラメータ重みを割り当てることを実行させる、請求項８に記載のコンピュータプログラム。
  14. 前記ワーカーモデルおよび前記マスター特徴モデルからの前記モデル出力データは、前記エンティティによるプライベートデータ入力に基づいて生成される、請求項８に記載のコンピュータプログラム。
  15. 前記コンピュータプログラムは、さらに、前記コンピューティングデバイスによって実行可能であり、前記コンピューティングデバイスに、
    前記ネットワーク化されたエンティティのグループの参加メンバーからの照会を、前記連携サーバに送信することと、
    前記連携サーバから前記照会に対する応答を受信することであって、前記応答は前記連携モデルの出力に基づく、受信することと、
    を実行させる、請求項８に記載のコンピュータプログラム。
  16. 前記連携モデルは、前記エンティティの前記更新されたマスター特徴モデルおよび前記更新されたワーカーモデルと、前記ネットワーク化されたエンティティのグループ内の前記他のエンティティの前記他の更新されたマスター特徴モデルおよび前記他の更新されたワーカーモデルとのパラメータ平均化統合を利用して生成される、請求項８に記載のコンピュータプログラム。
  17. プロセッサと、コンピュータ可読メモリと、１または複数のコンピュータ可読記憶媒体と、１または複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令とを含み、前記プログラム命令は、連携サーバによって実行可能であり、前記連携サーバに、
    ネットワーク化されたエンティティのグループの参加メンバーからの照会を受信することと、
    前記ネットワーク化されたエンティティのグループ内のそれぞれのエンティティのマスター特徴モデルおよびワーカーモデルに基づいて、連携モデルを生成することと、
    前記連携モデルの出力に基づいて、前記照会に対する応答を生成することと、
    前記照会に対する前記応答を前記参加メンバーに送信することと、を実行させ、
    前記マスター特徴モデルは、それぞれ、前記ネットワーク化されたエンティティのグループ内のそれぞれのエンティティのすべての特徴を含み、
    前記ワーカーモデルは、それぞれ、前記ネットワーク化されたエンティティのグループ内のそれぞれのエンティティの前記すべての特徴のサブセットを含み、
    前記マスター特徴モデルおよび前記ワーカーモデルは、前記連携サーバによってアクセスできないプライベートデータに基づいて、前記それぞれのエンティティによって反復更新され、
    前記反復更新は、前記それぞれのエンティティによって、前記ネットワーク化されたエンティティのグループ内のエンティティのキャッシュされたデータを、データの変化について監視することであって、前記キャッシュされたデータは、前記エンティティの前記ワーカーモデルおよび前記マスター特徴モデルからのモデル出力データを含み、前記ワーカーモデルおよび前記マスター特徴モデルは機械学習モデルを含む、監視することに基づいて行われる
    システム。
  18. 前記連携モデルを生成することは、前記それぞれのエンティティの前記マスター特徴モデルおよび前記ワーカーモデルのパラメータ平均化統合を行うことを含む、請求項１７に記載のシステム。
  19. 前記連携サーバは、クラウド環境においてサービスとして提供されるソフトウェアを含む、請求項１７に記載のシステム。
  20. 前記プログラム命令は、さらに、前記連携サーバによって実行可能であり、前記連携サーバに、
    公開情報に基づいて、複数の遠隔のエンティティ間の関係を表すベクトルマップを生成することと、
    前記ベクトルマップに基づいて、複数の遠隔のエンティティから前記ネットワーク化されたエンティティのグループを特定することと、
    を実行させる、請求項１７に記載のシステム。
JP2023566649A 2021-04-30 2022-02-15 機械学習モデルの連携訓練 Active JP7828702B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/245,363 2021-04-30
US17/245,363 US20220351069A1 (en) 2021-04-30 2021-04-30 Federated training of machine learning models
PCT/CN2022/076297 WO2022227792A1 (en) 2021-04-30 2022-02-15 Federated training of machine learning models

Publications (2)

Publication Number Publication Date
JP2024517749A JP2024517749A (ja) 2024-04-23
JP7828702B2 true JP7828702B2 (ja) 2026-03-12

Family

ID=83807692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023566649A Active JP7828702B2 (ja) 2021-04-30 2022-02-15 機械学習モデルの連携訓練

Country Status (5)

Country Link
US (1) US20220351069A1 (ja)
JP (1) JP7828702B2 (ja)
CN (1) CN117616436A (ja)
GB (1) GB2620539A (ja)
WO (1) WO2022227792A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022234305A1 (en) * 2021-05-06 2022-11-10 Citrix Systems, Inc. Systems and methods of predicting microapp user engagement
CN113407987B (zh) * 2021-05-24 2023-10-20 支付宝(杭州)信息技术有限公司 保护隐私的确定业务数据特征有效值的方法及装置
EP4195131B1 (en) * 2021-12-08 2024-10-16 Tata Consultancy Services Limited Method and system for federated learning based identification of non-malicious classification models
US20230394516A1 (en) * 2022-06-07 2023-12-07 University Of Southern California Federated learning marketplace
CN116150753A (zh) * 2022-12-21 2023-05-23 上海交通大学 一种基于联邦学习的移动端恶意软件检测系统
WO2025147975A1 (en) * 2024-01-11 2025-07-17 Huawei Technologies Co., Ltd. Apparatus and methods for coordination of joint model training in mobile communication networks
CN118521946B (zh) * 2024-07-23 2024-11-08 北京邮电大学 一种基于连续学习的视联网任务理解与调度方法及系统
CN119513710B (zh) * 2025-01-16 2025-05-16 山东地勘地热新能源集团有限公司 一种基于机器学习的地热勘探方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027938B1 (en) 2007-03-26 2011-09-27 Google Inc. Discriminative training in machine learning
JP2012022558A (ja) 2010-07-15 2012-02-02 Hitachi Ltd 分散計算システム
CN111537945A (zh) 2020-06-28 2020-08-14 南方电网科学研究院有限责任公司 基于联邦学习的智能电表故障诊断方法及设备
WO2021071399A1 (en) 2019-10-09 2021-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Developing machine-learning models

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188819B2 (en) * 2017-05-10 2021-11-30 International Business Machines Corporation Entity model establishment
US11488054B2 (en) * 2017-12-06 2022-11-01 Google Llc Systems and methods for distributed on-device learning with data-correlated availability
US20190180386A1 (en) * 2017-12-11 2019-06-13 Facebook, Inc. Cross-Validating Places on Online Social Networks
WO2021089429A2 (en) * 2019-11-05 2021-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for machine learning model life cycle
WO2021144803A1 (en) * 2020-01-16 2021-07-22 Telefonaktiebolaget Lm Ericsson (Publ) Context-level federated learning
US20210249139A1 (en) * 2020-02-11 2021-08-12 doc.ai, Inc. Artificial Intelligence-Based Drug Adherence Management and Pharmacovigilance
US11715044B2 (en) * 2020-06-02 2023-08-01 Huawei Cloud Computing Technologies Co., Ltd. Methods and systems for horizontal federated learning using non-IID data
US20230419172A1 (en) * 2020-11-05 2023-12-28 Telefonaktiebolaget Lm Ericsson (Publ) Managing training of a machine learning model
US20240046147A1 (en) * 2020-12-01 2024-02-08 Owkin, Inc. Systems and methods for administrating a federated learning network
US12010128B2 (en) * 2020-12-17 2024-06-11 Mcafee, Llc Methods, systems, articles of manufacture and apparatus to build privacy preserving models
EP4272078A1 (en) * 2020-12-29 2023-11-08 Equinix, Inc. Distributed artificial intelligence fabric controller

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027938B1 (en) 2007-03-26 2011-09-27 Google Inc. Discriminative training in machine learning
JP2012022558A (ja) 2010-07-15 2012-02-02 Hitachi Ltd 分散計算システム
WO2021071399A1 (en) 2019-10-09 2021-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Developing machine-learning models
CN111537945A (zh) 2020-06-28 2020-08-14 南方电网科学研究院有限责任公司 基于联邦学习的智能电表故障诊断方法及设备

Also Published As

Publication number Publication date
WO2022227792A9 (en) 2023-10-12
GB202316804D0 (en) 2023-12-20
GB2620539A (en) 2024-01-10
JP2024517749A (ja) 2024-04-23
WO2022227792A1 (en) 2022-11-03
CN117616436A (zh) 2024-02-27
US20220351069A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
JP7828702B2 (ja) 機械学習モデルの連携訓練
US11176148B2 (en) Automated data exploration and validation
US10963294B2 (en) Cognitive cloud migration optimizer
CN105989523B (zh) 用于分析的基于策略的数据收集处理及协商的方法与系统
US12158833B2 (en) Cloud service provider selection based on digital twin simulation
US11483211B2 (en) Infrastructure discovery and analysis
US10169710B2 (en) Automated decision support provenance and simulation
US10572819B2 (en) Automated intelligent data navigation and prediction tool
US10691827B2 (en) Cognitive systems for allocating medical data access permissions using historical correlations
US12456074B2 (en) Incremental machine learning for a parametric machine learning model
US20230021563A1 (en) Federated data standardization using data privacy techniques
US12468981B2 (en) Database resource management using predictive models
US20200193231A1 (en) Training Model Generation
US12225011B2 (en) Data protection in network environments
WO2023025781A1 (en) Providing a machine learning model based on desired metric values
US12481772B2 (en) Automatically adjusting data access policies in data analytics
US11501199B2 (en) Probability index optimization for multi-shot simulation in quantum computing
US20240020641A1 (en) Domain driven secure design of distributed computing systems
WO2023066073A1 (en) Distributed computing for dynamic generation of optimal and interpretable prescriptive policies with interdependent constraints
US11188968B2 (en) Component based review system
US20210286819A1 (en) Method and System for Operation Objects Discovery from Operation Data
US20250299141A1 (en) Measuring and increasing operational maturity
US20230017500A1 (en) Tokenized federated learning
US20230110975A1 (en) Recommending model contributions based on federated learning lineage
US20230063113A1 (en) Auto discovery protocol and virtual grouping of machine learning models

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

RD16 Notification of change of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7436

Effective date: 20231116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260210

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20260210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260226

R150 Certificate of patent or registration of utility model

Ref document number: 7828702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150