JP7280303B2 - モデル連合訓練方法、装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

Description

本出願は、コンピュータ技術分野に関し、特に人工知能技術に関し、具体的にはモデル連合訓練方法、装置、電子機器、記憶媒体並びにコンピュータプログラムに関する。

データが爆発的に増加している今日の社会では、膨大な量のデータに含まれる価値はますます顕著になり、どのように膨大な量のデータから有効情報を効果的にマイニングするかが、様々な分野が直面する重要な問題になっている。膨大な量のデータが様々なプラットフォームに分散しているため、データマイニングを実行する場合は、膨大な量の情報を統合して機械モデルを訓練する必要がある。そのうち、ロジスティック回帰モデルは、データを効果的に分類するために使用できる強力な機械学習ツールである。

しかしながら、データは様々なエンタープライズプラットフォームに分散して蓄積されており、各エンタープライズプラットフォームのプライバシーコンプライアンス等のポリシーにより、連合訓練を達成するためにこれらのデータをマージすることはできない。

本出願は、モデル連合訓練に使用される方法、装置、電子機器及び記憶媒体を提供する。

本出願の一態様によれば、第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得するステップと、
セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得するステップであって、前記セカンドパーティ特徴勾配情報は、前記セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである、ステップと、
前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び前記第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて、前記ファーストパーティモデル及び前記セカンドパーティモデルを更新するステップと、を含むモデル連合訓練方法を提供する。

本出願のもう一つの態様によれば、第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練し、セカンドパーティ特徴勾配情報を取得するステップと、
第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得することと、前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて、前記ファーストパーティモデル及び前記セカンドパーティモデルを更新することとをファーストパーティに実行させるように、ファーストパーティに前記第２サンプル量情報及び前記セカンドパーティ特徴勾配情報を送信するステップと、を含むモデル連合訓練方法を提供する。

本出願のさらなる一態様によれば、第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得するための情報確定モジュールと、
セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得するための情報取得モジュールであって、前記セカンドパーティ特徴勾配情報は、前記セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである、情報取得モジュールと、
前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び前記第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて、前記ファーストパーティモデル及び前記セカンドパーティモデルを更新するためのモデル更新モジュールと、を含むモデル連合訓練装置を提供する。

本出願のさらなる一態様によれば、第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練し、セカンドパーティ特徴勾配情報を取得するための情報確定モジュールと、
第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得することと、前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて、前記ファーストパーティモデル及び前記セカンドパーティモデルを更新することとをファーストパーティに実行させるように、ファーストパーティに前記第２サンプル量情報及び前記セカンドパーティ特徴勾配情報を送信するための情報送信モジュールと、を含むモデル連合訓練装置を提供する。

本出願のさらなる一態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリとを含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに本出願の実施例のいずれかに記載のモデル連合訓練方法を実行させる、電子機器を提供する。

本出願のさらなる一態様によれば、コンピュータに本出願の実施例のいずれかに記載のモデル連合訓練方法を実行させるためのコンピュータ命令が記憶される非一時的なコンピュータ可読記憶媒体を提供する。

本出願のさらなる一態様によれば、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、本出願の実施例のいずれかに記載のモデル連合訓練方法を実現する、コンピュータプログラムを提供する。

本出願の技術によれば、モデル連合訓練の安全性を向上させることができる。

この部分に記載されている内容は、本出願の実施形態のキーまたは重要な特徴を特定することを意図するものではなく、本出願の範囲を限定することを意図するものでもないことが理解される。本出願の他の特徴は、以下の明細書によって理解しやすくなる。

図面は、本解決案をよりよく理解するために使用されており、本出願を制限するものではない。

本出願の実施例に係るモデル連合訓練方法の模式図である。 本出願の実施例に係る他のモデル連合訓練方法の模式図である。 本出願の実施例に係るさらなる他のモデル連合訓練方法の模式図である。 本出願の実施例に係るさらなる他のモデル連合訓練方法の模式図である。 本出願の実施例に係るモデル連合訓練装置の模式図である。 本出願の実施例に係る他のモデル連合訓練装置の模式図である。 本出願の実施例のモデル連合訓練方法を実現するための電子機器のブロック図である。

以下、図面を参照しながら、理解を容易にするための本出願の実施例の様々な詳細を含めて本出願の例示的な実施例を説明するが、これらは、単なる例示的なものと見なされるべきである。従って、当業者は、本出願の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を行うことができることを理解すべきである。同様に、明確さと簡潔さのために、よく知られている機能と構造の説明は、以下の説明では省略されている。

図１は本出願の実施例に係るモデル連合訓練方法の模式図であり、本出願の実施例は、モデル連合訓練を効率的に実現する場合に適用することができる。当該方法は、モデル連合訓練装置によって実行されることができ、当該装置は、ハードウェア及び／又はソフトウェアで実現でき、電子機器に配置することができる。当該方法は、具体的には、Ｓ１１０～Ｓ１３０を含む。

Ｓ１１０：第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得する。

本出願の実施例では、ファーストパーティとセカンドパーティは、連合訓練を行うことができる。ただし、本出願の実施例は、モデル連合訓練の参加者の数を特に制限せず、例えば、少なくとも３つのパーティが参加してもよい。第１サンプル量は、ファーストパーティ訓練サンプルのサンプル数であり、ランダムに抽出されたサンプル数であってもよく、サンプルの総数であってもよい。訓練対象のファーストパーティモデルは、モデル連合訓練の１つの参加者によって訓練される機械学習モデルであり、例えば、ロジスティック回帰モデルであり、ファーストパーティ特徴勾配情報は、モデル連合訓練のファーストパーティがファーストパーティ訓練サンプルに基づいて計算して得る第１勾配である。

具体的には、ファーストパーティは、ファーストパーティモデルの訓練パラメータと第１サンプル量のファーストパーティ訓練サンプルとの積を計算することができ、当該積及びラベルベクトルに基づいてファーストパーティ訓練サンプルの残差を計算し、ファーストパーティ訓練サンプルの残差とファーストパーティ訓練サンプルとの積に基づいてファーストパーティ特徴勾配情報を取得する。そのうち、ラベルベクトルは、ファーストパーティ訓練サンプルのラベル値から構築して取得されるものである。

Ｓ１２０：セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得し、ここで、セカンドパーティ特徴勾配情報は、セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである。

本出願の実施例では、第２サンプル量情報は、第２サンプル量の特徴情報であり、第２サンプル量平文又は第２サンプル量暗号文であってもよい。第２サンプル量はセカンドパーティ訓練サンプルのサンプル数であり、ランダムに抽出されたサンプル数であってもよく、サンプルの総数であってもよい。本実施例では、ファーストパーティとセカンドパーティの特徴次元は同じであり、且つファーストパーティとセカンドパーティのそれぞれの特徴次元は１つの勾配和に対応するため、ファーストパーティとセカンドパーティの勾配和の個数は同じである。ただし、本出願の実施例は、ファーストパーティモデルとセカンドパーティモデルのネットワーク構造を具体的に限定しない。

具体的には、セカンドパーティはセカンドパーティ特徴勾配情報を確定することは、セカンドパーティモデルの訓練パラメータと第２サンプル量のセカンドパーティ訓練サンプルとの積を計算すること、当該積及びラベルベクトルに基づいてセカンドパーティ訓練サンプルの残差を計算すること、セカンドパーティ訓練サンプルの残差とセカンドパーティ訓練サンプルとの積に基づいてセカンドパーティ特徴勾配情報を取得することを含んでもよい。ここで、ラベルベクトルは、セカンドパーティ訓練サンプルのラベル値から構築して取得されるものである。

ここで、セカンドパーティモデルの訓練パラメータとファーストパーティモデルの訓練パラメータは同じであってもよく、ファーストパーティモデルとセカンドパーティモデルは同じであってもよい。具体的には、ファーストパーティは、確定された訓練対象のファーストパーティモデルと訓練パラメータをセカンドパーティに送信し、セカンドパーティにおける訓練対象のセカンドパーティモデルとセカンドパーティモデルの訓練パラメータとするようにされてもよい。

Ｓ１３０：ファーストパーティ特徴勾配情報、セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、モデル連合勾配情報に基づいてファーストパーティモデル及びセカンドパーティモデルを更新する。

本出願の実施例では、モデル連合勾配情報は、ファーストパーティの勾配とサンプル量、及びセカンドパーティの勾配とサンプル量に基づいて連合計算して取得されるものであり、これにより、ファーストパーティとセカンドパーティはモデル連合勾配情報に基づいてファーストパーティモデルとセカンドパーティモデルをそれぞれ効率的に更新する。

具体的には、ファーストパーティ特徴勾配情報、セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいて、モデル連合勾配情報を確定することは、以下の式に従って確定することができる。

ただし、ｇｒａｄ_ｉはモデル連合勾配情報であり、ｇｒａｄＡ_ｉはファーストパーティ特徴勾配情報であり、ｇｒａｄＢ_ｉはセカンドパーティ特徴勾配情報であり、ｌｉｎｅ＿Ａは、ランダムに抽出されたファーストパーティのサンプルの数を表し、ｌｉｎｅ＿Ｂは、ランダムに抽出されたセカンドパーティのサンプルの数を表し、ｉは１つの特徴次元を表し、ｎはファーストパーティまたはセカンドパーティの特徴次元の数を表す。

双方のモデルを更新する過程では、ファーストパーティモデルの更新を例とする場合、モデル連合勾配情報に基づいてファーストパーティモデルを更新した後、ファーストパーティは、更新された後のファーストパーティモデルの目的関数を計算して、当該目的関数が収束条件を満たすかどうかを判断する必要がある。満たす場合、更新された後のファーストパーティモデルはファーストパーティがモデル連合訓練により得た最終モデルである。そうでない場合は、新しいファーストパーティ特徴勾配情報を再計算し、セカンドパーティから新しいセカンドパーティ特徴勾配情報及び新しい第２サンプル量情報を取得することと、新しいファーストパーティ特徴勾配情報、新しいセカンドパーティ特徴勾配情報、新しい第１サンプル量情報及び新しい第２サンプル量情報に基づいて、新しいモデル連合勾配情報を確定することとを含む反復計算を実行する必要がある。新しいモデル連合勾配情報に基づいて確定された目的関数が収束条件を満たすようになると、反復計算を終了し、モデル連合訓練の最終モデルが取得される。

本実施例の技術案では、ファーストパーティは、第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得し、セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得し、ファーストパーティ特徴勾配情報、セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、モデル連合勾配情報に基づいて、ファーストパーティモデル及びセカンドパーティモデルを更新する。本出願の実施例は、訓練双方の勾配とサンプル量に基づいて、双方のモデル更新に適したモデル連合勾配情報を確定することができ、これにより、モデル連合訓練の効率を大幅に向上させることができる。

本出願の実施例は、モデル連合訓練方法の好適な実施形態を提供し、モデル連合訓練の訓練効率をさらに向上させることができる。図２は、本出願の実施例に係る他のモデル連合訓練方法の概略フローチャートである。具体的には、Ｓ２１０～Ｓ２５０を含む。

Ｓ２１０：第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得する。

Ｓ２２０：セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得し、ここで、セカンドパーティ特徴勾配情報は、セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである。

Ｓ２３０：ファーストパーティ特徴勾配平文、セカンドパーティ特徴勾配平文、第１サンプル量平文及び第２サンプル量平文に基づいて、モデル連合勾配平文を確定する。

本出願の実施例では、ファーストパーティ特徴勾配平文は、ファーストパーティによって計算されて暗号化されていないファーストパーティ特徴勾配情報であり、セカンドパーティ特徴勾配平文は、セカンドパーティによって計算されて暗号化されていないセカンドパーティ特徴勾配情報であり、第１サンプル量平文は、ファーストパーティ訓練データの第１サンプル量情報であり、例えば、第１サンプル量ｌｉｎｅ＿Ａであり、第２サンプル量平文は、セカンドパーティ訓練データの第２サンプル量情報であり、例えば、第２サンプル量ｌｉｎｅ＿Ｂである。本実施例は、暗号化されていないファーストパーティの勾配とサンプル量及びセカンドパーティの勾配とサンプル量に基づいて、モデル連合勾配平文を計算することにより、モデル連合訓練の訓練効率をさらに向上させることができ、これにより、ファーストパーティモデルとセカンドパーティモデルを迅速かつ効果的に確定することができる。

Ｓ２４０：モデル連合勾配平文に基づいてファーストパーティモデルを更新する。

本出願の実施例では、ファーストパーティがモデルを更新するためのモデル連合勾配平文を計算した後、ファーストパーティモデルを更新する過程では、まずモデル連合勾配平文が利用可能であるかどうかを検証する必要がある。具体的には、モデル連合勾配平文に基づいてファーストパーティモデルを更新し、ファーストパーティモデルの目的関数を計算し、目的関数が収束条件を満たすかどうかを判断し、即ち更新された後のファーストパーティモデルが合格であるかどうかを判断する。目的関数が収束条件を満たすと、ファーストパーティモデルがモデル連合訓練の最終モデルであると確定し、そうでない場合、目的関数が収束条件を満たすまで、反復計算を実行する必要がある。

Ｓ２５０：モデル連合勾配平文に基づいてセカンドパーティモデルを更新するようにセカンドパーティに指示するために、セカンドパーティにモデル連合勾配平文を送信する。

本出願の実施例では、ファーストパーティがモデル連合勾配平文を計算して取得した後、セカンドパーティがセカンドパーティモデルを適時かつ正確に更新できることを保証するために、セカンドパーティがモデル連合勾配平文に基づいてセカンドパーティモデルを更新できるように、モデル連合勾配平文をセカンドパーティに送信する必要がある。

上記の実施例に基づいて、ファーストパーティ訓練サンプルは、ファーストパーティがファーストパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が第１サンプル量とされ、セカンドパーティ訓練サンプルは、セカンドパーティがセカンドパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が第２サンプル量とされてもよい。

本出願の実施例では、ファーストパーティ訓練サンプルとセカンドパーティ訓練サンプルはランダムに抽出され、即ち、第１サンプル量と第２サンプル量がランダムな数値であり、推算することが困難であることを意味する。これにより、モデル連合勾配平文を計算する場合、一部の訓練サンプルをランダムに選択してモデル連合勾配平文の計算を行うため、計算者（例えばファーストパーティ）は、参加者（例えばセカンドパーティ）の具体的なサンプル量を知ることができず、参加者のオリジナルデータ情報を逆推測することもできない。これにより、訓練過程における参加者データの漏洩が効果的に解決され、参加者データの安全性が確実に保護される。

上記の実施例に基づいて、オプションとして、ファーストパーティ訓練サンプルとセカンドパーティ訓練サンプルは、データ構造が同じである。

本出願の実施例では、例示として、ファーストパーティ及びセカンドパーティは、いずれもサンプルデータＱａ及びＱｂ集合を有し、２つのサンプルの次元は同じであり、いずれもＤであり、サンプル数はそれぞれＳａ及びＳｂである。データのサンプル量を最大限に拡張するために双方のデータを行ごとに水平方向に統合すると、拡張された後のサンプル数はＳａ＋Ｓｂである。同じ次元でのデータは、同じ次元特徴を有するが、モデル連合訓練過程において大きなデータ誤差を引き起こさない。本実施例は、ファーストパーティ及びセカンドパーティの水平次元での融合データを選択することにより、モデル連合訓練のサンプル量の効果的な拡張を実現することができる。

上記の実施例に基づいて、オプションとして、本実施例の方法は、
秘匿共通集合計算プロトコルにより、ファーストパーティサンプルデータとセカンドパーティサンプルデータとの間の共通特徴次元を確定することと、
共通特徴次元に基づいて、ファーストパーティ訓練サンプル及びセカンドパーティ訓練サンプルを確定することと、を更に含む。

本出願の実施例では、ファーストパーティとセカンドパーティのデータ集合は大きく、次元が多い可能性がある。統一された次元命名方法を使用して、次元を命名し、秘匿共通集合計算プロトコルを使用して、双方の同じ次元の集合を取得する。双方は、最終的に共通集合の次元情報を取得し、他の次元情報を取得しない。ここで、秘匿共通集合計算プロトコルは、双方が事前に確立した、共通次元を確定する伝送プロトコルであり、当該プロトコルにより、次元確定過程での安全性とプライバシーを保証することができる。例えば、秘匿共通集合計算プロトコルは、ＯＴに基づいて実現されるプライバシー集合共通集合計算プロトコルであってもよく、当該プロトコルは、参加者が秘密集合に対して共通集合演算を行うことを許し、且つ共通集合以外の情報を漏洩することがない。本実施例では、秘匿共通集合計算プロトコルに基づいて、双方の共通次元における訓練サンプルを安全かつ正確に識別することができる。

本出願の実施例では、モデル連合勾配情報を安全かつ効果的に確定することができるモデル連合訓練方法の好適な実施形態が提供される。図３は、本出願の実施例に係るさらなる他のモデル連合訓練方法の概略フローチャートである。具体的には、Ｓ３１０～Ｓ３５０を含む。

Ｓ３１０：第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得する。

Ｓ３２０：セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得し、ここで、セカンドパーティ特徴勾配情報は、セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである。

Ｓ３３０：ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいて、モデル連合勾配暗号文を確定し、ここで、ファーストパーティ特徴勾配暗号文及び第１サンプル量暗号文は、ファーストパーティがセカンドパーティから取得された第１準同型暗号鍵を採用してファーストパーティ特徴勾配平文及び第１サンプル量平文をそれぞれ暗号化することにより得られ、セカンドパーティ特徴勾配暗号文及び第２サンプル量暗号文は、セカンドパーティが第１準同型暗号鍵を採用してセカンドパーティ特徴勾配平文及び第２サンプル量平文をそれぞれ暗号化することにより得られるものである。

本出願の実施例では、データの伝送過程での安全性を確保するために、伝送過程でのデータが改ざんされて、セキュリティリスクの問題が発生しないように、セカンドパーティは、勾配及びサンプル量データをファーストパーティに伝送する場合、伝送されるデータを暗号化する必要がある。ここで、セカンドパーティによる暗号化に使用される第１準同型暗号鍵は、セカンドパーティによって生成され、第２準同型暗号鍵、即ち、第１準同型暗号鍵と対応する復号鍵も同時に生成される。具体的には、本実施例では、ファーストパーティは、ファーストパーティモデル及びモデルパラメータをセカンドパーティに送信して、セカンドパーティのセカンドパーティモデル及びモデルパラメータとすることができる。それに応じて、セカンドパーティは、ファーストパーティがファーストパーティモデル及びモデルパラメータを送信するタイムスタンプに基づいて、非対称鍵である、第１準同型暗号鍵及び第２準同型暗号鍵を生成することができ、ファーストパーティが処理データを暗号化して、データ伝送の安全性を効果的に確保するように、第１準同型暗号鍵をファーストパーティに送信する。

Ｓ３４０：第２準同型暗号鍵を採用してモデル連合勾配暗号文を復号化してモデル連合勾配平文を取得することと、モデル連合勾配平文に基づいてセカンドパーティモデルを更新することとをセカンドパーティに実行させるように、セカンドパーティにモデル連合勾配暗号文を送信する。

本出願の実施例では、ファーストパーティがモデル連合勾配暗号文を計算した時、モデル連合勾配暗号文にセカンドパーティの暗号化データを含むため、モデル連合勾配暗号文をセカンドパーティに送信して復号化する必要がある。本実施例では、ファーストパーティは、セカンドパーティによって暗号化された勾配及びサンプル量、並びに自分の勾配及びサンプル量に基づいてモデル連合勾配暗号文を計算し、計算過程では、ファーストパーティは、セカンドパーティの勾配及びサンプル量の参加データを知らない。これにより、セカンドパーティのデータを最大限に活用しながら、盗まれないことも保証できる。

Ｓ３５０：セカンドパーティからモデル連合勾配平文を取得し、モデル連合勾配平文に基づいてファーストパーティモデルを更新する。

本出願の実施例では、ファーストパーティがセカンドパーティから取得したモデル連合勾配平文は、暗号化されていないデータである。ファーストパーティは、当該モデル連合勾配平文に基づいてファーストパーティモデルを直接更新することができる。更新過程では、ファーストパーティモデルの目的関数を参照し、それが収束条件を満たしているかどうかを判断する必要があり、これにより、ファーストパーティモデルの更新が完了したかどうかを確定する。

本出願の実施例では、モデル連合訓練に参加する双方のみによりモデル連合勾配情報を計算し、それぞれ双方のモデルを更新し、この期間中、モデル連合勾配情報を計算するためにサードパーティを導入する必要がない。これにより、モデルの訓練効率を効果的に向上させることができる。本実施例では、双方によって提供されるデータ構造は類似しており、同じ業界に属している場合にのみ、異なるユーザ量に基づいてジョイントモデリングする。

図４は本出願の実施例に係るさらなる他のモデル連合訓練方法の模式図である。本出願の実施例は、モデル連合訓練を実現するためにモデル要求者にモデル訓練データを送信する場合に適用することができる。当該方法は、モデル連合訓練装置で実行することができ、当該装置は、ハードウェア及び／又はソフトウェアの方式によって実現することができ、電子機器に配置することができる。当該方法は、具体的には、Ｓ４１０～Ｓ４２０を含む。

Ｓ４１０：第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練し、セカンドパーティ特徴勾配情報を取得する。

本出願の実施例では、第２サンプル量は、セカンドパーティ訓練サンプルのサンプル数であり、ランダムに抽出されたサンプル数であってもよく、サンプルの総数であってもよい。訓練対象のセカンドパーティモデルは、モデル連合訓練に参加するセカンドパーティの訓練用のローカルモデルであり、機械学習モデルのうちのロジスティック回帰モデルであってもよい。セカンドパーティ特徴勾配情報はセカンドパーティによって計算された勾配である。

具体的には、セカンドパーティがセカンドパーティ特徴勾配情報を確定する場合には、セカンドパーティモデルの訓練パラメータと第２サンプル量のセカンドパーティ訓練サンプルとの積を計算するステップであって、セカンドパーティモデルの訓練パラメータは、ファーストパーティから取得されたファーストパーティモデルの訓練パラメータであってもよい、ステップと、上記積と、セカンドパーティ訓練サンプルのラベル値に基づいて構築されたラベルベクトルとに基づいてセカンドパーティ訓練サンプルの残差を計算するステップと、セカンドパーティ訓練サンプルの残差とセカンドパーティ訓練サンプルとの積に基づいてセカンドパーティ特徴勾配情報を取得するステップとを含んでよい。

Ｓ４２０：第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得することと、ファーストパーティ特徴勾配情報、セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、モデル連合勾配情報に基づいて、ファーストパーティモデル及びセカンドパーティモデルを更新することとをファーストパーティに実行させるように、ファーストパーティに第２サンプル量情報及びセカンドパーティ特徴勾配情報を送信する。

本実施例では、ファーストパーティは、モデル連合勾配情報を計算する時に、セカンドパーティの勾配及びサンプル量を結合する必要があり、セカンドパーティは、モデル連合勾配情報を計算する勾配及びサンプル量をファーストパーティに送信する必要がある。これにより、モデル連合勾配情報の確定を効果的に実現する。

本実施例の技術案では、セカンドパーティは、第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練し、セカンドパーティ特徴勾配情報を取得し、ファーストパーティがモデル連合勾配情報を確定するように、ファーストパーティに第２サンプル量情報及びセカンドパーティ特徴勾配情報を送信する。本出願の実施例では、セカンドパーティは、ファーストパーティがセカンドパーティの勾配及びサンプル量を結合してモデル連合勾配情報を効果的に計算するように、勾配及びサンプル量をファーストパーティに送信する。これにより、双方のモデルの効果的な更新を実現する。

上記の実施例に基づいて、オプションとして、ファーストパーティ訓練サンプルは、ファーストパーティがファーストパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が第１サンプル量とされ、セカンドパーティ訓練サンプルは、セカンドパーティがセカンドパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が第２サンプル量とされる。

本出願の実施例では、ファーストパーティ訓練サンプルとセカンドパーティ訓練サンプルはランダムに抽出され、即ち、第１サンプル量と第２サンプル量がランダムな数値であることを意味し、推算することが困難である。これにより、モデル連合勾配平文を計算する場合、一部の訓練サンプルをランダムに選択してモデル連合勾配平文の計算を行うため、計算者（例えばファーストパーティ）は、参加者（例えばセカンドパーティ）の具体的なサンプル量を知ることができず、参加者のオリジナルデータ情報を逆推測することもできない。これにより、訓練過程における参加者データの漏洩が効果的に解決され、参加者データの安全性が確実に保護される。

上記の実施例に基づいて、オプションとして、ファーストパーティに第２サンプル量情報及びセカンドパーティ特徴勾配情報を送信するステップは、
ファーストパーティ特徴勾配平文、セカンドパーティ特徴勾配平文、第１サンプル量平文及び第２サンプル量平文に基づいて、モデル連合勾配平文を確定することと、モデル連合勾配平文に基づいてファーストパーティモデルを更新することとをファーストパーティに実行させるように、ファーストパーティに第２サンプル量平文及びセカンドパーティ特徴勾配平文を送信するステップと、
ファーストパーティからモデル連合勾配平文を取得し、且つモデル連合勾配平文に基づいてセカンドパーティモデルを更新するステップと、を含む。

本出願の実施例では、セカンドパーティは、ファーストパーティに暗号化処理されていないセカンドパーティ特徴勾配情報（セカンドパーティ特徴勾配平文）及び第２サンプル量情報（第１サンプル量平文）を直接送信し、ここで、第２サンプル量平文はセカンドパーティにおけるセカンドパーティ訓練データの第２サンプル量情報であり、例えばセカンドパーティ訓練データの行数である。本実施例におけるセカンドパーティは、暗号化処理されていない勾配及びサンプル量をファーストパーティに直接送信することにより、データの伝送効率を効果的に向上させることができる。同時に、ファーストパーティの第２サンプル量平文はランダムに抽出されたものであるため、ファーストパーティは、モデル連合勾配情報を計算する場合、セカンドパーティの如何なる情報を逆推測することはできない。これにより、セカンドパーティの情報安全が効果的に保護される。

上記の実施例に基づいて、オプションとして、本実施例の方法は、第１準同型暗号鍵及び第２準同型暗号鍵を確定し、且つファーストパーティに第１準同型暗号鍵を送信するステップを更に含み、
ここで、ファーストパーティに第２サンプル量情報及びセカンドパーティ特徴勾配情報を送信するステップは、
ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいてモデル連合勾配暗号文を確定することをファーストパーティに実行させるように、ファーストパーティに第２サンプル量暗号文及びセカンドパーティ特徴勾配暗号文を送信するステップであって、ファーストパーティ特徴勾配暗号文及び第１サンプル量暗号文は、ファーストパーティが第１準同型暗号鍵を採用してファーストパーティ特徴勾配平文及び第１サンプル量平文をそれぞれ暗号化することにより得られたものであり、セカンドパーティ特徴勾配暗号文及び第２サンプル量暗号文は、セカンドパーティが第１準同型暗号鍵を採用してセカンドパーティ特徴勾配平文及び第２サンプル量平文をそれぞれ暗号化することにより得られたものである、ステップと、
ファーストパーティからモデル連合勾配暗号文を取得し、第２準同型暗号鍵を採用してモデル連合勾配暗号文を復号化してモデル連合勾配平文を取得し、且つモデル連合勾配平文に基づいてセカンドパーティモデルを更新するステップと、
モデル連合勾配平文に基づいてファーストパーティモデルを更新するようにファーストパーティに指示するために、ファーストパーティにモデル連合勾配平文を送信するステップと、を含む。

本出願の実施例では、データを暗号化する暗号化方法は、非対称暗号化が採用され、秘密鍵は、暗号鍵（第１準同型暗号鍵）及び復号鍵（第２準同型暗号鍵）を含む。秘密鍵はセカンドパーティによって生成される。本実施例におけるファーストパーティは、第２準同型暗号鍵を取得することができないため、本実施例は、非対称暗号化方法を採用することにより、データ処理過程でのデータ完全性を効果的に保証することができる。

セカンドパーティはファーストパーティに勾配及びサンプル量を送信する前に、第１準同型暗号鍵を用いて暗号化する必要があり、勾配暗号文及びサンプル量暗号文を取得してから送信する。これにより、データが自由に改ざんされる問題を防ぐことができる。ファーストパーティはモデル連合勾配情報を計算した後、第１準同型暗号鍵を採用してモデル連合勾配情報を暗号化する必要があり、モデル連合勾配暗号文を取得してからセカンドパーティに送信する。これにより、セカンドパーティがモデル連合勾配暗号文を復号化して、双方モデルを更新するためのモデル連合勾配平文を取得する。このように、モデル連合勾配平文を計算する過程では、計算過程中にどのパーティによっても変更されないことを保証し、参加者のデータの安全性を確保することを前提に、参加者のデータを最大限に活用してモデル連合訓練を実現することができる。

上記の実施例に基づいて、オプションとして、ファーストパーティ訓練サンプルとセカンドパーティ訓練サンプルはデータ構造が同じである。

本出願の実施例では、例示として、ファーストパーティ及びセカンドパーティは、いずれもサンプルデータＱａ及びＱｂ集合を有し、且つ２つのサンプルの次元は同じであり、いずれもＤであり、サンプル数はそれぞれＳａ及びＳｂである。データのサンプル量を最大限に拡張するために双方のデータを行ごとに水平方向に統合すると、拡張されたサンプル数はＳａ＋Ｓｂである。同じ次元でのデータは、同じ次元特徴を有するが、モデル連合訓練過程において大きなデータ誤差を引き起こさない。本実施例は、ファーストパーティ及びセカンドパーティの水平次元での融合データを選択することにより、モデル連合訓練のサンプル量の効果的な拡張を実現することができる。

図５は本出願の実施例に係るモデル連合訓練装置の模式図である。本実施例は、連合モデル訓練を効率的に行う場合に適用することができる。当該装置は、電子機器に配置されており、本出願の任意の実施例に記載されたモデル連合訓練方法を実現することができる。モデル連合訓練装置５００は、具体的に、
第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得するための情報確定モジュール５１０と、
セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得するための情報取得モジュール５２０であって、前記セカンドパーティ特徴勾配情報は、前記セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである、情報取得モジュール５２０と、
前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び前記第２サンプル量情報に基づいてモデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて、前記ファーストパーティモデル及び前記セカンドパーティモデルを更新するためのモデル更新モジュール５３０と、を含む。

上記の実施例に基づいて、オプションとして、前記ファーストパーティ訓練サンプルは、ファーストパーティがファーストパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第１サンプル量とされ、前記セカンドパーティ訓練サンプルは、前記セカンドパーティがセカンドパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第２サンプル量とされる。

上記の実施例に基づいて、オプションとして、モデル更新モジュール５３０は、具体的に、
ファーストパーティ特徴勾配平文、セカンドパーティ特徴勾配平文、第１サンプル量平文及び第２サンプル量平文に基づいて、モデル連合勾配平文を確定すること、
前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新すること、及び
前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新するように前記セカンドパーティに指示するために、前記セカンドパーティに前記モデル連合勾配平文を送信すること、を行うように構成される。

上記の実施例に基づいて、オプションとして、モデル更新モジュール５３０は、具体的に、
ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいて、モデル連合勾配暗号文を確定することであって、前記ファーストパーティ特徴勾配暗号文及び前記第１サンプル量暗号文は、ファーストパーティが前記セカンドパーティから取得された第１準同型暗号鍵を採用してファーストパーティ特徴勾配平文及び第１サンプル量平文をそれぞれ暗号化することにより得られたものであり、前記セカンドパーティ特徴勾配暗号文及び前記第２サンプル量暗号文は、前記セカンドパーティが前記第１準同型暗号鍵を採用してセカンドパーティ特徴勾配平文及び第２サンプル量平文をそれぞれ暗号化することにより得られたものである、こと、
第２準同型暗号鍵を採用して前記モデル連合勾配暗号文を復号化してモデル連合勾配平文を得ることと、前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新することとを前記セカンドパーティに実行させるように、前記セカンドパーティに前記モデル連合勾配暗号文を送信すること、及び
前記セカンドパーティからモデル連合勾配平文を取得し、且つ前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新すること、を行うように構成される。

上記の実施例に基づいて、オプションとして、前記ファーストパーティ訓練サンプルと前記セカンドパーティ訓練サンプルはデータ構造が同じである。

上記の実施例に基づいて、オプションとして、本実施例の装置は、
秘匿共通集合計算プロトコルにより、ファーストパーティサンプルデータとセカンドパーティサンプルデータとの間の共通特徴次元を確定するための次元確定モジュールと、
前記共通特徴次元に基づいて、前記ファーストパーティ訓練サンプル及び前記セカンドパーティ訓練サンプルを確定するための訓練サンプル確定モジュールと、を更に含む。

本実施例の技術案は、訓練双方の勾配及びサンプル量に基づいて、双方のモデル更新に適したモデル連合勾配情報を確定することができ、これにより、モデル連合訓練の効率を大幅に向上させることができる。

図６は、本出願の実施例に係る他のモデル連合訓練装置の模式図である。本実施例は、モデル連合訓練を実現するためにモデル要求方にモデル訓練データを送信する場合に適用することができる。当該装置は、電子機器に配置されており、本出願の任意の実施例に記載されたモデル連合訓練方法を実現することができる。モデル連合訓練装置６００は、具体的に、
第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練し、セカンドパーティ特徴勾配情報を取得するための情報確定モジュール６１０と、
第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得することと、前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいてモデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて、前記ファーストパーティモデル及び前記セカンドパーティモデルを更新することとをファーストパーティに実行させるように、ファーストパーティに前記第２サンプル量情報及び前記セカンドパーティ特徴勾配情報を送信するための情報送信モジュール６２０と、を含む。

上記の実施例に基づいて、オプションとして、前記ファーストパーティ訓練サンプルは、前記ファーストパーティがファーストパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第１サンプル量とされ、前記セカンドパーティ訓練サンプルは、前記セカンドパーティがセカンドパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第２サンプル量とされる。

上記の実施例に基づいて、オプションとして、情報送信モジュール６２０は、具体的には、
ファーストパーティ特徴勾配平文、セカンドパーティ特徴勾配平文、第１サンプル量平文及び第２サンプル量平文に基づいて、モデル連合勾配平文を確定することと、前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新することとを前記ファーストパーティに実行させるように、ファーストパーティに前記第２サンプル量平文及び前記セカンドパーティ特徴勾配平文を送信すること、及び
ファーストパーティから前記モデル連合勾配平文を取得し、且つ前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新すること、を行うように構成される。

上記の実施例に基づいて、オプションとして、本実施例の装置は、
第１準同型暗号鍵及び第２準同型暗号鍵を確定し、且つ前記ファーストパーティに前記第１準同型暗号鍵を送信するための暗号鍵確定モジュールを更に含み、
ここで、情報送信モジュール６２０は、具体的に、
ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいてモデル連合勾配暗号文を確定することを前記ファーストパーティに実行させるように、前記ファーストパーティに前記第２サンプル量暗号文及び前記セカンドパーティ特徴勾配暗号文を送信することであって、前記ファーストパーティ特徴勾配暗号文及び前記第１サンプル量暗号文は、前記ファーストパーティが前記第１準同型暗号鍵を採用してファーストパーティ特徴勾配平文及び第１サンプル量平文をそれぞれ暗号化することにより得られたものであり、前記セカンドパーティ特徴勾配暗号文及び前記第２サンプル量暗号文は、前記セカンドパーティが前記第１準同型暗号鍵を採用してセカンドパーティ特徴勾配平文及び第２サンプル量平文をそれぞれ暗号化することにより得られたものである、こと、
前記ファーストパーティから前記モデル連合勾配暗号文を取得し、前記第２準同型暗号鍵を採用して前記モデル連合勾配暗号文を復号化してモデル連合勾配平文を取得し、且つ前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新すること、及び
前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新するように前記ファーストパーティに指示するために、ファーストパーティに前記モデル連合勾配平文を送信すること、を行うように構成される。

上記の実施例に基づいて、オプションとして、前記ファーストパーティ訓練サンプルと前記セカンドパーティ訓練サンプルはデータ構造が同じである。

本実施例の技術案では、セカンドパーティは、ファーストパーティがセカンドパーティの勾配及びサンプル量を結合してモデル連合勾配情報を効果的に計算するように、勾配及びサンプル量をファーストパーティに送信する。これにより、双方のモデルの効果的な更新を実現する。

本出願の実施例によれば、本出願は、電子機器及び可読記憶媒体を提供する。

図７に示すように、本出願の実施例に係るモデル連合訓練方法の電子機器のブロック図である。電子機器は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなどの、様々な形式のデジタルコンピュータを表すことを目的としている。電子機器は、例えばパーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイスおよびその他の同様のコンピューティングデバイス等の、様々な形式のモバイルデバイスを表すこともできる。明細書に示されているコンポーネント、それらの接続と関係、およびそれらの機能は単なる例であり、ここで説明および／または必要とされる本出願の実現を制限することを意図したものではない。

図７に示すように、当該電子機器は、１つ又は複数のプロセッサ７０１、メモリ７０２、及び各コンポーネントを接続するためのインターフェースを含む。インターフェースは高速インターフェース及び低速インターフェースを含む。各コンポーネントは、異なるバスにより互いに接続されており、パブリックメインボードに取り付けられてもよく、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは、電子機器内において実行する命令を処理することができ、命令は、外部入力／出力デバイス（例えば、インターフェースに結合された表示装置など）にＧＵＩのグラフィック情報を表示するようにメモリ内又はメモリ上に記憶されている命令を含む。他の実施形態では、必要がある場合、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器が接続されてもよく、各電子機器は一部の必要な操作（例えば、サーバアレイ、一組のブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図７では１つのプロセッサ７０１を例とする。

メモリ７０２は、本出願に係る非一時的なコンピュータ可読記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、このように、前記少なくとも１つのプロセッサは、本出願に係るモデル連合訓練方法を実行する。本出願の非一時的なコンピュータ可読記憶媒体は、コンピュータに本出願に係るモデル連合訓練方法を実行させるためのコンピュータ命令を記憶する。

メモリ７０２は、非一時的なコンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラム及びモジュールを記憶することに用いることができ、例えば、本出願の実施例におけるモデル連合訓練方法と対応するプログラム命令／モジュールを記憶することに用いることができる。プロセッサ７０１は、メモリ７０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法実施例におけるモデル連合訓練方法を実現する。

メモリ７０２は、プログラム記憶領域及びデータ記憶領域を含んでもよい。プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができる。データ記憶領域は、モデル連合訓練の電子機器の使用により作成されたデータ等を記憶することができる。なお、メモリ７０２は、高速ランダムアクセスメモリを含んでもよく、更に、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュ記憶装置、又は他の非一時的固体記憶装置などの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔的に設置されたメモリを含んでもよく、これらのリモートメモリは、ネットワークを介してモデル連合訓練の電子機器に接続することができる。上記ネットワークの例には、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワークおよびそれらの組み合わせが含まれるが、これらに限定されない。

モデル連合訓練方法の電子機器は、入力デバイス７０３及び出力デバイス７０４を更に含んでもよい。プロセッサ７０１、メモリ７０２、入力デバイス７０３及び出力デバイス７０４は、バスまたは他の方法で接続することができる。図７では、バスによる接続を例とする。

入力デバイス７０３は、入力された数字又は文字情報を受信し、モデル連合訓練の電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができる。例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つまたは複数のマウスボタン、トラックボール、ジョイスティックなどの入力デバイスが挙げられる。出力デバイス７０４は、表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含んでもよい。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態では、表示装置はタッチスクリーンであってもよい。

本明細書に記載のシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は１つ又は複数のコンピュータプログラムにおける実装形態を含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能であり、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、且つデータ及び命令を当該ストレージシステム、当該少なくとも１つの入力デバイス、及び当該少なくとも１つの出力デバイスに伝送することができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、且つハイレベル手順及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ言語／機械語でこれらのコンピュータプログラムを実施することができる。本明細書で使用する「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される、任意のコンピュータプログラム製品、デバイス、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械可読信号として受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

ユーザとの対話を提供するために、コンピュータ上にここで説明するシステム及び技術を実施することができる。当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）、並びにキーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）を有する。ユーザは、当該キーボード及び当該ポインティングデバイスにより、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとの対話を提供することもでき、例えば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力を任意の形態（音響入力、音声入力、又は触覚入力を含む）で受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションデータサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェイス又はウェブブラウザを有するユーザコンピュータが挙げられ、ユーザは、当該グラフィカルユーザインターフェイス又は当該ウェブブラウザにより、ここで説明されるシステム及び技術の実施形態と対話することができる）、又はそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムにおいて実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット及びブロックチェーンネットワークを含む。

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバは、一般に互いに遠隔であり、通常に通信ネットワークを介して対話する。クライアントとサーバとの関係は、互いにクライアント－サーバ関係を有するコンピュータプログラムを対応するコンピュータ上で実行させることによって生じる。サーバは、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれるクラウドサーバであってもよく、従来の物理ホスト及びＶＰＳサービスに存在している、管理の難しさが大きく、ビジネスの拡大性が弱いという欠陥を解決するための、クラウドコンピューティングサービスシステム中のホスト製品である。

本出願の実施例の技術方案によれば、訓練双方の勾配及びサンプル量に基づいて、双方のモデル更新に適したモデル連合勾配情報を確定することができ、これにより、モデル連合訓練の効率を大幅に向上させることができる。

上記の様々な形式のプロセスを使用して、ステップを並べ替え、追加、または削除できることが理解できる。例えば、本出願に記載の各ステップは、本出願に開示された技術的解決策の所望の結果が達成できる限り、並行して、順次に、または異なる順序で実行することができるが、本明細書には限定されない。

上記の具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件および他の要因に従って、様々な修正、組み合わせ、再組合および置換を行うことができることを理解できる。本出願の精神と原則の範囲内で行われた修正、同等の置換、および改善は、本出願の保護の範囲に含まれるものとされる。

Claims (14)

1. 第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得するステップと、
   セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得するステップであって、前記セカンドパーティ特徴勾配情報は、前記セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである、ステップと、
   前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び前記第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて前記ファーストパーティモデルを更新し、前記セカンドパーティが前記セカンドパーティモデルを更新するために、前記モデル連合勾配情報を前記セカンドパーティに送信するステップと、を含み、
   前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び前記第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて前記ファーストパーティモデルを更新し、前記セカンドパーティが前記セカンドパーティモデルを更新するために、前記モデル連合勾配情報を前記セカンドパーティに送信するステップは、
   ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいて、モデル連合勾配暗号文を確定するステップと、
   第２準同型暗号鍵を採用して前記モデル連合勾配暗号文を復号化してモデル連合勾配平文を得ることと、前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新することとを前記セカンドパーティに実行させるように、前記セカンドパーティに前記モデル連合勾配暗号文を送信するステップと、
   前記セカンドパーティから前記モデル連合勾配平文を取得し、且つ前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新するステップと、を含むモデル連合訓練方法。
2. 前記ファーストパーティ訓練サンプルは、ファーストパーティがファーストパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第１サンプル量とされ、前記セカンドパーティ訓練サンプルは、前記セカンドパーティがセカンドパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第２サンプル量とされる請求項１に記載の方法。
3. 前記ファーストパーティ特徴勾配暗号文及び前記第１サンプル量暗号文は、ファーストパーティが前記セカンドパーティから取得された第１準同型暗号鍵を採用してファーストパーティ特徴勾配平文及び第１サンプル量平文をそれぞれ暗号化することにより得られたものであり、
   前記セカンドパーティ特徴勾配暗号文及び前記第２サンプル量暗号文は、前記セカンドパーティが前記第１準同型暗号鍵を採用してセカンドパーティ特徴勾配平文及び第２サンプル量平文をそれぞれ暗号化することにより得られたものである、
   請求項１に記載の方法。
4. 前記ファーストパーティ訓練サンプルと前記セカンドパーティ訓練サンプルはデータ構造が同じである請求項１に記載の方法。
5. 秘匿共通集合計算プロトコルにより、ファーストパーティサンプルデータとセカンドパーティサンプルデータとの間の共通特徴次元を確定するステップと、
   前記共通特徴次元に基づいて、前記ファーストパーティ訓練サンプル及び前記セカンドパーティ訓練サンプルを確定するステップと、を更に含む請求項４に記載の方法。
6. 第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練し、セカンドパーティ特徴勾配情報を取得するステップと、
   第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得することと、前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいてモデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて前記ファーストパーティモデルを更新することとをファーストパーティに実行させるように、前記ファーストパーティに前記第２サンプル量情報及び前記セカンドパーティ特徴勾配情報を送信するステップと、
   前記ファーストパーティによって送信された前記モデル連合勾配情報に基づいて前記セカンドパーティモデルを更新するステップと、
   第１準同型暗号鍵及び第２準同型暗号鍵を確定し、且つ前記ファーストパーティに前記第１準同型暗号鍵を送信するステップとを含み、
   ここで、前記ファーストパーティに第２サンプル量情報及び前記セカンドパーティ特徴勾配情報を送信するステップは、
   ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいてモデル連合勾配暗号文を確定することを前記ファーストパーティに実行させるように、前記ファーストパーティに前記第２サンプル量暗号文及び前記セカンドパーティ特徴勾配暗号文を送信するステップと、
   前記ファーストパーティから前記モデル連合勾配暗号文を取得し、前記第２準同型暗号鍵を採用して前記モデル連合勾配暗号文を復号化してモデル連合勾配平文を取得し、且つ前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新するステップと、
   前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新するように前記ファーストパーティに指示するために、前記ファーストパーティに前記モデル連合勾配平文を送信するステップと、
   を含むモデル連合訓練方法。
7. 前記ファーストパーティ訓練サンプルは、前記ファーストパーティがファーストパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第１サンプル量とされ、前記セカンドパーティ訓練サンプルは、前記セカンドパーティがセカンドパーティサンプルデータからランダムにサンプリングしたものであり、且つランダムに抽出されたサンプル数が前記第２サンプル量とされる請求項６に記載の方法。
8. 前記ファーストパーティ特徴勾配暗号文及び前記第１サンプル量暗号文は、前記ファーストパーティが前記第１準同型暗号鍵を採用してファーストパーティ特徴勾配平文及び第１サンプル量平文をそれぞれ暗号化することにより得られたものであり、
   前記セカンドパーティ特徴勾配暗号文及び前記第２サンプル量暗号文は、前記セカンドパーティが前記第１準同型暗号鍵を採用してセカンドパーティ特徴勾配平文及び第２サンプル量平文をそれぞれ暗号化することにより得られたものである、
   請求項６に記載の方法。
9. 前記ファーストパーティ訓練サンプルと前記セカンドパーティ訓練サンプルはデータ構造が同じである請求項６に記載の方法。
10. 第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得するように構成される情報確定モジュールと、
    セカンドパーティからセカンドパーティ特徴勾配情報及び第２サンプル量情報を取得するように構成される情報取得モジュールであって、前記セカンドパーティ特徴勾配情報は、前記セカンドパーティが第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練することにより取得されるものである、情報取得モジュールと、
    前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び前記第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて前記ファーストパーティモデルを更新し、前記セカンドパーティが前記セカンドパーティモデルを更新するために、前記モデル連合勾配情報を前記セカンドパーティに送信するように構成されるモデル更新モジュールと、を含み、
    前記モデル更新モジュールは、さらに
    ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいて、モデル連合勾配暗号文を確定し、
    第２準同型暗号鍵を採用して前記モデル連合勾配暗号文を復号化してモデル連合勾配平文を得ることと、前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新することとを前記セカンドパーティに実行させるように、前記セカンドパーティに前記モデル連合勾配暗号文を送信し、
    前記セカンドパーティから前記モデル連合勾配平文を取得し、且つ前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新するように構成される
    モデル連合訓練装置。
11. 第２サンプル量のセカンドパーティ訓練サンプルを採用して訓練対象のセカンドパーティモデルを訓練し、セカンドパーティ特徴勾配情報を取得するための情報確定モジュールと、
    第１サンプル量のファーストパーティ訓練サンプルを採用して訓練対象のファーストパーティモデルを訓練し、ファーストパーティ特徴勾配情報を取得することと、前記ファーストパーティ特徴勾配情報、前記セカンドパーティ特徴勾配情報、第１サンプル量情報及び第２サンプル量情報に基づいて、モデル連合勾配情報を確定し、前記モデル連合勾配情報に基づいて、前記ファーストパーティモデルを更新することとをファーストパーティに実行させるように、ファーストパーティに前記第２サンプル量情報及び前記セカンドパーティ特徴勾配情報を送信するための情報送信モジュールと、を含み、
    前記情報送信モジュールは、さらに
    第１準同型暗号鍵及び第２準同型暗号鍵を確定し、且つ前記ファーストパーティに前記第１準同型暗号鍵を送信し、
    ファーストパーティ特徴勾配暗号文、セカンドパーティ特徴勾配暗号文、第１サンプル量暗号文及び第２サンプル量暗号文に基づいてモデル連合勾配暗号文を確定することを前記ファーストパーティに実行させるように、前記ファーストパーティに前記第２サンプル量暗号文及び前記セカンドパーティ特徴勾配暗号文を送信し、
    前記ファーストパーティから前記モデル連合勾配暗号文を取得し、前記第２準同型暗号鍵を採用して前記モデル連合勾配暗号文を復号化してモデル連合勾配平文を取得し、且つ前記モデル連合勾配平文に基づいて前記セカンドパーティモデルを更新し、
    前記モデル連合勾配平文に基づいて前記ファーストパーティモデルを更新するように前記ファーストパーティに指示するために、前記ファーストパーティに前記モデル連合勾配平文を送信するように構成される
    モデル連合訓練装置。
12. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリとを含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～５のいずれかに記載の方法、又は請求項６～９のいずれかに記載の方法を実行させる、電子機器。
13. コンピュータに請求項１～５のいずれかに記載の方法、又は請求項６～９のいずれかに記載の方法を実行させるためのコンピュータ命令が記憶される非一時的なコンピュータ可読記憶媒体。
14. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１～５又は請求項６～９のいずれか一項に記載の方法を実現する、コンピュータプログラム。
    

Images