JP7297131B2 - 分散型機械学習モデルのトレーニング方法、装置、機器および媒体 - Google Patents

Description

本開示は、人工知能の技術分野に関し、具体的には、深層学習の技術分野に関し、特に、分散型機械学習モデルのトレーニング方法、装置、機器および媒体に関する。

人工知能技術の発展に伴い、機械学習は、各シーンでますます広く使用されている。

分散型機械学習の普及に伴い、プライバシー保護の問題が引き出された。機械学習モデルのトレーニングでは、常に、多者がそれぞれ提供したデータサンプルを組み合わせてトレーニングする必要がある。しかし、多者は、自分が持っているデータサンプルに対してプライバシー保護のニーズがあり、自分が持っているデータサンプルが公開されたり、他者に取得されたりすることを望まない。更に、多者は、それぞれ機械学習モデルにおける一部のモデルをトレーニングする必要がある可能性があり、該一部のモデルのトレーニング過程のデータも、他者に知られたくない。

上記ニーズに対し、従来技術は、一般的に、信頼された第３者で協調を行い、他の参加者に暴露したくないプライバシーデータを信頼された第３者で処理を行う。従来技術では、依然として信頼された第３者が悪意ある漏洩する可能性があり、且つ、大量のデータが多者と信頼された第３者との間でインタラクションするため、モデルのトレーニング過程のデータ伝送量は大きくなり、効率は低くなる。

本開示は、多者のトレーニングモデルのプライバシーデータの保護とモデルのトレーニング効率とを両立するための分散型機械学習モデルのトレーニング方法、装置、機器および媒体を提供する。

本開示の一態様によれば、
第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得することと、
第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成することと、
前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成することと、
前記第２の参加者による第２の準同型秘密鍵を用いる前記第１の暗号化キーパラメータの復号化のために、前記第１の暗号化キーパラメータを第２の参加者に伝送することと、
前記第２の参加者により復号化された第１のキーパラメータを取得することと、
前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新することとを含む、
分散型機械学習モデルのトレーニング方法を提供する。

本開示の別の態様によれば、
第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得するための中間パラメータ取得モジュールと、
第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成するための干渉パラメータ形成モジュールと、
前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成するためのパラメータ生成モジュールと、
前記第２の参加者による第２の準同型秘密鍵を用いる前記第１の暗号化キーパラメータの復号化のために、前記第１の暗号化キーパラメータを第２の参加者に伝送するためのパラメータ復号モジュールと、
前記第２の参加者により復号化された第１のキーパラメータを取得するための第１のキーパラメータ取得モジュールと、
前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新するためのサブモデルトレーニングモジュールとを備える、
分散型機械学習モデルのトレーニング装置を更に提供する。

本開示の別の態様によれば、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されたメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが本開示の実施例に係るいずれかの分散型機械学習モデルのトレーニング方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器を更に提供する。

本開示の別の態様によれば、
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、本開示の実施例に係るいずれかの分散型機械学習モデルのトレーニング方法をコンピュータに実行させることに用いられる、
非一時的なコンピュータ可読記憶媒体を更に提供する。

本開示の別の態様によれば、
プロセッサにより実行されると、本開示の実施例に係るいずれかの分散型機械学習モデルのトレーニング方法を実現する、
コンピュータプログラムを更に提供する。

本開示の技術によれば、多者のトレーニングモデルのプライバシーデータの保護とモデルのトレーニング効率とを両立する。

本開示に記載された内容は、本開示の実施例のキーとなるまたは重要な特徴を標識するためのものではなく、本開示の範囲を限定するものでもないことが理解されるべきである。本開示の他の特徴は、以下の明細書により容易に理解することができる。

図面は本形態をより良く理解するためのものであり、本開示を限定するものではない。

本開示の実施例に係る分散型機械学習モデルのトレーニング方法の模式図である。 本開示の実施例に係る別の分散型機械学習モデルのトレーニング方法の模式図である。 本開示の実施例に係る更なる分散型機械学習モデルのトレーニング方法の模式図である。 本開示の実施例に係る分散型機械学習モデルのトレーニング装置の模式図である。 本開示の実施例の分散型機械学習モデルのトレーニング方法を実現するための電子機器のブロック図である。

以下、図面を参照しながら本開示の例示的な実施例について説明する。ここで、理解の便宜上、本開示の実施例に係る様々な細かい内容まで含まれているが、例示的なものに過ぎないと理解すべきである。従って、当業者であれば理解するであろうが、本開示の範囲および主旨から逸脱しない限り、ここで説明する実施例に対して様々な変更や修正を行うことができる。同様に、以下の説明において、公知されている機能および構造の説明は、明確且つ簡潔にするために省略している。

以下、図面を参照しながら本開示の実施例に係る形態について詳細に説明する。

図１は、本開示の実施例に係る分散型機械学習モデルのトレーニング方法の模式図であり、本開示の実施例は、多者がプライバシー保護のニーズでデータのインタラクションを行い、機械学習モデルのトレーニングを完了する場合に適用できる。該方法は、分散型機械学習モデルのトレーニング装置により実行することができ、該装置は、ハードウェアおよび／またはソフトウェアの方式で実現することができ、電子機器に構成され得る。該電子機器は、いずれかの参加者に属する機器であってもよく、多者が共同でトレーニングするシーンで、一般的に、少なくとも２人の参加者がモデルのトレーニングに参加し、各参加者は独立した電子機器を有することができ、複数の参加者はインタラクションを行い、モデルのトレーニングを完了する。本実施例は、いずれかの参加者の視点から説明し、各参加者のモデルのトレーニング過程はほぼ同じである。

図１を参照し、該方法は、具体的に、以下のステップを含む。

Ｓ１０１において、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する。

ここで、第１の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第１のトレーニング中間パラメータを暗号化したデータであり、第１のトレーニング中間パラメータは、第１の参加者が第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後に生成した中間パラメータであり、第２の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第２のトレーニング中間パラメータを暗号化したデータであり、第２のトレーニング中間パラメータは、第２の参加者が第２のサンプルデータに基づいて第２のサブモデルをトレーニングした後に生成した中間パラメータであり、機械学習モデルは、少なくとも２人の参加者のそれぞれのローカルなサブモデルで構成される。

機械学習モデルのトレーニングは、少なくとも２人の参加者により参加され、機械学習モデルは、少なくとも２人の参加者のそれぞれのローカルなサブモデルで構成され、各サブモデルは、いずれもトレーニング待ちモデルであり、サブモデルのそれぞれのトレーニング過程は、プライバシー性を有し、秘密を保持する必要がある。ここで、第１の参加者は、モデルのトレーニングに参加した複数の参加者のうちのいずれかの参加者であってもよく、第２の参加者は、モデルのトレーニングに参加した複数の参加者のうちの第１の参加者以外の他の参加者であってもよく、第２の参加者は１つであってもよいし、複数であってもよい。第１のサブモデルは第１の参加者のローカルなサブモデルであってもよく、第２のサブモデルは第２の参加者のローカルなサブモデルであってもよい。

ここで、第１のサンプルデータは、第１の参加者が第１のサブモデルをトレーニングするために使用するサンプルデータであってもよく、第２のサンプルデータは、第２の参加者が第２のサブモデルをトレーニングするために使用するサンプルデータであってもよい。各参加者が持っているサンプルデータに対応する対象は重なるが、対象の属性データが異なる。例えば、ネットショッピングプラットフォームまたは出前プラットフォームにおいて、各プラットフォーム側は、それぞれモデルのトレーニングの参加者であり、トレーニング対象は重なり、いずれも同じユーザに基づくが、各参加者はユーザの異なる属性データを持っている。例えば、ネットショッピングプラットフォームは、ユーザのネットショッピングの関連データを持ち、出前プラットフォームは、ユーザが出前プラットフォームに記録した関連データを持つ。ネットショッピングプラットフォームであっても、出前プラットフォームであっても、ユーザのプライバシーデータを不可視に処理するか、またはユーザのプライバシーデータを隠してから各プラットフォームにおけるネットショッピング情報または出前情報を使用する必要がある。各参加者がトレーニングするサブモデルは、プラットフォーム自体が持っている属性データに関連するデータ処理サブモデルである。各サブモデルをトレーニングしてから組み合わせて得た機械トレーニングモデルは、ユーザの多面的な属性データを合わせ、プラットフォーム自体に必要なデータを得ることができる。少なくとも１人の参加者のサンプルデータにはラベルが付され、例えば、ユーザに契約違反のリスクが存在する否かをラベルとし、ネットショッピングプラットフォームにより知られ、この場合、ネットショッピングプラットフォーム側のサンプルデータはラベルを持っている。他の参加者により提供されたサンプルデータは、ラベルを持たなくてもよい。

具体的には、第１の参加者は、第１のサンプルデータに基づいて第１のサブモデルをトレーニングし、第１のトレーニング中間パラメータを取得し、第２の参加者は、第２のサンプルデータに基づいて第２のサブモデルをトレーニングし、第２のトレーニング中間パラメータを取得する。上記トレーニング過程において、参加者自身が持っているサンプルデータをサブモデルに入力して計算し、トレーニング中間パラメータは、サブモデルから出力された、ターゲット損失関数および勾配計算を行うためのパラメータを含む。サブモデルのトレーニング中間パラメータは、他の参加者のトレーニング中間パラメータと共にターゲット損失関数および勾配関数のような計算を経て、サブモデルのトレーニングが収束されたか否か、およびどのような勾配で反復更新すべきか等を確定する必要がある。

第２の参加者は、第２の準同型公開鍵により、第２のトレーニング中間パラメータを暗号化動作し、第２の準同型暗号中間パラメータを取得して第１の参加者に送信する。第１の参加者は、第２の参加者から送信された第２の準同型公開鍵により、第１のトレーニング中間パラメータを暗号化し、第１の準同型暗号中間パラメータを取得する。

ここで、各参加者は、自分の準同型秘密鍵ペアを有し、準同型秘密鍵ペアは、準同型秘密鍵および準同型公開鍵を含み、準同型公開鍵は他の参加者に提供でき、準同型秘密鍵は自分で保持する。具体的には、第２の参加者は、第２の準同型秘密鍵ペアを生成し、第２の準同型秘密鍵ペアは第２の準同型公開鍵および第２の準同型秘密鍵を含む。第２の準同型秘密鍵は、第２の準同型公開鍵により暗号化されたデータを復号化することに用いられる。第２の準同型公開鍵は、第２の参加者が第２の準同型公開鍵に基づいて第２のトレーニング中間パラメータを暗号化することに用いられる。第２の参加者は第２の準同型公開鍵を第１の参加者に送信し、第１の参加者は、後続の第２の参加者が第２の準同型秘密鍵により、第１の参加者が第２の準同型公開鍵に基づいて暗号化したデータを復号化するように、第２の準同型公開鍵に基づいて第１のトレーニング中間パラメータを暗号化する。

Ｓ１０２において、第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成する。

ここで、第１の干渉パラメータは、第１の参加者により生成された干渉パラメータであってもよく、第１の参加者のモデルのトレーニング過程をスクランブルし、プライバシー性を保証することに用いられる。

好ましくは、第１の干渉パラメータは乱数であり、例えば、ランダム整数またはランダム浮動小数点数であってもよい。ここで、ランダム浮動小数点数の値の区間は、０～１間の任意の浮動小数点数であってもよい。

第１の参加者は第１の干渉パラメータを生成し、第２の参加者の第２の準同型公開鍵を用いて第１の干渉パラメータを暗号化し、第１の暗号化干渉パラメータを形成する。

Ｓ１０３において、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成する。

ここで、準同型計算関数は、準同型暗号データを計算することができ、且つ、計算過程において暗号化データを漏洩することがなく、計算された結果は依然として暗号化結果である。準同型計算関数により準同型暗号データを計算して得た暗号化結果は、準同型暗号データに対応するプレーンテキストデータを計算して得た結果と、復号後に同じとなる。従い、準同型暗号技術は、計算過程に影響を及ぼさないが、計算過程を秘密保持することができる。

上記動作における準同型計算関数は、第１の暗号化キーパラメータを計算することに用いられ、第１の暗号化キーパラメータは、第１のサブモデルのトレーニング終了条件判断パラメータおよび／または反復更新パラメータを含む。例えば、ターゲット損失関数計算の損失値または反復更新の勾配値等を含む。

具体的には、公開鍵を用いてデータを暗号化して暗号化データを生成し、準同型計算関数を用いて暗号化データを計算して暗号化結果を得る場合、秘密鍵を持っている一方は、秘密鍵により暗号化結果を復号化することができる。

第１の参加者は、第１のサブモデルの準同型計算関数により、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータおよび第１の暗号化干渉パラメータを計算し、第１の暗号化キーパラメータを生成することができる。なお、第１の参加者は、第１のサブモデルの準同型計算関数により、第１の準同型暗号中間パラメータおよび第２の暗号化中間パラメータを計算し、第１の暗号化干渉パラメータを線形計算または非線形計算の方式で計算結果に重ねて、第１の暗号化キーパラメータを生成することができる。

１つの好ましい実施例において、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成することは、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータに基づき、第１のサブモデルの準同型計算関数により計算し、第１の暗号化干渉パラメータを線形計算により計算結果に重ねて、第１の暗号化キーパラメータを生成することを含む。

例示的には、第１の参加者は、第１のサブモデルの準同型計算関数により第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを計算し、且つ、第１の暗号化干渉パラメータを線形計算の方式で計算結果に重ねて、第１の暗号化キーパラメータを生成することができる。

例示的には、計算結果の異なる形式に応じ、異なる線形計算の方式で計算することができ、例えば、計算結果としての中間パラメータの形式は、集合形式であってもよい。計算結果の形式が集合形式であることを例とすれば、集合をトラバースする方式により第１の暗号化干渉パラメータを線形計算の方式で集合内の各要素に重ねて、第１の暗号化キーパラメータ集合を取得することができる。

本好ましい実施例は、第１のサブモデルの準同型計算関数により第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを計算し、且つ、第１の暗号化干渉パラメータを線形計算により計算結果に重ねるという方式で、第１の暗号化キーパラメータの取得を実現し、第１の参加者のデータの安全性を向上させ、データ漏洩の状況の発生を回避する。

Ｓ１０４において、第２の参加者による第２の準同型秘密鍵を用いる第１の暗号化キーパラメータの復号化のために、第１の暗号化キーパラメータを第２の参加者に伝送する。

第１の参加者は、第１の暗号化キーパラメータを第２の参加者に伝送し、第１の参加者は、第２の準同型秘密鍵を用いて受信した第１の暗号化キーパラメータを復号化し、第１のキーパラメータを生成する。

なお、第２の参加者により生成された第１のキーパラメータに第１の干渉パラメータが含まれるため、第２の参加者は、第１の干渉パラメータを含まない第１のキーパラメータを知ることができず、即ち、第１の参加者の第１のサブモデルのターゲット関数による損失値および勾配パラメータ等のデータを知ることができない。従い、逆方向推定して第１の参加者が採用したターゲット関数および勾配関数を知ることができず、第１の参加者のサブモデルのトレーニング終了条件、勾配精度等の情報を知ることもできず、第１の参加者のモデルのトレーニング過程のプライバシー性を確保する。

Ｓ１０５において、第２の参加者により復号化された第１のキーパラメータを取得する。

Ｓ１０６において、第１のキーパラメータおよび第１の干渉パラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新する。

第１の参加者は、第１のキーパラメータから第１の干渉パラメータを抽出し、最終的なキーパラメータを確定し、最終的に確定したキーパラメータを用い、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新することができる。

なお、第１の参加者は、第１のサブモデルの準同型計算関数により、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータに基づいて計算し、第１の参加者が線形計算の方式を用いて第１の暗号化干渉パラメータを計算結果に重ねた場合、第１の参加者は、第１のキーパラメータを受信した後、更に第１の干渉パラメータに基づいて第１のキーパラメータに対して逆方向線形計算動作を行う必要がある。例えば、線形計算が加算である場合、逆方向線形計算は減算であってもよい。

１つの好ましい実施例において、第１のキーパラメータおよび第１の干渉パラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新することは、第１の干渉パラメータに基づいて第１のキーパラメータを逆方向線形計算し、逆方向線形計算したキーパラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新することを含む。

第１の参加者が線形計算の方式を用いて第１の暗号化干渉パラメータを計算結果に重ねた場合、第１の参加者は、第１のキーパラメータを受信した後、第１の干渉パラメータに基づいて第１のキーパラメータを逆方向線形計算する必要があり、これにより、第１の干渉パラメータを第１のキーパラメータから抽出し、逆方向線形計算したキーパラメータを確定することができる。具体的には、線形計算に対応するルールを採用し、第１の干渉パラメータに基づいて第１のキーパラメータを逆方向線形計算することができる。第１の参加者は、逆方向線形計算したキーパラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新する。各参加者は、トレーニング済みのサブモデルを持つことができ、機械学習モデルを用いて処理する必要がある場合、入力された処理待ちデータをそれぞれ各参加者に提供し、サブモデルで処理した後、結果をまとめることができる。

第１のキーパラメータが集合形式であることを例とし、線形計算のルールが、第１の暗号化干渉集合内の各要素をトラバースし、各要素に同じ第１の暗号化干渉パラメータを線形重ねることである場合、逆方向線形計算は、第１のキーパラメータ集合内の各要素をトラバースし、各要素から第１の干渉パラメータを減算することであってもよい。

本好ましい実施例は、逆方向線形計算の方式を採用することによりキーパラメータを確定し、上記第１の参加者が線形計算の方式を用いて第１の暗号化干渉パラメータを計算結果に重ねることに対応し、上記線形計算の方式で確定された結果に解決ルートを提供し、第１の干渉パラメータに基づいてキーパラメータを正確に確定することができる。

本開示の実施例は、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得し、第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成し、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成し、第２の参加者が第２の準同型秘密鍵を用いて第１の暗号化キーパラメータを復号化するように、第１の暗号化キーパラメータを第２の参加者に伝送し、第２の参加者により復号化された第１のキーパラメータを取得し、第１のキーパラメータおよび第１の干渉パラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新する。上記形態は、多者のトレーニングモデルのプライバシーデータおよびトレーニング過程のデータの保護を実現するとともに、信頼された第３者で協調する必要がなく、信頼された第３者がデータを悪意ある漏洩する可能性を回避し、且つ、大量のデータが多者と信頼された第３者との間でインタラクションすることを回避し、モデルのトレーニング過程のデータ伝送量を減少し、モデルのトレーニングの効率を向上させる。

なお、第１の参加者および第２の参加者がトレーニングして得たサブモデルの正確度を確保するために、第１の参加者および第２の参加者に対応するサンプルデータの所属対象を一致に保持し、従い、第１の参加者および第２の参加者の各サンプルデータ内の同じユーザに属するサンプルデータを、第１の参加者に対応する第１のサンプルデータおよび第２の参加者に対応する第２のサンプルデータとして取得する必要がある。

１つの好ましい実施例において、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する前に、第１の参加者と第２の参加者のサンプルデータ積集合識別子を確定することを更に含み、少なくとも１人の参加者のサンプルデータにラベルが対応して付されている。

少なくとも１人の参加者のサンプルデータにラベルが対応して付されている。ここで、ラベルは、モデルのトレーニングの結果であってもよく、例えば、サンプルデータがユーザの契約違反係数のリスクであれば、対応するラベルは、リスクがあることまたはリスクがないことであってもよい。

例示的には、プライバシー集合の求集（Ｐｒｉｖａｔｅ Ｓｅｔ Ｉｎｔｅｒｓｅｃｔｉｏｎ、ＰＳＩ）の方式により、それぞれ第１の参加者のサンプルデータおよび第２の参加者のサンプルデータを積集合演算する。ここで、ＰＳＩは、各参加者がいかなる付加情報を漏洩しないことで、各参加者が持っているサンプルデータの積集合を取得することができる。ここで、付加情報は、各参加者のサンプルデータの積集合以外の任意の情報であってもよい。

具体的には、第１の参加者のサンプルデータおよび第２の参加者のサンプルデータに対してＰＳＩ計算を行い、第１の参加者と第２の参加者とが共同で持っているサンプルデータ積集合を確定し、サンプルデータ積集合識別子を確定し、ここで、サンプルデータ積集合識別子は、ユーザの身分証明書番号、ユーザ名等であってもよい。第１の参加者および第２の参加者は、サンプルデータ積集合識別子のみを知ることができ、サンプルデータ積集合識別子以外の他の付加情報を知ることができず、各参加者の各サンプルデータの安全性を確保する。第１の参加者は、ＰＳＩ計算により確定されたサンプルデータ積集合識別子に基づいて第１のサンプルデータを取得し、第２の参加者は、ＰＳＩ計算により確定されたサンプルデータ積集合識別子に基づいて第２のサンプルデータを取得する。

例えば、第１の参加者のサンプルデータは、ユーザの身分証明書番号データおよびユーザの信用度データであり、第２の参加者のサンプルデータは、ユーザの身分証明書番号データおよびユーザ年齢データである。ＰＳＩ計算により、第１の参加者および第２の参加者のサンプルデータ積集合識別子がユーザの身分証明書番号であることを確定でき、且つ、ユーザの身分証明書番号により各参加者のサンプルデータ積集合を確定することができる。第１の参加者は、第２の参加者のサンプルデータにユーザの身分証明書番号に対応するサンプルデータが存在することのみを知ることができ、第２の参加者のサンプルデータ内の、ユーザ年齢のような他のサンプルデータ識別子を知ることができず、更に、ユーザ年齢データを知ることができない。同様に、第２の参加者は、第１の参加者のサンプルデータ内の、ユーザの信用度のような他のサンプルデータ識別子を知ることもできず、更に、ユーザの信用度データを知ることもできない。

本好ましい実施例は、ＰＳＩ計算の方式を用いて第１の参加者と第２の参加者のサンプルデータ積集合識別子を確定し、第１の参加者がサンプルデータ積集合識別子に基づいて第１のサンプルデータを確定し、第２の参加者がサンプルデータ積集合識別子に基づいて第２のサンプルデータを確定することを実現し、サンプルデータの一致性を確保する。また、ＰＳＩによりサンプルデータ積集合を計算する方式により、各参加者は、サンプルデータ積集合識別子以外の他の付加情報を知ることができず、各参加者の各サンプルデータの安全性を確保することができる。少なくとも１人の参加者のサンプルデータにラベルを付す方式により、モデルのトレーニング結果のカテゴリの確定を実現する。

図２は、本開示の実施例に係る別の分散型機械学習モデルのトレーニング方法の模式図であり、本実施例は、上記実施例の基に提出された好ましい形態である。図２を参照し、本実施例に係る分散型機械学習モデルのトレーニング方法は、以下のステップを含む。

Ｓ２０１において、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する。

ここで、第１の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第１のトレーニング中間パラメータを暗号化したデータであり、第１のトレーニング中間パラメータは、第１の参加者が第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後に生成した中間パラメータであり、第２の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第２のトレーニング中間パラメータを暗号化したデータであり、第２のトレーニング中間パラメータは、第２の参加者が第２のサンプルデータに基づいて第２のサブモデルをトレーニングした後に生成した中間パラメータであり、機械学習モデルは、少なくとも２人の参加者のそれぞれのローカルなサブモデルで構成される。

ここで、第１のトレーニング中間パラメータは、第１の中間損失パラメータおよび第１の中間勾配パラメータを含んでもよく、第２のトレーニング中間パラメータは、第２の中間損失パラメータおよび第２の中間勾配パラメータを含んでもよい。これに対応し、第１の準同型暗号中間パラメータは、第１の準同型暗号損失パラメータおよび第１の準同型暗号損失パラメータを含んでもよく、第２の準同型暗号中間パラメータは、第２の準同型暗号損失パラメータおよび第２の準同型暗号損失パラメータを含んでもよい。ここで、損失パラメータは、モデルの収束程度を表すことができ、勾配パラメータは、モデルにおけるパラメータを更新することができる。

好ましくは、各参加者は、各ローカルなサブモデルによりパラメータをトレーニングする前に、更にサブモデルを初期化動作し、且つ、初期化過程で現在の損失パラメータをランダムに設定することができ、例えば、０に設定することができる。

なお、機械学習モデルのトレーニング過程において、サンプルデータのオーダーが大きいため、生成されたパラメータは、通常、集合形式で示され、集合に含まれる要素は、モデルがトレーニング過程で生成した中間パラメータであってもよく、例えば、損失パラメータ集合に損失中間パラメータが含まれ、勾配パラメータ集合に勾配中間パラメータが含まれる。従い、本実施例に係るモデルのトレーニングにより得られた損失パラメータおよび勾配パラメータの存在形式は集合形式であり、準同型暗号により得られた暗号化損失パラメータおよび暗号化勾配パラメータの存在形式は、同様に集合形式である。

Ｓ２０２において、第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成する。

ここで、第１の干渉パラメータは、第１の勾配干渉パラメータおよび第１の損失干渉パラメータを含む。第２の参加者の第２の準同型公開鍵を用いて第１の勾配干渉パラメータおよび第１の損失干渉パラメータを暗号化し、第１の暗号化勾配干渉パラメータおよび第１の暗号化損失干渉パラメータを形成する。

第１の勾配干渉パラメータおよび第１の損失干渉パラメータは乱数であり、例えば、ランダム整数またはランダム浮動小数点数であってもよく、第１の勾配干渉パラメータおよび第１の損失干渉パラメータの乱数は、同じであるように設定してもよいし、異なるように設定してもよく、具体的に、当業者が実際のニーズに応じて人為的に設定することができる。

Ｓ２０３において、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化勾配干渉パラメータ、および第１のサブモデルの準同型勾配計算関数に基づいて計算し、第１の暗号化勾配パラメータを生成する。

第１の準同型暗号中間パラメータ内の第１の準同型暗号勾配パラメータ、第２の準同型暗号中間パラメータ内の第２の準同型暗号勾配パラメータ、第１の暗号化勾配干渉パラメータ、および第１のサブモデルの準同型勾配計算関数に基づいて計算し、第１の暗号化勾配パラメータを生成する。

ここで、準同型勾配計算関数は、第１の準同型暗号勾配パラメータおよび第２の準同型暗号勾配パラメータを勾配計算することに使用できる。例示的には、第１の参加者は、第１のサブモデルの準同型勾配計算関数により、第１の準同型暗号勾配パラメータおよび第２の準同型暗号勾配パラメータを勾配計算し、且つ、計算した勾配計算結果に第１の暗号化勾配干渉パラメータを線形重ねる。例えば、計算結果により得られた勾配集合をトラバースし、第１の暗号化勾配干渉線形を勾配集合内の各要素に重ねて、線形重ねた結果を第１の暗号化勾配パラメータとすることができる。

Ｓ２０４において、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化損失干渉パラメータ、および第１のサブモデルの準同型損失計算関数に基づいて計算し、第１の暗号化損失パラメータを生成する。

第１の準同型暗号中間パラメータ内の第１の準同型暗号損失パラメータ、第２の準同型暗号中間パラメータ内の第２の準同型暗号損失パラメータ、第１の暗号化損失干渉パラメータ、および第１のサブモデルの準同型損失計算関数に基づいて計算し、第１の暗号化損失パラメータを生成する。

ここで、準同型損失計算関数は、第１の準同型暗号損失パラメータおよび第２の準同型暗号損失パラメータを損失計算することに使用でき、好ましくは、準同型損失計算関数の設定は、上記準同型勾配計算関数の設定と同じであってもよいし、異なってもよい。

例示的には、第１の参加者は、第１のサブモデルの準同型損失計算関数により、第１の準同型暗号損失パラメータおよび第２の準同型暗号損失パラメータを損失計算し、計算した損失計算結果に第１の暗号化損失干渉パラメータを線形重ねる。例えば、計算結果により得られた損失集合をトラバースし、第１の暗号化損失干渉線形を損失集合内の各要素に重ねて、線形重ねた結果を第１の暗号化損失パラメータとすることができる。

Ｓ２０５において、第２の参加者による第２の準同型秘密鍵を用いる第１の暗号化キーパラメータの復号化のために、第１の暗号化キーパラメータを第２の参加者に伝送する。

ここで、第１の暗号化キーパラメータは、第１の暗号化損失パラメータおよび第１の暗号化勾配パラメータを含む。具体的には、第１の参加者は、第２のパラメータ方による第２の準同型秘密鍵を用いる第１の暗号化損失パラメータおよび第２の暗号化勾配パラメータの復号化のために、第１の暗号化損失パラメータおよび第１の暗号化勾配パラメータを第２の参加者に伝送する。

Ｓ２０６において、第２の参加者により復号化された第１のキーパラメータを取得する。

ここで、第１のキーパラメータは、第１の勾配パラメータおよび第１の損失パラメータを含む。具体的には、第１の参加者は、第２の参加者により復号化された第１の勾配パラメータおよび第１の損失パラメータを取得する。

Ｓ２０７において、第１のキーパラメータおよび第１の干渉パラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新する。

第１のキーパラメータ内の第１の勾配パラメータおよび第１の干渉パラメータ内の第１の勾配干渉パラメータに基づき、最終的な勾配キーパラメータを確定し、第１のキーパラメータ内の第１の損失パラメータおよび第１の干渉パラメータ内の第１の損失干渉パラメータに基づき、最終的な損失キーパラメータを確定する。最終的な損失キーパラメータを用いて第１のサブモデルが収束されたか否かを確定し、収束された場合、トレーニングが完了し、収束されていない場合、最終的な勾配キーパラメータを採用し、第１の参加者の第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新し、更に戻して次回のトレーニング中間パラメータの計算およびキーパラメータの計算を実行する。

本開示の実施例は、第１のサブモデルの準同型損失計算関数の方式を採用し、目的に応じた第１の準同型暗号損失パラメータおよび第２の準同型暗号損失パラメータに対する計算を実現し、第１の暗号化損失干渉パラメータを計算結果に線形重ねて、第１の暗号化損失パラメータを生成し、第１の暗号化損失パラメータの確定の正確度を向上させる。第１のサブモデルの準同型勾配計算関数の方式を採用し、目的に応じた第１の準同型暗号勾配パラメータおよび第２の準同型暗号勾配パラメータに対する計算を実現し、第１の暗号化勾配干渉パラメータを計算結果に線形重ねて、第１の暗号化勾配パラメータを生成し、第１の暗号化勾配パラメータの確定の正確度を向上させる。

なお、第２の参加者が最終的に確定したキーパラメータに基づいて第２のサブモデルをトレーニングできることを確保するために、第２の参加者が第１の準同型公開鍵に基づいて第１のトレーニング中間パラメータおよび第２のトレーニング中間パラメータを暗号化するように、第１の参加者の第１の準同型公開鍵を受信する必要がある。

１つの好ましい実施例において、第１の準同型公開鍵および第１の準同型秘密鍵を含む第１の準同型秘密鍵ペアを生成し、第１の準同型公開鍵を第２の参加者に送信し、第２の参加者から送信された、第２の参加者により生成された第２の準同型秘密鍵ペア内の第２の準同型公開鍵を受信する。

第１の参加者は、第１の準同型公開鍵および第１の準同型秘密鍵を含む第１の準同型秘密鍵ペアを生成し、第２の参加者は、第２の準同型公開鍵および第２の準同型秘密鍵を含む第２の準同型秘密鍵ペアを生成する。第１の参加者は、第１の準同型公開鍵を第２の参加者に送信し、第２の参加者は、第２の準同型公開鍵を第１の参加者に送信する。

本好ましい実施例は、第１の準同型秘密鍵ペアを生成し、第１の準同型秘密鍵ペア内の第１の準同型公開鍵を第２の参加者に送信する方式により、第２の参加者が第１の準同型公開鍵に基づいて第１のトレーニング中間パラメータおよび第２のトレーニング中間パラメータを暗号化動作することを実現し、後続の第２の参加者がキーパラメータを確定し、キーパラメータに基づいて第２のサブモデルをトレーニングすることができることを確保する。

図３は、本開示の実施例に係る別の分散型機械学習モデルのトレーニング方法の模式図であり、本実施例は、上記実施例の基に提出された好ましい形態であり、サンプルデータに対する標準化処理、および機械トレーニングモデルに対する逆標準化処理を追加する。図３を参照し、本実施例に係る分散型機械学習モデルのトレーニング方法は、以下のステップを含む。

Ｓ３０１において、第１の参加者の第１の元のサンプルデータを標準化処理し、サンプル特徴次元の第１の標準化値および第１のサンプルデータを取得し、標準化処理した第１のサンプルデータをモデルのトレーニングに用いる。

ここで、第１の元のサンプルデータの異なる特徴次元で、異なるディメンジョンおよびオーダーを有する。第１の元のサンプルデータの異なる特徴次元の数値レベルが大きく異なり、第１の参加者が直接第１の元のサンプルデータを用いてモデルをトレーニングする場合、数値レベルが高い特徴次元のモデルのトレーニングにおける作用を強調し、数値レベルが低い特徴次元のモデルのトレーニングにおける作用を弱める。例えば、サンプル特徴次元は、ユーザの月収、ユーザの延滞返済日数またはユーザの信用度であってもよい。ここで、ユーザの月収のオーダーが大きく、対応する数値レベルが高い。ユーザの延滞返済日数は、ユーザの月収と比べてオーダーが小さく、対応する数値レベルが低い。

データの標準化アルゴリズムにより、第１の参加者の第１の元のサンプルデータを標準化処理する。ここで、データの標準化アルゴリズムは、ｍｉｎ－ｍａｘ標準化（Ｍｉｎ－ｍａｘｎｏｒｍａｌｉｚａｔｉｏｎ）アルゴリズム、ｚ－ｓｃｏｒｅ標準化（ｚｅｒｏ－ｍｅａｎｎｏｒｍａｌｉｚａｔｉｏｎ）アルゴリズム、ｌｏｇ関数変換アルゴリズム、または正規化アルゴリズム等であってもよい。当業者は実際のニーズに応じてデータの標準化アルゴリズムを選択することができ、本実施例はこれについて限定しない。

データの標準化アルゴリズムにより、第１の参加者の第１の元のサンプルデータを標準化処理し、サンプル特徴次元の第１の標準化値および第１のサンプルデータを取得する。ここで、第１の標準化値は、サンプル特徴次元の第１の標準偏差および第１の平均値を含んでもよい。標準化処理した第１のサンプルデータを用いてモデルをトレーニングする。

Ｓ３０２において、第１の標準化値を第３の暗号化秘密鍵で暗号化して第１の暗号化標準化値を形成し、第１の暗号化標準化値を信頼された第３者に提供する。

ここで、信頼された第３者は、ハードウェアに基づく信頼された実行環境（Ｔｒｕｓｔｅｄ Ｅｘｅｃｕｔｉｏｎ Ｅｎｖｉｒｏｎｍｅｎｔ、ＴＥＥ）であってもよいし、安全なマルチパーティ計算（ＭＰＣ：Ｓｅｃｕｒｅ Ｍｕｔｉ－Ｐａｒｔｙ Ｃｏｍｐｕｔａｔｉｏｎ）プロトコルであってもよい。

信頼された第３者は、第３の暗号化秘密鍵を生成することができ、ここで、第３者の暗号化秘密鍵は、対称暗号化秘密鍵または非対称暗号化秘密鍵であってもよい。信頼された第３者は、各参加者が第３の暗号化秘密鍵ペアデータに基づいて暗号化できるように、第３の暗号化秘密鍵を各参加者にそれぞれ送信する。

１つの好ましい実施形態において、第３の暗号化秘密鍵が対称暗号化秘密鍵である場合、信頼された第３者は、第３の暗号化秘密鍵を第１の参加者および第２の参加者に送信する。第１の参加者は、第３の暗号化秘密鍵ペアの第１の標準化値を用いて暗号化して第１の暗号化標準化値を形成し、形成した第１の暗号化標準化値を信頼された第３者に提供する。同様に、第２の参加者は、第３の暗号化秘密鍵ペアの第２の標準化値を用いて暗号化して第２の暗号化標準化値を形成し、形成した第２の暗号化標準化値を信頼された第３者に提供する。

更なる好ましい実施形態において、第３の暗号化秘密鍵が非対称秘密鍵である場合、第３の暗号化秘密鍵は第３の暗号化公開鍵および第３の暗号化秘密鍵を含む。信頼された第３者は、第３の暗号化公開鍵を第１の参加者および第２の参加者に送信する。第１の参加者は第３の暗号化公開鍵を用いて第１の標準化値を暗号化して第１の暗号化標準化値を形成し、形成した第１の暗号化標準化値を信頼された第３者に提供する。同様に、第２の参加者は、第３の暗号化公開鍵を用いて第２の標準化値を暗号化して第２の暗号化標準化値を形成し、形成した第２の暗号化標準化値を信頼された第３者に提供する。

Ｓ３０３において、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する。

なお、第１のサブモデルをトレーニングした後に生成した第１のトレーニング中間パラメータの精度が統一性を有すること確保するために、更に第１のトレーニング中間パラメータを精度調整し、後続の演算により得られたデータ精度が統一性を有することを確保することもできる。

１つの好ましい実施例において、第１の準同型暗号中間パラメータを取得することは、第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後、第１のトレーニング中間パラメータを生成することと、設定精度に基づいて第１のトレーニング中間パラメータ内の浮動小数点数を第１のＢＩＧＩＮＴ（ｂｉｇ ｉｎｔｅｇｅｒ）に変換することと、第１のＢＩＧＩＮＴ内の整数値をコードし、第１の正の整数に変換することと、第２の参加者の第２の準同型公開鍵を用いて第１の正の整数を暗号化し、第１の準同型暗号中間パラメータを取得することとを含む。

ここで、精度は、当業者が実際のニーズに応じて設定することができ、具体的には、数値の小数点以下に保留された桁数であってもよく、例えば、精度を、数値の小数点以下の２桁を保留するように設定することができる。

設定精度に基づき、ＢＩＧＩＮＴ変換関数により、第１のトレーニング中間パラメータ内の浮動小数点数を第１のＢＩＧＩＮＴに変換する。例えば、ＢＩＧＩＮＴ変換関数は、ガウス関数またはｃｅｉｌ関数等であってもよい。第１のＢＩＧＩＮＴ内の整数値をコードし、第１の正の整数に変換し、具体的には、第１のＢＩＧＩＮＴ内の整数値を、真のコード（ｔｒｕｅ ｃｏｄｅ）、補数（ｃｏｍｐｌｅｍｅｎｔａｌ ｃｏｄｅ）および／または１の補数（ｏｎｅｓ－ｃｏｍｐｌｅｍｅｎｔ ｃｏｄｅ）のコード方式でコードし、第１の正の整数に変換する。第２の参加者の第２の準同型公開鍵を用いて第１の正の整数を暗号化し、第１の準同型暗号中間パラメータを取得する。

本好ましい実施例は、設定精度により第１のトレーニング中間パラメータ内の浮動小数点数を第１のＢＩＧＩＮＴに変換し、第１のＢＩＧＩＮＴ内の整数値をコードし、第１の正の整数に変換し、第１のトレーニング中間パラメータの精度に対する統一性を実現し、後続の演算により得られるデータの精度が同様に統一性を有することを確保する。

Ｓ３０４において、第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成する。

Ｓ３０５において、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成する。

Ｓ３０６において、第２の参加者による第２の準同型秘密鍵を用いる第１の暗号化キーパラメータの復号化のために、第１の暗号化キーパラメータを第２の参加者に伝送する。

Ｓ３０７において、第２の参加者により復号化された第１のキーパラメータを取得する。

Ｓ３０８において、第１のキーパラメータおよび第１の干渉パラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新する。

第１のトレーニング中間パラメータを精度処理し、第１のトレーニング中間パラメータ内の浮動小数点数を最終的に第１の正の整数に変換したため、後続で生成する第１のキーパラメータは同様に精度処理されたデータであり、従い、第１のキーパラメータを逆処理する必要がある。第１のキーパラメータに対して精度をスケーリング動作して元の精度に戻すことができる。

１つの好ましい実施例において、第１のキーパラメータおよび第１の干渉パラメータに基づき、第１のサブモデルを反復更新することは、第１の干渉パラメータに基づいて第１のキーパラメータに対して干渉除去動作を行うことと、干渉が除去された第１のキーパラメータをデコードし、設定精度に従ってスケーリングし、浮動小数点数に変換することと、変換された浮動小数点数形式の第１のキーパラメータを用いて第１のサブモデルを反復更新することとを含む。

第１のキーパラメータをデコード動作し、まず、第１のキーパラメータの数値タイプを元の正数から整数に変換し、ここで、整数は正数または負数を含み、次に、変換された整数を精度に従ってスケーリングし、ここで、精度の設定は、コード時に設定された精度と一致に保持する。最後に、精度が変換された整数を浮動小数点数に変換する。変換された浮動小数点数形式の第１のキーパラメータを用いて第１のサブモデルを反復更新する。

本好ましい実施例は、逆処理の方式を採用し、干渉が除去された第１のキーパラメータをデコードし、設定精度に従ってスケーリングし、浮動小数点数に変換する方式により、第１のキーパラメータの精度スケーリングを実現し、元の精度に戻し、データの数値タイプの一致性を確保する。

Ｓ３０９において、第１のサブモデルを第３の暗号化秘密鍵で暗号化して第１の暗号化サブモデルを形成し、信頼された第３者が各参加者により提供された暗号化サブモデルに基づいて組み合わせ、各参加者により提供された暗号化標準化値に基づいて非標準化処理を行って更に切り分けるように、第１の暗号化サブモデルを信頼された第３者に提供する。

１つの好ましい実施形態において、信頼された第３者から送信された第３の暗号化秘密鍵が対称暗号化秘密鍵である場合、第１の参加者は、第３の暗号化秘密鍵ペアの第１のサブモデルを用いて暗号化して第１の暗号化サブモデルを形成し、第１の暗号化サブモデルを信頼された第３者に提供する。同様に、第２の参加者は、第３の暗号化秘密鍵ペアの第２のサブモデルを用いて暗号化して第２の暗号化サブモデルを形成し、第２の暗号化サブモデルを信頼された第３者に提供する。

信頼された第３者は第３の暗号化秘密鍵を用い、受信した第１の参加者から提供された第１の暗号化サブモデルおよび第１の暗号化標準化値を復号化し、受信した第２の参加者から提供された第２の暗号化サブモデルおよび第２の暗号化標準化値を復号化する。信頼された第３者は、復号化した第１の参加者および第２の参加者のサブモデルを組み合わせ、復号化した第１の参加者および第２の参加者の標準化値に基づいて非標準化処理を行い、非標準化処理したサブモデルを切り分け、非標準化した第１のサブモデルと非標準化した第２のサブモデルとに分ける。信頼された第３者は、非標準化したサブモデルを第３の暗号化秘密鍵で暗号化し、各参加者にそれぞれ送信する。

更なる好ましい実施形態において、信頼された第３者から送信された第３の暗号化秘密鍵が非対称暗号化秘密鍵である場合、第１の参加者は、信頼された第３者から送信された第３の暗号化公開鍵を用いて第１のサブモデルを暗号化して第１の暗号化サブモデルを形成し、第１の暗号化サブモデルを信頼された第３者に提供する。同様に、第２の参加者は、信頼された第３者から送信された第３の暗号化公開鍵を用いて第２のサブモデルを暗号化して第２の暗号化サブモデルを形成し、第２の暗号化サブモデルを信頼された第３者に提供する。

信頼された第３者は第３の暗号化秘密鍵を用い、受信した第１の参加者から提供された第１の暗号化サブモデルおよび第１の暗号化標準化値を復号化し、受信した第２の参加者から提供された第２の暗号化サブモデルおよび第２の暗号化標準化値を復号化する。信頼された第３者は、復号化した第１の参加者および第２の参加者のサブモデルを組み合わせ、復号化した第１の参加者および第２の参加者の標準化値に基づいて非標準化処理を行い、非標準化処理したサブモデルを切り分け、非標準化した第１のサブモデルと非標準化した第２のサブモデルとに分ける。信頼された第３者は、非標準化したサブモデルを第３の暗号化秘密鍵で暗号化し、各参加者にそれぞれ送信する。

Ｓ３１０において、信頼された第３者から返信された切り分けられた第１の非標準化サブモデルを受信する。

１つの好ましい実施形態において、信頼された第３者から送信された第３の暗号化秘密鍵が対称暗号化秘密鍵である場合、各参加者は、第３の暗号化秘密鍵により、受信した信頼された第３者から返信された切り分けられた各非標準化サブモデルを復号化し、復号化した非標準化サブモデルを取得する。

更なる好ましい実施形態において、信頼された第３者から送信された第３の暗号化秘密鍵が非対称暗号化秘密鍵である場合、各参加者は、第３の暗号化公開鍵により、受信した信頼された第３者から返信された切り分けられた各非標準化サブモデルを復号化し、復号化した非標準化サブモデルを取得する。

本好ましい実施例は、参加者の元のサンプルデータを標準化処理する方式により、サンプルデータの異なる特性次元のディメンジョンおよび数理に対する統一を実現し、異なる特徴次元の数値レベルが大きく異なることによるトレーニング結果の不正確を回避する。各参加者の標準化値および標準化値でトレーニングしたサブモデルを信頼された第３者に送信し、信頼された第３者によって各参加者のサブモデルに対して非標準化動作を行うことで、データの安全性を確保し、データが漏洩されることの発生を回避する。

本開示の実施例に係る分散型機械学習モデルのトレーニング方法は、本実施例で、２人の参加者を例として説明する。

該モデルのトレーニングの完全な過程は、モデルのトレーニング段階とモデルの回復段階とに分けられる。参加者が、参加者Ａ（サンプルデータにラベルがない）と参加者Ｂ（サンプルデータにラベルがある）との２人であると仮定する。更に、信頼された第３者Ｃがあり、実行可能ＴＥＥ環境である。

モデルのトレーニング過程は、以下のステップを含む。

Ｓ１において、参加者Ａは、Ａの準同型秘密鍵ペアを生成する。

Ｓ２において、参加者Ｂは、Ｂの準同型秘密鍵ペアを生成する。

Ｓ３において、信頼された第３者Ｃは、Ａの非準同型暗号秘密鍵ペアを生成する。

Ｓ４において、信頼された第３者Ｃは、Ｂの非準同型暗号秘密鍵ペアを生成する。

Ｓ５において、参加者Ａは、Ａの準同型公開鍵をＢに送信する。

Ｓ６において、参加者Ｂは、Ｂの準同型公開鍵をＡに送信する。

Ｓ７において、信頼された第３者Ｃは、Ａの非準同型暗号公開鍵をＡに送信する。

Ｓ８において、信頼された第３者Ｃは、Ｂの非準同型暗号公開鍵をＢに送信する。

Ｓ９において、参加者Ａは、ローカルサブモデルＷ－Ａ（定数項なし）を初期化し、現在の損失Ｌｏｓｓ－Ｌａｓｔを０に設定する。

Ｓ１０において、参加者Ｂは、ローカルサブモデルＷ－Ｂ（定数項あり）を初期化し、現在の損失Ｌｏｓｓ－Ｌａｓｔを０に設定する。

Ｓ１１において、ＰＳＩ過程によりサンプル集合の積集合を確定し、それぞれのデータベースから今回のトレーニングに使用されるサンプルデータを確定する。

Ｓ１２において、参加者Ａは、Ａのサンプルデータセットを標準化し、各特徴次元の標準偏差と平均値を取得する。

Ｓ１３において、参加者Ｂは、Ｂのサンプルデータセットを標準化し、各特徴次元およびラベルの標準偏差と平均値を取得する。

Ｓ１４において、参加者Ａは、信頼された第３者Ｃから送信された非準同型暗号公開鍵を用い、自分のデータセット内の各特徴次元の標準偏差と平均値を暗号化し、その後、それを信頼された第３者Ｃに送信する。

Ｓ１５において、参加者Ｂは、信頼された第３者Ｃから送信された非準同型暗号公開鍵を用い、自分のデータセット内の各特徴次元およびラベルの標準偏差と平均値を暗号化し、その後、それを信頼された第３者Ｃに送信する。

Ｓ１６において、信頼された第３者Ｃは、受信した暗号化された標準化データをＴＥＥに伝達し、信頼された実行環境の分離領域でデータを復号化し、全ての特徴次元およびラベルの標準偏差と平均値を取得する。後続の逆標準化モデルのために準備する。

Ｓ１７において、参加者Ａは、Ａの元のサンプルデータに基づき、サブモデルＷ－ａに基づいて計算を実行し、パラメータ集合Ｐ－Ａ１、即ち、第１のトレーニング中間パラメータを取得し、ここで、勾配および損失を計算するキーパラメータを含む。

パラメータ集合Ｐ－Ａ１に含まれる各パラメータは、各サンプルデータがモデルＷ－ａに基づいて計算した勾配中間パラメータおよび損失中間パラメータである。

Ｓ１８において、参加者Ｂは、Ｂの元のサンプルデータに基づき、サブモデルＷ－ｂに基づいて計算を実行し、パラメータ集合Ｐ－Ｂ１、即ち、第２のトレーニング中間パラメータを取得し、ここで、勾配および損失を計算するキーパラメータである。

パラメータ集合Ｐ－Ｂ１に含まれる各パラメータは、各サンプルデータがモデルＷ－ｂに基づいて計算した勾配中間パラメータおよび損失中間パラメータである。

Ｓ１９において、参加者Ａは、精度（小数点以下の数桁を保留する）に基づいてパラメータ集合Ｐ－Ａ１内の浮動小数点数をＢＩＧＩＮＴに変換し、パラメータ集合Ｐ－Ａ２を取得する。

Ｓ２０において、参加者Ｂは、精度（小数点以下の数桁を保留する）に基づいてパラメータ集合Ｐ－Ｂ１内の浮動小数点数をＢＩＧＩＮＴに変換し、パラメータ集合Ｐ－Ｂ２を取得する。

Ｓ２１において、参加者Ａは、パラメータ集合Ｐ－Ａ２内の整数値をコードし、負数を正の整数に変換し、パラメータ集合Ｐ－Ａ３を取得する。

Ｓ２２において、参加者Ｂは、パラメータ集合Ｐ－Ｂ２内の整数値をコードし、負数を正の整数に変換し、パラメータ集合Ｐ－Ｂ３を取得する。

Ｓ２３において、参加者Ａは、パラメータ集合Ｐ－Ａ３内の全ての正の整数をＡの準同型公開鍵で暗号化し、パラメータ集合Ｐ－Ａ４－Ａを取得する。

Ｓ２４において、参加者Ｂは、パラメータ集合Ｐ－Ｂ３内の全ての正の整数をＢの準同型公開鍵で暗号化し、パラメータ集合Ｐ－Ｂ４－Ｂ、即ち、第２の準同型暗号中間パラメータを取得する。

Ｓ２５において、参加者Ａは、パラメータ集合Ｐ－Ａ４－Ａを参加者Ｂに送信する。

Ｓ２６において、参加者Ｂは、パラメータ集合Ｐ－Ｂ４－Ｂを参加者Ａに送信する。

Ｓ２７において、参加者Ａは、参加者Ｂから送信された暗号化パラメータ集合Ｐ－Ｂ４－Ｂを受信する。

Ｓ２８において、参加者Ｂは、参加者Ａから送信された暗号化パラメータ集合Ｐ－Ａ４－Ａを受信する。

Ｓ２９において、参加者Ａは、パラメータ集合Ｐ－Ａ３内の全ての正の整数を参加者Ｂの準同型公開鍵で暗号化し、パラメータ集合Ｐ－Ａ４－Ｂ、即ち、第１の準同型暗号中間パラメータを取得する。

Ｓ３０において、参加者Ｂは、パラメータ集合Ｐ－Ｂ３内の全ての正の整数を参加者Ａの準同型公開鍵で暗号化し、パラメータ集合Ｐ－Ｂ４－Ａを取得する。

Ｓ３１において、参加者Ａは、乱数Ｒ－Ａ１（即ち、第１の干渉パラメータ）を生成し、参加者Ｂの準同型公開鍵で暗号化した後、Ｒ－Ａ１－Ｂ、即ち、第１の暗号化干渉パラメータを取得する。

Ｓ３２において、参加者Ｂは、乱数Ｒ－Ｂ１を生成し、参加者Ａの準同型公開鍵で暗号化した後、Ｒ－Ｂ１－Ａを取得する。

Ｓ３３において、参加者Ａは、準同型演算関数Ｆ１を実行し、Ｐ－Ａ４－Ｂ、Ｐ－Ｂ４－Ｂ、Ｒ－Ａ１－Ｂに基づき、パラメータ集合Ｇ－Ａ１－Ｂ、即ち、第１の暗号化勾配パラメータを取得し、準同型演算関数Ｆ１は、参加者Ａの勾配計算関数に相当する。

Ｓ３４において、参加者Ｂは、準同型演算関数Ｆ２を実行し、Ｐ－Ｂ４－Ａ、Ｐ－Ａ４－ＡおよびＲ－Ｂ１－Ａに基づき、パラメータ集合Ｇ－Ｂ１－Ａを取得し、準同型演算関数Ｆ２は、参加者Ｂの勾配計算関数に相当する。

Ｓ３５において、参加者Ａは、乱数Ｒ－Ａ２を生成し、参加者Ｂの準同型公開鍵で暗号化した後、Ｒ－Ａ２－Ｂを取得する。

Ｓ３６において、参加者Ｂは、乱数Ｒ－Ｂ２を生成し、参加者Ａの準同型公開鍵で暗号化した後、Ｒ－Ｂ２－Ａを取得する。

Ｓ３７において、参加者Ａは、準同型演算関数Ｆ３を実行し、Ｐ－Ａ４－Ｂ、Ｐ－Ｂ４－ＢおよびＲ－Ａ２－Ｂに基づき、パラメータ集合Ｌ－Ａ１－Ｂ、即ち、第１の暗号化損失パラメータを取得し、準同型演算関数Ｆ３は、参加者Ａの損失関数に相当する。

Ｓ３８において、参加者Ｂは、準同型演算関数Ｆ４を実行し、Ｐ－Ｂ４－Ａ、Ｐ－Ａ４－ＡおよびＲ－Ｂ２－Ａに基づき、パラメータ集合Ｌ－Ｂ１－Ａを取得し、準同型演算関数Ｆ４は、参加者Ｂの損失関数に相当する。

Ｓ３９において、参加者Ａは、暗号化パラメータ集合Ｇ－Ａ１－ＢおよびＬ－Ａ１－Ｂを参加者Ｂに送信する。

Ｓ４０において、参加者Ｂは、暗号化パラメータ集合Ｇ－Ｂ１－ＡおよびＬ－Ｂ１－Ａを参加者Ａに送信する。

Ｓ４１において、参加者Ａは、参加者Ｂから送信された暗号化パラメータ集合Ｇ－Ｂ１－ＡおよびＬ－Ｂ１－Ａを受信する。

Ｓ４２において、参加者Ｂは、参加者Ａから送信された暗号化パラメータ集合Ｇ－Ａ１－ＢおよびＬ－Ａ１－Ｂを受信する。

Ｓ４３において、参加者Ａは、Ａの準同型秘密鍵を用いてＧ－Ｂ１－ＡおよびＬ－Ｂ１－Ａを復号化し、パラメータ集合Ｇ－Ｂ２およびＬ－Ｂ２を取得し、更に参加者Ｂに送信する。

Ｓ４４において、参加者Ｂは、Ｂの準同型秘密鍵を用いてＧ－Ａ１－ＢおよびＬ－Ａ１－Ｂを復号化し、パラメータ集合Ｇ－Ａ２およびＬ－Ａ２、即ち、第１のキーパラメータを取得し、更に参加者Ａに送信する。

Ｓ４５において、参加者Ａは、参加者Ｂから送信されたパラメータ集合Ｇ－Ａ２およびＬ－Ａ２を受信する。

Ｓ４６において、参加者Ｂは、参加者Ａから送信されたパラメータ集合Ｇ－Ｂ２およびＬ－Ｂ２を受信する。

Ｓ４７において、参加者Ａは、パラメータ集合Ｌ－Ａ２をトラバースし、乱数Ｒ－Ａ２を減算し、パラメータ集合Ｌ－Ａ３を取得する。

Ｓ４８において、参加者Ｂは、パラメータ集合Ｌ－Ｂ２をトラバースし、乱数Ｒ－Ｂ２を減算し、パラメータ集合Ｌ－Ｂ３を取得する。

Ｓ４９において、参加者Ａは、パラメータ集合Ｌ－Ａ３の数値をデコードしてＬ－Ａ４を取得し、実数値（正数を正数または負数に変換する）を取得する。

Ｓ５０において、参加者Ｂは、パラメータ集合Ｌ－Ｂ３の数値をデコードしてＬ－Ｂ４を取得し、実数値（正数を正数または負数に変換する）を取得する。

Ｓ５１において、参加者Ａは、パラメータ集合Ｌ－Ａ４内のパラメータを、精度に従ってスケーリングし、元の精度に戻し、整数を浮動小数点数に変換し、パラメータ集合Ｌ－Ａ５を取得する。

Ｓ５２において、参加者Ｂは、パラメータ集合Ｌ－Ｂ４内のパラメータを、精度に従ってスケーリングし、元の精度に戻し、整数を浮動小数点数に変換し、パラメータ集合Ｌ－Ｂ５を取得する。

Ｓ５３において、参加者Ａは、パラメータ集合Ｌ－Ａ５の計算により現在のサブモデルＷ－ａの損失Ｌｏｓｓ－Ｃｕｒｒｅｎｔを取得する。

Ｓ５４において、参加者Ｂは、パラメータ集合Ｌ－Ｂ５の計算により現在のサブモデルＷ－ｂの損失Ｌｏｓｓ－Ｃｕｒｒｅｎｔを取得する。

Ｓ５５において、参加者Ａは、現在の損失と以前の損失との差を計算し、つまり、Ｌｏｓｓ－ＣｕｒｒｅｎｔからＬｏｓｓ－Ｌａｓｔを減算する。収束条件を満たすように、損失の差が十分に小さいか否かを判断し、満たす場合、モデルのトレーニングを終了する。満たさない場合、後続のステップを継続する。

Ｓ５６において、参加者Ｂは、現在の損失と以前の損失との差を計算し、収束条件を満たすように、損失の差が十分に小さいか否かを判断し、満たす場合、モデルのトレーニングを終了する。満たさない場合、後続のステップを継続する。

Ｓ５７において、満たす場合、モデルのトレーニングを終了し、以下のようなステップに進む。

ａ）モデルのトレーニングを終了し、参加者ＡはサブモデルＷ－Ａを取得し、参加者ＢはサブモデルＷ－Ｂを取得する。

ｂ）参加者Ａは、サブモデルＷ－Ａを、信頼された第３者Ｃから送信された公開鍵で暗号化し、その後、信頼された第３者Ｃに送信する。

ｃ）参加者Ｂは、サブモデルＷ－Ｂを、信頼された第３者Ｃから送信された公開鍵で暗号化し、その後、信頼された第３者Ｃに送信する。

ｄ）信頼された第３者Ｃは、暗号化されたサブモデルＷ－ＡおよびＷ－ＢをＴＥＥに伝送し、信頼された実行環境の分離領域で、秘密鍵を用いて復号化し、更にモデルを組み合わせ、完全なモデルＷを取得する。

ｅ）信頼された第３者Ｃは、ＴＥＥで、前述したステップの各特徴およびラベルの平均値と標準偏差を用い、完全なモデルＷと合わせて逆標準化動作を行い、実モデルＷ－ＲＥＡＬを取得する。

ｆ）信頼された第３者Ｃは、ＴＥＥで、モデルＷ－ＲＥＡＬをＷ－Ａ－ＲＥＡＬとＷ－Ｂ－ＲＥＡＬとに切り分ける。

ｇ）信頼された第３者Ｃは、ＴＥＥで、モデルＷ－Ａ－ＲＥＡＬを、前述したステップにおける参加者Ａから伝送された非準同型公開鍵で暗号化し、参加者Ａに伝達する。

ｈ）信頼された第３者Ｃは、ＴＥＥで、モデルＷ－Ｂ－ＲＥＡＬを、前述したステップにおける参加者Ｂから伝送された非準同型公開鍵で暗号化し、参加者Ｂに伝達する。

ｉ）参加者Ａは、ローカル秘密鍵を用いてモデルを復号化し、Ｗ－Ａ－ＲＥＡＬを取得する。

ｊ）参加者Ｂは、ローカル秘密鍵を用いてモデルを復号化し、Ｗ－Ｂ－ＲＥＡＬを取得する。

Ｓ５８において、満たさない場合、モデルのトレーニングを続け、後続のステップを実行する。

Ｓ５９において、参加者Ａは、パラメータ集合Ｇ－Ａ２をトラバースし、乱数Ｒ－Ａ１を減算し、パラメータ集合Ｇ－Ａ３を取得する。

Ｓ６０において、参加者Ｂは、パラメータ集合Ｇ－Ｂ２をトラバースし、乱数Ｒ－Ｂ１を減算し、パラメータ集合Ｇ－Ｂ３を取得する。

Ｓ６１において、参加者Ａは、パラメータ集合Ｇ－Ａ３の数値をデコードしてＧ－Ａ４を取得し、実数値（正数を正数または負数に変換する）を取得する。

Ｓ６２において、参加者Ｂは、パラメータ集合Ｇ－Ｂ３の数値をデコードしてＧ－Ｂ４を取得し、実数値（正数を正数または負数に変換する）を取得する。

Ｓ６３において、参加者Ａは、Ｇ－Ａ４内のパラメータを、精度に従ってスケーリングし、元の精度に戻し、整数を浮動小数点数に変換し、パラメータ集合Ｇ－Ａ５を取得する。

Ｓ６４において、参加者Ｂは、Ｇ－Ｂ４内のパラメータを、精度に従ってスケーリングし、元の精度に戻し、整数を浮動小数点数に変換し、パラメータ集合Ｇ－Ｂ５を取得する。

Ｓ６５において、参加者Ａは、パラメータ集合Ｇ－Ａ５の計算により、ローカルモデルを更新するための勾配Ｇｒａｄ－Ａを取得する。

Ｓ６６精度に従って、参加者Ｂは、パラメータ集合Ｇ－Ｂ５の計算により、ローカルモデルを更新するための勾配Ｇｒａｄ－Ｂを取得する。

Ｓ６７精度に従って、参加者Ａは、勾配Ｇｒａｄ－Ａを用いてサブモデルＷ－Ａを更新する。

Ｓ６８精度に従って、参加者Ｂは、勾配Ｇｒａｄ－Ｂを用いてサブモデルＷ－Ｂを更新する。

Ｓ６９精度に従って、参加者Ａは、現在のサブモデルの損失Ｌｏｓｓ－ＣｕｒｒｅｎｔをＬｏｓｓ－Ｌａｓｔに代入する。

Ｓ７０精度に従って、参加者Ｂは、現在のサブモデルの損失Ｌｏｓｓ－ＣｕｒｒｅｎｔをＬｏｓｓ－Ｌａｓｔに代入する。

Ｓ７１精度に従って、参加者Ａはステップ１７を繰り返し実行する。

Ｓ７２精度に従って、参加者Ｂはステップ１８を繰り返し実行する。

本実施例において、各参加者は、サブモデルのトレーニング過程のプライバシーデータを効果的に保護し、モデルのトレーニング過程のプライバシー性およびトレーニング効率を向上させることができる。

参加者の数がより多い場合、例えば、参加者Ｄを更に含む場合、本実施例の方法は、以下のステップを含む。

第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得し、ここで、前記第１の準同型暗号中間パラメータは、各第２の参加者ＢおよびＤのそれぞれの第２の準同型公開鍵を用いて第１のトレーニング中間パラメータを暗号化したデータであり、前記第１のトレーニング中間パラメータは、第１の参加者が第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後に生成した中間パラメータであり、前記第２の準同型暗号中間パラメータが複数あり、それぞれが、各第２の参加者のそれぞれの第２の準同型公開鍵を用いて各第２のトレーニング中間パラメータを暗号化したデータであり、各前記第２のトレーニング中間パラメータは、各第２の参加者がそれぞれの第２のサンプルデータに基づいて第２のサブモデルをトレーニングした後に生成した中間パラメータであり、前記機械学習モデルは、少なくとも２人の参加者のそれぞれのローカルなサブモデルで構成され、即ち、参加者Ｂは、トレーニングして１つの第２のトレーニング中間パラメータを取得し、参加者Ｄは、トレーニングして別の第２のトレーニング中間パラメータを取得し、各第２のトレーニング中間パラメータは、参加者ＢおよびＤの準同型暗号公開鍵を同時に用いて暗号化し、２つの第２の準同型暗号中間パラメータを形成する。

第１の干渉パラメータを生成し、各第２の参加者のそれぞれの第２の準同型公開鍵を用いて同時に暗号化し、第１の暗号化干渉パラメータを形成する。

前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成する。

各前記第２の参加者がそれぞれ第２の準同型秘密鍵を用いて前記第１の暗号化キーパラメータを復号化するように、前記第１の暗号化キーパラメータを各第２の参加者に伝送し、各第２の参加者に順に伝送して復号化することができる。

前記第２の参加者により復号化された第１のキーパラメータを取得する。

前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新する。

図４は、本開示の実施例に係る分散型機械学習モデルのトレーニング装置の模式図であり、本実施例は、多者がプライバシー保護のニーズでデータのインタラクションを行い、機械学習モデルのトレーニングを完了する場合に適用でき、該装置は、電子機器に構成され、本開示のいずれかの実施例に記載の分散型機械学習モデルのトレーニング方法を実現することができる。図４を参照し、該分散型機械学習モデルのトレーニング装置４００は、具体的に、以下を含む。

中間パラメータ取得モジュール４０１は、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得することに用いられる。

干渉パラメータ形成モジュール４０２は、第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成することに用いられる。

パラメータ生成モジュール４０３は、前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成することに用いられる。

パラメータ復号モジュール４０４は、前記第２の参加者による第２の準同型秘密鍵を用いる前記第１の暗号化キーパラメータの復号化のために、前記第１の暗号化キーパラメータを第２の参加者に伝送することに用いられる。

第１のキーパラメータ取得モジュール４０５は、前記第２の参加者により復号化された第１のキーパラメータを取得することに用いられる。

サブモデルトレーニングモジュール４０６は、前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新することに用いられる。

本開示の実施例は、第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得し、第１の干渉パラメータを生成して第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成し、第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成し、第２の参加者が第２の準同型秘密鍵を用いて第１の暗号化キーパラメータを復号化するように、第１の暗号化キーパラメータを第２の参加者に伝送し、第２の参加者により復号化された第１のキーパラメータを取得し、第１のキーパラメータおよび第１の干渉パラメータに基づき、第１のサブモデルのトレーニングが完了するまで第１のサブモデルを反復更新する。上記形態は、多者のトレーニングモデルのプライバシーデータの保護を実現するとともに、信頼された第３者で協調する必要がなく、信頼された第３者がデータを悪意ある漏洩する可能性を回避し、且つ、大量のデータが多者と信頼された第３者との間でインタラクションすることを回避し、モデルのトレーニング過程のデータ伝送量を減少し、モデルのトレーニングの効率を向上させる。

１つの好ましい実施形態において、前記第１の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第１のトレーニング中間パラメータを暗号化したデータであり、前記第１のトレーニング中間パラメータは、第１の参加者が第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後に生成した中間パラメータであり、前記第２の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第２のトレーニング中間パラメータを暗号化したデータであり、前記第２のトレーニング中間パラメータは、第２の参加者が第２のサンプルデータに基づいて第２のサブモデルをトレーニングした後に生成した中間パラメータであり、前記機械学習モデルは、少なくとも２人の参加者のそれぞれのローカルなサブモデルで構成される。

１つの好ましい実施形態において、前記パラメータ生成モジュールは、
前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、前記第１の暗号化干渉パラメータを線形計算に基づいて計算結果に重ねて、第１の暗号化キーパラメータを生成するためのパラメータ生成ユニットを備える。

これに対応し、前記サブモデルトレーニングモジュールは、
前記第１の干渉パラメータに基づいて前記第１のキーパラメータを逆方向線形計算し、逆方向線形計算したキーパラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新するためのサブモデルのトレーニングユニットを備える。

１つの好ましい実施形態において、前記干渉パラメータは乱数である。

１つの好ましい実施形態において、前記第１の干渉パラメータは、第１の勾配干渉パラメータおよび第１の損失干渉パラメータを含む。

これに対応し、前記パラメータ生成モジュールは、
前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化勾配干渉パラメータ、および第１のサブモデルの準同型勾配計算関数に基づいて計算し、第１の暗号化勾配パラメータを生成するための勾配パラメータ生成モジュールと、
前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化損失干渉パラメータ、および第１のサブモデルの準同型損失計算関数に基づいて計算し、第１の暗号化損失パラメータを生成するための損失パラメータ生成モジュールとを備える。

１つの好ましい実施形態において、前記装置は、
第１の準同型公開鍵および第１の準同型秘密鍵を含む第１の準同型秘密鍵ペアを生成するための第１の準同型秘密鍵ペア生成モジュールと、
前記第１の準同型公開鍵を第２の参加者に送信するための第１の準同型公開鍵送信モジュールと、
前記第２の参加者から送信された前記第２の参加者により生成された第２の準同型秘密鍵ペア内の第２の準同型公開鍵を受信するための第２の準同型公開鍵受信モジュールとを更に備える。

１つの好ましい実施形態において、前記装置は、
第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する前に、前記第１の参加者と前記第２の参加者のサンプルデータ積集合識別子を確定するための積集合識別子確定モジュールを更に備え、少なくとも１人の参加者のサンプルデータにラベルが対応して付されている。

１つの好ましい実施形態において、前記装置は、
第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する前に、前記第１の参加者の第１の元のサンプルデータを標準化処理し、サンプル特徴次元の第１の標準化値および第１のサンプルデータを取得し、標準化処理した第１のサンプルデータをモデルのトレーニングに用いるためのサンプルデータ処理モジュールと、
前記第１の標準化値を第３の暗号化秘密鍵で暗号化して第１の暗号化標準化値を形成し、前記第１の暗号化標準化値を信頼された第３者に提供するための第１の標準化値暗号化モジュールとを更に備える。

これに対応し、該装置は、
前記第１のサブモデルのトレーニングが完了した後、前記第１のサブモデルを第３の暗号化秘密鍵で暗号化して第１の暗号化サブモデルを形成し、信頼された第３者が各参加者により提供された暗号化サブモデルに基づいて組み合わせ、各参加者により提供された暗号化標準化値に基づいて非標準化処理を行って更に切り分けるように、前記第１の暗号化サブモデルを前記信頼された第３者に提供するためのモデル切り分けモジュールと、
前記信頼された第３者から返信された切り分けられた第１の非標準化サブモデルを受信するためのサブモデル受信モジュールとを更に備える。

１つの好ましい実施形態において、前記中間パラメータ取得モジュールは、
第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後、第１のトレーニング中間パラメータを生成するための第１のトレーニング中間パラメータ生成ユニットと、
設定精度に基づいて前記第１のトレーニング中間パラメータ内の浮動小数点数を第１のＢＩＧＩＮＴに変換するための第１のＢＩＧＩＮＴ確定ユニットと、
前記第１のＢＩＧＩＮＴ内の整数値をコードし、第１の正の整数に変換するための第１の正の整数確定ユニットと、
第２の参加者の第２の準同型公開鍵を用いて第１の正の整数を暗号化し、前記第１の準同型暗号中間パラメータを取得するための第１の準同型暗号中間パラメータ確定ユニットとを備える。

１つの好ましい実施形態において、前記サブモデルトレーニングモジュールは、
前記第１の干渉パラメータに基づいて前記第１のキーパラメータに対して干渉除去動作を行うための干渉除去動作ユニットと、
干渉が除去された第１のキーパラメータをデコードし、前記設定精度に従ってスケーリングし、浮動小数点数に変換するための浮動小数点数変換ユニットと、
変換された浮動小数点数形式の第１のキーパラメータを用いて前記第１のサブモデルを反復更新するための反復更新ユニットとを備える。

本開示の実施例の技術案に係る分散型機械学習モデルのトレーニング装置は、本開示のいずれかの実施例に係る分散型機械学習モデルのトレーニング方法を実行することができ、分散型機械学習モデルのトレーニング方法の実行に対応する機能モジュールおよび有益な効果を有する。

本開示の技術案に係るユーザの個人情報の収集、記憶および使用等は、いずれも関連法律法規の規定に該当し、公序良俗に反していない。

本開示の実施例によれば、本開示は、電子機器、可読記憶媒体およびコンピュータプログラム製品を更に提供する。

図５は、本開示の実施例の例示的な電子機器５００を実施するために使用可能なブロック図を示す。電子機器は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータのような様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯端末、携帯電話、スマートフォン、ウェララブル機器および他の類似する計算装置のような様々な形式の移動装置を表すこともできる。本開示に示されたコンポーネント、それらの接続、関係、およびそれらの機能は例示的なものに過ぎず、本開示に記載および／または要求される本開示の実現を限定するものではない。

図５に示すように、機器５００は、計算ユニット５０１を備え、読み出し専用メモリ（ＲＯＭ）５０２に記憶されたコンピュータプログラム、または記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラムに基づき、様々な適当な動作および処理を実行することができる。ＲＡＭ ５０３には、機器５００の動作に必要な様々なプログラムおよびデータが記憶されてもよい。計算ユニット５０１、ＲＯＭ ５０２およびＲＡＭ ５０３は、バス５０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース５０５もバス５０４に接続されている。

機器５００における複数のコンポーネントはＩ／Ｏインタフェース５０５に接続され、キーボード、マウス等のような入力ユニット５０６と、各種のディスプレイ、スピーカ等のような出力ユニット５０７と、磁気ディスク、光ディスク等のような記憶ユニット５０８と、ネットワークカード、モデム、無線通信送受信機等のような通信ユニット５０９とを備える。通信ユニット５０９は、機器５００がインターネットのようなコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを許容する。

計算ユニット５０１は、処理および計算能力を有する汎用および／または専用の処理アセンブリであってもよい。計算ユニット５０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）コンピューティングチップ、各種の機械学習モデルアルゴリズムを実行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適当なプロセッサ、コントローラ、マイクロコントローラ等を含んでもよいが、これらに限定されない。計算ユニット５０１は、上記様々な方法および処理、例えば、分散型機械学習モデルのトレーニング方法を実行する。例えば、いくつかの実施例において、分散型機械学習モデルのトレーニング方法は、コンピュータソフトウェアプログラムとして実現でき、有形的に記憶ユニット５０８のような機器可読媒体に含まれている。いくつかの実施例において、コンピュータプログラムの一部または全ては、ＲＯＭ ５０２および／または通信ユニット５０９を介して機器５００にロードおよび／またはインストールされ得る。コンピュータプログラムがＲＡＭ ５０３にロードされて計算ユニット５０１により実行されると、上記分散型機械学習モデルのトレーニング方法の１つまたは複数のステップを実行することができる。あるいは、他の実施例において、計算ユニット５０１は、他の任意の適当な方式（例えば、ファームウェアを介して）により、分散型機械学習モデルのトレーニング方法を実行するように構成され得る。

本開示に記載されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準パーツ（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現できる。これらの様々な実施形態は以下を含んでもよい。１つまたは複数のコンピュータプログラムに実施され、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈することができ、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、且つデータおよび命令を、該ストレージシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用のプログラマブルプロセッサであってもよい。

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせでコードできる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供でき、これにより、プログラムコードがプロセッサまたはコントローラにより実行されると、フローチャートおよび／またはブロック図で規定された機能／動作が実施される。プログラムコードは、完全に機器で実行されてもよいし、一部が機器で実行されてもよいし、独立したソフトウェアパッケージとして一部が機器で実行されて一部がリモート機器で実行されてもよいし、完全にリモート機器またはサーバで実行されてもよい。

本開示の明細書において、機器可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置または機器、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体の更なる具体的な例は、１つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用ディスク（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含む。

ユーザとのインタラクションを提供するために、ここで説明するシステムおよび技術をコンピュータで実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれにより入力をコンピュータに提供することができるキーボードおよび指向装置（例えば、マウスまたはトラックボール）とを有する。他の種類の装置は、更にユーザとのインタラクションを提供するために使用できる。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、任意の形式（音入力、音声入力または、触覚入力を含む）でユーザからの入力を受信することができる。

ここで説明するシステムおよび技術を、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、または中間コンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、ユーザがそれによりここで説明するシステムおよび技術の実施形態とインタラクションできるグラフィカルユーザインタフェースまたはネットワークブラウザを有するユーザコンピュータ）、またはこのようなバックグラウンドコンポーネント、中間コンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）により、システムのコンポーネントを互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ブロックチェーンネットワーク、およびインターネットを含む。

コンピューティングシステムはクライアントおよびサーバを含んでもよい。クライアントとサーバとは、一般的に互いに離れ、且つ、通常、通信ネットワークを介してインタラクションを行う。対応するコンピュータで実行されて互いにクライアント－サーバ関係を持つコンピュータプログラムにより、クライアントとサーバとの関係を生成する。

上記に示す様々な形式のフローを用い、ステップを並べ替え、追加または削除することができることを理解すべきである。例えば、本発明に記載された各ステップは、並列に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本発明に開示された技術案の所望する結果を達成できる限り、本発明はここで限定しない。

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者は、設計要求および他の要因に基づき、様々な修正、組み合わせ、サブ組み合わせおよび代替が可能であることを理解すべできる。本開示の精神および原則内で行われる任意の修正、均等置換および改良等は、いずれも本開示の保護範囲内に含まれているべきである。

Claims (18)

1. モデルのトレーニングに参加した複数の参加者のうちのいずれかの参加者により実行され、当該参加者は第１の参加者と表記され、他の参加者は第２の参加者と表記され、
   前記第１の参加者の第１の元のサンプルデータを標準化処理し、サンプル特徴次元の第１の標準化値および第１のサンプルデータを取得し、標準化処理した第１のサンプルデータをモデルのトレーニングに用いることと、
   前記第１の標準化値を第３の暗号化秘密鍵で暗号化して第１の暗号化標準化値を形成し、前記第１の暗号化標準化値を信頼された第３者に提供することと、
   第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得し、前記第１の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第１のトレーニング中間パラメータを暗号化したデータであり、前記第１のトレーニング中間パラメータは、前記第１の参加者が第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後に生成した中間パラメータであり、前記第２の準同型暗号中間パラメータは、前記第２の参加者の第２の準同型公開鍵を用いて第２のトレーニング中間パラメータを暗号化したデータであり、前記第２のトレーニング中間パラメータは、前記第２の参加者が第２のサンプルデータに基づいて第２のサブモデルをトレーニングした後に生成した中間パラメータであり、機械学習モデルは、少なくとも２人の参加者のそれぞれのローカルなサブモデルで構成されることと、
   第１の干渉パラメータを生成して前記第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成することと、
   前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成することと、
   前記第２の参加者による第２の準同型秘密鍵を用いる前記第１の暗号化キーパラメータの復号化のために、前記第１の暗号化キーパラメータを前記第２の参加者に伝送することと、
   前記第２の参加者により復号化された第１のキーパラメータを取得することと、
   前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新することと、
   前記第１のサブモデルを第３の暗号化秘密鍵で暗号化して第１の暗号化サブモデルを形成し、信頼された第３者が各参加者により提供された暗号化サブモデルに基づいて組み合わせ、各参加者により提供された暗号化標準化値に基づいて非標準化処理を行って更に切り分けるように、前記第１の暗号化サブモデルを前記信頼された第３者に提供することと、
   前記信頼された第３者から返信された切り分けられた第１の非標準化サブモデルを受信することとを含む、
   ことを特徴とする分散型機械学習モデルのトレーニング方法。
2. 前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成することは、
   前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、前記第１の暗号化干渉パラメータを線形計算に基づいて計算結果に重ねて、第１の暗号化キーパラメータを生成することを含み、
   これに対応して、前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新することは、
   前記第１の干渉パラメータに基づいて前記第１のキーパラメータを逆方向線形計算し、逆方向線形計算したキーパラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新することを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記干渉パラメータは乱数である、
   ことを特徴とする請求項１に記載の方法。
4. 前記第１の干渉パラメータは、第１の勾配干渉パラメータおよび第１の損失干渉パラメータを含み、
   これに対応して、前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成することは、
   前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化勾配干渉パラメータ、および第１のサブモデルの準同型勾配計算関数に基づいて計算し、第１の暗号化勾配パラメータを生成することと、
   前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化損失干渉パラメータ、および第１のサブモデルの準同型損失計算関数に基づいて計算し、第１の暗号化損失パラメータを生成することとを含む、
   ことを特徴とする請求項１に記載の方法。
5. 第１の準同型公開鍵および第１の準同型秘密鍵を含む第１の準同型秘密鍵ペアを生成することと、
   前記第１の準同型公開鍵を前記第２の参加者に送信することと、
   前記第２の参加者から送信された前記第２の参加者により生成された第２の準同型秘密鍵ペア内の第２の準同型公開鍵を受信することとを更に含む、
   ことを特徴とする請求項１に記載の方法。
6. 前記第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する前に、
   前記第１の参加者と前記第２の参加者のサンプルデータ積集合識別子を確定し、少なくとも１人の参加者のサンプルデータにラベルが対応して付されていることを更に含む、
   ことを特徴とする請求項１に記載の方法。
7. 前記第１の準同型暗号中間パラメータを取得することは、
   前記第１のサンプルデータに基づいて前記第１のサブモデルをトレーニングした後、前記第１のトレーニング中間パラメータを生成することと、
   設定精度に基づいて前記第１のトレーニング中間パラメータ内の浮動小数点数を第１のＢＩＧＩＮＴに変換することと、
   前記第１のＢＩＧＩＮＴ内の整数値をコードし、第１の正の整数に変換することと、
   前記第２の参加者の第２の準同型公開鍵を用いて第１の正の整数を暗号化し、前記第１の準同型暗号中間パラメータを取得することとを含む、
   ことを特徴とする請求項１に記載の方法。
8. 前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルを反復更新することは、
   前記第１の干渉パラメータに基づいて前記第１のキーパラメータに対して干渉除去動作を行うことと、
   干渉が除去された第１のキーパラメータをデコードし、前記設定精度に従ってスケーリングし、浮動小数点数に変換することと、
   変換された浮動小数点数形式の第１のキーパラメータを用いて前記第１のサブモデルを反復更新することとを含む、
   ことを特徴とする請求項７に記載の方法。
9. 第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得するための中間パラメータ取得モジュールであって、前記第１の準同型暗号中間パラメータは、第２の参加者の第２の準同型公開鍵を用いて第１のトレーニング中間パラメータを暗号化したデータであり、前記第１のトレーニング中間パラメータは、第１の参加者が第１のサンプルデータに基づいて第１のサブモデルをトレーニングした後に生成した中間パラメータであり、前記第２の準同型暗号中間パラメータは、前記第２の参加者の第２の準同型公開鍵を用いて第２のトレーニング中間パラメータを暗号化したデータであり、前記第２のトレーニング中間パラメータは、前記第２の参加者が第２のサンプルデータに基づいて第２のサブモデルをトレーニングした後に生成した中間パラメータであり、機械学習モデルは、少なくとも２人の参加者のそれぞれのローカルなサブモデルで構成される中間パラメータ取得モジュールと、
   第１の干渉パラメータを生成して前記第２の参加者の第２の準同型公開鍵を用いて暗号化し、第１の暗号化干渉パラメータを形成するための干渉パラメータ形成モジュールと、
   前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化干渉パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、第１の暗号化キーパラメータを生成するためのパラメータ生成モジュールと、
   前記第２の参加者による第２の準同型秘密鍵を用いる前記第１の暗号化キーパラメータの復号化のために、前記第１の暗号化キーパラメータを前記第２の参加者に伝送するためのパラメータ復号モジュールと、
   前記第２の参加者により復号化された第１のキーパラメータを取得するための第１のキーパラメータ取得モジュールと、
   前記第１のキーパラメータおよび前記第１の干渉パラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新するためのサブモデルトレーニングモジュールと、
   前記第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する前に、前記第１の参加者の第１の元のサンプルデータを標準化処理し、サンプル特徴次元の第１の標準化値および第１のサンプルデータを取得し、標準化処理した第１のサンプルデータをモデルのトレーニングに用いるためのサンプルデータ処理モジュールと、
   前記第１の標準化値を第３の暗号化秘密鍵で暗号化して第１の暗号化標準化値を形成し、前記第１の暗号化標準化値を信頼された第３者に提供するための第１の標準化値暗号化モジュールと、
   前記第１のサブモデルのトレーニングが完了した後、前記第１のサブモデルを第３の暗号化秘密鍵で暗号化して第１の暗号化サブモデルを形成し、信頼された第３者が各参加者により提供された暗号化サブモデルに基づいて組み合わせ、各参加者により提供された暗号化標準化値に基づいて非標準化処理を行って更に切り分けるように、前記第１の暗号化サブモデルを前記信頼された第３者に提供するためのモデル切り分けモジュールと、
   前記信頼された第３者から返信された切り分けられた第１の非標準化サブモデルを受信するためのサブモデル受信モジュールとを備える、
   ことを特徴とする分散型機械学習モデルのトレーニング装置。
10. 前記パラメータ生成モジュールは、
    前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、および第１のサブモデルの準同型計算関数に基づいて計算し、前記第１の暗号化干渉パラメータを線形計算に基づいて計算結果に重ねて、前記第１の暗号化キーパラメータを生成するためのパラメータ生成ユニットを備え、
    これに対応して、前記サブモデルトレーニングモジュールは、
    前記第１の干渉パラメータに基づいて前記第１のキーパラメータを逆方向線形計算し、逆方向線形計算したキーパラメータに基づき、前記第１のサブモデルのトレーニングが完了するまで前記第１のサブモデルを反復更新するためのサブモデルのトレーニングユニットを備える、
    ことを特徴とする請求項９に記載の装置。
11. 前記干渉パラメータは乱数である、
    ことを特徴とする請求項９または１０に記載の装置。
12. 前記第１の干渉パラメータは、第１の勾配干渉パラメータおよび第１の損失干渉パラメータを含み、
    これに対応して、前記パラメータ生成モジュールは、
    前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化勾配干渉パラメータ、および第１のサブモデルの準同型勾配計算関数に基づいて計算し、第１の暗号化勾配パラメータを生成するための勾配パラメータ生成モジュールと、
    前記第１の準同型暗号中間パラメータ、第２の準同型暗号中間パラメータ、第１の暗号化損失干渉パラメータ、および第１のサブモデルの準同型損失計算関数に基づいて計算し、第１の暗号化損失パラメータを生成するための損失パラメータ生成モジュールとを備える、
    ことを特徴とする請求項９または１０に記載の装置。
13. 第１の準同型公開鍵および第１の準同型秘密鍵を含む第１の準同型秘密鍵ペアを生成するための第１の準同型秘密鍵ペア生成モジュールと、
    前記第１の準同型公開鍵を前記第２の参加者に送信するための第１の準同型公開鍵送信モジュールと、
    前記第２の参加者から送信された前記第２の参加者により生成された第２の準同型秘密鍵ペア内の第２の準同型公開鍵を受信するための第２の準同型公開鍵受信モジュールとを更に備える、
    ことを特徴とする請求項９に記載の装置。
14. 前記第１の準同型暗号中間パラメータおよび第２の準同型暗号中間パラメータを取得する前に、前記第１の参加者と前記第２の参加者のサンプルデータ積集合識別子を確定するための積集合識別子確定モジュールを更に備え、少なくとも１人の参加者のサンプルデータにラベルが対応して付されている、
    ことを特徴とする請求項９に記載の装置。
15. 前記中間パラメータ取得モジュールは、
    前記第１のサンプルデータに基づいて前記第１のサブモデルをトレーニングした後、前記第１のトレーニング中間パラメータを生成するための第１のトレーニング中間パラメータ生成ユニットと、
    設定精度に基づいて前記第１のトレーニング中間パラメータ内の浮動小数点数を第１のＢＩＧＩＮＴに変換するための第１のＢＩＧＩＮＴ確定ユニットと、
    前記第１のＢＩＧＩＮＴ内の整数値をコードし、第１の正の整数に変換するための第１の正の整数確定ユニットと、
    前記第２の参加者の第２の準同型公開鍵を用いて第１の正の整数を暗号化し、前記第１の準同型暗号中間パラメータを取得するための第１の準同型暗号中間パラメータ確定ユニットとを備える、
    ことを特徴とする請求項９に記載の装置。
16. 前記サブモデルトレーニングモジュールは、
    前記第１の干渉パラメータに基づいて前記第１のキーパラメータに対して干渉除去動作を行うための干渉除去動作ユニットと、
    干渉が除去された第１のキーパラメータをデコードし、前記設定精度に従ってスケーリングし、浮動小数点数に変換するための浮動小数点数変換ユニットと、
    変換された浮動小数点数形式の第１のキーパラメータを用いて前記第１のサブモデルを反復更新するための反復更新ユニットとを備える、
    ことを特徴とする請求項１５に記載の装置。
17. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
    前記命令は、前記少なくとも１つのプロセッサが請求項１から８のいずれか１項に記載の分散型機械学習モデルのトレーニング方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
    ことを特徴とする電子機器。
18. コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、請求項１から８のいずれか１項に記載の分散型機械学習モデルのトレーニング方法をコンピュータに実行させることに用いられる、
    ことを特徴とする非一時的なコンピュータ可読記憶媒体。

Images