JP7842709B2 - 連合学習システム及び連合学習方法 - Google Patents

Description

本発明は、連合学習システム及び連合学習方法に関する。

金融、医療、及び製造などの様々な分野でＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の普及が進んでいる。その中で、より高精度なＡＩを開発するため、複数組織で連携する動きがある。しかしながら、各組織が保有するデータを直接共有することは、情報漏洩のリスクが高まるため望ましくない。そこで、各組織が保有するデータを直接共有することなく、共同のＡＩを開発する手法として連合学習が提案されている。

連合学習とは、複数のデータ送信装置と中央サーバとを含むシステムで実行される情報処理方法である。各データ送信装置は、中央サーバから配布された共通の学習モデルと自身が保有するデータを用いて、学習モデルの更新に必要な特徴量を計算する。その後、各データ送信装置から中央サーバへ特徴量が送られ、中央サーバは、各データ送信装置から受信した特徴量をそれぞれ集約して学習モデルを更新する。連合学習を採用したシステムでは複数組織の保有するデータを利用可能となるため高精度ＡＩの開発が期待されるが、各組織のデータ分布の違いが原因で、ＡＩの性能が向上しない、或いはＡＩがある組織には適さない、などの現象が起こりうる。

データ分布の違いにより生じる上記課題への対策として、Ｐｅｒｓｏｎａｒｉｚｅｄ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇと呼ばれる手法が開発されている。非特許文献１では、データ送信装置をクラスタリングしクラスタごとにＦＬを行うユーザクラスタリング、データ送信装置が自身の保有するデータと他データ送信装置の保有するデータを適切な比率で用いて特徴量を算出するデータ補完、データ送信装置が自身の算出した特徴量と他データ送信装置が算出した特徴量を適切な比率で用いてモデルを更新するモデル補完という３つの手法を提案している。

Ｙｉｓｈａｙ Ｍａｎｓｏｕｒ,外３名，"Ｔｈｒｅｅ Ａｐｐｒｏａｃｈｅｓ ｆｏｒ Ｐｅｒｓｏｎａｌｉｚａｔｉｏｎ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ"，[ｏｎｌｉｎｅ]，２０２０年２月２５日，インターネット，< https://arxiv.org/pdf/2002.10619v1.pdf>

非特許文献１の連合学習では、他データ送信装置のデータ・特徴量として一定比率のものを用いて学習を行うため、各データ送信装置が、目的別に特化した特徴量を算出することができず、結果として、目的別に特化したＡＩを開発することが困難である。例えば、各データ送信装置が、学習モデルを用いて学習する際に、３０歳未満のデータと３０歳以上のデータとの比率を３：７で学習する、という要望に応えることができず、年代別の特徴量を算出することができない。

そこで、本発明の目的は、学習モデルを更新するための目的に沿って集約された目的別集約特徴量で学習モデルを更新することにある。

上記課題を解決するために、本発明は、通信ネットワークに接続される複数のデータ送信装置と、前記通信ネットワークを介して前記複数のデータ送信装置の各々と情報の送受信を行う特徴量集約サーバと、前記通信ネットワークを介して前記特徴量集約サーバに接続される１又は複数のデータ受信装置と、を備え、前記各データ送信装置は、データ抽出要件を含む第１クエリの入力を条件に、学習モデルと複数の学習データの各々とを基に前記第１クエリに従った特徴量を示すタグ付き特徴量を生成し、生成した前記タグ付き特徴量を含む送信情報を前記特徴量集約サーバへ送信し、前記特徴量集約サーバは、前記各データ送信装置から前記送信情報を受信した場合、受信した前記送信情報に属する前記タグ付き特徴量をそれぞれ集約して目的別集約特徴量を生成し、生成した前記目的別集約特徴量を前記データ受信装置へ送信し、前記データ受信装置は、前記特徴量集約サーバから前記目的別集約特徴量を受信した場合、受信した前記目的別集約特徴量を基に前記学習モデルを更新することを特徴とする。

本発明によれば、学習モデルを更新するための目的に沿って集約された目的別集約特徴量で学習モデルを更新することができる。

上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。

本発明の実施例１に係る連合学習システムの構成例を示すブロック図である。 本発明の実施例１に係る特徴量集約サーバのハードウェア構成例を示すブロック図である。 本発明の実施例１に係る学習モデル更新サーバのハードウェア構成例を示すブロック図である。 本発明の実施例１に係るデータ送信装置のハードウェア構成例を示すブロック図である。 本発明の実施例１に係るデータ受信装置のハードウェア構成例を示すブロック図である。 本発明の実施例１に係る連合学習システムの処理の一例を示すシーケンス図である。 本発明の実施例２に係る連合学習システムの処理の一例を示すシーケンス図である。 本発明の実施例３に係る連合学習システムの処理の一例を示すシーケンス図である。 本発明の実施例４に係る連合学習システムの処理の一例を示すシーケンス図である。

以下、添付図面を参照して本発明の実施の形態を説明する。本実施の形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施の形態は、本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。本実施の形態では、データ受信装置の目的に沿ったＡＩ開発を可能にする、連合学習システムについて説明する。

本実施例は、連合学習システムの学習フェーズとして、共通ＡＩ学習フェーズと目的別ＡＩ学習フェーズを備えるものである。共通ＡＩ学習フェーズでは、複数の学習データと学習モデルとを用いて複数の特徴量を算出する特徴量算出処理と、特徴量算出処理で算出した複数の特徴量を集約して集約特徴量を生成する集約特徴量生成処理と、集約特徴量生成処理で生成した集約特徴量を用いて学習モデルを更新する学習モデル更新処理とが順次繰り返えされる。目的別ＡＩ学習フェーズでは、クエリ（ｑｕｅｒｙ）の入力を条件に、複数の学習データと学習モデルとを用いてクエリに従った特徴量を示す複数のタグ付き特徴量を算出するタグ付き特徴量算出処理と、タグ付き特徴量算出処理で算出した複数のタグ付き特徴量を集約して目的別集約特徴量を生成する目的別集約特徴量生成処理と、目的別集約特徴量生成処理で生成した目的別集約特徴量を用いて学習モデルを更新する目的別学習モデル更新処理が実行される。以下、連合学習システムの具体的内容について説明する。なお、図面の構成上、実施例１で他の実施例の構成を説明することがある。

図１は、本発明の実施例１に係る連合学習システムの構成例を示すブロック図である。図１において、連合学習システム１０は、共通ＡＩ学習フェーズと目的別ＡＩ学習フェーズを備えるシステムであって、特徴量集約サーバ１００と、学習モデル更新サーバ２００と、データ送信装置３００と、データ受信装置４００と、通信ネットワーク５００と、を備える。特徴量集約サーバ１００と、学習モデル更新サーバ２００と、データ送信装置３００及びデータ受信装置４００は、インターネット等の通信ネットワーク５００を介して相互に情報を送受信する。なお、データ送信装置３００とデータ受信装置４００は、複数で構成されることがある。

データ送信装置３００は、例えば、開発対象の学習モデルを保持すると共に、学習モデルを用いて学習して得られた複数の学習データ（学習用データ）を保持し、共通ＡＩ学習フェーズでは、複数の学習データと学習モデルとを用いて複数の特徴量を算出し、各特徴量をそれぞれ送信情報として生成する。また、データ送信装置３００は、目的別ＡＩ学習フェーズでは、クエリの入力を条件に、複数の学習データと学習モデルとを用いてクエリに従った特徴量を示す複数のタグ付き特徴量を算出し、各タグ付き特徴量をそれぞれ送信情報として生成する。学習データとしては、例えば、動物の写真やレントゲン写真などの画像データ、株の売買データを含むログデータ等が用いられる。学習モデルとしては、例えば、ＤｅｅｐＬｅａｒｎｉｎｇで用いられるＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋやランダムフォレスト等が用いられる。特徴量としては、学習モデルをＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋとした場合、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋのパラメータ数分の実数値が算出される。

特徴量集約サーバ１００は、共通ＡＩ学習フェーズでは、データ送信装置３００で生成された複数の特徴量を受信した場合、受信した複数の特徴量をそれぞれ集約して、集約特徴量を生成し、生成した集約特徴量を学習モデル更新サーバ２００へ送信する。また、特徴量集約サーバ１００は、目的別ＡＩ学習フェーズでは、データ送信装置３００で生成された複数のタグ付き特徴量を受信した場合、受信した複数のタグ付き特徴量をそれぞれ集約して、複数の目的別集約特徴量を生成し、生成した複数の目的別集約特徴量のうち、データ受信装置４００から受信したクエリに適した目的別集約特徴量をデータ受信装置４００へ送信する。

学習モデル更新サーバ２００は、共通ＡＩ学習フェーズでは、特徴量集約サーバ１００から受信した集約特徴量を基に学習モデルを更新し、更新された学習モデルをデータ受信装置４００へ送信する。また、学習モデル更新サーバ２００は、目的別ＡＩ学習フェーズでは、学習モデルをデータ送信装置３００へ送信する。

データ受信装置４００は、共通ＡＩ学習フェーズでは、更新された学習モデルを学習モデル更新サーバ２００から受信し、目的別ＡＩ学習フェーズでは、学習モデル更新サーバ２００へクエリを送信し、クエリに応じた目的別集約特徴量を特徴量集約サーバ１００から受信し、受信した目的別集約特徴量を基に学習モデルを更新する。

なお、特徴量集約サーバ１００、学習モデル更新サーバ２００、データ送信装置３００、及びデータ受信装置４００の詳細な構成については後述する。また、連合学習システム１０に含まれる装置の一部又は全部が一体化されていてもよい。例えば、特徴量集約サーバ１００と、学習モデル更新サーバ２００と、が一体化されていてもよいし、データ送信装置３００とデータ受信装置４００とが一体化されていてもよい。

図２は、本発明の実施例１に係る特徴量集約サーバのハードウェア構成例を示すブロック図である。図２において、特徴量集約サーバ１００は、例えば、プロセッサ（ＣＰＵ）１０１、補助記憶装置１０２、メモリ１０３、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７を有する計算機によって構成され、各装置が、バス等の内部信号線１０４を介して互いに接続される。なお、図２には、実施例１～４で用いるハードウェア及びソフトウェア資源が図示されている。

プロセッサ１０１は、メモリ１０３に格納されたプログラムを実行し、各装置を統括制御する処理装置である。メモリ１０３は、不揮発性の非一時的な記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、不変なプログラム（たとえばＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置１０２は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の非一時的な記憶装置であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１０２から読み出されて、メモリ１０３にロードされ、その後、プロセッサ１０１によって実行される。

入出力インターフェース（Ｉ／Ｆ）１０６は、キーボードやマウスなどの入力装置に接続され、オペレータの操作による情報を入力するインターフェースである。また、入出力インターフェース１０６は、表示装置１０５やプリンタなどの出力装置に接続され、プログラムの実行結果を、オペレータが視認可能な形式の情報に変換して出力するインターフェースでもある。表示装置１０５は、入出力インターフェース１０６から出力されたプログラムの実行結果を表示する。

通信インターフェース（Ｉ／Ｆ）１０７は、所定のプロトコルに従って、通信ネットワーク５００を介して他の装置との通信を制御するネットワークインターフェースである。また、通信インターフェース１０７は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインターフェースを含んでもよい。

プロセッサ１０１が実行するプログラムの一部又は全部は、非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）、又は非一時的記憶装置を備える外部計算機から通信ネットワーク５００を介して特徴量集約サーバ１００に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０２に格納されてもよい。このため、特徴量集約サーバ１００は、リムーバブルメディアからデータを読み込むインターフェースを有する構成とすることができる。これは、学習モデル更新サーバ２００、データ送信装置３００、及びデータ受信装置４００についても同様である。

特徴量集約サーバ１００は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。これは、学習モデル更新サーバ２００、データ送信装置３００、及びデータ受信装置４００についても同様である。

プロセッサ１０１は、ソフトウェア資源として、例えば、鍵生成部１１１、特徴量集約部１１２、復号処理部１１３、及び鍵付替部１１４を備える。例えば、プロセッサ１０１は、メモリ１０３にロードされた鍵生成プログラムに従って動作することで、鍵生成部１１１として機能し、メモリ１０３にロードされた特徴量集約プログラムに従って動作することで、特徴量集約部１１２として機能し、メモリ１０３にロードされた復号処理プログラムに従って動作することで、復号処理部１１３として機能し、メモリ１０３にロードされた鍵付替プログラムに従って動作することで鍵付替部１１４として機能する。

鍵生成部１１１は、例えば、初期フェーズにおいて、データ送信装置３００の暗号化で用いる暗号化方式に関する情報を基に、特徴量を暗号化するための一次公開鍵と、特徴量を復号（復号化）するための一次秘密鍵を生成する。この際、鍵生成部１１１は、暗号技術として、例えば、加法準同型暗号を用いる。加法準同型暗号とは、暗号化された状態のまま暗号文同士の加算を行うことができる技術である。

以下、加法準同型暗号について数式を用いて説明する。Ｍ１,Ｍ２を任意の値とし、暗号鍵をｐｋ、暗号化関数をＥｎｃとする。例えば、Ｅｎｃ（Ｍ，ｐｋ）は、値Ｍを暗号鍵ｐｋで暗号化して得られた暗号文を指す。さらに、暗号化した状態のまま加算を行うための演算を＊とする。このとき、加法準同型性より次の（１）式が成り立つ。
Ｅｎｃ（Ｍ１，ｐｋ）＊Ｅｎｃ（Ｍ２，ｐｋ）＝Ｅｎｃ（Ｍ１+Ｍ２，ｐｋ）・・・（１）

上記（１）式より、Ｍ１の暗号文とＭ２の暗号文から、加算した値Ｍ１＋Ｍ２の暗号文を生成できる。また、加法準同型暗号の中には、公開鍵の加算が可能な暗号方式が存在する。ｐｋ１とｐｋ２を公開鍵とし、Ｍを任意の値とし、＊を公開鍵加算のための演算とした場合に、公開鍵の加算を数式で表現すると、次の（２）式のようになる。
Ｅｎｃ(Ｍ，ｐｋ１)＊Ｅｎｃ（Ｍ，ｐｋ２）＝Ｅｎｃ（Ｍ，ｐｋ１＋ｐｋ２）・・・（２）

公開鍵の加法性を用いることで、暗号処理の計算コストを削減できる。ここで、連合学習システム１０に適用する暗号技術として、例えば、上記公開鍵の加法性を有する加法準同型暗号方式である、楕円ＥｌＧａｍａｌ暗号の適用等が考えられる。

特徴量集約部１１２は、例えば、共通ＡＩ学習フェーズにおいて、データ送信装置３００から受信した特徴量もしくは暗号化特徴量に対する集約として加算や平均を行い、集約特徴量もしくは暗号化特徴量を生成する。また、集約部１１２は、例えば、目的別ＡＩ学習フェーズにおいて、データ送信装置３００から受信した特徴量もしくはタグ付き特徴量もしくは暗号化タグ付き特徴量に対する集約として加算や平均を行い、目的別集約特徴量もしくは暗号化目的別集約特徴量を生成する。

復号処理部１１３は、例えば、共通ＡＩ学習フェーズにおいて、鍵生成部１１１で生成した一次秘密鍵を用いて、特徴量集約部１１２で生成した暗号化集約特徴量を復号（一次復号化）して、一次復号済暗号化集約特徴量を生成する。

鍵付替部１１４は、例えば、目的別ＡＩ学習フェーズにおいて、学習モデル更新サーバ２００から受信した鍵付替鍵と算出した暗号化目的別集約特徴量から、データ受信装置４００の保有する個別秘密鍵で復号可能な鍵付替済暗号化目的別集約特徴量を生成する。

以下、鍵付替部１１４における鍵付替について、数式を用いて説明する。Ｍ１を任意の値とし、暗号鍵をｐｋ、鍵付替鍵をｒｋ、暗号化関数をＥｎｃ、鍵付替関数をＲｅＥｎｃとする。例えばＲｅＥｎｃ（Ｍ，ｐｋ）は、値Ｍを暗号鍵ｐｋで暗号化して得られた暗号文、（Ｍ，ｒｋ）は、値Ｍを鍵付替鍵ｒｋで再暗号化した暗号文を指す。ｐｋをｒｋで再暗号化した際の再暗号文に対する復号鍵をｒｓｋ、復号関数をＤｅｃとすると、次の式が成り立つ。
Ｄｅｃ（ＲｅＥｎｃ（Ｅｎｃ（Ｍ，ｐｋ），ｒｋ），ｒｓｋ）＝Ｍ・・・（３）

つまり、ｐｋで暗号化した暗号文をｒｋで再暗号化した再暗号文は、秘密鍵ｒｓｋで復号可能となる。ここで、ｐｋに対応する秘密鍵をｓｋとしたとき、ｓｋでは再暗号文を復号できない。

図３は、本発明の実施例１に係る学習モデル更新サーバのハードウェアの構成例を示すブロック図である。図３において、学習モデル更新サーバ２００は、例えば、プロセッサ（ＣＰＵ）２０１、補助記憶装置２０２、メモリ２０３、表示装置２０５、入出力インターフェース２０６、及び通信インターフェース２０７を有する計算機によって構成され、各装置が、バス等の内部信号線２０４を介して互いに接続される。なお、図３には、図面の構成上、実施例１～４で用いるハードウェア及びソフトウェア資源が図示されている。

プロセッサ２０１、補助記憶装置２０２、メモリ２０３、内部信号線２０４、表示装置２０５、入出力インターフェース２０６、及び通信インターフェース２０７のハードウェアとしての構成は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての構成と同様であるため、これらの説明を省略する。

プロセッサ２０１は、ソフトウェア資源として、鍵生成部２１１、学習モデル更新部２１２、及び復号処理部２１３を備える。この際、例えば、プロセッサ２０１は、メモリ２０３にロードされた鍵生成プログラムに従って動作することで、鍵生成部２１１として機能し、メモリ２０３にロードされた学習モデル更新プログラムに従って動作することで、学習モデル更新部２１２として機能し、メモリ１０３にロードされた復号処理プログラムに従って動作することで、復号処理部２１３として機能する。

鍵生成部２１１は、例えば、データ送信装置３００の暗号化で用いる暗号化方式に関する情報を基に、共通ＡＩ学習フェーズ前の初期フェーズにおいて、特徴量を暗号化するための二次公開鍵と、特徴量を復号（復号化）するための二次秘密鍵の情報を生成する。また、鍵生成部２１１は、目的別ＡＩ学習フェーズ前の初期フェーズにおいて、特徴量を暗号化するための二次公開鍵と、データ受信装置４００へ送信するための個別秘密鍵の情報をそれぞれ生成し、さらに特徴量集約サーバ１００が鍵付替に使用するための鍵付替鍵の情報を生成する。この際、鍵生成部２１１は、暗号技術として、例えば、加法準同型暗号を用いる。

復号処理部２１３は、例えば、共通ＡＩ学習フェーズにおいて、特徴量集約サーバ１００から一次復号済暗号化集約特徴量を受信した場合、受信した一次復号済暗号化集約特徴量を、鍵生成部２１１で生成した二次秘密鍵を用いて復号（復号化）して、集約特徴量を生成する。

学習モデル更新部２１２は、例えば、共通ＡＩ学習フェーズにおいて、復号処理部２１３で生成した集約特徴量と学習モデル３２０を用いて、例えば、加算や平均により学習モデル３２０の更新を行う。

図４は、本発明の実施例１に係るデータ送信装置のハードウェア構成例を示すブロック図である。図４において、データ送信装置３００は、例えば、プロセッサ（ＣＰＵ）３０１、補助記憶装置３０２、メモリ３０３、表示装置３０５、入出力インターフェース３０６、及び通信インターフェース３０７を有する計算機によって構成され、各装置が、バス等の内部信号線３０４を介して互いに接続される。なお、図４には、図面の構成上、実施例１～４で用いるハードウェア及びソフトウェア資源が図示されている。

プロセッサ３０１、補助記憶装置３０２、メモリ３０３、内部信号線３０４、表示装置３０５、入出力インターフェース３０６、及び通信インターフェース３０７のハードウェアとしての構成は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての構成と同様であるため、これらの説明を省略する。

プロセッサ３０１は、ソフトウェア資源として、例えば、特徴量計算部３１１と暗号処理部３１２を備える。この際、例えば、プロセッサ３０１は、メモリ３０３にロードされた特徴量計算プログラムに従って動作することで、特徴量計算部３１１として機能し、メモリ３０３にロードされた暗号処理プログラムに従って動作することで、暗号処理部３１２として機能する。

データ送信装置３００の補助記憶装置３０２は、プロセッサ３０１が、開発対象の学習モデル３２０を用いて学習して得られた学習データ３２１と学習モデル３２０を保持する。なお、学習モデル３２０と学習データ３２１は、データ送信装置３００のメモリ３０３に格納されていてもよい。

特徴量計算部３１１は、共通ＡＩ学習フェーズにおいて、複数の学習データ３２１と学習モデル３２０とを用いて複数の特徴量を算出し、各特徴量をそれぞれ送信情報として生成する。また、データ送信装置３００は、目的別ＡＩ学習フェーズにおいて、クエリの入力を条件に、複数の学習データ３２１と学習モデル３２０とを用いてクエリに従った特徴量を示す複数のタグ付き特徴量を算出し、各タグ付き特徴量をそれぞれ送信情報として生成する。

暗号処理部３１２は、例えば、共通ＡＩ学習フェーズにおいて、特徴量集約サーバ１００の鍵生成部１１１で生成された一次公開鍵と、学習モデル更新サーバ２００の鍵生成部２１１で生成された二次公開鍵を用いて特徴量を暗号化して暗号化特徴量を生成する。また、暗号処理部３１２は、目的別ＡＩ学習フェーズにおいて、学習モデル更新サーバ２００の鍵生成部２１１で生成された二次公開鍵を用いてタグ付き特徴量を暗号化して暗号化タグ付き特徴量を生成する。この際、データ送信装置３００は、特徴量集約サーバ１００及び学習モデル更新サーバ２００と情報の送受信を行うことで、学習モデル３２０、一次公開鍵３２４、及び二次公開鍵３２５に関する情報を入力することができる。

なお、データ送信装置３００が、複数台で構成された場合、複数のデータ送信装置３００の処理により、開発対象の学習モデル３２０と複数の学習データ３２１とから複数の特徴量もしくはタグ付き特徴量が生成され、生成された各特徴量もしくはタグ付き特徴量から複数の暗号化特徴量もしくは暗号化タグ付き特徴量が生成される。また、データ送信装置３００が、複数の情報処理系統（暗号化処理系統）で構成された場合、特徴量計算部３１１と暗号処理部３１２により複数の情報処理系統（暗号化処理系統）が構成される。

図５は、本発明の実施例１に係るデータ受信装置のハードウェア構成例を示すブロック図である。図５において、データ受信装置４００は、例えば、プロセッサ（ＣＰＵ）４０１、補助記憶装置４０２、メモリ４０３、表示装置４０５、入出力インターフェース４０６、及び通信インターフェース４０７を有する計算機によって構成され、各装置が、バス等の内部信号線４０４を介して互いに接続される。なお、図５には、図面の構成上、実施例１～４で用いるハードウェア及びソフトウェア資源が図示されている。

プロセッサ４０１、補助記憶装置４０２、メモリ４０３、内部信号線４０４、表示装置４０５、入出力インターフェース４０６、及び通信インターフェース４０７のハードウェアとしての構成は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての構成と同様であるため、これらの説明を省略する。

プロセッサ４０１は、ソフトウェア資源として、例えば、学習モデル更新部４１１と復号処理部４１２を備える。この際、例えば、プロセッサ４０１は、メモリ４０３にロードされた学習モデル更新プログラムに従って動作することで、学習モデル更新部４１１として機能し、メモリ４０３にロードされた復号処理プログラムに従って動作することで、復号処理部４１２として機能する。

なお、プロセッサ４０１は、通信インターフェース４０７が、学習モデル更新サーバ２００から、更新された学習モデル３２０の情報を受信した場合、受信した情報を補助記憶装置４０２に格納すると共に、表示装置４０５の画面上に表示する。

復号処理部４１２は、例えば、目的別ＡＩ学習フェーズにおいて、特徴量集約サーバ１００から鍵付替済暗号化目的別集約特徴量を受信した場合、受信した鍵付替済暗号化目的別集約特徴量を、個別秘密鍵を用いて復号（復号化）して、目的別集約特徴量を生成する。学習モデル更新部４１１は、例えば、目的別ＡＩ学習フェーズにおいて、特徴量集約サーバ１００から目的別集約特徴量を受信した場合、受信した目的別集約特徴量と学習モデル３２０を用いて、例えば、加算や平均により学習モデル３２０を更新する。また、学習モデル更新部４１１は、目的別ＡＩ学習フェーズにおいて、復号処理部４１２で目的別集約特徴量が生成された場合、復号処理部４１２で生成された目的別集約特徴量と学習モデル３２０を用いて、例えば、加算や平均により学習モデル３２０を更新する。

図６は、本発明の実施例１に係る連合学習システムの処理の一例を示すシーケンス図である。まず、共通ＡＩ学習フェーズＰ６０１の処理について説明する。図６において、学習モデル更新サーバ２００は、開発対象の学習モデル３２０の情報を、通信ネットワーク５００を介して各データ送信装置３００へ送信する（Ｓ６０１）。開発対象の学習モデル３２０としては、例えば、決定木やＤｅｅｐＬｅａｒｎｉｎｇなどの機械学習モデルが使用される。

各データ送信装置３００は、クエリの入力がないことを条件に、保有する学習データ３２１と学習モデル更新サーバ２００から受信した学習モデル３２０を用いて特徴量（共通学習用特徴量）をそれぞれ算出する（Ｓ６０２）。ここで、各データ送信装置３００では、各特徴量を算出する前に、ｅｐｏｃｈ数と呼ばれる学習をローカルで行う回数を定める必要がある。Ｅｐｏｃｈ数は、各データ送信装置３００が個別に定めても良いし、特徴量集約サーバ１００や、学習モデル更新サーバ２００が事前に定めておいてもよい。各特徴量の算出方法は、例えば、決定木の場合は、線形回帰やロジスティック回帰があり、ＤｅｅｐＬｅａｒｎｉｎｇの場合は、統計的勾配降下法などがある。

各データ送信装置３００は、ステップＳ６２０で生成した特徴量の情報を、通信ネットワーク５００を介して特徴量集約サーバ１００へ送信する（Ｓ６０３）。

特徴量集約サーバ１００は、各データ送信装置３００から特徴量の情報を受信した場合、各特徴量の情報を集約して、集約特徴量（共通学習用集約特徴量）を生成する（Ｓ６０４）。各特徴量の情報の集約方法として、例えば、加算や平均が考えられる。集約を行うタイミングについては、全てのデータ送信装置３００から特徴量を受信してから集約を行ってもよいし、時間や特徴量に関する閾値を定めて、一定時間経過もしくは一定個数以上の特徴量を受信したら集約を行ってもよい。

例えば、特徴量集約サーバ１００は、複数のデータ送信装置３００の各々から特徴量を順次入力し、入力した特徴量が設定数に達したときの第１タイミング（第１時間）と、複数のデータ送信装置３００の各々から特徴量を入力する入力開始時時間から設定時間経過したときの第２タイミング（第２時間）をそれぞれ監視し、少なくとも第１タイミング又は第２タイミングで、入力した特徴量をそれぞれ集約する。これにより、特徴量集約サーバ１００は、設定した第１タイミング又は第２タイミングから、入力した特徴量をそれぞれ集約する処理を開始することができる。

この後、特徴量集約サーバ１００は、ステップＳ６０４で生成した集約特徴量の情報を、通信ネットワーク５００を介して学習モデル更新サーバ２００へ送信する（Ｓ６０５）。

次に、学習モデル更新サーバ２００は、ステップＳ６０５で受信した集約特徴量（共通学習用集約特徴量）を用いて学習モデル３２０を更新する（Ｓ６０６）。学習モデル３２０を更新する際は、例えば、集約特徴量を学習モデル３２０に加算する方法や、集約特徴量をデータ送信装置３００の数で除算するなどの処理を行ったうえで加算する方法等が考えられる。

この後、学習モデル更新サーバ２００は、更新された学習モデル３２０の情報を、通信ネットワーク５００を介してデータ受信装置４００へ送信する（Ｓ６０７）。

以上、ステップＳ６０１～ステップＳ６０６が共通ＡＩ学習フェーズ６０１である。ステップＳ６０１～ステップＳ６０６の処理を複数回繰り返すことで、学習モデル３２０の精度を高めることができる。

次に、目的別ＡＩ学習フェーズＰ６０２の処理について説明する。図６において、学習モデル更新サーバ２００は、開発対象の学習モデル３２０の情報を、通信ネットワーク５００を介してデータ送信装置３００へ送信する（Ｓ６０１）。開発対象の学習モデル３２０としては、例えば、決定木やＤｅｅｐＬｅａｒｎｉｎｇなどの機械学習モデルが使用される。

特徴量集約サーバ１００は、特徴量に付加するタグを含むクエリ（第１クエリ）の情報、例えば、データ抽出要件（性別、年齢等の抽出要件）を規定したクエリの情報（クエリ情報）を各データ送信装置３００へ送信する（Ｓ６０８）。

各データ送信装置３００は、Ｓ６０８で受信したクエリ情報に基づいて、保有する学習データ３２１と学習モデル更新サーバ２００から受信した学習モデル３２０を用いて、クエリに従った特徴量（性別、年齢等のデータ抽出要件を満たす特徴量）として、複数のタグ付き特徴量をそれぞれ算出する（Ｓ６０９）。ここで、例えば、クエリのデータ抽出要件として、３０歳未満のデータと３０歳以上のデータとの比率を３：７で学習することが規定されている場合、学習データとして、３０歳未満のデータと３０歳以上のデータとの比率が３：７となるデータが用いられ、これらの学習データと学習モデル３２０とを基に、クエリに従った特徴量が算出される。また、各データ送信装置３００では、各タグ付き特徴量を算出する前に、ｅｐｏｃｈ数と呼ばれる学習をローカルで行う回数を定める必要がある。Ｅｐｏｃｈ数は、各データ送信装置３００が個別に定めても良いし、特徴量集約サーバ１００や、学習モデル更新サーバ２００が事前に定めておいてもよい。各タグ付き特徴量の算出方法は、例えば、決定木の場合は、線形回帰やロジスティック回帰があり、ＤｅｅｐＬｅａｒｎｉｎｇの場合は、統計的勾配降下法などがある。

各データ送信装置３００は、ステップＳ６０９で生成したタグ付き特徴量の情報を、通信ネットワーク５００を介して特徴量集約サーバ１００へ送信する（Ｓ６１０）。

特徴量集約サーバ１００は、各データ送信装置３００から複数のタグ付き特徴量の情報を受信した場合、各タグ付き特徴量の情報を集約して、目的別集約特徴量を複数生成する（Ｓ６１１）。各タグ付き特徴量の情報の集約方法として、例えば、性別や年齢などの要件を設定し、要件を満たすタグの付き特徴量のみに対し、加算や平均を行う方法が考えられる。集約を行うタイミングについては、共通ＡＩ学習フェーズと同様の方法が考えられる。

次に、学習モデル更新サーバ２００は、データ受信装置４００からのクエリ（第２クエリ）を受信した場合（Ｓ６１２）、生成した複数の目的別集約特徴量のうち、受信したクエリに適した目的別集約特徴量の情報を、通信ネットワーク５００を介してデータ受信装置４００へ送信する（Ｓ６１３）。この際、クエリ（第２クエリ）として、性別や年齢などのデータ集約要件が規定されている場合、クエリに適した目的別集約特徴量として、性別や年齢別の目的別集約特徴量が生成される。なお、第１クエリと第２クエリとしては、例えば、学習モデルを更新するための目的に沿ったクエリであって、学習に利用したいデータ（学習データに利用するデータ）のデータ分布等のデータ集約要件が規定されたクエリを用いることもできる。また、第１クエリの内容と第２クエリの内容をそれぞれ異なるようにすることもできる。この場合、第２クエリの内容を第１クエリの内容よりも要件の範囲を絞り込んだものにする。例えば、第１クエリのデータ抽出要件を、全ての年齢のデータとし、第２クエリのデータ集約要件を、特定の年代のデータとする。

データ受信装置４００は、学習モデル更新サーバ２００から受信した目的別集約特徴量を用いて学習モデル３２０（共通ＡＩ学習フェーズＰ６０１で更新された学習モデル３２０）を更新する（Ｓ６１４）。学習モデル３２０を更新する際は、例えば、目的別集約特徴量を学習モデル３２０に加算する方法や、目的別集約特徴量をデータ送信装置３００の数で除算するなどの処理を行ったうえで加算する方法等が考えられる。

この後、データ受信装置４００は、更新された学習モデル３２０の性能などに関する情報を、ネットワーク５００を介して学習モデル更新サーバ２００および、特徴量集約サーバ１００へ送信するフィードバックの処理を実行する（６１５）。

ステップＳ６０１、Ｓ６０２、Ｓ６０８～ステップＳ６１５が目的別ＡＩ学習フェーズＰ６０２である。

本実施例によれば、学習モデルを更新するための目的に沿って集約された目的別集約特徴量で学習モデルを更新することができる。すなわち、本実施例によれば、共通ＡＩ学習フェーズにおいて通常の連合学習同様に学習モデルを更新することができ、また目的別ＡＩ学習フェーズにおいて、特徴量集約サーバ１００でタグ付き特徴量を収集することで、データ受信装置４００のクエリ(第２クエリ)に沿った更新モデルを生成することができ、結果として、データ受信装置４００のクエリに沿った目的別ＡＩの開発が可能となる。

また、本実施例においては、目的別ＡＩ学習フェーズにおいて、特徴量集約サーバ１００は、算出した目的別集約特徴量のリストを作成し、データ受信装置４００は、リストの中から必要な目的別集約特徴量のクエリを特徴量集約サーバ１００へ送り、データ受信装置４００のクエリの対象となる目的別集約特徴量を入手するという場面を想定している。

本実施例は、目的別ＡＩ学習フェーズにおいて、特徴量集約サーバ１００が、データ受信装置４００からのクエリ（第２クエリ）を受信したことを条件に、特徴量集約サーバ１００から各データ送信装置３００にクエリ（第１クエリ）を送信するようにしたものであり、実施例１とは、ハードウェアの構成及びソフトウェア資源の一部の構成は同一である。

図７は、本発明の実施例２に係る連合学習システムの処理の一例を示すシーケンス図である。なお、本実施例における共通ＡＩ学習フェーズＰ６０１の処理については、実施例１と同様である。

次に、目的別ＡＩ学習フェーズＰ７０１の処理について説明する。図７において、学習モデル更新サーバ２００は、開発対象の学習モデル３２０の情報を、通信ネットワーク５００を介してデータ送信装置３００へ送信する（Ｓ６０１）。開発対象の学習モデル３２０としては、例えば、決定木やＤｅｅｐＬｅａｒｎｉｎｇなどの機械学習モデルが使用される。

次に、データ受信装置４００は、クエリ（第２クエリ）として、例えば、学習に利用したいデータのデータ分布等をデータ集約要件に規定したクエリの情報を特徴量集約サーバ１００へ送る（Ｓ７０１）。クエリ（第２クエリ）を受信した特徴量集約サーバ１００は、受け取ったクエリを基に、特徴量に付加するタグを含むクエリとして、例えば、学習に利用したいデータ分布等をデータ抽出要件としたクエリ（第１クエリ）を生成し、生成したクエリの情報をデータ送信装置３００へ送信する（Ｓ６０８）。この際、特徴量集約サーバ１００は、データ受信装置４００からクエリ（第２クエリ）を受信した場合、第１クエリとして、第２クエリとはその内容が異なるものを生成することもできる。この場合、第１クエリの内容を第２クエリの内容よりも要件の範囲を広げることができる。

この後、目的別ＡＩ学習フェーズＰ７０１の処理として、Ｓ６０９～Ｓ６１５の処理が実行されるが、ステップＳ６０９～Ｓ６１５のうち、ステップＳ６１２の処理がなくなること以外は、実施例１と同様であり、それらの説明を省略する。

本実施例によれば、共通ＡＩ学習フェーズにおいて通常の連合学習同様に学習モデルを更新することができ、また目的別ＡＩ学習フェーズにおいて、特徴量集約サーバ１００でタグ付き特徴量を収集することで、データ受信装置４００のクエリ(第２クエリ)に沿った更新モデルを生成することができ、結果として、データ受信装置４００のクエリに沿った目的別ＡＩの開発が可能となる。

また、本実施例によれば、目的別ＡＩ学習フェーズにおいて、特徴量集約サーバ１００が、データ受信装置４００から受信したクエリ（第２クエリ）であって、学習に利用したいデータの分布等に関するクエリに応じたタグ付き特徴量を各データ送信装置３００から入手して集約することで、データ受信装置４００のクエリ(第２クエリ)により適した更新モデルを生成することができ、結果として、データ受信装置４００のクエリにより適した目的別ＡＩの開発が可能となる。

本実施例は、共通ＡＩ学習フェーズの前に、初期フェーズとして、データの暗号化に必要な鍵生成処理を実行し、共通ＡＩ学習フェーズにおいて、初期フェーズにおいて、鍵生成処理で生成された鍵を用いて特徴量を暗号化するようにしたものである。すなわち、本実施例は、特徴量を暗号化することで、特徴量からデータ送信端末の持つ学習データを復元する攻撃等、データ漏洩攻撃への耐性を高めた手法である。なお、実施例１とは、ハードウェアの構成及びソフトウェア資源の一部の構成は同一である。

図８は、本発明の実施例３に係る連合学習システムの処理の一例を示すシーケンス図である。図８において、学習モデル更新サーバ２００は、まず、共通ＡＩ学習前の初期フェーズＰ８０１の処理として、二次公開鍵の鍵生成を行い（Ｓ８０１）、開発対象の学習モデル３２０と生成した二次公開鍵及び暗号パラメータの情報を、通信ネットワーク５００を介して各データ送信装置３００へ送信し（Ｓ８０２）、さらに、暗号パラメータの情報を、通信ネットワーク５００を介して特徴量集約サーバ１００へ送信する（Ｓ８０３）。

特徴量集約サーバ１００は、受信した暗号パラメータの情報を基に一次公開鍵の鍵生成を行い（Ｓ８０４）、生成した一次公開鍵の情報を、通信ネットワーク５００を介して各データ送信装置３００へ送信する（Ｓ８０５）。

学習モデル更新サーバ２００による鍵生成処理（Ｓ８０１）と、特徴量集約サーバ１００による鍵生成処理（Ｓ８０４）では、例えば、加法準同型暗号の一つである、楕円Ｅｌｇａｍａｌ暗号を用いる。この場合、ステップＳ８０２やステップＳ８０３で送信される暗号パラメータは、例えば、楕円Ｅｌｇａｍａｌ暗号を利用するという情報や、使用する楕円曲線、基点の情報などを含む。なお、暗号パラメータの設定は、学習モデル更新サーバ２００が行ってもよいし、特徴量集約サーバ１００が行ってもよい。開発対象の学習モデル３２０としては、例えば、決定木やＤｅｅｐＬｅａｒｎｉｎｇなどの機械学習モデルが使用される。

次に、共通ＡＩ学習フェーズＰ８０２における処理として、各データ送信装置３００は、保有する学習データ３２１と学習モデル更新サーバ２００から受信した学習モデル３２０を用いて特徴量（共通学習用特徴量）をそれぞれ算出する（Ｓ６０２）。ここで、各データ送信装置３００では、各特徴量を算出する前に、ｅｐｏｃｈ数と呼ばれる学習をローカルで行う回数を定める必要がある。Ｅｐｏｃｈ数は、各データ送信装置３００が個別に定めても良いし、特徴量集約サーバ１００や、学習モデル更新サーバ２００が事前に定めておいてもよい。各特徴量の算出方法は、例えば、決定木の場合は、線形回帰やロジスティック回帰があり、ＤｅｅｐＬｅａｒｎｉｎｇの場合は、統計的勾配降下法などがある。

次に、各データ送信装置３００は、ステップＳ８０２で受信した二次公開鍵と、ステップＳ８０５で受信した一次公開鍵を用いて特徴量の暗号化を行い、暗号化特徴量（共通学習用暗号化特徴量）を生成する（Ｓ８０６）。特徴量を暗号化するに際して、例えば、公開鍵の数だけ特徴量を暗号化する方法や、公開鍵を先に加算し、算出された加算公開鍵を用いて一度だけ暗号化を行う方法が考えられる。

各データ送信装置３００は、ステップＳ８０６で生成した暗号化特徴量の情報を、通信ネットワーク５００を介して特徴量集約サーバ１００へ送信する（Ｓ８０７）。

特徴量集約サーバ１００は、各データ送信装置３００から暗号化特徴量の情報を受信した場合、各暗号化特徴量の情報を集約して、暗号化集約特徴量（共通学習用暗号化集約特徴量）を生成する（Ｓ８０８）。各暗号化特徴量の情報の集約方法として、例えば、加算や平均が考えられる。加法準同型暗号を用いることにより、暗号化した状態のまま加算を行うことが可能となる。集約を行うタイミングについては、全てのデータ送信装置３００から暗号化特徴量を受信してから集約を行ってもよいし、時間や暗号化特徴量の数に関する閾値を定めて、一定時間経過もしくは一定個数以上の暗号化特徴量を受信したタイミングで集約を行ってもよい。

例えば、特徴量集約サーバ１００は、複数のデータ送信装置３００の各々から暗号化特徴量を順次入力し、入力した暗号化特徴量が設定数に達したときの第１タイミング（第１時間）と、複数のデータ送信装置３００の各々から暗号化特徴量を入力する入力開始時時間から設定時間経過したときの第２タイミング（第２時間）をそれぞれ監視し、少なくとも第１タイミング又は第２タイミングで、入力した暗号化特徴量をそれぞれ集約する。これにより、特徴量集約サーバ１００は、設定した第１タイミング又は第２タイミングから、入力した暗号化特徴量をそれぞれ集約する処理を開始することができる。

特徴量集約サーバ１００は、ステップＳ８０４で生成した一次秘密鍵を用いて、ステップＳ８０８で生成した暗号化集約特徴量の復号（復号化）を行い、一次復号済暗号化集約特徴量を生成する（Ｓ８０９）。ここで、特徴量集約サーバ１００は、ステップＳ８０１で学習モデル更新サーバ２００により生成された二次秘密鍵を保有していないため、暗号化集約特徴量を完全に復号（復号化）することはできない。このように、特徴量集約サーバ１００において集約後に一次復号（一次復号化）を行うので、万一、集約前の暗号化特徴量が漏えいしたとしても、暗号化特徴量が多重に暗号化されているため、二次秘密鍵しか持たない学習モデル更新サーバ２００は、暗号化特徴量を完全には復号できず、元の特徴量の安全性は確保される。

この後、特徴量集約サーバ１００は、ステップＳ８０９で生成した一次復号済暗号化集約特徴量の情報を、通信ネットワーク５００を介して学習モデル更新サーバ２００へ送信する（Ｓ８１０）。

学習モデル更新サーバ２００は、一次復号済暗号化集約特徴量の情報を受信した場合、ステップＳ７０１で生成した二次秘密鍵を用いて、一次復号済暗号化集約特徴量を復号（復号化）して、集約特徴量を生成する（Ｓ８１１）。

次に、学習モデル更新サーバ２００は、ステップＳ８１１で生成した集約特徴量を用いて学習モデル３２０を更新する（Ｓ６０６）。学習モデル３２０を更新する際は、例えば、集約特徴量を学習モデル３２０に加算する方法や、集約特徴量をデータ送信装置３００の数で除算するなどの処理を行ったうえで加算する方法等が考えられる。

この後、学習モデル更新サーバ２００は、更新された学習モデル３２０の情報を、通信ネットワーク５００を介してデータ受信装置４００へ送信する（Ｓ６０７）。

ステップＳ８０１～ステップＳ８０５を初期フェーズ（共通ＡＩ学習フェーズ前）Ｐ８０１とし、ステップＳ６０１、Ｓ６０２、Ｓ８０６～ステップＳ８１１を共通ＡＩ学習フェーズＰ８０２とした場合、初期フェーズＰ８０１の処理を終えた後、共通ＡＩ学習フェーズＰ８０２の処理を繰り返し行っても良い。すなわち、共通ＡＩ学習フェーズＰ８０２のステップＳ６０７の後、再び共通ＡＩ学習フェーズＰ８０２のステップＳ６０１から同様の手順で処理を行っても良い。また、ステップＳ６０６の後、ステップＳ６０７の処理を行わずに、共通ＡＩ学習フェーズ８０２のステップＳ６０１から同様の手順で処理を行っても良い。

ここで、ステップＳ８０６～ステップＳ８１１の具体的な処理として、例えば、暗号方式として楕円ＥｌＧａｍａｌ暗号を用いた場合について説明する。この際、暗号パラメータの一つである楕円曲線上の基点をＧ、一次秘密鍵である整数値をａ、二次秘密鍵である整数値をｂ、一次公開鍵をａＧ、二次公開鍵をｂＧとする。暗号化する２つの楕円曲線上の点をＭ１、Ｍ２とする。また、暗号化において、一次公開鍵ａＧと二次公開鍵ｂＧを先に加算して加算公開鍵（ａ＋ｂ）Ｇを算出し、上記加算公開鍵を用いて暗号化する場合を考える。このとき、楕円曲線上の点Ｍ１、Ｍ２の暗号文は、それぞれランダムな整数値ｒ１、ｒ２を乱数として用いて、（ｒ１Ｇ，ｒ１（ａ＋ｂ）Ｇ＋Ｍ１），（ｒ２Ｇ，ｒ２（ａ＋ｂ）Ｇ＋Ｍ２）となり（Ｓ８０６）、これらの暗号文は、暗号化特徴量として、各データ送信装置３００から特徴量集約サーバ１００へ送られる（Ｓ８０７）。なお、整数値ｒ１、ｒ２を乱数として用いない場合、同じデータは、同じ暗号文に変換されるので、整数値ｒ１、ｒ２は毎回生成される。

特徴量集約サーバ１００は、各暗号文の集約を行うことで、暗号化集約特徴量として、（（ｒ１＋ｒ２）Ｇ，（ｒ１＋ｒ２）（ａ＋ｂ）Ｇ＋Ｍ１＋Ｍ２）を算出し（Ｓ８０８）、更に一次秘密鍵であるａと暗号化集約特徴量を用いて、以下の計算を行う（Ｓ８０９）。
（（ｒ１＋ｒ２）（ａ＋ｂ）Ｇ＋Ｍ１＋Ｍ２）―ａ（（ｒ１＋ｒ２）Ｇ）＝ｂ（ｒ１＋ｒ２）Ｇ＋Ｍ１＋Ｍ２・・・（３）

この際、特徴量集約サーバ１００は、算出した（（ｒ１＋ｒ２）Ｇ，ｂ（ｒ１＋ｒ２）Ｇ＋Ｍ１＋Ｍ２）を一次復号済暗号化集約特徴量として、学習モデル更新サーバ２００へ送信する（Ｓ８１０）。

学習モデル更新サーバ２００は、一次復号済暗号化集約特徴量を受信した場合、二次秘密鍵であるｂと一次復号済暗号化集約特徴量を用いて以下の計算を行う（Ｓ８１１）。
（ｂ（ｒ１＋ｒ２）Ｇ＋Ｍ１＋Ｍ２）―ｂ（（ｒ１＋ｒ２）Ｇ）＝Ｍ１＋Ｍ２・・・（４）

上記計算により、学習モデル更新サーバ２００は、（４）式による復号処理により集約特徴量として、Ｍ１＋Ｍ２を生成する。ただし、連合学習システム１０では、ステップＳ８０６において、特徴量を暗号化する必要がある。この際、特徴量は、実数値、楕円曲線上の点は整数値であるため、楕円ＥｌＧａｍａｌ暗号を用いる場合、特徴量と楕円曲線上の点を変換する仕組みが必要になる。変換する方法として、例えば、事前にｎｂｉｔと楕円曲線上の点の変換表を作成しておき、特徴量をｂｉｔ数ｎの２進数表現に変換したのち、上記変換表を用いて楕円曲線上の点へ変換する方法が考えられる。

また、特徴量を暗号化するに際しては、暗号化と復号（復号化）を効率的に行うために、特徴量を丸める方法を採用することができる。特徴量を丸める方法としては、例えば、値ｎを設定し、特徴量に対して、切り上げ又は切り下げ処理を実行し、ｎビット表現に統一する方法を採用することができる。すなわち、特徴量を丸めずに暗号化すると、暗号化集約特徴量を復号（復号化）する際に参照するルックアップテーブル（対応表）の情報量が多くなり、復号に時間がかかるので、特徴量を丸める方法が採用される。この際、各データ送信装置３００は、特徴量を多重に暗号化する前に、特徴量に対して切り上げ処理又は切り下げ処理を実行し、特徴量の値を、設定されたビット情報に統一する。これにより、特徴量集約サーバ１００や学習モデル更新サーバ２００は、特徴量の復号（復号化）を効率的に行うことができる。

ここで、具体例として、例えば、特徴量（ｆｅａｔｕｒｅ）を、０＜又は＝ｆｅａｔｕｒｅ＜又は＝１を満たす実数値とし、特徴量を丸めた後の値を、ｆとすると、ｎ＝２の場合、２ビットなので、次の４通りの値に特徴量を丸めることができる。この際、特徴量を丸める方法としては、以下の方法が採用される。

ｆ＝０ ｉｆ ０＜又は＝ｆｅａｔｕｒｅ＜０．２５ ・・・（ａ）
ｆ＝０．３３ ｉｆ ０．２５＜又は＝ｆｅａｔｕｒｅ＜０．５ ・・・（ｂ）
ｆ＝０．６７ ｉｆ ０．５＜又は＝ｆｅａｔｕｒｅ＜０．７５ ・・・（ｃ）
ｆ＝１ ｉｆ ０．７５＜又は＝ｆｅａｔｕｒｅ＜又は＝１ ・・・（ｄ）

なお、ｎ＝４の場合、４ビットなので、１６通りの値に特徴量を丸めることができる。

本実施例において、特徴量集約サーバ１００は、暗号化集約特徴量の復号（復号化）を、暗号化特徴量の集約後に行っているが、暗号化特徴量の集約前に暗号化特徴量の復号（復号化）を行うことも可能である。

本実施例においては、学習モデル更新サーバ２００が二次秘密鍵の生成をする代わりに、データ送信装置３００が二次秘密鍵の生成を実施し、データ送信装置３００で生成した二次秘密鍵を、学習モデル更新サーバ２００が、データ送信装置３００から受信しても良い。すなわち、特徴量集約サーバ１００に学習モデル更新サーバ２００の二次秘密鍵が漏洩しない限り、特徴量集約サーバ１００は、一次復号済暗号化集約特徴量を復号（復号化）することはできない。

本実施例においては、データ送信装置３００が秘密鍵の生成を実施する場合、複数のデータ送信装置３００がそれぞれ秘密鍵を生成し、各データ送信装置３００で生成された秘密鍵から導出される値を二次秘密鍵としても良い。例えば、ｎ個の秘密鍵の合計を二次秘密鍵としても良い。

さらに、本実施例においては、２種類（一次と二次）の秘密鍵と公開鍵のペアを用いたが、暗号化と復号の種類数に限定は無く、例えば、各データ送信装置３００がそれぞれ特徴量を５重に暗号化し、特徴量集約サーバ１００が暗号化特徴量を２重に復号し、モデル更新サーバ２００が暗号化特徴量を３重に復号しても良い。

本実施例によれば、複数の特徴量を多重に暗号化し、多重に暗号化された複数の暗号化特徴量を集約して異なる装置で多段階に分けて復号することができる。結果として、暗号化特徴量を多段階に分けて復号（復号化）する過程で、特徴量が復号（復号化）されるリスクを低減することができ、高い情報セキュリティを確保することが可能になる。

また、本実施例によれば、共通ＡＩ学習フェーズにおいて、学習モデル更新サーバ２００が二次秘密鍵を保有しているため、学習モデル更新サーバ２００で二次秘密鍵を用いて一次復号済暗号化集約特徴量を復号（復号化）して集約特徴量を生成することができる。

なお、特徴量集約サーバ１００が特徴量を漏洩しないこと、及び学習モデル更新サーバ２００が一次復号済暗号化集約特徴量以外を復号（復号化）しないことを条件に、特徴量及びタグ付き特徴量一重暗号化（一次公開鍵のみを用いた暗号化）するだけで、特徴量及びタグ付き特徴量を二重暗号化（一次公開鍵と二次公開鍵を用いた暗号化）する場合と同等のセキュリティを確保することは可能である。

本実施例は、目的別ＡＩ学習フェーズの前に、初期フェーズとして、データの暗号化に必要な鍵生成処理を実行し、目的別ＡＩ学習フェーズにおいて、鍵生成処理で生成された鍵を用いてタグ付き特徴量を暗号化するようにしたものである。すなわち、本実施例は、タグ付き特徴量を暗号化することで、タグ付き特徴量からデータ送信端末の持つ学習データを復元する攻撃等、データ漏洩攻撃への耐性を高めた手法である。なお、実施例１とは、ハードウェアの構成及びソフトウェア資源の一部の構成は同一である。また、データ受信装置４００は、複数台存在することを想定している。

図９は、本発明の実施例４に係る連合学習システムの処理の一例を示すシーケンス図である。図９において、学習モデル更新サーバ２００は、まず、共通ＡＩ学習前の初期フェーズＰ９０１の処理として、二次公開鍵と、各データ受信装置４００が鍵付替暗号化目的別集約特徴量の復号（復号化）に使用する個別秘密鍵と、特徴量集約サーバ１００が鍵付替に使用する鍵付替鍵、及び暗号パラメータの情報をそれぞれ生成する（Ｓ９０１）。

この後、学習モデル更新サーバ２００は、開発対象の学習モデル３２０と生成した二次公開鍵及び暗号パラメータの情報を、通信ネットワーク５００を介して各データ送信装置３００へ送信し（Ｓ９０２）、また各々の個別秘密鍵の情報を各々のデータ受信装置４００へ送信し（Ｓ９０３）、さらに、暗号パラメータと鍵付替鍵の情報を、通信ネットワーク５００を介して特徴量集約サーバ１００へ送信する（Ｓ９０４）。

なお、学習モデル更新サーバ２００による鍵生成処理（Ｓ９０１）では、例えば、加法準同型暗号の一つである、楕円Ｅｌｇａｍａｌ暗号を用いる。この場合、ステップＳ９０２やステップＳ９０４で送信される暗号パラメータは、例えば、楕円Ｅｌｇａｍａｌ暗号を利用するという情報や、使用する楕円曲線、基点の情報などを含む。

次に、目的別ＡＩ学習フェーズＰ９０２における処理として、ステップＳ６０１、Ｓ６０８、Ｓ６０９、Ｓ９０５～Ｓ９０７、Ｓ６１２、Ｓ９０８～Ｓ９１０、Ｓ６１４～Ｓ６１５の処理が実行される。この際、ステップＳ６０１、Ｓ６０８、Ｓ６０９、Ｓ６１２、Ｓ６１４については、実施例１の目的別ＡＩ学習フェーズと同様であるので、以下、実施例１の目的別ＡＩ学習フェーズにおける処理とは異なる処理（Ｓ９０５～Ｓ９１０）について説明する。

ステップＳ６０９の後、各データ送信装置３００は、ステップＳ９０２で受信した二次公開鍵を用いて、ステップＳ６０９で算出したタグ付き特徴量の暗号化を行い、暗号化タグ付き特徴量を生成し(Ｓ９０５)、生成した暗号化タグ付き特徴量の情報を特徴量集約サーバ１００へ送信する（Ｓ９０６）。この際、タグの暗号化方法として、例えば、二次公開鍵を用いてタグを暗号化しても良いし、タグを暗号化しなくても良い。

特徴量集約サーバ１００は、各データ送信装置３００から暗号化タグ付き特徴量の情報を受信した場合、各暗号化タグ付き特徴量の情報を集約して、複数の暗号化目的別集約特徴量を生成する（Ｓ９０７）。各暗号化タグ付き特徴量の情報の集約方法として、例えば、加算や平均が考えられる。加法準同型暗号を用いることにより、暗号化した状態のまま加算を行うことが可能となる。集約を行うタイミングについては、全てのデータ送信装置３００から暗号化タグ付き特徴量を受信してから集約を行ってもよいし、時間や暗号化タグ付き特徴量の数に関する閾値を定めて、一定時間経過もしくは一定個数以上の暗号化タグ付き特徴量を受信したタイミングで集約を行ってもよい。

次に、特徴量集約サーバ１００は、データ受信装置４００からクエリ（第２クエリ）を受信した場合（Ｓ６１２）、生成した複数の暗号化目的別集約特徴量のうち、クエリ対象の暗号化目的別集約特徴量と、ステップＳ９０４で受信した鍵付替鍵とを用いた鍵付替処理を行って鍵付替済暗号化目的別集約特徴量を生成し（Ｓ９０８）、生成した鍵付替済暗号化目的別集約特徴量の情報をデータ受信装置４００へ送信する（Ｓ９０９）。ここで、鍵付替後は、鍵付替鍵に対応した個別秘密鍵を持つデータ受信装置４００のみが、鍵付替済暗号化目的別集約特徴量を復元可能となる。このため、特徴量集約サーバ１００は、ステップＳ９０８で適切な鍵付替鍵を選ぶことで、ステップＳ６１２でクエリを送信したデータ送信装置３００のみ復元可能な暗号文として、鍵付替済暗号化目的別集約特徴量の情報を生成できる。

この後、データ受信装置４００は、ステップＳ９０９で受信した鍵付替済暗号化目的別集約特徴量を、ステップＳ９０３で受信した個別秘密鍵を用いて復号（復号化）して目的別集約特徴量を生成する（Ｓ９１０）。このとき、鍵付替済暗号化目的別集約特徴量が別のデータ受信端末４００向けに送られた暗号文であった場合、クエリの対象でないデータ受信装置４００の保有する個別秘密鍵では鍵付替済暗号化目的別集約特徴量を復号（復号化）できない。

ここで、ステップＳ９０７～ステップＳ９１０の鍵付替と復号（復号化）の具体的な処理として、例えば、暗号方式として楕円ＥｌＧａｍａｌ暗号を用いた場合について説明する。この際、暗号パラメータの一つである楕円曲線上の基点をＧ、二次秘密鍵である整数値をｂ、個別秘密鍵である整数値をｃ、鍵付替鍵である整数値をｃ／ｂ、二次公開鍵をｂＧとする。ここで、ｃ／ｂは、暗号パラメータで定められた有限体上での除算であることに注意し、暗号化する楕円曲線上の点をＭとする。このとき、楕円曲線上の点Ｍの暗号文は、ランダムな整数値ｒを乱数として用いて、（ｂｒＧ，rＧ＋Ｍ）である（Ｓ９０７）。（ｂｒＧ，ｒＧ＋Ｍ）は、暗号化目的別集約特徴量に対応している。なお、整数値ｒを乱数として用いない場合、同じデータは、同じ暗号文に変換されるので、整数値ｒは毎回生成される。

次に、特徴量集約サーバ１００は、鍵付替鍵と暗号化目的別集約特徴量を用いて、（ｂｒＧ）＊（ｃ／ｂ）＝ｃｒＧ を算出し（Ｓ９０８）、（ｃｒＧ，ｒＧ＋Ｍ）を鍵付替済暗号化目的別集約特徴量としてデータ受信装置４００へ送信する（Ｓ９０９）。

データ受信装置４００は、受信した鍵付替済暗号化目的別集約特徴量と個別秘密鍵を用いて次の計算を行う。
（ｒＧ＋Ｍ）―（ｃｒＧ／ｃ）＝Ｍ・・・（５）

上記計算により、データ受信装置４００は、（５）式による復号処理（復号化処理）により目的別集約特徴量として、Ｍを生成する。ただし、連合学習システム１０では、ステップＳ９０５において、タグ付き特徴量を暗号化する必要がある。この際、タグ付き特徴量は、実数値、楕円曲線上の点は整数値であるため、楕円ＥｌＧａｍａｌ暗号を用いる場合、タグ付き特徴量と楕円曲線上の点を変換する仕組みが必要になる。変換する方法として、例えば、事前にｎｂｉｔと楕円曲線上の点の変換表を作成しておき、特徴量をｂｉｔ数ｎの２進数表現に変換したのち、上記変換表を用いて楕円曲線上の点へ変換する方法が考えられる。

本実施例において、特徴量集約サーバ１００は、暗号化タグ付き特徴量の復号（復号化）を、暗号化タグ付き特徴量の集約後に行っているが、暗号化タグ付き特徴量の集約前に暗号化タグ付き特徴量の復号を行うことも可能である。

本実施例によれば、実施例１と同様の効果を奏することができると共に、目的別ＡＩ学習フェーズにおいて、データ受信装置４００が個別秘密鍵を保有しているため、鍵付替鍵に対応した個別秘密鍵を保有するデータ受信装置４００で個別秘密鍵を用いて鍵付替済暗号化目的別集約特徴量を復号（復号化）して目的別集約特徴量を生成することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

また、上記の各構成、機能手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ 特徴量集約サーバ、２００ 学習モデル更新サーバ、３００ データ送信装置、４００ データ受信装置、１０１ プロセッサ、１０２ 補助記憶装置、１０３ メリ、１０７ 通信インターフェース、１１１ 鍵生成部、１１２ 特徴量集約部、１１３復号処理部、１１４ 鍵付替部、２０１ プロセッサ、２０２ 補助記憶装置、２０３メモリ、２０７ 通信インターフェース、２１１ 鍵生成部、２１２ 学習モデル更新部、２１３ 復号処理部、３０１ プロセッサ、３０２ 補助記憶装置、３０３ メモリ、３０７ 通信インターフェース、３１１ 特徴量計算部、３１２ 暗号処理部、４０１ プロセッサ、４０２ 補助記憶装置、４０３ メモリ、４０７ 通信インターフェース、４１１ 学習モデル更新部、４１２ 復号処理部

Claims (15)

1. 通信ネットワークに接続される複数のデータ送信装置と、
   前記通信ネットワークを介して前記複数のデータ送信装置の各々と情報の送受信を行う特徴量集約サーバと、
   前記通信ネットワークを介して前記特徴量集約サーバに接続される１又は複数のデータ受信装置と、を備え、
   前記各データ送信装置は、
   データ抽出要件を含む第１クエリの入力を条件に、学習モデルと複数の学習データの各々とを基に前記第１クエリに従った特徴量を示すタグ付き特徴量を生成し、生成した前記タグ付き特徴量を含む送信情報を前記特徴量集約サーバへ送信し、
   前記特徴量集約サーバは、
   前記各データ送信装置から前記送信情報を受信した場合、受信した前記送信情報に属する前記タグ付き特徴量をそれぞれ集約して目的別集約特徴量を生成し、生成した前記目的別集約特徴量を前記データ受信装置へ送信し、
   前記データ受信装置は、
   前記特徴量集約サーバから前記目的別集約特徴量を受信した場合、受信した前記目的別集約特徴量を基に前記学習モデルを更新することを特徴とする連合学習システム。
2. 請求項１に記載の連合学習システムにおいて、
   前記データ受信装置は、
   データ集約要件を含む第２クエリの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、
   前記特徴量集約サーバは、
   前記第２クエリを受信した場合、前記目的別集約特徴量のうち前記第２クエリに対応する目的別集約特徴量を前記データ受信装置へ送信することを特徴とする連合学習システム。
3. 請求項１に記載の連合学習システムにおいて、
   前記データ受信装置は、
   データ集約要件を含む第２クエリの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、
   前記特徴量集約サーバは、
   前記第２クエリを受信したことを条件に、受信した前記第２クエリを基に前記第１クエリを生成し、生成した前記第１クエリを、前記通信ネットワークを介して前記各データ送信装置へ送信することを特徴とする連合学習システム。
4. 請求項１に記載の連合学習システムにおいて、
   前記データ受信装置は、
   データ集約要件を含む第２クエリの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、
   前記各データ送信装置は、
   前記タグ付き特徴量を多重に暗号化して暗号化タグ付き特徴量を生成し、生成した前記暗号化タグ付き特徴量を前記特徴量集約サーバへ送信し、
   前記特徴量集約サーバは、
   前記第２クエリを受信した場合、前記各データ送信装置から送信された前記暗号化タグ付き特徴量をそれぞれ集約して暗号化目的別集約特徴量を生成し、生成した前記暗号化目的別集約特徴量のうち前記第２クエリに対応する暗号化目的別集約特徴量に対して鍵付替えを行って鍵付替済暗号化目的別集約特徴量を生成し、生成した前記鍵付替済暗号化目的別集約特徴量を前記データ受信装置のうち前記第２クエリの送信元となる特定のデータ受信装置へ送信し、
   前記特定のデータ受信装置は、
   前記鍵付替済暗号化目的別集約特徴量を受信した場合、受信した前記鍵付替済暗号化目的別集約特徴量を復号化して前記目的別集約特徴量を生成することを特徴とする連合学習システム。
5. 請求項４に記載の連合学習システムにおいて、
   前記学習モデルと公開鍵と鍵付替鍵と個別秘密鍵、及び暗号パラメータの情報をそれぞれ生成する学習モデル更新サーバを更に備え、
   前記学習モデル更新サーバは、
   前記学習モデルと前記公開鍵及び前記暗号パラメータの情報を、前記通信ネットワークを介して前記各データ送信装置へ送信し、前記鍵付替鍵及び前記暗号パラメータの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、前記個別秘密鍵の情報を、前記通信ネットワークを介して前記特定のデータ受信装置へ送信し、
   前記各データ送信装置は、
   前記学習モデル更新サーバから受信した前記公開鍵及び暗号パラメータを基に前記タグ付き特徴量を多重に暗号化して前記暗号化タグ付き特徴量を生成し、
   前記特徴量集約サーバは、
   前記学習モデル更新サーバから受信した前記暗号パラメータと前記鍵付替鍵を基に前記第２クエリに対応する暗号化目的別集約特徴量に対して鍵付替えを行って前記鍵付替済暗号化目的別集約特徴量を生成し、
   前記特定のデータ受信装置は、
   前記学習モデル更新サーバから受信した前記個別秘密鍵を基に前記鍵付替済暗号化目的別集約特徴量を復号化することを特徴とする連合学習システム。
6. 請求項２又は３に記載の連合学習システムにおいて、
   前記データ抽出要件と前記データ集約要件のうち、少なくとも一方には、前記学習データに利用するデータのデータ分布が規定されていることを特徴とする連合学習システム。
7. 請求項１に記載の連合学習システムにおいて、
   前記学習モデルの情報を、前記通信ネットワークを介して前記各データ送信装置へ送信する学習モデル更新サーバを更に備え、
   前記各データ送信装置は、
   前記第１クエリの入力がないことを条件に、前記学習モデルと前記複数の学習データの各々とを基に共通学習用特徴量を生成して前記特徴量集約サーバへ送信し、
   前記特徴量集約サーバは、
   前記各データ送信装置から送信された前記共通学習用特徴量をそれぞれ集約して共通学習用集約特徴量を生成し、生成した前記共通学習用集約特徴量を、前記通信ネットワークを介して前記学習モデル更新サーバへ送信し、
   前記学習モデル更新サーバは、
   前記共通学習用集約特徴量を受信した場合、受信した前記共通学習用集約特徴量を基に前記学習モデルを更新し、更新された前記学習モデルを、前記通信ネットワークを介して前記データ受信装置へ送信することを特徴とする連合学習システム。
8. 請求項７に記載の連合学習システムにおいて、
   前記学習モデル更新サーバは、
   前記学習モデルと第１公開鍵と第１秘密鍵及び暗号パラメータの情報をそれぞれ生成し、生成した前記学習モデルと前記第１公開鍵及び前記暗号パラメータの情報を、前記通信ネットワークを介して前記各データ送信装置へ送信し、生成した前記暗号パラメータの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、
   前記特徴量集約サーバは、
   前記学習モデル更新サーバから前記暗号パラメータを受信した場合、受信した前記暗号パラメータを基に第２公開鍵を生成して前記各データ送信装置へ送信し、
   前記各データ送信装置は、
   前記学習モデル更新サーバから受信した前記第１公開鍵及び暗号パラメータと前記特徴量集約サーバから受信した前記第２公開鍵とを基に前記共通学習用特徴量を多重に暗号化して共通学習用暗号化特徴量を生成し、
   前記特徴量集約サーバは、
   前記共通学習用暗号化特徴量をそれぞれ集約して共通学習用暗号化集約特徴量を生成し、生成した前記共通学習用暗号化集約特徴量を第２秘密鍵で一次復号化して一次復号済暗号化集約特徴量を生成し、生成した前記一次復号済暗号化集約特徴量を前記学習モデル更新サーバへ送信し、
   前記学習モデル更新サーバは、
   前記一次復号済暗号化集約特徴量を受信した場合、受信した前記一次復号済暗号化集約特徴量を前記第１秘密鍵で復号化して前記共通学習用集約特徴量を生成することを特徴とする連合学習システム。
9. 通信ネットワークに接続される複数のデータ送信装置と、
   前記通信ネットワークを介して前記複数のデータ送信装置の各々と情報の送受信を行う特徴量集約サーバと、
   前記通信ネットワークを介して前記特徴量集約サーバに接続される１又は複数のデータ受信装置と、を備える連合学習システムにおける方法であって、
   前記各データ送信装置が、データ抽出要件を含む第１クエリの入力を条件に、学習モデルと複数の学習データの各々とを基に前記第１クエリに従った特徴量を示すタグ付き特徴量を生成し、生成した前記タグ付き特徴量を含む送信情報を前記特徴量集約サーバへ送信する第１の学習ステップと、
   前記特徴量集約サーバが、前記各データ送信装置から前記送信情報を受信した場合、受信した前記送信情報に属する前記タグ付き特徴量をそれぞれ集約して目的別集約特徴量を生成し、生成した前記目的別集約特徴量を前記データ受信装置へ送信する第２の学習ステップと、
   前記データ受信装置が、前記特徴量集約サーバから前記目的別集約特徴量を受信した場合、受信した前記目的別集約特徴量を基に前記学習モデルを更新する第３の学習ステップと、を備えることを特徴とする連合学習方法。
10. 請求項９に記載の連合学習方法において、
    前記データ受信装置は、
    前記第３の学習ステップを実行する前に、データ集約要件を含む第２クエリの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、
    前記特徴量集約サーバは、
    前記第２の学習ステップでは、前記第２クエリを受信した場合、前記目的別集約特徴量のうち前記第２クエリに対応する目的別集約特徴量を前記データ受信装置へ送信することを特徴とする連合学習方法。
11. 請求項９に記載の連合学習方法において、
    前記データ受信装置は、
    前記第３の学習ステップを実行する前に、データ集約要件を含む第２クエリの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、
    前記特徴量集約サーバは、
    前記第２の学習ステップでは、前記第２クエリを受信したことを条件に、受信した前記第２クエリを基に前記第１クエリを生成し、生成した前記第１クエリを、前記通信ネットワークを介して前記各データ送信装置へ送信することを特徴とする連合学習方法。
12. 請求項９に記載の連合学習方法において、
    前記データ受信装置は、
    前記第３の学習ステップを実行する前に、データ集約要件を含む第２クエリの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、
    前記各データ送信装置は、
    前記第１の学習ステップでは、前記生成した前記タグ付き特徴量を多重に暗号化して暗号化タグ付き特徴量を生成し、生成した前記暗号化タグ付き特徴量を前記特徴量集約サーバへ送信し、
    前記特徴量集約サーバは、
    前記第２の学習ステップでは、前記第２クエリを受信した場合、前記各データ送信装置から送信された前記暗号化タグ付き特徴量をそれぞれ集約して暗号化目的別集約特徴量を生成し、生成した前記暗号化目的別集約特徴量のうち前記第２クエリに対応する暗号化目的別集約特徴量に対して鍵付替えを行って鍵付替済暗号化目的別集約特徴量を生成し、生成した前記鍵付替済暗号化目的別集約特徴量を前記データ受信装置のうち前記第２クエリの送信元となる特定のデータ受信装置へ送信し、
    前記特定のデータ受信装置は、
    前記第３の学習ステップでは、前記鍵付替済暗号化目的別集約特徴量を受信した場合、受信した前記鍵付替済暗号化目的別集約特徴量を復号化して前記目的別集約特徴量を生成することを特徴とする連合学習方法。
13. 請求項１２に記載の連合学習方法において、
    前記連合学習システムとして、前記学習モデルと公開鍵と鍵付替鍵と個別秘密鍵、及び暗号パラメータの情報をそれぞれ生成する学習モデル更新サーバを更に備え、
    前記第１の学習ステップの前のステップとして、前記学習モデル更新サーバが、前記学習モデルと前記公開鍵及び前記暗号パラメータの情報を、前記通信ネットワークを介して前記各データ送信装置へ送信し、前記鍵付替鍵及び前記暗号パラメータの情報を、前記通信ネットワークを介して前記特徴量集約サーバへ送信し、前記個別秘密鍵の情報を、前記通信ネットワークを介して前記特定のデータ受信装置へ送信する初期の学習ステップを備え、
    前記各データ送信装置は、
    前記第１の学習ステップでは、前記初期の学習ステップで前記学習モデル更新サーバから受信した前記公開鍵及び前記暗号パラメータを基に前記タグ付き特徴量を多重に暗号化して前記暗号化タグ付き特徴量を生成し、
    前記特徴量集約サーバは、
    前記第２の学習ステップでは、前記初期の学習ステップで前記学習モデル更新サーバから受信した前記暗号パラメータ及び前記鍵付替鍵を基に前記第２クエリに対応する暗号化目的別集約特徴量に対して鍵付替えを行って前記鍵付替済暗号化目的別集約特徴量を生成し、
    前記特定のデータ受信装置は、
    前記第３の学習ステップでは、前記初期の学習ステップで前記学習モデル更新サーバから受信した前記個別秘密鍵を基に前記鍵付替済暗号化目的別集約特徴量を復号化することを特徴とする連合学習方法。
14. 請求項１０又は１１に記載の連合学習方法において、
    前記データ抽出要件と前記データ集約要件のうち、少なくとも一方には、前記学習データに利用するデータのデータ分布が規定されていることを特徴とする連合学習方法。
15. 請求項９に記載の連合学習方法において、
    前記連合学習システムとして、前記学習モデルの情報を生成する学習モデル更新サーバを更に備え、
    前記学習モデル更新サーバが、前記学習モデルの情報を、前記通信ネットワークを介して前記各データ送信装置へ送信する第１の共通学習ステップと、
    前記各データ送信装置が、前記第１クエリの入力がないことを条件に、前記学習モデルと前記複数の学習データの各々とを基に共通学習用特徴量を生成して前記特徴量集約サーバへ送信する第２の共通学習ステップと、
    前記特徴量集約サーバが、前記各データ送信装置から送信された前記共通学習用特徴量をそれぞれ集約して共通学習用集約特徴量を生成し、生成した前記共通学習用集約特徴量を、前記通信ネットワークを介して前記学習モデル更新サーバへ送信する第３の共通学習ステップと、
    前記学習モデル更新サーバが、前記共通学習用集約特徴量を受信した場合、受信した前記共通学習用集約特徴量を基に前記学習モデルを更新し、更新された前記学習モデルを、前記通信ネットワークを介して前記データ受信装置へ送信する第４の共通学習ステップと、を備えることを特徴とする連合学習方法。