JP7205016B2 - 秘匿情報処理システムおよび秘匿情報処理方法 - Google Patents

Description

本開示は、秘匿情報処理に関するものである。

準同型暗号は、データを暗号化したまま演算できる暗号技術である。
昨今、クラウドサービスの利用が広まりつつあるが、クラッキングの懸念およびクラウドの信頼性の懸念から、クラウド上ではデータを暗号化して保管することが考えられる。
また、準同型暗号は、暗号化されているデータに対して、復号することなく演算を施すことができる。
そのため、準同型暗号は、安全性を損なうことなくクラウドサービスの利用を可能とする。

ニューラルネットワークは、画像および動画の認識に有用な技術であり、入力層と（複数の）中間層と出力層との３種類の層からなる。
入力層は、入力データを受け付けるための層である。
中間層は、入力データまたは他の中間層の計算結果に対して特定の計算を行うための層である。
出力層は、中間層の最終の計算結果を出力するための層である。

近年、高い推論精度を達成するニューラルネットワークが盛んに研究されている。そのようなニューラルネットワークは非常に多数の中間層を持ち、その推論処理には多大な計算量を要する。
そのため、計算能力の低い端末では、このようなニューラルネットワークの推論処理を実行することが困難である。
そこで、高い計算能力を持ったクラウドに推論処理を委託することが考えられる。

監視カメラの映像などのプライベートなデータがニューラルネットワークの入力データになる場合、入力データをクラウドから秘匿したまま、ニューラルネットワークの推論処理を行わなければならない。
その場合、準同型暗号を用いて入力データを暗号化したままニューラルネットワークによる推論処理を行うことで、データ提供者のプライバシーを保ちつつクラウドへ推論処理を委託することができる。

しかし、ニューラルネットワークの中間層の計算を定義する推論モデルデータが暗号化されなければ、推論モデルデータのパラメータ情報および推論モデルデータを生成するための学習に利用した学習データに関する情報が漏洩する可能性がある。

また、入力データ提供者が推論モデル提供者の推論モデルデータを利用してクラウド上で推論処理を行うサービスには次のような要件がある。
入力データ提供者と推論モデル提供者が入力データと推論モデルデータを共に秘匿したままクラウドに推論処理を委託することを想定する。その場合、入力データが入力データ提供者の暗号化鍵で暗号化されていて、且つ、推論モデルデータが推論モデル提供者の暗号化鍵で暗号化されている必要がある。

特許文献１は、入力データと推論モデルデータを共に暗号化したままでの畳み込みニューラルネットワークの推論処理を開示している。

Ｈ． Ｃｈｅｎ， Ｗ． Ｄａｉ， Ｍ． Ｋｉｍ， Ｙ． Ｓｏｎｇ． "Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉ－ｋｅｙ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ ｗｉｔｈ Ｐａｃｋｅｄ Ｃｉｐｈｅｒｔｅｘｔｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｏｂｌｉｖｉｏｕｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｉｎｆｅｒｅｎｃｅ"． Ｉｎ ＡＣＭ ＣＣＳ， ｐａｇｅ ３９５－４１２， ２０１９．

非特許文献１の方法は、複数鍵準同型暗号と呼ばれる暗号技術を利用することで、入力データが入力データ提供者の暗号化鍵で暗号化されたまま、且つ、推論モデルデータが推論モデル提供者の暗号化鍵で暗号化されたまま、推論処理を実現する。
複数鍵準同型暗号は、準同型暗号方式の一種であり、異なる暗号化鍵で暗号化されている複数の暗号文を復号することなく複数の暗号文に対して演算を施すことができる。

但し、非特許文献１の方法によって実現される推論処理は、畳み込みニューラルネットワークの推論処理である。

本開示は、入力データと推論モデルデータとを共に暗号化したままで再帰的ニューラルネットワークの推論処理を実現できるようにすることを目的とする。

本開示の秘匿情報処理システムは、
第１行列と第２行列を連結して得らえる推論モデルデータを暗号化して得られるモデル暗号文を、前記第１行列の暗号文に相当する推論用暗号文と、前記第２行列の暗号文に相当する計算用暗号文と、に分割するモデル分割部と、
前記計算用暗号文と、入力データを暗号化して得られるデータ暗号文と、を復号せずに、準同型演算アルゴリズムによって、前記第１行列と前記入力データを表すベクトルの積の暗号文に相当する事前結果暗号文を生成する事前計算部と、
前記事前結果暗号文と前記推論用暗号文とを復号せずに用いて、準同型演算アルゴリズムによって、前記入力データに対する推論結果の暗号文である推論結果暗号文を生成する準同型推論部と、
前記モデル暗号文のための秘密鍵であるモデル用秘密鍵を用いて、前記推論結果暗号文に対する部分復号を行って、部分復号結果を生成する部分復号部と、
前記データ暗号文のための秘密鍵であるデータ用秘密鍵を用いて、前記部分復号結果から前記入力データに対する前記推論結果を復号する最終復号部と、を備える。

本開示によれば、入力データと推論モデルデータとを共に暗号化したままで再帰的ニューラルネットワークの推論処理を実現することができる。

実施の形態１における秘匿情報処理システム１００の構成図。 実施の形態１における鍵生成装置２００の構成図。 実施の形態１におけるデータ暗号化装置３００の構成図。 実施の形態１におけるモデル暗号化装置４００の構成図。 実施の形態１における準同型推論装置５００の構成図。 実施の形態１における部分復号装置６００の構成図。 実施の形態１における最終復号装置７００の構成図。 実施の形態１におけるデータ用鍵ペアの管理の手順を示すフローチャート。 実施の形態１におけるモデル用鍵ペアの管理の手順を示すフローチャート。 実施の形態１における事前計算の手順を示すフローチャート。 実施の形態１における準同型推論の手順を示すフローチャート。 実施の形態１における推論結果暗号文の復号の手順を示すフローチャート。 実施の形態１における秘匿情報処理システム１００の各装置のハードウェア構成を説明するための図。

実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。

実施の形態１．
秘匿情報処理システム１００について、図１から図１３に基づいて説明する。

＊＊＊構成の説明＊＊＊
図１に基づいて、秘匿情報処理システム１００の構成を説明する。
秘匿情報処理システム１００は、鍵生成装置２００と、データ暗号化装置３００と、モデル暗号化装置４００と、準同型推論装置５００と、部分復号装置６００と、最終復号装置７００と、を備える。これらの装置は、ネットワーク１０１に接続され、ネットワーク１０１を介して互いに通信する。ネットワーク１０１の具体例はインターネットである。

図２に基づいて、鍵生成装置２００の構成を説明する。
鍵生成装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。

プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。

メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。

補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。

通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。鍵生成装置２００の通信は通信装置２０４を用いて行われる。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。

入出力インタフェース２０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース２０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。鍵生成装置２００の入出力は入出力インタフェース２０５を用いて行われる。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。

鍵生成装置２００は、受付部２１０と鍵生成部２２０と出力部２３０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置２０３には、受付部２１０と鍵生成部２２０と出力部２３０としてコンピュータを機能させるための鍵生成プログラムが記憶されている。鍵生成プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、鍵生成プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。

鍵生成プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの他の記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。

鍵生成装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。

鍵生成プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図３に基づいて、データ暗号化装置３００の構成を説明する。
データ暗号化装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。これらのハードウェアは、鍵生成装置２００のハードウェアに対応する。

データ暗号化装置３００は、受付部３１０と公開鍵保管部３２０とデータ暗号化部３３０と出力部３４０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置３０３には、受付部３１０と公開鍵保管部３２０とデータ暗号化部３３０と出力部３４０としてコンピュータを機能させるためのデータ暗号化プログラムが記憶されている。データ暗号化プログラムは、メモリ３０２にロードされて、プロセッサ３０１によって実行される。

データ暗号化プログラムの入出力データは記憶部３９０に記憶される。
メモリ３０２は記憶部３９０として機能する。但し、データ暗号化装置３００の他の記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。

データ暗号化装置３００は、プロセッサ３０１を代替する複数のプロセッサを備えてもよい。

データ暗号化プログラムは、不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図４に基づいて、モデル暗号化装置４００の構成を説明する。
モデル暗号化装置４００は、プロセッサ４０１とメモリ４０２と補助記憶装置４０３と通信装置４０４と入出力インタフェース４０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。これらのハードウェアは、鍵生成装置２００のハードウェアに対応する。

モデル暗号化装置４００は、受付部４１０公開鍵保管部４２０とモデル暗号化部４３０と出力部４４０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置４０３には、受付部４１０と公開鍵保管部４２０とモデル暗号化部４３０と出力部４４０としてコンピュータを機能させるためのモデル暗号化プログラムが記憶されている。モデル暗号化プログラムは、メモリ４０２にロードされて、プロセッサ４０１によって実行される。

モデル暗号化プログラムの入出力データは記憶部４９０に記憶される。
メモリ４０２は記憶部４９０として機能する。但し、モデル暗号化装置４００の他の記憶装置が、メモリ４０２の代わりに、又は、メモリ４０２と共に、記憶部４９０として機能してもよい。

モデル暗号化装置４００は、プロセッサ４０１を代替する複数のプロセッサを備えてもよい。

モデル暗号化プログラムは、不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図５に基づいて、準同型推論装置５００の構成を説明する。
準同型推論装置５００は、プロセッサ５０１とメモリ５０２と補助記憶装置５０３と通信装置５０４と入出力インタフェース５０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。これらのハードウェアは、鍵生成装置２００のハードウェアに対応する。

準同型推論装置５００は、受付部５１０と公開鍵保管部５２１と暗号文保管部５２２とモデル分割部５３０と事前計算部５４１と事前結果保管部５４２と準同型推論部５５１と暗号文保管部５５２と出力部５６０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置５０３には、受付部５１０と公開鍵保管部５２１と暗号文保管部５２２とモデル分割部５３０と事前計算部５４１と事前結果保管部５４２と準同型推論部５５１と暗号文保管部５５２と出力部５６０としてコンピュータを機能させるための準同型推論プログラムが記憶されている。準同型推論プログラムは、メモリ５０２にロードされて、プロセッサ５０１によって実行される。

準同型推論プログラムの入出力データは記憶部５９０に記憶される。
メモリ５０２は記憶部５９０として機能する。但し、準同型推論装置５００の他の記憶装置が、メモリ５０２の代わりに、又は、メモリ５０２と共に、記憶部５９０として機能してもよい。

準同型推論装置５００は、プロセッサ５０１を代替する複数のプロセッサを備えてもよい。

準同型推論プログラムは、不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図６に基づいて、部分復号装置６００の構成を説明する。
部分復号装置６００は、プロセッサ６０１とメモリ６０２と補助記憶装置６０３と通信装置６０４と入出力インタフェース６０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。これらのハードウェアは、鍵生成装置２００のハードウェアに対応する。

部分復号装置６００は、受付部６１０と秘密鍵保管部６２０と部分復号部６３０と出力部６４０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置６０３には、受付部６１０と秘密鍵保管部６２０と部分復号部６３０と出力部６４０としてコンピュータを機能させるための部分復号プログラムが記憶されている。部分復号プログラムは、メモリ６０２にロードされて、プロセッサ６０１によって実行される。

部分復号プログラムの入出力データは記憶部６９０に記憶される。
メモリ６０２は記憶部６９０として機能する。但し、部分復号装置６００の他の記憶装置が、メモリ６０２の代わりに、又は、メモリ６０２と共に、記憶部６９０として機能してもよい。

部分復号装置６００は、プロセッサ６０１を代替する複数のプロセッサを備えてもよい。

部分復号プログラムは、不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図７に基づいて、最終復号装置７００の構成を説明する。
最終復号装置７００は、プロセッサ７０１とメモリ７０２と補助記憶装置７０３と通信装置７０４と入出力インタフェース７０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。これらのハードウェアは、鍵生成装置２００のハードウェアに対応する。

最終復号装置７００は、受付部７１０と秘密鍵保管部７２０と最終復号部７３０と推論結果保管部７４０と出力部７５０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置７０３には、受付部７１０と秘密鍵保管部７２０と最終復号部７３０と推論結果保管部７４０と出力部７５０としてコンピュータを機能させるための最終復号プログラムが記憶されている。最終復号プログラムは、メモリ７０２にロードされて、プロセッサ７０１によって実行される。

最終復号プログラムの入出力データは記憶部７９０に記憶される。
メモリ７０２は記憶部７９０として機能する。但し、最終復号装置７００の他の記憶装置が、メモリ７０２の代わりに、又は、メモリ７０２と共に、記憶部７９０として機能してもよい。

最終復号装置７００は、プロセッサ７０１を代替する複数のプロセッサを備えてもよい。

最終復号プログラムは、不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

＊＊＊動作の説明＊＊＊
秘匿情報処理システム１００の動作の手順は秘匿情報処理方法に相当する。また、秘匿情報処理システム１００の動作の手順は秘匿情報処理プログラムによる処理の手順に相当する。

図８に基づいて、データ用鍵ペアの管理について説明する。
データ用鍵ペアは、後述する入力データｄ_ｔのための鍵ペアであり、データ用公開鍵とデータ用秘密鍵とで構成される。
データ用公開鍵は、入力データｄ_ｔを暗号化するための公開鍵である。
データ用秘密鍵は、データ用公開鍵に対応する秘密鍵である。データ用秘密鍵により、入力データｄ_ｔの暗号文を復号することができる。暗号文は、暗号化によって得られるデータである。

ステップＳ１０１からステップＳ１０４は、鍵生成装置２００によって実行される。
ステップＳ１０１において、受付部２１０は、パラメータλ_１を受け付ける。
パラメータλ_１は、データ用鍵ペアのための鍵生成パラメータである。例えば、パラメータλ_１は、利用者によって鍵生成装置２００に入力される。

ステップＳ１０２において、鍵生成部２２０は、パラメータλ_１を入力として鍵生成アルゴリズムを実行する。これにより、公開鍵ＰＫ_１および秘密鍵ＳＫ_１が生成される。
公開鍵ＰＫ_１はデータ用公開鍵であり、秘密鍵ＳＫ_１はデータ用秘密鍵である。

例えば、以下の文献（１）に記載された鍵生成アルゴリズムが使用される。
文献（１）：Ｈ． Ｃｈｅｎ， Ｉ． Ｃｈｉｌｌｏｔｔｉ， Ｙ． Ｓｏｎｇ． “Ｍｕｌｔｉ－ｋｅｙ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ ｆｒｏｍ ＴＦＨＥ”． Ｉｎ ＡＳＩＡＣＲＹＰＴ， ｐａｇｅｓ ４４６－４７２， ２０１９．

ステップＳ１０３において、出力部２３０は、データ暗号化装置３００と準同型推論装置５００とのそれぞれに公開鍵ＰＫ_１を送信する。

ステップＳ１０４において、出力部２３０は、最終復号装置７００に秘密鍵ＳＫ_１を送信する。

ステップＳ１１１およびステップＳ１１２は、データ暗号化装置３００によって実行される。
ステップＳ１１１において、受付部３１０は、公開鍵ＰＫ_１を受信する。
ステップＳ１１２において、公開鍵保管部３２０は、公開鍵ＰＫ_１を記憶部２９０に保管する。

ステップＳ１２１およびステップＳ１２２は、準同型推論装置５００によって実行される。
ステップＳ１２１において、受付部５１０は、公開鍵ＰＫ_１を受信する。
ステップＳ１２２において、公開鍵保管部５２１は、公開鍵ＰＫ_１を記憶部５９０に保管する。

ステップＳ１３１およびステップＳ１３２は、最終復号装置７００によって実行される。
ステップＳ１３１において、受付部７１０は、秘密鍵ＳＫ_１を受信する。
ステップＳ１３２において、秘密鍵保管部７２０は、秘密鍵ＳＫ_１を記憶部７９０に保管する。なお、秘密鍵ＳＫ_１は外部に漏れないように厳重に保管される。

図９に基づいて、モデル用鍵ペアの管理について説明する。
モデル用鍵ペアは、後述する推論モデルデータＭのための鍵ペアであり、モデル用公開鍵とモデル用秘密鍵とで構成される。
モデル用公開鍵は、推論モデルデータＭを暗号化するための公開鍵である。
モデル用秘密鍵は、モデル用公開鍵に対応する秘密鍵である。モデル用秘密鍵により、推論モデルデータＭの暗号文を復号することができる。

ステップＳ２０１からステップＳ２０４は、鍵生成装置２００によって実行される。
ステップＳ２０１において、受付部２１０は、パラメータλ_２を受け付ける。
パラメータλ_２は、モデル用鍵ペアのための鍵生成パラメータである。例えば、パラメータλ_２は、利用者によって鍵生成装置２００に入力される。

ステップＳ２０２において、鍵生成部２２０は、パラメータλ_２を入力として鍵生成アルゴリズムを実行する。これにより、公開鍵ＰＫ_２および秘密鍵ＳＫ_２が生成される。
公開鍵ＰＫ_２はモデル用公開鍵であり、秘密鍵ＳＫ_２はモデル用秘密鍵である。

例えば、上記文献（１）に記載された鍵生成アルゴリズムが使用される。

ステップＳ２０３において、出力部２３０は、モデル暗号化装置４００と準同型推論装置５００とのそれぞれに公開鍵ＰＫ_２を送信する。

ステップＳ２０４において、出力部２３０は、部分復号装置６００に秘密鍵ＳＫ_２を送信する。

ステップＳ２１１およびステップＳ２１２は、モデル暗号化装置４００によって実行される。
ステップＳ２１１において、受付部４１０は、公開鍵ＰＫ_２を受信する。
ステップＳ２１２において、公開鍵保管部４２０は、公開鍵ＰＫ_２を記憶部４９０に保管する。

ステップＳ２２１およびステップＳ２２２は、準同型推論装置５００によって実行される。
ステップＳ２２１において、受付部５１０は、公開鍵ＰＫ_２を受信する。
ステップＳ２２２において、公開鍵保管部５２１は、公開鍵ＰＫ_２を記憶部５９０に保管する。

ステップＳ２３１およびステップＳ２３２は、部分復号装置６００によって実行される。
ステップＳ２３１において、受付部６１０は、秘密鍵ＳＫ_２を受信する。
ステップＳ２３２において、秘密鍵保管部６２０は、秘密鍵ＳＫ_２を記憶部６９０に保管する。なお、秘密鍵ＳＫ_２は外部に漏れないように厳重に保管される。

図１０に基づいて、推論結果の暗号文を得るための事前計算について説明する。
ステップＳ３０１からステップＳ３０３は、データ暗号化装置３００によって実行される。
ステップＳ３０１において、受付部３１０は、入力データｄ_ｔを受け付ける。
入力データｄ_ｔは、時刻ｔの入力データである。「ｔ」は１以上の整数（自然数）である。
入力データは、ｎ個の浮動小数点数から成るベクトルで表される。「ｎ」は１以上の整数である。
例えば、受付部３１０は、工場に設けられた各種センサによって時刻ｔに得られた計測値（浮動小数点数）を各種センサから収集する。収集された計測値が入力データｄ_ｔとなる。

ステップＳ３０２において、データ暗号化部３３０は入力データｄ_ｔを暗号化する。具体的には、データ暗号化部３３０は、公開鍵ＰＫ_１を用いて入力データｄ_ｔに対して暗号化アルゴリズムを実行する。これにより、データ暗号文Ｃ（ｄ_ｔ）が生成される。
データ暗号文Ｃ（ｄ_ｔ）は、暗号化された入力データｄ_ｔ、すなわち、入力データｄ_ｔの暗号文である。

例えば、上記文献（１）に記載された暗号化アルゴリズムによって、入力データｄ_ｔの各要素が暗号化される。

ステップＳ３０３において、出力部３４０は、データ暗号文Ｃ（ｄ_ｔ）を準同型推論装置５００に送信する。

ステップＳ３１１からステップＳ３１３は、モデル暗号化装置４００によって実行される。
ステップＳ３１１において、受付部４１０は、推論モデルデータＭを受け付ける。例えば、推論モデルデータＭは、利用者によってモデル暗号化装置４００に入力される。但し、推論モデルデータＭは、記憶部４９０に予め記憶されてもよい。

ステップＳ３１２において、モデル暗号化部４３０は推論モデルデータＭを暗号化する。具体的には、モデル暗号化部４３０は、公開鍵ＰＫ_２を用いて推論モデルデータＭに対して暗号化アルゴリズムを実行する。これにより、モデル暗号文Ｃ（Ｍ）が生成される。
モデル暗号文Ｃ（Ｍ）は、暗号化された推論モデルデータＭ、すなわち、推論モデルデータＭの暗号文である。

例えば、上記文献（１）に記載された暗号化アルゴリズムが使用される。

推論モデルデータＭについて説明する。
推論モデルデータＭは、推論モデル（Ｍ）のためのデータである。推論モデル（Ｍ）は、推論処理のための機械学習モデルであり、再帰的ニューラルネットワークで表される。具体的な再帰的ニューラルネットワークは「ＬＳＴＭ」である。
ＬＳＴＭは、Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ Ｍｅｍｏｒｙの略称である。

推論モデルデータＭは、ｋ×（ｎ＋ｍ）の要素を持つ行列である。各要素は浮動小数点数である。
「ｋ」は、１以上の整数である。
「ｎ」は、１以上の整数である（前述の通り）。
「ｍ」は、１以上の整数である。

推論モデルデータＭに対して、Ｍ＝［Ｍ’｜｜Ｍ’’］が成り立つ。
「Ｍ’」は、ｋ×ｎの要素を持つ行列である。各要素は浮動小数点数である。
「Ｍ’’」は、ｋ×ｍの要素を持つ行列である。各要素は浮動小数点数である。
［Ｍ’｜｜Ｍ’’］は、行列Ｍ’と行列Ｍ’’を連結して得られる行列を意味する。

推論モデルデータＭを用いた推論処理は式（１）で表される。

「Ｄ_ｔ－１」は、時刻ｔ－１における推論結果であり、ｎ個の浮動小数点数から成るベクトルで表される。
「ｄ_ｔ」は、時刻ｔにおける入力データであり、ｎ個の浮動小数点数から成るベクトルで表される。
「・」は、行列とベクトルの掛け算を表す。
「＋」は、ベクトル同士の足し算を表す。

ステップＳ３１３から説明を続ける。
ステップＳ３１３において、出力部４４０は、モデル暗号文Ｃ（Ｍ）を準同型推論装置５００に送信する。

ステップＳ３２１からステップＳ３２６は、準同型推論装置５００によって実行される。
ステップＳ３２１において、受付部５１０は、データ暗号文Ｃ（ｄ_ｔ）を受信する。
そして、暗号文保管部５２２は、データ暗号文Ｃ（ｄ_ｔ）を記憶部５９０に保管する。

ステップＳ３２２において、受付部５１０は、モデル暗号文Ｃ（Ｍ）を受信する。
そして、暗号文保管部５２２は、モデル暗号文Ｃ（Ｍ）を記憶部５９０に保管する。

以下、モデル暗号文を「Ｃ（Ｍ）」または「Ｗ」で表す。

モデル暗号文Ｗは式（２）で表すことができる。

「Ｗ’」は、推論用暗号文を表す。推論用暗号文Ｗ’は、推論モデルデータＭの暗号化に用いられる暗号化アルゴリズムによって暗号化された行列Ｍ’、すなわち、行列Ｍ’の暗号文に相当する。つまり、推論用暗号文Ｗ’は、ｋ×ｎの暗号化された要素を持つ行列である。
「Ｗ’’」は、計算用暗号文を表す。計算用暗号文Ｗ’’は、推論モデルデータＭの暗号化に用いられる暗号化アルゴリズムによって暗号化された行列Ｍ’’、すなわち、行列Ｍ’’の暗号文に相当する。つまり、計算用暗号文Ｗ’’は、ｋ×ｍの暗号化された要素を持つ行列である。

ステップＳ３２４において、モデル分割部５３０は、モデル暗号文Ｗを推論用暗号文Ｗ’と計算用暗号文Ｗ’’とに分割する。

ステップＳ３２５において、事前計算部５４１は、データ暗号文Ｃ（ｄ_ｔ）と計算用暗号文Ｗ’’を用いて、事前計算を実行する。
具体的には、事前計算部５４１は、計算用暗号文Ｗ’’とデータ暗号文Ｃ（ｄ_ｔ）とを復号せずに、事前結果暗号文Ｃ（Ｄ_ｔ’’）を生成する。

事前結果暗号文Ｃ（Ｄ_ｔ’’）は、行列Ｍ’’と入力データｄ_ｔを表すベクトルとの積を暗号化して得られる暗号文に相当する。

事前結果暗号文Ｃ（Ｄ_ｔ’’）は、準同型演算アルゴリズムによって算出される。
準同型演算アルゴリズムは、準同型暗号（特に、複数鍵準同型暗号）のアルゴリズムである。
例えば、上記文献（１）に記載された準同型演算アルゴリズムが使用される。

ステップＳ３２６において、事前結果保管部５４２は、事前結果暗号文Ｃ（Ｄ_ｔ’’）を記憶部５９０に保管する。

図１１に基づいて、準同型推論について説明する。
ステップＳ４０１からステップＳ４０３は、準同型推論装置５００によって実行される。
ステップＳ４０１において、モデル分割部５３０は、モデル暗号文Ｗを推論用暗号文Ｗ’と計算用暗号文Ｗ’’とに分割する。

ステップＳ４０２において、準同型推論部５５１は、前回結果暗号文Ｃ（Ｄ_ｔ－１）と推論用暗号文Ｗ’を用いて、中間推論処理を実行する。
前回結果暗号文Ｃ（Ｄ_ｔ－１）は、前回の入力データｄ_ｔ－１に対する暗号化された推論結果、すなわち、前回の推論結果の暗号文である。

具体的には、準同型推論部５５１は、前回結果暗号文Ｃ（Ｄ_ｔ－１）と推論用暗号文Ｗ’とを復号せずに用いて、中間結果暗号文Ｃ（Ｄ_ｔ－１’）を生成する。
中間結果暗号文Ｃ（Ｄ_ｔ－１’）は、行列Ｍ’と前回の入力データｄ_ｔ－１に対する推論結果を表すベクトルとの積を暗号化して得られる暗号文に相当する。

中間結果暗号文Ｃ（Ｄ_ｔ－１’）は、準同型演算アルゴリズムによって算出される。
例えば、上記文献（１）に記載された準同型演算アルゴリズムが使用される。

ステップＳ４０３において、準同型推論部５５１は、中間結果暗号文Ｃ（Ｄ_ｔ－１’）と事前結果暗号文Ｃ（Ｄ_ｔ’’）を用いて、最終推論処理を実行する。

具体的には、準同型推論部５５１は、中間結果暗号文Ｃ（Ｄ_ｔ－１’）と事前結果暗号文Ｃ（Ｄ_ｔ’’）とを復号せずに用いて、推論結果暗号文Ｃ（Ｄ_ｔ）を生成する。
推論結果暗号文Ｃ（Ｄ_ｔ）は、今回の入力データｄ_ｔに対する暗号化された推論結果、すなわち、今回の推論結果の暗号文である。

推論結果暗号文Ｃ（Ｄ_ｔ）は、中間結果暗号文Ｃ（Ｄ_ｔ－１’）を復号して得られるベクトルと事前結果暗号文Ｃ（Ｄ_ｔ’’）を復号して得られるベクトルとの足し算の結果を暗号化して得られる暗号文に相当する。

推論結果暗号文Ｃ（Ｄ_ｔ）は、準同型演算アルゴリズムによって算出される。
例えば、上記文献（１）に記載された準同型演算アルゴリズムが使用される。

ステップＳ４０４において、暗号文保管部５５２は、推論結果暗号文Ｃ（Ｄ_ｔ）を記憶部５９０に保管する。

図１２に基づいて、推論結果暗号文Ｃ（Ｄ_ｔ）の復号について説明する。
ステップＳ５０１およびステップＳ５０２は、準同型推論装置５００によって実行される。
ステップＳ５０１において、出力部５６０は、推論結果暗号文Ｃ（Ｄ_ｔ）を記憶部５９０から取得する。
ステップＳ５０２において、出力部５６０は、推論結果暗号文Ｃ（Ｄ_ｔ）を部分復号装置６００と最終復号装置７００とのそれぞれに送信する。

ステップＳ５１１からステップＳ５１３は、部分復号装置６００によって実行される。
ステップＳ５１１において、受付部６１０は、推論結果暗号文Ｃ（Ｄ_ｔ）を受信する。

ステップＳ５１２において、部分復号部６３０は、秘密鍵ＳＫ_２を用いて推論結果暗号文Ｃ（Ｄ_ｔ）に対して部分復号を行う。これにより、部分復号結果Ｃ（Ｄ_２，ｔ）が生成される。

具体的には、部分復号部６３０は、式（３）を計算することによって、部分復号結果Ｃ（Ｄ_２，ｔ）の各要素ｄ’_２，ｔを算出する。
つまり、部分復号部６３０は、推論結果暗号文Ｃ（Ｄ_ｔ）の要素であるベクトルと秘密鍵ＳＫ_２を表すベクトルとの内積を算出し、算出した内積と確率分布から選択される値との足し算の結果を算出する。算出される結果が部分復号結果Ｃ（Ｄ_２，ｔ）の各要素ｄ’_２，ｔとなる。

「ｃ」は、推論結果暗号文Ｃ（Ｄ_ｔ）の一つの要素を構成するベクトルを表す。推論結果暗号文Ｃ（Ｄ_ｔ）はベクトルまたは行列である。推論結果暗号文Ｃ（Ｄ_ｔ）を表すベクトルまたは行列は、例えば、上記文献（１）に記載された暗号方式の暗号文を要素として持つ。
「Ｘ」は、特定の確率分布を表す。例えば、確率分布Ｘは、０，１／２^３２，・・・，（２^３２－１）／２^３２を値としてとる離散正規分布である。
「ｅ」は、確率分布Ｘに沿って選ばれた値を表す。
＜ｃ，ＳＫ_２＞は、ベクトルＣと秘密鍵ＳＫ_２を表すベクトルの内積を表す。

ステップＳ５１３において、出力部６４０は、部分復号結果Ｃ（Ｄ_２，ｔ）を最終復号装置７００に送信する。

ステップＳ５２１からステップＳ５２４は、最終復号装置７００によって実行される。
ステップＳ５２１において、受付部７１０は、推論結果暗号文Ｃ（Ｄ_ｔ）を受信する。

ステップＳ５２２において、受付部７１０は、部分復号結果Ｃ（Ｄ_２，ｔ）を受信する。

ステップＳ５２３において、最終復号部７３０は、秘密鍵ＳＫ_１を用いて、推論結果暗号文Ｃ（Ｄ_ｔ）と部分復号結果Ｃ（Ｄ_２，ｔ）とから、推論結果データＤ_ｔを復号する。
具体的には、最終復号部７３０は、式（４）を計算することによって、推論結果データＤ_ｔの各要素ｄ’_ｔを算出する。
つまり、最終復号部７３０は、推論結果暗号文Ｃ（Ｄ_ｔ）の要素であるベクトルと秘密鍵ＳＫ_１を表すベクトルとの内積を算出し、算出した内積と部分復号結果Ｃ（Ｄ_２，ｔ）の要素との足し算によって得られる和を算出し、算出した和に基づいて推論結果データＤ_ｔの各要素ｄ’_ｔを決定する。

＜ｃ，ＳＫ_１＞は、ベクトルＣと秘密鍵ＳＫ_１を表すベクトルの内積を表す。
［Ａ］_１／４は、値Ａが１／４に近ければ１を表し、値Ａが１／４に近くなければ０を表す。具体的には、［Ａ］_１／４は、値Ａと１／４の差が閾値より小さければ１を表し、値Ａと１／４の差が閾値より大きければ０を表す。また、［Ａ］_１／４は、値Ａが１／４の差が閾値と等しければ１または０を表す。

ステップＳ５２４において、推論結果保管部７４０は、推論結果データＤ_ｔを記憶部７９０に保管する。
また、出力部７５０は、推論結果データＤ_ｔを出力する。例えば、出力部７５０は、推論結果データＤ_ｔをディスプレイに表示する。

＊＊＊実施の形態１の効果＊＊＊
秘匿情報処理システム１００は、入力データを暗号化したまま、再帰的ニューラルネットワークによる推論処理を実行できる。そのため、秘匿情報処理システム１００により、データ提供者のプライバシーを保護したまま、推論処理をクラウドに委託することができる。

秘匿情報処理システム１００は、推論モデルデータを暗号化したまま、再帰的ニューラルネットワークによる推論処理を実行できる。そのため、秘匿情報処理システム１００により、モデル提供者のプライバシーを保護したまま、推論処理をクラウドに委託することができる。

秘匿情報処理システム１００は、再帰的ニューラルネットワークにおける時刻ｔの推論処理を実行する前に、時刻ｔの推論処理において時刻ｔ－１の推論結果データに依存しない処理（事前処理）を実行することができる。
入力データと推論モデルデータとを暗号化したまま推論処理を実行するためには、複数鍵準同型暗号の性質により、暗号文拡大処理を行う必要がある。複数鍵準同型暗号は、上記文献（１）に記載された準同型暗号方式である。暗号文拡大処理は、例えば、秘密鍵ＳＫ_１で復号できる暗号文を秘密鍵ＳＫ_１と秘密鍵ＳＫ_２の両方を用いることで復号できる暗号文に変換する処理である。
暗号文拡大処理を事前計算処理として実行することで、実際の推論処理時に暗号文拡大処理などによる計算オーバヘッドを削減することができる。つまり、入力データと推論モデルデータを暗号化したままでの再帰的ニューラルネットワークの推論処理を効率的に実現できる。

＊＊＊実施の形態１の補足＊＊＊
秘匿情報処理システム１００に備わる複数の装置のうち２つ以上の装置を１つの装置にまとめてもよい。例えば、データ暗号化装置３００とモデル暗号化装置４００を１つの装置にまとめてもよいし、部分復号装置６００と最終復号装置７００を１つの装置にまとめてもよい。
装置間のデータの送受信は、データの郵送または利用者によるデータの入出力に置き換えてもよい。

図１３に基づいて、鍵生成装置２００のハードウェア構成を説明する。
鍵生成装置２００は処理回路２０９を備える。
処理回路２０９は、鍵生成装置２００の要素を実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。

処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。

鍵生成装置２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。

処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。

このように、鍵生成装置２００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。

データ暗号化装置３００、モデル暗号化装置４００、準同型推論装置５００、部分復号装置６００および最終復号装置７００のハードウェア構成は、鍵生成装置２００のハードウェア構成と同様である。

実施の形態１は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。実施の形態１は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。

秘匿情報処理システム１００の各装置の要素である「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。

１００ 秘匿情報処理システム、１０１ ネットワーク、２００ 鍵生成装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 通信装置、２０５ 入出力インタフェース、２０９ 処理回路、２１０ 受付部、２２０ 鍵生成部、２３０ 出力部、２９０ 記憶部、３００ データ暗号化装置、３０１ プロセッサ、３０２ メモリ、３０３ 補助記憶装置、３０４ 通信装置、３０５ 入出力インタフェース、３１０ 受付部、３２０ 公開鍵保管部、３３０ データ暗号化部、３４０ 出力部、３９０ 記憶部、４００ モデル暗号化装置、４０１ プロセッサ、４０２ メモリ、４０３ 補助記憶装置、４０４ 通信装置、４０５ 入出力インタフェース、４１０ 受付部、４２０ 公開鍵保管部、４３０ モデル暗号化部、４４０ 出力部、４９０ 記憶部、５００ 準同型推論装置、５０１ プロセッサ、５０２ メモリ、５０３ 補助記憶装置、５０４ 通信装置、５０５ 入出力インタフェース、５１０ 受付部、５２１ 公開鍵保管部、５２２ 暗号文保管部、５３０ モデル分割部、５４１ 事前計算部、５４２ 事前結果保管部、５５１ 準同型推論部、５５２ 暗号文保管部、５６０ 出力部、５９０ 記憶部、６００ 部分復号装置、６０１ プロセッサ、６０２ メモリ、６０３ 補助記憶装置、６０４ 通信装置、６０５ 入出力インタフェース、６１０ 受付部、６２０ 秘密鍵保管部、６３０ 部分復号部、６４０ 出力部、６９０ 記憶部、７００ 最終復号装置、７０１ プロセッサ、７０２ メモリ、７０３ 補助記憶装置、７０４ 通信装置、７０５ 入出力インタフェース、７１０ 受付部、７２０ 秘密鍵保管部、７３０ 最終復号部、７４０ 推論結果保管部、７５０ 出力部、７９０ 記憶部。

Claims (14)

1. 第１行列と第２行列を連結して得らえる推論モデルデータを暗号化して得られるモデル暗号文を、前記第１行列の暗号文に相当する推論用暗号文と、前記第２行列の暗号文に相当する計算用暗号文と、に分割するモデル分割部と、
   前記計算用暗号文と、入力データを暗号化して得られるデータ暗号文と、を復号せずに、準同型演算アルゴリズムによって、前記第１行列と前記入力データを表すベクトルの積の暗号文に相当する事前結果暗号文を生成する事前計算部と、
   前記事前結果暗号文と前記推論用暗号文とを復号せずに用いて、準同型演算アルゴリズムによって、前記入力データに対する推論結果の暗号文である推論結果暗号文を生成する準同型推論部と、
   前記モデル暗号文のための秘密鍵であるモデル用秘密鍵を用いて、前記推論結果暗号文に対して部分復号を行って、部分復号結果を生成する部分復号部と、
   前記データ暗号文のための秘密鍵であるデータ用秘密鍵を用いて、前記部分復号結果から前記入力データに対する前記推論結果を復号する最終復号部と、
   を備える秘匿情報処理システム。
2. 前記準同型推論部は、前記事前結果暗号文と、前記推論用暗号文と、前回の入力データに対する推論結果の暗号文である前回結果暗号文と、を復号せずに用いて、前記推論結果暗号文を生成する
   請求項１に記載の秘匿情報処理システム。
3. 前記準同型推論部は、
   前記推論用暗号文と前記前回結果暗号文とを復号せずに用いて、準同型演算アルゴリズムによって、前記第１行列と前記前回の入力データに対する前記推論結果を表すベクトルの積の暗号文に相当する中間結果暗号文を生成し、
   前記中間結果暗号文と前記事前結果暗号文とを復号せずに用いて、準同型演算アルゴリズムによって、前記中間結果暗号文を復号して得られるベクトルと前記事前結果暗号文を復号して得られるベクトルとの足し算の結果の暗号文を前記推論結果暗号文として生成する
   請求項２に記載の秘匿情報処理システム。
4. 前記部分復号部は、前記推論結果暗号文の要素であるベクトルと前記モデル用秘密鍵を表すベクトルとの内積と、確率分布から選択される値との足し算の結果を、前記部分復号結果の要素として算出する
   請求項１から請求項３のいずれか１項に記載の秘匿情報処理システム。
5. 前記最終復号部は、前記データ用秘密鍵を用いて、前記推論結果暗号文と前記部分復号結果とから、前記入力データに対する前記推論結果を復号する
   請求項１から請求項４のいずれか１項に記載の秘匿情報処理システム。
6. 前記最終復号部は、前記推論結果暗号文の要素であるベクトルと前記データ用秘密鍵を表すベクトルとの内積と、前記部分復号結果の要素との足し算によって得られる和に基づいて、前記推論結果の要素を決定する
   請求項５に記載の秘匿情報処理システム。
7. 前記最終復号部は、前記和と１／４の差に基づいて前記推論結果の前記要素を決定する
   請求項６に記載の秘匿情報処理システム。
8. 前記最終復号部は、前記差が閾値より小さい場合に前記推論結果の前記要素を１に決定し、前記差が前記閾値より大きい場合に前記推論結果の前記要素を０に決定する
   請求項７に記載の秘匿情報処理システム。
9. 前記モデル分割部と前記事前計算部と前記準同型推論部とを備える準同型推論装置と、
   前記部分復号部を備える部分復号装置と、
   前記最終復号部を備える最終復号装置７００と、を備える
   請求項１から請求項８のいずれか１項に記載の秘匿情報処理システム。
10. 前記入力データのための公開鍵であるデータ用公開鍵を用いて前記入力データを暗号化して前記データ暗号文を生成するデータ暗号化部と、
    前記推論モデルデータのための公開鍵であるモデル用公開鍵を用いて前記推論モデルデータを暗号化して前記モデル暗号文を生成するモデル暗号化部と、を備える
    請求項１から請求項９のいずれか１項に記載の秘匿情報処理システム。
11. 前記データ暗号化部を備えるデータ暗号化装置と、
    前記モデル暗号化部を備えるモデル暗号化装置と、を備える
    請求項１０に記載の秘匿情報処理システム。
12. 前記データ用公開鍵と前記データ用秘密鍵の組と、前記モデル用公開鍵と前記モデル用秘密鍵の組と、を生成する鍵生成部を備える
    請求項１０または請求項１１に記載の秘匿情報処理システム。
13. 前記鍵生成部を備える鍵生成装置を備える
    請求項１２に記載の秘匿情報処理システム。
14. モデル分割部が、第１行列と第２行列を連結して得らえる推論モデルデータを暗号化して得られるモデル暗号文を、前記第１行列の暗号文に相当する推論用暗号文と、前記第２行列の暗号文に相当する計算用暗号文と、に分割し、
    事前計算部が、前記計算用暗号文と、入力データを暗号化して得られるデータ暗号文と、を復号せずに、準同型演算アルゴリズムによって、前記第１行列と前記入力データを表すベクトルの積の暗号文に相当する事前結果暗号文を生成し、
    準同型推論部が、前記事前結果暗号文と、前記推論用暗号文と、前回の入力データに対する推論結果の暗号文である前回結果暗号文と、を復号せずに用いて、準同型演算アルゴリズムによって、前記入力データに対する推論結果の暗号文である推論結果暗号文を生成し、
    部分復号部が、前記モデル暗号文のための秘密鍵であるモデル用秘密鍵を用いて、前記推論結果暗号文に対する部分復号を行って、部分復号結果を生成し、
    最終復号部が、前記データ暗号文のための秘密鍵であるデータ用秘密鍵を用いて、前記部分復号結果から前記入力データに対する前記推論結果を復号する
    秘匿情報処理方法。

Images