JP7449911B2 - 同型暗号文に対する非多項式演算を行う装置 - Google Patents

Description

本発明は、同型暗号文に対する非多項式演算の際に、広いドメインを有する近似多項式を算出して行うことができる装置及び方法に関する。

通信技術が発達しており、電子装置の普及が活発化するにつれ、電子装置間の通信セキュリティを保持するための取り組みが継続的に行われている。それにより、多くの通信環境においては、暗号化／復号化技術が使用されている。

暗号化技術によって暗号化されたメッセージが相手に伝達されると、相手は、メッセージを利用するためには、復号化を行わなければならない。この場合、相手は、暗号化されたデータを復号化する過程でリソース及び時間の無駄が生じることになる。なお、相手が演算のために、一時的にメッセージを復号化した状態で、第三者のハッキングが行われる場合、メッセージが第三者に簡単に流出されてしまうという問題もあった。

このような問題を解決するために、同型暗号化方法が研究されている。同型暗号（Ｈｏｍｏｐｒｏｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ）は、最も有名な暗号体系の一つである。同型暗号は、復号過程なしに暗号化されたデータに対する足し算及び掛け算を行うことができる。よって、同型暗号を活用することで、クライアントは信頼することができないクラウドサーバに計算を委任することができ、暗号化された状態の入力データをサーバに伝送し、何の追加の質疑がない状態で、全ての計算を行うことができる。このように、同型暗号は、個人データに対する計算の委任構造を単純かつ安全に提供する。

マシンラーニング方法が個人データを活用しており、個人情報関連の問題が絶えず提起されいるため、近来は、マシンラーニング（ＭＬ：Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）に同型暗号を利用しようとする色んな研究が進められている。マシンラーニングにおける個人情報保護のために、従来は情報損失の可能性、脆弱性発生の可能性などの限界があるが、同型暗号ベースのマシンラーニングソリューションは、このような限界を解決することができる。

マシンラーニングアルゴリズム内の非多項式演算を算出するために、多くの同型暗号ベースソリューションは、非多項式をそれに対する近似多項式に代替して利用する。しかし、従来の近似化は、全実数に対して行われずに、限定された範囲のみで動作されるように行われている。

しかし、従来のような近似化方式は、公共のデータセット及びハイパーパラメータに向いておらず、新たなデータセットの入力範囲の従来のドメイン範囲を逸脱する場合、当該モデルは潜在的に動作しないおそれがあるという問題があった。

Ｃｒａｍｅｒ， Ｒｏｎａｌｄ， ｅｔ ａｌ． ”ＳＰＤ ＄＄￥ｍａｔｈｂｂ ｛Ｚ｝ ＿ ｛２＾ ｋ｝ ＄＄： Ｅｆｆｉｃｉｅｎｔ ＭＰＣ ｍｏｄ ＄＄ ２＾ ｋ ＄＄ ｆｏｒ Ｄｉｓｈｏｎｅｓｔ Ｍａｊｏｒｉｔｙ．”？Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｒｙｐｔｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ. Ｓｐｒｉｎｇｅｒ, Ｃｈａｍ, ２０１８. Ｏｒｓｉｎｉ， Ｅｍｍａｎｕｅｌａ， Ｎｉｇｅｌ ｐ． Ｓｍａｒｔ， ａｎｄ Ｆｒｅｄｅｒｉｋ Ｖｅｒｃａｕｔｅｒｅｎ. ”Ｏｖｅｒｄｒｉｖｅ2ｋ： Ｅｆｆｉｃｉｅｎｔ Ｓｅｃｕｒｅ ＭＰＣ ｏｖｅｒ ＄＄￥ｍａｔｈｂｂ ｛Ｚ｝ ＿ ｛2＾ ｋ｝ ＄＄ ｆｒｏｍ Ｓｏｍｅｗｈａｔ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ.”？Ｃｒｙｐｔｏｇｒａｐｈｅｒｓ’ Ｔｒａｃｋ ａｔ ｔｈｅ ＲＳＡ ｃｏｎｆｅｒｅｎｃｅ. Ｓｐｒｉｎｇｅｒ, Ｃｈａｍ, ２０２０. Ｃａｔａｌａｎｏ， Ｄａｒｉｏ， ｅｔ ａｌ． ”Ｍｏｎ ＄＄￥ｍａｔｈｂｂ ｛Ｚ｝ ＿ ｛2＾｛ｋ｝｝ ＄＄ ａ： Ｆａｓｔ Ｍａｌｉｃｉｏｕｓｌｙ Ｓｅｃｕｒｅ Ｔｗｏ Ｐａｒｔｙ Ｃｏｍｐｕｔａｔｉｏｎ ｏｎ ＄＄￥ｍａｔｈｂｂ ｛Ｚ｝ ＿ ｛2＾｛ｋ｝｝ ＄＄.”？ＩＡＣＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｕｂｌｉｃ-キー Ｃｒｙｐｔｏｇｒａｐｈｙ. Ｓｐｒｉｎｇｅｒ, Ｃｈａｍ, ２０２０.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、同型暗号文に対する非多項式演算の際に広いドメインを有する近似多項式を算出して行うことができる装置及び方法を提供することにある。

本開示は、以上のような目的を達成するためのものであり、同型暗号文に対する非多項式演算命令を入力されるステップと、前記非多項式演算に対応する近似多項式関数を算出するステップと、前記算出された多項式関数を用いて、前記同型暗号文に対する演算を行うステップと、前記演算された同型暗号文を出力するステップとを含み、前記近似多項式関数は、第１範囲内で前記非多項式演算と予め設定された正確度を有する第１近似多項式関数を、前記第１範囲より広い第２範囲を有するように拡張された第２近似多項式関数である。

ここで、前記近似多項式関数を算出するステップは、前記第１近似多項式を決定するステップと、前記第１範囲内では、前記第１範囲内での前記第１近似多項式の計算値に対応する値を有し、前記第１範囲以外の前記第２範囲では、前記第１範囲の端での前記第１近似多項式の計算値に対応する値を有する第２近似多項式を算出するステップとを含んでよい。

ここで、前記第２近似多項式を算出するステップは、前記第１範囲及び前記第２範囲に基づいて繰り返し回数と基本関数とを決定し、基本関数と基本関数に対応するスケーリング基本関数とを前記決定された繰り返し回数分だけ繰り返して合成し、第２近似多項式を算出してよい。

一方、前記非多項式演算は、ロジスティック関数を含む演算であり、前記ロジスティック関数に使用される前記第２範囲は、次の数式によって算出されてよい。

ここで、Ｃａ、ｄ、ｔは第２範囲の上端値、ａは学習率、ｄはデータの属性数、ｔはロジスティック回帰分析の学習回数である。

一方、前記非多項式演算は、ロジスティック関数、ｈｙｐｅｒｔａｎｇｅｎｔ関数、ｅｒｆ関数、ａｒｃｔａｎｇｅｎｔ関数、ガウシアン関数、ＲｅＬＵ－ｎ関数のうち、少なくとも一つの関数を利用する演算であってよい。

一方、本開示の一実施形態に係る演算装置は、少なくとも一つのインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）を保存するメモリと、前記少なくとも一つのインストラクションを実行するプロセッサとを含み、前記プロセッサは、前記少なくとも一つのインストラクションを実行することで、同型暗号文に対する非多項式演算命令を入力されると、前記非多項式演算に対応する近似多項式関数を算出し、前記算出された多項式関数を用いて、前記同型暗号文に対する演算を行い、前記近似多項式関数は、第１範囲内で前記非多項式演算と予め設定された正確度を有する第１近似多項式関数を、前記第１範囲より広い第２範囲を有するように拡張された第２近似多項式関数である。

ここで、前記プロセッサは、前記第１近似多項式を決定し、前記第１範囲内では、前記第１範囲内での前記第１近似多項式の計算値に対応する値を有し、前記第１範囲以外の前記第２範囲では、前記第１範囲の端での前記第１近似多項式の計算値に対応する値を有する第２近似多項式を算出してよい。

この場合、前記プロセッサは、前記第１範囲及び前記第２範囲に基づいて繰り返し回数と基本関数とを決定し、基本関数と基本関数に対応するスケーリング基本関数とを前記決定された繰り返し回数分だけ繰り返して合成し、第２近似多項式を算出してよい。

一方、前記非多項式演算は、ロジスティック関数を含む演算であり、前記ロジスティック関数に使用される前記第２範囲は、次の数式によって算出されてよい。

ここで、Ｃａ、ｄ、ｔは第２範囲の上端値、ａは学習率、ｄはデータの属性数、ｔはロジスティック回帰分析の学習回数である。

一方、前記非多項式演算は、ロジスティック関数、ｈｙｐｅｒｔａｎｇｅｎｔ関数、ｅｒｆ関数、ａｒｃｔａｎｇｅｎｔ関数、ガウシアン関数、ＲｅＬＵ－ｎ関数のうち、少なくとも一つの関数を利用する演算であってよい。

以上のような本発明の多様な実施形態によると、以前の同型暗号ベースマシンラーニングアルゴリズムは、経験的に推定されたドメインのみで有効な多項式近似値で非多項式を代替している。それにより、データ集合や媒介変数が極度に大きくなると、動作ができなくなるという問題があった。一方で、本開示に係る方法は、マシンラーニングモデル内の各非多項式関数の可能な入力の範囲を計算し、各範囲内で信頼をもって動作可能な近似多項式を算出して使用するため、任意に与えられたデータ集合とパラメータで正常な動作が可能である。

以上説明したように、本発明によれば、本開示の一実施形態に係る近似多項式生成方法は、簡単な機能の繰り返しで構成されており、近似ドメインが異常に大きくても有効であり、同型暗号に適している。

本発明の一実施形態に係るネットワークシステムの構造を説明するための図である。 本発明の一実施形態に係る演算装置の構成を示すブロック図である。 本発明の演算装置の演算動作を説明するための図である。 本発明の一実施形態に係る暗号文演算方法を説明するためのフローチャートである。 本発明の第１実施形態に係る範囲が拡張された多項式の例を示す図である。 本発明の第２実施形態に係る範囲が拡張された多項式の例を示す図である。 本発明の第１実施形態に係る多項式拡張アルゴリズムを説明するための図である。 本発明の第２実施形態に係る多項式拡張アルゴリズムを説明するための図である。 本発明の第３実施形態に係る多項式拡張アルゴリズムを説明するための図である。 本発明の第４実施形態に係る多項式拡張アルゴリズムを説明するための図である。

以下では、添付図面を参照し、本発明について詳細に説明する。本発明において、処理される情報（データ）伝送過程は、必要に応じて、暗号化／復号化が適用されてよく、本発明及び特許請求範囲で情報（データ）伝送過程を説明する表現は、格別に言及されなくても、いずれも暗号化／復号化する場合も含むものとして解釈されるべきである。本発明において、「ＡからＢに伝送（伝達）」又は「ＡがＢから受信」のような表現は、中間に他の媒介体が含まれて伝送（伝達）又は受信されることも含み、必ずしもＡからＢまで直接伝送（伝達）又は受信されるものだけを表現するわけではない。

本発明の説明において、各ステップの順番は、先行段階が論理的及び時間的に必ず後続段階より前に行われなければならない場合でなければ、各段階の順番は非制限的に理解されるべきである。即ち、上記のような例外的な場合を除いては、後続段階として説明された過程が先行段階として説明された過程より前に行われるとしても、開示の本質には影響がなく、権利範囲も段階の順番によらず定義されるべきである。そして、本明細書において、「Ａ又はＢ」との記載は、ＡとＢとのいずれか一方を選択的に指すだけでなく、ＡとＢとのいずれもを含むことも意味するものとして定義される。なお、本発明で「含む」との用語は、含むものとして並べ立てられた要素の他に、他の構成要素を更に含むことも包括する意味を有する。

本開示においては、本発明の説明に必要な必須の構成要素のみを説明し、本発明の本質と関係のない構成要素については言及しないこととする。そして、言及される構成要素のみを含む排他的な意味として解釈されてはならず、他の構成要素も含むことができる非排他的な意味として解釈されるべきである。

そして、本開示において、「値」とは、スカラー値だけでなく、ベクトルも含む概念で定義される。

後述する本発明の各段階の数学的な演算及び算出は、当該演算又は算出を行うために、公知となっているコーディング方法及び／又は本開示に好適に考案されたコーディングによってコンピュータ演算で実現されてよい。

以下で説明する具体的な数式は、可能な限り、複数の代案のうち、例示的に説明されるものであり、本発明の権利範囲が本発明に言及された数式に制限されるものとして解釈されてはならない。

説明の便宜上、本発明では、次のように表記を定めることにする。

ａ←Ｄ：分布（Ｄ）に応じて、元素（ａ）を選択する
ｓ１、ｓ２∈R：Ｓ１、Ｓ２のそれぞれは、Ｒ集合に属する元素である
ｍｏｄ（ｑ）：ｑ元素でモジュール（ｍｏｄｕｌｅ）演算

：内部値を四捨五入する
以下では、添付図面を用いて、本発明の多様な実施形態について具体的に説明する。

図１は、本発明の一実施形態に係るネットワークシステムの構造を説明するための図である。

図１を参照すると、ネットワークシステムは、複数の電子装置１００－１～１００－ｎ、第１サーバ装置２００、第２サーバ装置３００を含んでよく、各構成は、ネットワーク１０を介して相互接続されてよい。

ネットワーク１０は、多様な形態の有・無線通信ネットワーク、放送通信ネットワーク、光通信ネットワーク、クラウドネットワークなどで実現されてよく、各装置は、別途の媒介体なしに、Ｗｉ－Ｆｉ、ブルートゥース、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などのような方式で接続されてよい。

図１においては、電子装置が、複数１００－１～１００－ｎであるとして示しているが、必ずしも複数の電子装置が使用されなければならないわけではなく、１つの装置が使用されてよい。一例として、電子装置１００－１～１００－ｎは、スマートフォン、タブレット、ゲームプレイヤ、パソコン、ラップトップ、ホームサーバ、キオスク端末などのような多様な装置で実現されてよく、その他に、ＩｏＴ機能付きの家電製品で実現されてもよい。

ユーザは、自らが使用する電子装置１００－１～１００－ｎを介して多様な情報を入力してよい。入力された情報は、電子装置１００－１～１００－ｎそのものに保存されてよいが、保存容量及びセキュリティなどを理由に、外部装置に伝送されて保存されてよい。図１において、第１サーバ装置２００は、このような情報を保存する役割を担い、第２サーバ装置３００は、第１サーバ装置２００に保存された情報の一部又は全部を用いる役割を担ってよい。

各電子装置１００－１～１００－ｎは、入力された情報を同型暗号化し、同型暗号文を第１サーバ装置２００に伝送してよい。

各電子装置１００－１～１００－ｎは、同型暗号化を行う過程で算出される暗号化ノイズ、即ち、エラーを暗号文に含めてよい。具体的には、各電子装置１００－１～１００－ｎから生成する同型暗号文は、以後、秘密鍵を用いて復号化した際、メッセージ及びエラー値を含む結果値が復元される形で生成されてよい。

一例として、電子装置１００－１～１００－ｎから生成される同型暗号文は、秘密鍵を用いて復号化した際、次のような性質を満たす形で生成されてよい。

ここで、＜、＞は、内在的演算（ｕｓｕａｌ ｉｎｎｅｒ ｐｒｏｄｕｃｔ）、ｃｔは暗号文、ｓｋは秘密鍵、Ｍは平文メッセージ、ｅは暗号化エラー値、ｍｏｄ ｑは暗号文のモデュラス（Ｍｏｄｕｌｕｓ）を意味する。ｑは、スケーリングファクタ（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）（Δ）がメッセージに掛け算された結果値Ｍより大きい値に選択されなければならない。エラー値ｅの絶対値がＭに比べて十分に小さい値である場合、暗号文の復号化値Ｍ＋ｅは、有効数字演算で本来のメッセージを同じ精度に代替できる値である。復号化されたデータのうち、エラーは最下位ビット（ＬＳＢ）側に配置され、Ｍは、最下位から２番目のビット側に配置されてよい。

メッセージの大きさが小さすぎるか大きすぎる場合、スケーリングファクタを用いて、その大きさを調節することもできる。スケーリングファクタを使用するようになると、整数のメッセージだけでなく、実数のメッセージまで暗号化できるようになるため、活用性が大幅に増大することができる。なお、スケーリングファクタを用いて、メッセージの大きさを調節することで、演算が行われてからの暗号文でメッセージの存在する領域、即ち、有効領域の大きさも調節されてよい。

実施形態によって、暗号文のモジュラスｑは、多様な形態に設定されて使用されてよい。一例として、暗号文のモジュラスは、スケーリングファクタΔのべき乗ｑ＝ΔＬの形態に設定されてよい。Δが２なら、ｑ＝２１０のような値に設定されてよい。

第１サーバ装置２００は、受信された同型暗号文を復号化せずに、暗号文の状態で保存してよい。

第２サーバ装置３００は、同型暗号文に対する特定の処理結果を第１サーバ装置２００にリクエストしてよい。第１サーバ装置２００は、第２サーバ装置３００のリクエストに応じて特定演算を行った後、その結果を第２サーバ装置３００に伝送してよい。

一例として、２つの電子装置１００－１、１００－２の伝送した暗号文ｃｔ１、ｃｔ２が、第１サーバ装置２００に保存された場合、第２サーバ装置３００は、両電子装置１００－１、１００－２から提供された情報を合算した値を、第１サーバ装置２００にリクエストしてよい。第１サーバ装置２００は、リクエストに応じて、２つの暗号文を合算する演算を行った後、その結果値（ｃｔ１＋ｃｔ２）を第２サーバ装置３００に伝送してよい。

同型暗号文の性質上、第１サーバ装置２００は復号化を行っていない状態で演算を行ってよく、その結果値も暗号文の形態になる。本発明では、演算によって獲得された結果値を演算結果暗号文と称する。

第１サーバ装置２００は、演算結果暗号文を第２サーバ装置３００に伝送してよい。第２サーバ装置３００は、受信された演算結果暗号文を復号化し、各同型暗号文に含まれたデータの演算結果値を獲得してよい。

第１サーバ装置２００は、ユーザのリクエストに応じて、演算を複数回行ってよい。そのとき、第１サーバ装置２００は、足し算、引き算及び掛け算のみで構成される演算だけでなく、ロジスティック関数などマシンラーニングに使用される非多項式演算も行ってよい。このような場合、第１サーバ装置２００は、非多項式演算に対応する近似多項式関数を算出し、算出された近似多項式関数を用いて非多項式演算を行うことができる。ここで、算出される近似多項式関数は、同型暗号から算出可能な四則計算で構成される多項式である。具体的な非多項式近似動作については、図４を参照して説明する。

このように、第１サーバ装置２００は、演算動作を行うことができるとのことから、演算装置と称してよい。

一方、図１においては、第１電子装置及び第２電子装置で暗号化を行い、第２サーバ装置が復号化を行う場合を示しているが、それに限らない。

図２は、本発明の一実施形態に係る演算装置の構成を示すブロック図である。

具体的に、図１のシステムにおいて、第１電子装置、第２電子装置などのように同型暗号化を行う装置、第１サーバ装置などのように同型暗号文を演算する装置、第２サーバ装置などのように同型暗号文を復号する装置などを演算装置と称してよい。このような演算装置は、ＰＣ（Ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートパソコン、スマートフォン、タブレット、サーバなど多様な装置であってよい。

図２を参照すると、演算装置４００は、通信装置４１０、メモリ４２０、ディスプレイ４３０、操作入力装置４４０及びプロセッサ４５０を含んでよい。

通信装置４１０は、演算装置４００を外部装置（図示せず）と接続するために形成され、ローカル・エリア・ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びインターネット網を介して、外部装置に接続される形態だけでなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート又は無線通信（例えば、ＷｉＦｉ ８０２．１１ａ／ｂ／ｇ／ｎ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ）ポートを介して接続される形態も可能である。このような通信装置４１０は、送受信部（ｔｒａｎｓｃｅｉｖｅｒ）と称してよい。

通信装置４１０は、公開鍵を外部装置から受信してよく、演算装置４００自ら生成した公開鍵を外部装置に伝送してよい。

そして、通信装置４１０は、外部装置からメッセージを受信してよく、生成した同型暗号文を外部装置に送信してよい。

なお、通信装置４１０は、暗号文の生成に必要な各種パラメータを外部装置から受信してよい。一方、実現時は、各種パラメータは、後述する操作入力装置４４０を介してユーザから直接入力されてよい。

なお、通信装置４１０は、外部装置から同型暗号文に対する演算をリクエストされてよく、それにより、計算された結果を外部装置に伝送してよい。ここで、リクエストされた演算は、足し算、引き算、掛け算のような演算であってよく、非多項式演算である比較演算であってよい。

メモリ４２０には、演算装置４００に関する少なくとも１つのインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）が保存されてよい。具体的に、メモリ４２０には、本開示の多様な実施形態によって、演算装置４００が動作するための各種プログラム（又は、ソフトウェア）が保存されてよい。

このようなメモリ４２０は、ＲＡＭやＲＯＭ、フラッシュメモリ、ＨＤＤ、外付けメモリ、メモリカードなどのような多様な形態で実現されてよく、何れかに限定されるものではない。

メモリ４２０は、暗号化するメッセージを保存してよい。ここで、メッセージとは、ユーザが引用する各種信用情報、個人情報などであってよく、演算装置４００で使用される位置情報、インターネット使用時間情報など、使用履歴などに関連する情報であってよい。

そして、メモリ４２０は、公開鍵を保存してよく、演算装置４００が直接公開鍵を生成した装置である場合、秘密鍵だけでなく、公開鍵及び秘密鍵の生成に必要な各種パラメータを保存してよい。

そして、メモリ４２０は、後述する過程で生成された同型暗号文を保存してよい。そして、メモリ４２０は、外部装置から伝送した同型暗号文を保存してよい。なお、メモリ４２０は、後述する演算過程における結果物である演算結果暗号文を保存してよい。

そして、メモリ４２０は、マシンラーニングに必要な学習モデルを保存してよい。更に、メモリ４２０は、当該学習モデルで使用される非多項式演算関数及びそれに対する近似多項式（本発明によって範囲の拡張された多項式関数又は拡張前の多項式関数）を保存してよい。

ディスプレイ４３０は、演算装置４００のサポートする機能を選択されるためのユーザインターフェースウィンドウを表示する。具体的に、ディスプレイ４３０は、演算装置４００の提供する各種機能を選択されるためのユーザインターフェースウィンドウを表示してよい。このようなディスプレイ４３０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）などのようなモニタであってよく、後述する操作入力装置４４０の機能を同時に実行することができるタッチスクリーンで実現されてよい。

ディスプレイ４３０は、秘密鍵及び公開鍵の生成に必要なパラメータの入力をリクエストするメッセージを表示してよい。そして、ディスプレイ４３０は、暗号化対象がメッセージを選択するメッセージを表示してよい。一方、実現の際は、暗号化対象は、ユーザが直接選択してよく、自動的に選択されてよい。即ち、暗号化の必要な個人情報などは、ユーザが直接メッセージを選択しなくても、自動的に設定されてよい。

操作入力装置４４０は、ユーザから演算装置４００の機能選択及び当該機能に対する制御命令を入力されてよい。具体的に、操作入力装置４４０は、ユーザから秘密鍵及び公開鍵の生成に必要なパラメータを入力されてよい。なお、操作入力装置４４０は、ユーザから暗号化されるメッセージを設定されてよい。

プロセッサ４５０は、演算装置４００の動作全般を制御する。具体的に、プロセッサ４５０は、メモリ４２０に保存された少なくとも１つのインストラクションを実行することで、演算装置４００の動作を全般的に制御してよい。このようなプロセッサ４５０は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ-ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のような単一装置で構成されてよく、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの複数の装置で構成されてよい。

プロセッサ４５０は、伝送しようとするメッセージが入力されると、メモリ４２０に保存してよい。そして、プロセッサ４５０は、メモリ４２０に保存された各種設定値及びプログラムを用いて、メッセージを同型暗号化してよい。この場合、公開鍵が使用されてよい。

プロセッサ４５０は、暗号化を行うのに必要な公開鍵を自ら生成して使用してよく、外部装置から受信して使用してよい。一例として、復号化を行う第２サーバ装置３００が公開鍵を他の装置に配信してよい。

自ら鍵を生成する場合、プロセッサ４５０は、Ｒｉｎｇ－ＬＷＥ技法を用いて公開鍵を生成してよい。具体的に説明すると、プロセッサ４５０は、まず、各種パラメータ及びリングを設定し、メモリ４２０に保存してよい。パラメータの例としては、平文メッセージビットの長さ、公開鍵及び秘密鍵の大きさなどがあってよい。

リングは、次のような数式で表現されてよい。

ここで、Ｒはリング、Ｚｑは係数、ｆ（ｘ）はｎ次多項式である。

リング（Ｒｉｎｇ）とは、予め設定された係数を有する多項式の集合であって、元素の間で足し算と掛け算とが定義されており、足し算と掛け算とに対しては閉じている集合を意味する。このようなリングは、環と称してよい。

一例として、リングは、係数がＺｑであるｎ次多項式の集合を意味する。具体的には、ｎがΦ（n）である際、Ｎ次円分多項式（ｎ－ｔｈ ｃｙｃｌｏｔｏｍｉｃ ｐｏｌｙｎｏｍｉａｌ）を意味する。（ｆ（ｘ））とは、ｆ（ｘ）として生成されるＺｑ［ｘ］のアイディール（ｉｄｅａｌ）を示す。Ｅｕｌｅｒ ｔｏｔｉｅｎｔ関数Φ（Ｎ）とは、Ｎと互いに素であり、Ｎより小さい自然数の数を意味する。ΦＮ（ｘ）をＮ次円分多項式と定義すると、リングは次のような数式３でも表されてよい。

一方、上述の数式３のリングは、平文空間で複素数を有する。一方、同型暗号文に対する演算速度を向上するために、上述のリングの集合のうち、平文空間が実数である集合のみを利用してよい。

このようなリングが設定されると、プロセッサ４５０はリングから秘密鍵（ｓｋ）、公開鍵（ｐｋ）を算出してよい。このような算出動作は、別の演算装置から生成して当該演算装置４００に提供されてよい。

そして、プロセッサ４５０は、メッセージに対する同型暗号文を生成してよい。具体的に、プロセッサ４５０は、メッセージに対して、先に生成された公開鍵を適用して同型暗号文を生成してよい。このとき、プロセッサ４５０は、暗号文の長さをスケーリングファクタの大きさに対応するように生成してよい。

そして、プロセッサ４５０は、同型暗号文が生成されると、メモリ４２０に保存するか、ユーザのリクエスト又は予め設定されたデフォルトコマンドに応じて、同型暗号文を他の装置に伝送するように通信装置４１０を制御してよい。

一方、本発明の一実施形態によると、パッキング（Ｐａｃｋｉｎｇ）が行われてよい。同型暗号化でパッキングを利用するようになると、複数のメッセージを１つの暗号文で暗号化することが可能になる。この場合、演算装置４００で各暗号文の間の演算を行うと、結果的に複数のメッセージに対する演算が並列的に処理されるため、演算の負担が大幅に軽減する。

具体的に、プロセッサ４５０は、メッセージが複数のメッセージベクトルで行われる場合、複数のメッセージベクトルを並列的に暗号化できる形態の多項式に変換した後、その多項式にスケーリングファクタを乗算し、公開鍵を用いて同型暗号化してよい。それにより、複数のメッセージベクトルをパッキングした暗号文を生成してよい。

そして、プロセッサ４５０は、同型暗号文に対する復号が必要な場合、同型暗号文に秘密鍵を適用して多項式形態の復号文を生成し、多項式形態の復号文をデコードしてメッセージを生成してよい。このとき、生成したメッセージは、上述した数式１で言及したように、エラーを含んでよい。

そして、プロセッサ４５０は、暗号文に対する演算を行ってよい。具体的に、プロセッサ４５０は、同型暗号文に対して暗号化された状態を維持した状態で、足し算、引き算又は掛け算などの演算を行ってよい。

なお、プロセッサ４５０は、暗号文に対しても、足し算、引き算又は掛け算以外の演算を有する多項式に対する演算を行ってよい。具体的に、同型暗号文は、足し算、引き算、掛け算に対しては閉じているが、その他の演算に対しては閉じていない。

従って、足し算、引き算、掛け算以外の演算に対しては、上述の３つの演算で表現される近似演算式を用いなければならない。このような点において、プロセッサ４５０は、足し算、引き算又は掛け算以外の演算に対しては、リクエストされる演算に対応する近似関数を用いて演算を行ってよい。

そのために、従来広く知られる近似関数（例えば、Ｔａｙｌｏｒ、Ｌｅａｓｔ ｓｑｕａｒｅ、ｍｉｎｉｍａｘ）を用いてよいが、従来の近似関数は、狭い範囲を有することから、マシンラーニングに適することが困難という不都合があった。

このような問題点を解決するために、本開示では、第１範囲内で予め設定された正確度を有する第１近似関数を算出（又は、算定）し、当該第１近似関数を第１範囲より広い第２範囲に拡張した第２近似関数を算出して利用する。このように、従来より広い範囲を有する近似関数を利用することで、従来の第１近似関数の良い特徴を保持すると同時に、マシンラーニングに適用することが可能である。具体的な近似関数算出方法については、図５ないし図１１を参照して後述する。

そして、演算装置４００は演算が完了すると、演算結果データから有効領域のデータを検出してよい。具体的に、演算装置４００は、演算結果データをラウンディング処理を行って有効領域のデータを検出してよい。ラウンディング処理とは、暗号化された状態でメッセージの四捨五入（ｒｏｕｎｄ－ｏｆｆ）を行うことを意味し、他には、リスケーリング（ｒｅｓｃａｌｉｎｇ）と称してよい。

なお、演算装置４００は、演算結果暗号文内の近似メッセージの割合がしきい値を超過すると、暗号文に対するリブート動作を行ってよい。

図３は、本発明の演算装置の演算動作を説明するための図である。

図３を参照すると、各同型暗号文１０、２０は、近似メッセージ領域１１、２１をそれぞれ含んでよい。近似メッセージ領域１１、２１には、メッセージ及びエラー（ｍ１＋ｅ１、ｍ２＋ｅ２）が共に含まれている。

演算装置４００は、両同型暗号文１０、２０を入力値とし、特定の演算を行ってよい。このような演算は、足し算、引き算、掛け算で構成される多項式演算であってよく、近似関数の利用が必要な多項式演算又は非多項式演算であってよい。

非多項式演算には、最大値算出、最小値算出、大きさの比較などのような比較演算又はマシンラーニングでは、ロジスティック関数、ｈｙｐｅｒｔａｎｇｅｎｔ関数、ｅｒｆ関数などがあってよい。以下では、マシンラーニングで最も多く使用されるロジスティック関数に対する近似関数の算出動作について説明するが、以下の動作は、ロジスティック関数だけでなく、別の非多項式演算にも適用されてよい。

上述しているように、非多項式演算を同型暗号に適用するためには、非多項式に対する多項式近似が求められる。しかし、非多項式の入力が同型暗号によって隠ぺいされる場合、近似値に対するドメインは、入力の全ての候補を超過できるほどに大きくならなければなれない。

しかし、従来の公知の多項式近似方法は、大きいドメインに適用される際、同型暗号によって算出されるのに限界があった。例えば、[－Ｒ、Ｒ]範囲上のロジスティック関数の最小近似値を算出するためには、同型掛け算が

個が求められる。なお、同型暗号の媒介変数は、算出中に大きい中間値を有するようになり、実用的ではない。

よって、本発明では、広いドメインを有する効率的な多項式近似方法を説明する。本発明に係る方法を利用することで、同型掛け算が０（ｌｏｇ Ｒ）の数だけで、[－Ｒ、Ｒ]上のロジスティック関数を近似してよい。なお、算出の中間値は小さい値を保持するため、合理的な同型暗号パラメータを使用してよい。

一方、上述の演算による暗号文３０は、各近似メッセージ間の演算結果（ｍ３＋ｅ３）が盛り込まれた近似メッセージ領域３１を含んでよい。もし、平文空間３２がなくなるか、限界値より小さくなった場合、演算装置４００は、リブート動作を行ってよい。

図４、本発明の一実施形態に係る暗号文演算方法を説明するためのフローチャートである。

図４を参照すると、同型暗号文に対する非多項式演算命令を受信してよい（Ｓ４１０）。このような命令は、外部装置から入力されてよく、演算装置で直接入力されてよい。そして、このような非多項式演算は、ロジスティック関数を用いた演算又はロジスティック回帰分析などであってよい。

そして、非多項式演算に対応する近似多項式関数を算出する（Ｓ４２０）。具体的に、第１範囲内で非多項式演算と予め設定された正確度を有する第１近似多項式関数を決定し、第１範囲内では、第１範囲内における第１近似多項式の計算値に対応する値を有し、第１範囲以外の第２範囲では、第１範囲の端における第１近似多項式の計算値に対応する値を有する第２近似多項式を算出してよい。

そして、算出された多項式関数を用いて同型暗号文に対する演算を行う（Ｓ４３０）。

そして、演算された同型暗号文を出力してよい（Ｓ４４０）。具体的に、演算をリクエストした装置に演算結果を出力してよい。もし、演算を別の装置にリクエストしたものなら、演算結果を別の装置に伝送してよい。

以上のように、本発明に係る暗号文演算方法は、広いドメインを有する近似多項式を用いて演算を行うことから、入力の全ての候補を知ることが困難なマシンラーニングで同型暗号文を演算処理することを可能とする。

以下では、より詳細に本発明に係る近似多項式算出動作について説明する。

マシンラーニングに同型暗号を適用するためには、非多項式に対する近似化が求められる。しかし、従来の近似化は、狭い範囲（即ち、狭いドメイン又は狭い定義する項）を有するため、学習の際に使用したデータセットと異なる範囲のデータを利用する場合に、学習モデルが動作しない潜在的な問題点がある。

このようなことを解決するために、広い範囲を有するものとして知られる多項式近似方式を利用することができる。しかし、広い範囲を有する公知の多項式近似は、同型暗号で計算されにくい特徴がある。具体的に、近似値区間が広くなると、近似多項式の次数も大きくなる。例えば、固定上限ノームエラー（ｆｉｘｅｄ ｓｕｐｒｅｍｕｍ ｎｏｒｍ ｅｒｒｏｒ）ｅを有するように、［－Ｒ、Ｒ]範囲のロジスティック関数σ（ｘ）＝１＝（1＋ｅｘｐ（－ｘ））の近似のためには、０（Ｒ）次数の多項式が求められる。

特に、多項式演算過程で掛け算の数を最小化するＰａｔｅｒｓｏｎ－Ｓｔｏｃｋｍｅｙｅｒ方法を使用するとしても、近似値を算出するためには、同型掛け算は

個求められる。

なお、近似多項式の次数が大きいと、算出に大きい中間値が誘導される。例えば、上限ノームエラーが０．０５で［－１０００；１０００］範囲でロジスティック関数に対するｍｉｎｎｉｍａｘ近似多項式は５９３次数を有する。次数ｄを有する多項式に対するＰａｔｅｒｓｏｎ－Ｓｔｏｃｋｍｅｙｅｒ方法を使用し、算出の間に

を計算しても、算出に１０００２５演算が求められる。なお、潜在的な巨大な中間値を全て含めるためには、同型暗号の平文空間は十分に大きくなければならず、それは、同型暗号パラメータを伴うことになる。

このように、従来知られている広い範囲の多項式近似は、高い計算費用と非常に大きい同型暗号パラメータが求められ、マシンラーニングに適用することに限界があった。

このような問題を解決するために、本発明では、ドメイン拡張機能（ＤＥＦ：ｄｏｍａｉｎ ｅｘｔｅｎｓｉｏｎ ｆｕｎｃｔｉｏｎｓ）を利用する。ここで、ドメイン拡張機能は、狭い第１範囲からの値を補正し、２次領域から第１インターバルの最も近いポイントに各アウトラインを持ってくる機能である。具体的に、第１範囲では、当該範囲における正常に動作する第１近似多項式の計算値に対応する値を出力し、第１範囲より大きい第２範囲では、第１範囲の端における第１近似多項式の計算値に対応する値を有する第２近似多項式を算出する機能である。

このように、従来の近似多項式方法とドメイン拡張機能とを組み合わせると、１次ドメインの良い特徴値を保持しつつも、それと同時に２次ドメインからアウトラインを合理的に管理することができる。ドメイン拡張機能は、特に、目標比多項式関数が１次間隔に特異で、第２間隔に平らな傾向がある場合に有利である。ロジスティック関数、ｈｙｐｅｒｔａｎｇｅｎｔ関数、ｅｒｆ関数、ａｒｃｔａｎｇｅｎｔ関数、ガウシアン関数、ＲｅＬＵ－ｎ関数が、このような特徴を有する。以下では、説明を容易にするために、ロジスティック関数及びロジスティック回帰分析に焦点を合わせて説明する。

本発明に係る方法は、同型掛け算にｏ（ｌｏｇ Ｒ）の数のみを使用し、ｍｉｎｉｍａｘ多項式近似は、

個の同型掛け算のみが求められる。なお、［－１０００；１０００］範囲を有するロジスティック関数を近似するうえで、本方法に係る中間値は１０００３より小さい。それは、従来の近似方式に必要な中間値である１０００２５より格段に合理的である。

最後に、上述のドメイン拡張機能を使用し、特定のデータ又はハイパーパラメータに偏らないロジスティック回帰分析のための新たな同型暗号ベースの方法を説明する。まず、ロジスティック回帰分析モデルで各ロジスティック関数の多項式近似値に対する間隔を計算する。たとえ推定された間隔が広すぎたとしても、ドメイン拡張機能は、同型暗号で効率的に算出ができるようにすることができる。

まず、以下では、ロジスティック回帰に関する内容について先に説明する。

ロジスティック回帰は、二項分類問題を解決するものとして広く知られるモデルである。ロジスティック回帰模型は、訓練された加重値Ｗとバイアスｂで構成され、各基準点ｘに対し、特定のクラス「１」に分類される確率

を与える。以下では、２つのクラスを「１」、「－１」に定義している。なお、各基準点ｘを値１がある追加特徴（ＷＴｘ＋ｂ＝（ＷＴ、ｂ）（ｘ、１） ａｓ ＷＴｘ）と組み合わせている。

加重値及びロジスティック回帰モデルのバイアス（ｂ）を学習するために、以下では、次のような費用関数を利用するものとして仮定する。

ここで、ｘは学習データ（又は、学習資料（ｄａｔｕｍ））、Ｗは加重値、ｙはクラス、ｎはデータ数である。

学習過程は、与えられた学習データに対し、費用関数を最小化することで、加重値及びバイアスを探索するものである。サブパラメータ、学習率（α）は加重値及びバイアスに対し、次のようにアップデートされてよい。

ここで、Ｗは加重値、α学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）、ｙはクラス、ｘは学習データ、ｎはデータ数である。

以下では、多項式近似方式について説明する。以下では、シグモイド関数を特定して説明するが、本発明に係る近似化方式は、シグモイド関数の他に別の非多項式関数にも適用されてよい。
＜ドメイン拡張関数＞
本発明に係るドメイン拡張関数Ｄｒ（ｘ）を次のように定義する。

ここで、Ｄｒ（ｘ）はドメイン拡張関数、ｘは入力値、ｒは定数である。

ｆ（ｘ）＝Ｄｒ（ｘ）のように、定数ｒが存在すると、関数Ｆ（ｘ）がｒ－ドメイン拡張関数（ｒ－ＤＥＦ）と称する。もし、必要でなければ、ｒを省略してよい。

ｒ＞０のＰ：［－ｒ、ｒ］→Ｒが与えられると仮定すると、ｒ－ドメイン拡張関数でＰを構成することで、次のように、関数ドメインを拡張することができる。

元来、ドメイン［－ｒ、ｒ］から入力された場合、同一の機能を行う。よって、ドメイン拡張関数が実際に与えられた関数のドメインを拡張すると言える。
＜多項式ＤＥＦ＞
１５２同型暗号アルゴリズムにドメイン拡張関数を活用するために、多項式近似を考慮する。特に、以下の動作は、ドメイン拡張関数の中核属性を満たす多項式を求めることを目標とする。ｒ－ドメイン拡張関数（Ｄｒ（ｘ））の次の属性によって、関数の定義域を拡張することができる。

Ｐｒｏｐ Ｉ．Ｄｒ（ｘ）＝ｘ ｏｎ［-ｒ、ｒ］

Ｐｒｏｐ ＩＩＩ．Ｔｈｅ ｉｍａｇｅ ｏｆ Ｄｒ（ｘ） ｉｓ ｂｏｕｎｄｅｄ ｂｙ ［－ｒ、ｒ］
与えられた関数Ｐ：［－ｒ、ｒ］→Ｒの場合、Ｐｒｏｐ ＩＩＩを使用すれば、Ｄｒ（ｘ）とともにＰ（ｘ）を適切に合成することができる。Ｐｒｏｐ Ｉは、［－ｒ、ｒ］でＰ（ｘ）を保持するための構成を作り、Ｐｒｏｐ ＩＩは最も近い境界で値を模倣するように、アウトライン入力を合理的に管理することができるようにする。

多項式の場合、上記の全ての中核属性を満たすことは困難である。代案として、次のように、各属性の概略的なバージョンを利用することができる。与えられた多項式Ｐｒ及び区間[－Ｒ、Ｒ]の場合、次のような属性を考慮することができる。

Ｐｒｏｐ ＩＩＩ’．Ｔｈｅ ｉｍａｇｅ ｏｆ Ｐｒ（ｘ） ｏｎ ［－Ｒ、Ｒ］ ｉｓ ｂｏｕｎｄｅｄ ｂｙ ［－ｒ、ｒ］
このような属性は、Ｐｒ（ｘ）を少ない誤りとともに関数の定義域を［－ｒ、ｒ］から［－Ｒ、Ｒ］に拡張することができる。

では、一部ｒに対して修正されたＰｒｏｐ Ｉ’、ＩＩ’、ＩＩＩ’を満たす多項式で、［－Ｒ、Ｒ］上のｒ－多項式ドメイン拡張機能（ｒ－ｐｏｌｙＤＥＦ）を定義する。必要でない場合、ｒは省略されてよい。

このような多項式ドメイン拡張関数は、［－ｒ、ｒ］範囲内の値は保持し、［－ｒ、ｒ］範囲外は［－ｒ、ｒ］の最も近い点から持ってくる。多項式ドメイン拡張関数は、潜在的な少ないエラーを有する類似する特性を有する。よって、［－ｒ、ｒ］上のｆ（ｘ）関数を［－Ｒ、Ｒ］上の多項式ドメイン拡張関数で構成すると、［－ｒ、ｒ］上のｆ（ｘ）の特徴は保持され、［－Ｒ、Ｒ］＼［－ｒ、ｒ］から入力は、合理的に管理されてよい。
＜Ｉｔｅｒａｔｉｖｅ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐｏｌｙＤＥＦ．＞
以下では、基本関数Ｂ（ｘ）が［－Ｌ、Ｌ］上の１－ｐｏｌｙＤＥＦとし、Ｌ＞１が拡張比率であるとする。

各量の定数ｎ＞０に対するＬｎにＢ（ｘ）がスケーリングされた関数であるＢｎ（ｘ）

を考慮する。

各ｎに対し、Ｆｎ（ｘ）＝Ｂ０°Ｂ１°…°Ｂｎ－１（ｘ）とし、Ｆｎ（ｘ）は

と同様であれば、［－Ｌｎ、Ｌｎ］上でＰｒｏｐ Ｉ’、II’、III’をＦｎ（ｘ）を満たすか誘導して確認することができる。よって、Ｆｎは、［－Ｌｎ、Ｌｎ］の１－ｐｏｌｙＤＥＦである。

ｒ＞０に対する、［－Ｌｎ、Ｌｎ］から生成された１－ｐｏｌｙＤＥＦのサイズを調整し、［－ｒＬｎ、ｒＬｎ］上の１－ｐｏｌｙＤＥＦを得ることができる。正確には、次のような数式８（Ｆｎ、ｒ）を算出してよい。

＜例示１＞

が［－１．５、１．５］範囲の１－ｐｏｌｙＤＥＦであるため、拡張比率が１．５である基本関数と見なすことができる。上記の構造を使用することで、Ｂ（ｘ）でＦｎ、ｒ（ｘ）を生成することができ、生成されたＦｎ、ｒ（ｘ）は［－１．５ｎｒ、１．５ｎｒ］のｒ－ｐｏｌｙＤＥＦになってよい。

図５は、本発明の第１実施形態によって拡張された多項式の例を示す図である。

図５を参照すると、基本関数（Ｂｘ）は、

を使用した１－ｐｏｌｙＤＥＦの構成である。そして、Ｂ１（ｘ）は１次スケーリングされた関数であり、Ｂ２（ｘ）は基本関数に２次スケーリングされた関数である。このような基本関数と第１スケーリング関数とを合成し、その後、第１スケーリング関数と第２スケーリング関数とを合成し、範囲の拡張された多項式を生成することができる。最終的に生成されたＦ３（ｘ）は［－１．５３、１．５３］上の１－ｐｏｌｙＤＥＦである。このような近似多項式生成動作に対する具体的なアルゴリズムは、図８に関連して再度説明する。

以下では、シグモイド関数の範囲を拡張する場合を説明する。

シグモイド関数は、Ｓ字状を有する関数である。本発明において、説明を容易にするために、ロジスティック関数σ（ｘ）＝１／（１＋ｅｘｐ（－ｘ））を重点的に説明するが、ｔａｎｆ関数、ｅｒｆ関数などのような別のシグモイド関数にも適用されてよい。

多項式ドメイン拡張関数は、σ（ｘ）の多項式近似の有効なドメインを拡張してよい。以下では、［－ｒ、ｒ］間隔でσ（ｘ）に対する多項式近似Ｐ（ｘ）が与えられたと仮定する。そして、

になるように、ｒが十分に大きいと仮定する。すると、拡張比率Ｌを有するｒ－ｐｏｌｙＤＥＦ Ｆｎ、ｒはＰ（ｘ）のドメインは、［－Ｌｎｒ、Ｌｎｒ］に拡張されてよい。

よって、Ｆｎ、ｒ（ｘ）を効率的に評価した後は、狭いドメイン[－ｒ、ｒ]上の近似多項式を広い区間［－Ｌｎｒ、Ｌｎｒ］上のロジスティック関数で算出してよい。

例えば、[－ｒ、ｒ]範囲を有するシグモイド関数の近似多項式をP（ｘ）とすると、上述の例１のように、近似ドメイン[－ｒ、ｒ]を［－１．５ｎｒ、１．５ｎｒ］に拡張することができる。このような動作をまとめたアルゴリズム２は、図８を参照して詳細に記載している。このようなアルゴリズム２を利用すると、従来の狭い範囲で正常に動作する近似多項式をより広い範囲で動作する近似多項式に拡張してよい。以下では、従来の多項式の範囲を拡張するとの表現を使用しているが、新たな多項式を生成すると表現してよい。

以下では、例示１のｐｏｌｙＤＥＦがロジスティック関数の多項式近似のドメインを拡張する例に対する証明について説明する。
＜証明１＞
ｒ≧１２であり、ｓｕｐ－ｅｒｒｏｒ εを有し、[－ｒ、ｒ]範囲を有するσ（ｘ）の近似多項式Ｐ（ｘ）に対し、アルゴリズム２はε＋０．０２未満の誤差で［－１．５ｎｒ、１．５ｎｒ］上でσ（ｘ）を均一に近似してよい。

Ｐｒｏｏｆ、ｘ∈［０、１．５ｎｒ］が与えられたと仮定すると、各ｍに対してｘｍ＝Bm－n °Ｂｍ－ｎ＋１ °…°Ｂｎ（ｘ）にしてよい。そして、

よって、ｘ≧５であれば、｜σ（ｘ）－σ（Ｆｎ、ｒ（x））｜≦｜１-σ（Ｆｎ、１２（５））｜≦０．０２である。

そして、２．５≦ｘ≦５であれば、

そして、０≦ｘ≦２．５

よって、各ｘ∈［０、１．５ｎｒ］に対し、
｜σ（ｘ）-Ｐ°σ（Ｆｎ、ｒ（ｘ））｜≦｜σ（x）-σ（Ｆｎ、r（x））｜－｜σ°Fn,r(x)-P°Ｆｎ、r（x）｜≦ε＋０．０２ ・・・数式１０
類似するように、ｘ∈［－１．５ｎｒ、０］に対し、同様の結果を保持する。

このようなドメイン拡張関数は、一部の定数ｃ１、ｃ２に対し、

になるように、連続関数f（ｘ）を使用してよい。シグモイド関数は、そのような条件を満たす。同時に、ガウス関数のようなｃ０関数も、このような属性がある。それにより、ドメイン拡張関数アプローチ方式を活用し、ｃ０関数に対する近似多項式のドメインを拡張してよい。

以下では、上述の方式を用いたアルゴリズムの安定性及び効率について説明する。

上述のように、同型暗号をベースとする公知の広い範囲の多項式近似は非実用的である。一方で、本発明に係る多項式近似の構造は、単なる基本関数の構成で安定的かつ効率的である。

既に説明したｐｏｌｙＤＥＦ構造は、ロジスティック関数の近似化を繰り返しの方法で提供する。即ち、簡単な関数を繰り返し計算し、ロジスティック関数を広い間隔を有するロジスティック関数を算出してよい。

上述の例２の場合に、狭い[－ｒ、ｒ]領域上の近似多項式を、

を計算し、［－１．５ｎｒ、１．５ｎｒ］上のロジスティック関数で算出してよい。

Ｂｎ（ｘ）は、低次の多項式であり、係数が緩慢であるため、中間値と同型暗号を伴うエラーが氾濫しない。結果的に、本発明に係るｐｏｌｙＤＥｆ構造は、広い領域のロジスティック関数を近似化する安定した方法を提供する。

なお、多項式ドメイン拡張関数を用いたドメイン拡張は、一定回数の同型暗号掛け算のみを許容する。即ち、上述のドメイン拡張関数の構造を使用し、σ（ｘ）＝１／（１＋ｅｘｐ（－ｘ））をスーパーノームエラー０．０５を有する広い範囲の多項式で近似してよい。

既に説明した証明１は、ドメイン拡張関数がＯ（ｌｎＲ）同型掛け算を有し、[－Ｒ、Ｒ]範囲を有するロジスティック関数を均一に近似することができることを意味する。それは、同型掛け算の数を最小化するＰａｔｅｒｓｏｎ－Ｓｔｏｃｋｍｅｙｅｒアルゴリズムでも少なくとも

掛け算が必要なミニマックス多項式近似より漸近的により良い。

例示１で、基本関数

によって構成された多項式ドメイン拡張関数が各構成要素がドメインを１．５倍拡張することについて説明している。以下では、（ａ）より高い次数の基本関数、（ｂ）狭い間隔におけるドメイン拡張関数に適している近似化、（ｃ）次数３の波動基準関数など、３つの変形について説明する。

（ａ）高次元基本関数
各正数ｍに対し、

とする。ここで、

は、拡張比率である。そして、Ｂm、0（ｘ）は、［－Ｌｍ、Ｌｍ］範囲を有する２ｍ＋１次数を有する１－ｐｏｌｙＤＥＦであれば、Ｂm、0（ｘ）を基本関数として取ることで、上述のように、

上のｒ－ｐｏｌｙＤＥＦを構成することができる。より具体的に、スケーリングされた関数

と、それらの構成ＦＭ、ｎ、ｒ（ｘ）＝ｒ・Ｂｍ、０°Ｂｍ、１°・・・°Ｂｍ、ｎ－１（ｘ／ｒ）を考慮すると、ＦＭ、ｎ、ｒ（ｘ）は

上のｒ－ｐｏｌｙＤＥＦである。

ＦＭ、ｎ、ｒ（ｘ）の計算のために、拡張比率が

であれば、

同型掛け算が必要になる。ｍ＝９がｍ＝３より効率的なのは事実であり、ｍ＝３は算出過程で中間値をより小さくすることを補償することができる。
＜Ｒｅｍａｒｋ２＞
例示１で生成した多項式ドメイン拡張関関数は、実際にＦ３、ｎ、ｒである。ここで、拡張比率は、Ｌ３＝１．５である。
＜Ｒｅｍａｒｋ３＞
Ｂｍ、０の構造は、符号関数を繰り返し演算を通じて近似化する方法からヒントを得ている。本発明では、上記作業と同様に、繰り返し動作によって記号関数を近似することができる近似基本関数を求めることを目的とする。
＜Ｍｉｎｉｍａｘ Ａｐｐｒｏｘｉｍａｔｉｏｎ ｗｉｔｈ Ｍｏｎｏｔｏｎｅ ｐｏｌｙＤＥＦｓ＞
アルゴリズム１で、[－ｒ、ｒ]範囲のロジスティック関数σ（ｘ）の近似Ｐ（ｘ）を仮定する。ミニマックス近似値が最上の均一の性能を補償することができると考えることができる。しかし、単調多項式ドメイン拡張関数を使用する際、[－ｒ、ｒ]上にミニマックス近似より更にマシな近似値が存在してよい。

ロジスティック関数のミニマックス近似の代わりに、[－ｒ、ｒ]範囲上の

のミニマックス近似である別の近似であるＱ（ｘ）

を使用してよい。多項式ドメイン拡張関数は、できる限り近似するように増加すると、それは逆関数

になる。

なお、Ｑ°Ｆｎ（ｘ）は、次のようなＰ°Ｆｎ（ｘ）より低い均一度エラーを補償する間、［－１．５ｎｒ、１．５ｎｒ］上にσ（ｘ）を近似してよい。

全てのまとめると、

は、［－１．５ｎｒ、１．５ｎｒ］上のσ（ｘ）均一な近似値を提供する。このような最適は、単調多項式ドメイン拡張機能を収容し、Ｆｎ、ｍ、ｒが上述の単調を構成する際に動作してよい。

＜Ｗａｖｙ ｐｏｌｙＤＥＦ＞
以下では、単調よりずっとドメインを拡張することができる非単調基本関数について説明する。

安定性を保持するために、３次基本関数に焦点を当てる。例示１において、使用したものと同じ関数、即ち、[－１．５、１．５]範囲を有する

を使用する。しかし、基本関数は、広い範囲上の

の１－ｐｏｌｙＤＥＦであり、より高い拡張比率Ｌ＞１．５を使用してよい。

Ｂ（Ｘ）の２．４５ｎでスケールされた関数及びそれらの構成は、次の通りである。

ロジスティック関数σ（ｘ）に対する適切なｐｏｌｙＤＥＦを構成するために、パラメータ（Ｌ＝２．４５、ｒ＝１４．５）を利用する。

上記パラメータを信頼することができる理由は、次の通りである。ε＜０．０５超規格エラーを有する[－ｒ、ｒ]上のσ（ｘ）の多項式近似Ｐ（ｘ）が与えられたと仮定すると、Ｐ°Ｆｎ、ｒ（ｘ）が

上のσ（ｘ）を適切に近似しているといえる。

τ＝０．２７とし、ｘ∈[-τ、τ]に対し、各Ｂｎ（ｘ）ができる限り近似するように増加するため、Ｆｎ（ｘ）もできる限り近似するように増加する。そして、

である。よって、全てのｘ∈[-τｒ、τｒ]に対し、

が成立する。

ｘ∈[τ、Ｌｎ＋１]に対し、Ｂｎ（ｘ）が単調でなくてもよい。しかし、Ｂｎ（Ｌｎ＋１）＝Ｌｎ・Ｂ（Ｌ）＞ＬｎＢ（τ）＞Ｂｎ（τ）であるため、Ｂｎ（ｘ）∈[Ｂｎ（τ）、Ｌｎ]が保持される。

数学的に、全てのｘ∈[τｒ、Ｌｎ＋１ｒ]に対し、Ｆｎ、ｒ（τｒ）≦Ｆｎ、ｒ（ｘ）≦ｒが保持されると推論することができる。しかし、Ｆｎ、ｒ（τ）＞３．８４、σ（Ｆｎ、ｒ（τ））＞σ（３．８４）＞０．９７８は１に極めて近い。全てのｘ∈[τｒ、Ｌｎ＋１＋ｒ]に対し、

である。

ｘ∈[τｒ、Ｌｎ＋１＋ｒ]に対し、

である。それをまとめると、Ｌ＝２．４５、ｒ＝１４．５を有するウェーブｐｏｌｙＤＥＦ Ｆｎ、ｒ（ｘ）に対してドメインを適切に拡張することができる。

図６は、本発明の第２実施形態によって拡張された多項式の例を示す図である。具体的に、図６は、拡張比が２．４５であるＢ（ｘ）に対するスケーリングベース関数と構成されたｐｏｌｙＤＥＦを示す。

図６を参照すると、［－２．４５、２．４５］上の

を使用し、１－ｐｏｌｙＤＥＦの構成を視覚化した図である。Ｆ３（ｘ）の構成マップは、［－２．４５３、２．４５３］上のウェーブ１－ｐｏｌｙＤＥＦである。ここで、近似多項式は、後述する図９のようなアルゴリズム３を用いて生成されてよい。

図７は、本発明の第１実施形態に係る多項式拡張方法を説明するための図である。

図７を参照すると、アルゴリズム１は、［－１．５ｎｒ、１．５ｎｒ］に対する多項式ドメイン拡張関数の効率的な評価のための詳細な過程を説明する。具体的に、基本多項式、即ち、第１範囲内で求められる非多項式演算に対応する第１多項式を先に選定する。

そして、選定された第１多項式に対するスケーリング基本関数を生成する。具体的に、第１多項式に対するスケーリング基本関数を生成する。そして、基本多項式と生成されたスケーリング基本関数を合成して第１範囲より拡張された範囲を有する近似多項式を生成し、このような拡張範囲に対応する回数分だけ、上述の動作を繰り返して拡張された近似多項式（即ち、第２近似多項式）を生成してよい。当該図面では、３回繰り返して行って、最終的に生成された第２近似多項式は３次関数で、中間値が大きく増加しない。

なお、図７を再度参照すると、最終的に生成された第２近似多項式（ｙ＝Ｆ３（ｘ））は、第１範囲内では第１近似多項式と非常に近似する値を有し、第１範囲より広い第２範囲値を有することを知ることができる。

図８は、本発明の第２実施形態に係るシグモイド関数に対する拡張動作を説明するための図である。

図８を参照すると、まず、基本多項式、即ち、第１範囲内で求められる非多項式演算に対応する第１多項式を先に選定する。

そして、選定された第１多項式に対するスケーリング基本関数を生成する。具体的に、拡張範囲に対応する回数分、第１多項式に対するスケーリング基本関数を順次に生成し、範囲の拡張された近似多項式を生成してよい。

図９は、本発明の第３実施形態に係る多項式拡張方法を説明するための図である。

アルゴリズム３は、ロジスティック関数を広い間隔で近似化するアルゴリズムについて説明する。[－１４．５、１４．５]上にミニマックス近似値９を取る際、[－１４．５、１４．５]上の超規格エラーは０．４４１であり、アルゴリズム３は、０．０４５未満の超規格エラーを保持する近似ドメインを適切に拡張してよい。

一方、ロジスティック回帰分析は、二項分類問題を解決するマシンラーニング方法である。ロジスティック回帰分析が個人データに頻繁に使用されるため、個人情報を保存するロジスティック関数分析に対する需要が増加している。

同型暗号をベースに、ロジスティック回帰分析を実行しようとする試みが多くあったが、従来はロジスティック関数の近似領域を慎重に選択しようとする試みはなかった。従来は、各ロジスティック関数の入力が暗号化されていない状態のデータセットから［－８、８］に属するかを手動で確認していた。なお、従来は、平均プーリングを用いてロジスティック関数の各入力が［－５、５］に属するようにしていた。しかし、このような従来のアプローチ方法は、潜在的な漏洩又はデータの損失を引き起こしかねない。なお、任意に与えられたデータセット、学習率及び繰り返し回数に対する結果の成功を補償することができない。それは、近似区間が狭すぎるためである。

この問題を解決するために、本発明では、ドメイン拡張機能を利用する。既に説明しているように、ドメイン拡張機能を使用し、広範囲な間隔でロジスティック関数を効率的に近似することができる。ロジスティック回帰分析の各繰り返しでロジスティック関数に対する近似区間を慎重に選択したほうがいい。それをＤＥＦと組み合わせるために、特定のデータセット、学習率又は繰り返し回数に偏らないロジスティック回帰に対する同型暗号アルゴリズムを得ることができる。

以下では、ロジスティック回帰分析で各ロジスティック関数の２つの近似区間について説明する。

まず、基準点の全ての属性が［０、１］、例えば、各基準点の最高ノームは、１によって制限される（それは、唯一の仮定である）と仮定する。

Ｗは、ロジスティック回帰分析の加重値とロジスティック回帰のバイアスを考慮したベクトルとする。学習率α 、ミニバッチサイズをｎ、データの属性数をｄとすると、Ｗｔラウンドでそれぞれ訓練される加重値とバイアスを示す。ここで、ｘはデータ集合でサンプリングされた基準点である。

加重値の繰り返し関係（数式１２）において、次のように、繰り返す際、ロジスティック関数の入力を概略に制限することができる。

Ｗｎ・ｘは、ロジスティック関数の入力絶対値である。よって、上述の数式１３は、［－ｎα（ｄ＋1）、ｎα（ｄ＋1）］区間がｎ番目のラウンドでロジスティック関数の全ての区間を含むことを意味する。

ｐｏｌｙＤＥＦを使用して広い間隔で新たな多項式近似値と組み合わせつつ、多様な学習率と暗号化された状態の数多くの繰り返しで、全てのデータセットを訓練させることができるロジスティック回帰に対する新たな同型暗号ベースの方法について説明する。

しかし、数式１３によって与えられた間隔が非常に広いため、ドメイン拡張機能を使用しても、非常に多くの同型演算が必要になる。それにより、次のように、より狭い間隔を導入することができる。

数式１４は、以下の数式１５によって算出されている。

数式１４は、ロジスティック回帰分析のｔ番目の繰り返しで、ロジスティック関数の多項式近似値に対するより合理的な間隔［－Ｃα、ｄ、ｔ、Ｃα、ｄ、ｔ］を使用することができる。ここで、

であり、Ｃα、ｄ、ｔは第２範囲の上端値、αは学習率、ｄはデータの属性数、ｔはロジスティック回帰分析の学習回数である。それを活用し、同型暗号ベースロジスティック回帰分析に適用した場合について、以下で説明する。

本発明は、各ロジスティック関数を慎重に選択した区間に対する多項式近似値に代替する。極端なデータでも、結果の成功を補償するために、推定ドメインは潜在的に広くなる。本発明に係る方法を使用すると、同型暗号をベースに広い領域のロジスティック関数を効率的に近似化することができえる。

次は、広い間隔でロジスティック関数の多項式近似値に対する有効な設定である。既に説明している

と、拡張比率Ｌ ２．４５を使用する。狭い区間におけるロジスティック関数の近似化のために、ｄｆｌは区間［－１４．５、１４．５］で次数９０の最大多項式を、以下のように取ることができる。

Ｐ（ｘ）＝０．５＋０．１９３９ｘ－４．８１３ｅ－３ｘ３＋５．９９２ｅ－５ｘ５－３．２３２ｅ－７ｘ７＋６．１９５ｅ－１０ｘ９ ・・・数式１６
その後、Ｐ（ｘ）、ｂ（ｘ）及びＬによって生成された多項式近似値は、０．０４５より小さいスーパーノームエラーを有する広い間隔のロジスティック関数を近似化することができる。

それを、上述の数式１６と組み合わせ、個人情報保護ロジスティック回帰分析のためのＨＥベースの方法を行うことができる。このような方法は、特定のデータセット、学習率又は繰り返し回数に偏らない。このような動作については、図１１のアルゴリズム４に具体的に示している。

以下では、本発明に係る拡張機能の性能について詳細に説明する。

表１は、ＭＮＩＳＴデータセットに対する暗号化された状態のロジスティック回帰分析の試験結果を示す。第２列は、全工程の間、ロジスティック関数の入力の最大サイズを示す。学習レート（ｌｅａｒｎｉｎｇ ｒａｔｅ）が増加するにつれて、学習率が増加する傾向がある。第３列は、加重値のパーセンテージであり、それは、２加重値の間の差はどのくらいかを示す。このような値は、

で計算されてよい。ここで、ＷＰは、暗号化されていない状態に対する訓練加重値であり、ＷＣは暗号化された状態における訓練加重値である。

表２は、多様な学習率でＭＮＩＳＴデータセットに対する正確度結果を示す。暗号化されていない状態で訓練された加重値に対する正確度の結果も一緒に示す。表２を参照すると、暗号化されたモデルは学習率が０．６の際、９６．３２％の正確度を有す、暗号化されていないモデルの正確度と類似していることを確認することができる。

表３は、ＣｉＦＡＲ－１０データセットに対する実験結果を示す。ＭＮＩＳＴデータセットだけでなく、暗号化された状態で訓練されたモデルは、暗号化されていない状態で訓練されたモデルと類似する正確度を有することを確認することができる。

ロジスティック回帰に対する以前のＨＥベースのアルゴリズムは、狭いドメインでロジスティック関数を近似化しているため、学習率が高い際（例えば、０．４より大きい際）、従来の学習モデルはＭＮIＳＴデータセットを訓練させることができない。それを回避するために、学習率を下げると、受け入れ速度を減少させ、性能が低下する。ＭＮＩＳＴデータセットで低い学習率０．１、０．２、０．４１の低い性能がそれを裏付ける。まとめると、以前のＨＥベースのアルゴリズムは、制限された学習率を取ることができ、それによって性能の低下が発生しかねない。一方で、本発明は、如何なる学習率を取ることができ、より少ない繰り返しでも優れた成果を得ることができる。

本発明では、マシンラーニングをプライバシー保証するための新たなフレームワークを説明する。各非多項式の多項式近似値に対するドメインを固定する代わりに、慎重に選択したドメインの多項式で各非多項式を近似化する。よって、本発明に係る新たなフレームワークは、任意に与えられたデータセットと与えられた媒介変数で行われてよい。

本発明の一実施形態に係るドメイン拡張関数は、ロジスティック関数のようなシグモイド関数に適用されてよく、狭いドメインで与えられた近似多項式の近似ドメインを効率的に拡張することができる。なお、本発明に係るドメイン拡張関数は、なお、計算中に中間値を非常に小さく保持するという長所がある。

一方、上述の多様な実施形態に係る暗号文処理方法は、各ステップを行うためのプログラムコードで実現され、記録媒体に保存されて配布されてよい。この場合、記録媒体の登載された装置は、上述の暗号化又は暗号文処理などの動作を行うことができる。

このような記録媒体は、ＲＯＭ、ＲＡＭ、メモリチップ、メモリカード、外付けハード、ハード、ＣＤ、ＤＶＤ、磁気ディスク又は磁気テープなどのような多様なコンピュータ読み取り可能な媒体であってよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (4)

1. 演算装置において、
   少なくとも一つのインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）を保存するメモリと、
   前記少なくとも一つのインストラクションを実行するプロセッサと
   を含み、
   前記プロセッサは、
   前記少なくとも一つのインストラクションを実行することで、
   同型暗号文に対する非多項式演算の演算命令を入力されると、前記非多項式演算に対応する近似多項式関数を算出し、前記算出された多項式関数を用いて、前記同型暗号文に対する演算を行い、
   前記近似多項式関数は、
   第１範囲内で前記非多項式演算と予め設定された正確度を有する第１近似多項式関数を、前記第１範囲より広い第２範囲を有するように拡張された第２近似多項式関数であり、
   前記プロセッサは、
   前記第１近似多項式を決定し、前記第１範囲内では、前記第１範囲内での前記第１近似多項式の計算値に対応する値を有し、前記第１範囲以外の前記第２範囲では、前記第１範囲の端での前記第１近似多項式の計算値に対応する値を有する第２近似多項式を算出する演算装置。
2. 前記プロセッサは、
   前記第１範囲及び前記第２範囲に基づいて繰り返し回数と基本関数とを決定し、基本関数と基本関数に対応するスケーリング基本関数とを前記決定された繰り返し回数分だけ繰り返して合成し、第２近似多項式を算出することを特徴とする請求項１に記載の演算装置。
3. 前記非多項式演算は、ロジスティック関数を含む演算であり、
   前記ロジスティック関数に使用される前記第２範囲は、次の数式によって算出されることを特徴とし、
   

   

   ここで、Ｃａ、ｄ、ｔは第２範囲の上端値、ａは学習率、ｄはデータの属性数、ｔはロジスティック回帰分析の学習回数である、請求項１に記載の演算装置。
4. 前記非多項式演算は、ロジスティック関数、ｈｙｐｅｒｔａｎｇｅｎｔ関数、ｅｒｆ関数、ａｒｃｔａｎｇｅｎｔ関数、ガウシアン関数、ＲｅＬＵ－ｎ関数のうち、少なくとも一つの関数を利用する演算であることを特徴とする請求項１に記載の演算装置。

Images