JP7079483B2 - 情報処理方法、システム及びプログラム - Google Patents
情報処理方法、システム及びプログラム Download PDFInfo
- Publication number
- JP7079483B2 JP7079483B2 JP2018115455A JP2018115455A JP7079483B2 JP 7079483 B2 JP7079483 B2 JP 7079483B2 JP 2018115455 A JP2018115455 A JP 2018115455A JP 2018115455 A JP2018115455 A JP 2018115455A JP 7079483 B2 JP7079483 B2 JP 7079483B2
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- data
- concealment
- storage unit
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本実施の形態では、クラウドなどの計算基盤において所望の構造を有するニューラルネットワークを構築し、計算基盤でニューラルネットワークに対する学習を行う場合を一例として説明する。計算基盤は、指定された構造を有するニューラルネットワークを構築して、学習データと教師データとに基づき学習処理を行うといった一般的な機能を有しており、本実施の形態では、このような一般的な機能を原則としてそのまま活用する。
このような場合に、データ保有者は、センシティブな情報を含むデータをそのまま計算基盤に送ってニューラルネットワーク(Neural Network: NN)の学習を行わせるのではなく、このデータをデータ保有者側で秘匿化した上で計算基盤に送ってニューラルネットワークの学習を行わせる。
すなわち、計算基盤300では、例えばデータ保有者からの指示に応じてニューラルネットワーク310が構築され、計算基盤300から提供される学習器320により学習データと教師データとによりニューラルネットワーク310に対する学習処理が行われ、学習済みのニューラルネットワーク310が生成される。なお、計算基盤300には、学習済みのニューラルネットワーク310に対して入力を行い、学習済みのニューラルネットワーク310からの出力を返す機能、学習済みのニューラルネットワーク310から、重みデータ等を出力する機能なども含まれている。
ユーザ装置100は、入力部101と、第1データ格納部103と、設定データ格納部105と、変換ルール生成部107と、変換ルール格納部109と、変換部111と、第2データ格納部113と、第1出力部115と、エクスポート部117とを有する。
変換部111は、変換ルール格納部109に格納された変換ルールに従って、第1データ格納部103に格納されている学習データ等に対して秘匿化変換を行い、秘匿化されたデータを第2データ格納部113に格納する。
エクスポート部117は、例えばユーザからの指示により、変換ルール格納部109から変換ルールのデータ及び設定データを読み出して、指定のファイルや他のコンピュータ(例えばユーザ装置200)に出力する。
X"=X'Ax-Bx
によって秘匿化変換を行う。なお、n'=n"であっても、なくてもよい。
Ax=diag(1/Sx')Rx
Bx=(Ex'/Sx')Rx
Ax=Axdiag(sNN/Sx")
Bx=Bxdiag(sNN/Sx")
x"3,x"4,x5)を生成する。
ユーザ装置100は、入力部101と、設定データ格納部105と、変換ルール格納部109と、第3データ格納部121と、第2変換部123と、第4データ格納部125と、第2出力部127と、受信部129と、第5データ格納部131と、第3出力部133とを有する。図2と同じ符号が付されている構成要素については、同一又はほぼ同じ機能を有するものである。
入力部101は、例えばデータ保有者から、判定データの入力又は指定を受け付け、判定データを取得して、第3データ格納部121に入力する(図6:ステップS21)。
という関係があるので、
f-1(Y')Ay=f-1(Y")+By
f-1(Y')=(f-1(Y")+By)Ay-1
Y'=f((f-1(Y")+By)Ay-1)
以上のような計算を行う。
X"W+Bw=(X'Ax-Bx)W+Bw=X'(AxW)+(-BxW+Bw)
W'=AxW
Bw'=(-BxW+Bw)
f-1(Y")=ZAlw+Blw
f-1(Y")=f-1(Y')Ay-By
f-1(Y')Ay-By=ZAlw+Blw
f-1(Y')=ZAlwAy-1+(Blw+By)Ay-1
Alw'=AlwAy-1
Blw'=(Blw+By)Ay-1
ステップS43と同様に、以下のような変換を行う。
ΔW'=AxΔW
ΔBw'=(-BxΔW+Bw)
ΔAlw'=ΔAlwAy-1
ΔBlw'=(ΔBlw+By)Ay-1
第1の実施の形態では、データ保有者が、計算基盤300に、多層パーセプトロンであるニューラルネットワークを構築する場合を述べた。
・inputとoutputとがfunction()という関数を用いてoutput=function(input)と表せ、且つ、function()と秘匿化関数()とを合成した結果を関数function'()=function(秘匿化関数())と表せる場合、
inputに秘匿化関数() を適用した結果であるinput'=秘匿化関数(input)に対してfunction'(input)= function(input')が成立する
また、f-1(教師データ)などに対応するoutputを秘匿化し、秘匿化されたf-1(判定結果)(f-1(評価結果)とも記す)などに対応するoutput'から秘匿されていないf-1(判定結果)(f-1(評価結果)とも記す)などに対応するoutputを得る場合には、以下が成立すれば、本発明を適用可能である。具体的には、以下が成り立つfunction()とfunction'()と秘匿化関数()とinputとoutputとについて、本発明を適用可能である。
・output'=秘匿化関数(output)=秘匿化関数(function(input))=function'(input)となる秘匿化関数()に逆行列が存在し、且つ
output=秘匿化関数-1(output')=秘匿化関数-1(秘匿化関数(function(input)))=function(input)
あるいは、関数()の代わりに二項演算子*を用いて、inputとoutputとがoutput=input*functionと表せる場合、学習データ(あるいは判定データ(すなわち評価対象データ)など)であるinputの秘匿化に関しては、
(input*秘匿化関数)*function=input*(秘匿化関数*function)
という結合法則が成立するfunctionと秘匿化関数とinputとに対して、本発明を適用できる。
また、f-1(教師データ)などに対応するoutputを秘匿化し、秘匿化されたf-1(判定結果)(f-1(評価結果)とも記す)などに対応するoutput'から秘匿されていないf-1(判定結果)(f-1(評価結果)とも記す)などに対応するoutputを得る場合には、
output'=output*秘匿化関数=(input*function)*秘匿化関数=input*(function*秘匿化関数)
という関係(最右辺と右から二番目の右辺との間に結合法則の関係を含む)が成立すると共に、秘匿化関数に逆元である(秘匿化関数)-1が存在し、且つ
output=output*秘匿化関数*秘匿化関数-1=input*function
が成立するfunctionと秘匿化関数とinputとoutputとoutput'とに対して、本発明を適用できる。
なお、X"=X'Ax-Bxなどの式は、横ベクトルX"及びX'の次元を以下のように1増やした上で、以下のように行列を変形すれば、二項演算子*を用いて(5)式のように表すことができ、上記の一般化の一例となっている。
本実施の形態に係る情報処理方法は、(A)第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得するステップと、(B)上記学習データに対して、第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納するステップとを含む。
103 第1データ格納部
105 設定データ格納部
107 変換ルール生成部
109 変換ルール格納部
111 変換部
113 第2データ格納部
115 第1出力部
117 エクスポート部
Claims (12)
- 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得するステップと、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納するステップと、
前記第1の格納部に格納される、前記機械学習のための教師データに含まれる属性値に対して変換を行うための第2の変換ルールを生成又は取得するステップと、
前記教師データに対して、前記第2の変換ルールに従った変換を含む秘匿化変換を行って秘匿化教師データを生成し、前記第2の格納部に格納するステップと、
を、コンピュータに実行させるためのプログラム。 - 判定データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って、秘匿化判定データを生成するステップと、
前記秘匿化学習データ及び前記秘匿化教師データを用いて機械学習が行われた学習済みモデルを実装したシステムに対して、前記秘匿化判定データを送信して、当該秘匿化判定データに対する秘匿化判定結果を受信するステップと、
受信した前記秘匿化判定結果に対して、前記第2の変換ルールに基づく逆変換を実行して、判定結果を生成するステップと、
をさらに、前記コンピュータに実行させるための請求項1記載のプログラム。 - 前記第1の変換ルールに係るデータを、他のコンピュータに送信するステップ
をさらに前記コンピュータに実行させるための請求項1記載のプログラム。 - 前記第1の変換ルールが、
前記学習データにおける指定の属性毎に当該属性の値の分布に基づき調整され、且つ前記指定の属性の値を混合する変換を行うための第1の行列
を含む請求項1記載のプログラム。 - 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得するステップと、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納するステップと、
前記秘匿化学習データを用いて機械学習が行われた学習済みニューラルネットワークを実装したシステムから、前記学習済みニューラルネットワークの重みのデータを取得するステップと、
前記重みのうち所定部分の重みに対して、前記第1の変換ルールに基づく変換を行うステップと、
前記秘匿化学習データを用いて機械学習が行われた学習済みニューラルネットワークを実装したシステムから、前記学習済みニューラルネットワークにおける現在の重みと所定時点における重みとの差分に係る差分データを取得するステップと、
前記差分データのうち所定部分の重みの差分に対して、前記第1の変換ルールに基づく変換を行うステップと、
前記差分データのうち前記所定部分の重みの変換後の差分と、前記差分データのうち前記所定部分以外の重みの差分とを、前記所定時点における重みに基づき構築された学習済みニューラルネットワークに対して反映するステップと、
を、コンピュータに実行させるためのプログラム。 - 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得するステップと、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納するステップと、
を、コンピュータに実行させ、
前記第1の変換ルールが、
前記機械学習の対象となるニューラルネットワークの構成に応じて、前記複数種類の属性値を混合する変換を行うための変換ルールである
プログラム。 - 前記第1の変換ルールが、
前記学習データにおける指定の属性の値を混合する変換を行うための第1の行列を、当該第1の行列の特性と前記秘匿化学習データを用いて機械学習が行われるニューラルネットワークにおける非線形関数の特性とに応じて調整した第2の行列
を含む請求項6記載のプログラム。 - 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得するステップと、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納するステップと、
を、コンピュータに実行させ、
前記秘匿化変換が、
前記秘匿化学習データを用いて機械学習が行われるニューラルネットワークが畳み込みニューラルネットワークである場合に、前記第1の変換ルールによって変換された学習データに含まれる属性の所定の組み合わせを、同一の教師データに対して、前記畳み込みニューラルネットワークの構造に応じて複数生成し、当該組み合わせの順番を入れ替える処理
を含む、プログラム。 - 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得するステップと、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納するステップと、
前記第1の格納部に格納される、前記機械学習のための教師データに含まれる属性値に対して変換を行うための第2の変換ルールを生成又は取得するステップと、
前記教師データに対して、前記第2の変換ルールに従った変換を含む秘匿化変換を行って秘匿化教師データを生成し、前記第2の格納部に格納するステップと、
を含み、コンピュータが実行する情報処理方法。 - 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得する手段と、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納する手段と、
前記第1の格納部に格納される、前記機械学習のための教師データに含まれる属性値に対して変換を行うための第2の変換ルールを生成又は取得する手段と、
前記教師データに対して、前記第2の変換ルールに従った変換を含む秘匿化変換を行って秘匿化教師データを生成し、前記第2の格納部に格納する手段と、
を有する情報処理システム。 - 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得するステップと、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納するステップと、
を含み、
前記第1の変換ルールが、
前記機械学習の対象となるニューラルネットワークの構成に応じて、前記複数種類の属性値を混合する変換を行うための変換ルールであり、
コンピュータが実行する情報処理方法。 - 第1の格納部に格納される、機械学習のための学習データに含まれる複数種類の属性値を混合する変換を行うための第1の変換ルールを生成又は取得する手段と、
前記学習データに対して、前記第1の変換ルールに従った変換を含む秘匿化変換を行って秘匿化学習データを生成し、第2の格納部に格納する手段と、
を有し、
前記第1の変換ルールが、
前記機械学習の対象となるニューラルネットワークの構成に応じて、前記複数種類の属性値を混合する変換を行うための変換ルールである、
情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018115455A JP7079483B2 (ja) | 2018-06-18 | 2018-06-18 | 情報処理方法、システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018115455A JP7079483B2 (ja) | 2018-06-18 | 2018-06-18 | 情報処理方法、システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019219813A JP2019219813A (ja) | 2019-12-26 |
JP7079483B2 true JP7079483B2 (ja) | 2022-06-02 |
Family
ID=69096592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018115455A Active JP7079483B2 (ja) | 2018-06-18 | 2018-06-18 | 情報処理方法、システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7079483B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7376401B2 (ja) * | 2020-03-25 | 2023-11-08 | 株式会社日立製作所 | 情報処理システムおよび情報処理プログラム |
WO2021250720A1 (ja) * | 2020-06-08 | 2021-12-16 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、コンピュータ読み取り可能な記録媒体 |
CN112347361B (zh) * | 2020-11-16 | 2024-03-01 | 百度在线网络技术(北京)有限公司 | 推荐对象的方法、神经网络及其训练方法、设备和介质 |
JP7291177B2 (ja) * | 2021-07-12 | 2023-06-14 | ヤフー株式会社 | 端末装置、情報処理方法及び情報処理プログラム |
CN114692873A (zh) * | 2022-03-04 | 2022-07-01 | 陈九廷 | 一种数据处理方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006018053A (ja) | 2004-07-02 | 2006-01-19 | Hitachi Ltd | 情報の収集方法及び端末 |
JP2009543254A (ja) | 2006-07-12 | 2009-12-03 | コファックス インコーポレイテッド | トランスダクティブデータ分類のための方法およびシステム、ならびに機械学習手法を用いたデータ分類方法 |
JP2015155896A (ja) | 2014-02-06 | 2015-08-27 | ザ・ボーイング・カンパニーTheBoeing Company | 画像背景の中の偏光を測定するためのシステム及び方法 |
JP2017004142A (ja) | 2015-06-08 | 2017-01-05 | 株式会社Preferred Networks | 学習装置ユニット |
WO2018063451A1 (en) | 2016-09-29 | 2018-04-05 | Magic Leap, Inc. | Neural network for eye image segmentation and image quality estimation |
JP2018073103A (ja) | 2016-10-28 | 2018-05-10 | キヤノン株式会社 | 演算回路、その制御方法及びプログラム |
JP2018514852A (ja) | 2015-03-27 | 2018-06-07 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 逐次画像サンプリングおよび微調整された特徴の記憶 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170039487A1 (en) * | 2014-04-11 | 2017-02-09 | Hitachi, Ltd. | Support vector machine learning system and support vector machine learning method |
-
2018
- 2018-06-18 JP JP2018115455A patent/JP7079483B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006018053A (ja) | 2004-07-02 | 2006-01-19 | Hitachi Ltd | 情報の収集方法及び端末 |
JP2009543254A (ja) | 2006-07-12 | 2009-12-03 | コファックス インコーポレイテッド | トランスダクティブデータ分類のための方法およびシステム、ならびに機械学習手法を用いたデータ分類方法 |
JP2015155896A (ja) | 2014-02-06 | 2015-08-27 | ザ・ボーイング・カンパニーTheBoeing Company | 画像背景の中の偏光を測定するためのシステム及び方法 |
JP2018514852A (ja) | 2015-03-27 | 2018-06-07 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 逐次画像サンプリングおよび微調整された特徴の記憶 |
JP2017004142A (ja) | 2015-06-08 | 2017-01-05 | 株式会社Preferred Networks | 学習装置ユニット |
WO2018063451A1 (en) | 2016-09-29 | 2018-04-05 | Magic Leap, Inc. | Neural network for eye image segmentation and image quality estimation |
JP2018073103A (ja) | 2016-10-28 | 2018-05-10 | キヤノン株式会社 | 演算回路、その制御方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
Keng-Pei Lin ほか,Privacy-preserving outsourcing support vector machines with random transformation,Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD '10),米国,Association for Computing Machinery,2010年07月25日,pp.363-372,[検索日 2022.02.22], インターネット:<URL:https://dl.acm.org/doi/abs/10.1145/1835804.1835852>,<DOI:https://doi.org/10.1145/1835804.1835852> |
Also Published As
Publication number | Publication date |
---|---|
JP2019219813A (ja) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7079483B2 (ja) | 情報処理方法、システム及びプログラム | |
US11902413B2 (en) | Secure machine learning analytics using homomorphic encryption | |
US9990558B2 (en) | Generating image features based on robust feature-learning | |
JP7470476B2 (ja) | 蒸留を用いたそれぞれのターゲット・クラスを有するモデルの統合 | |
CN106953862B (zh) | 网络安全态势的感知方法和装置及感知模型训练方法和装置 | |
JP6901633B2 (ja) | カプセルニューラルネットワーク | |
CN112100295A (zh) | 基于联邦学习的用户数据分类方法、装置、设备及介质 | |
CN110520857A (zh) | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 | |
EP3525139A1 (en) | Automatically scaling neural networks based on load | |
Atkinson et al. | Structured Bayesian Gaussian process latent variable model: Applications to data-driven dimensionality reduction and high-dimensional inversion | |
JP7354463B2 (ja) | データ保護方法、装置、サーバ及び媒体 | |
WO2020075644A1 (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
CN114611720A (zh) | 联邦学习模型训练方法、电子设备及存储介质 | |
Bergero et al. | A vectorial DEVS extension for large scale system modeling and parallel simulation | |
JP2021512387A (ja) | 量子コンピューティング・デバイス設計 | |
CN111222046A (zh) | 服务配置方法、用于服务配置的客户端、设备及电子设备 | |
WO2020081858A2 (en) | Data analytics platform | |
CN114091572A (zh) | 模型训练的方法、装置、数据处理系统及服务器 | |
JP6985997B2 (ja) | 機械学習システムおよびボルツマンマシンの計算方法 | |
Wauthier et al. | Learning generative models for active inference using tensor networks | |
JP2020198135A (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
JP2021197032A (ja) | 制御装置、方法及びプログラム | |
US20240119712A1 (en) | Method and apparatus for correcting errors in outputs of machine learning models | |
WO2023175977A1 (ja) | 学習装置 | |
JP2024509966A (ja) | マルチメディアリソースの推薦方法、装置、機器、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7079483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |