JP7184159B2 - システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体 - Google Patents

システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体 Download PDF

Info

Publication number
JP7184159B2
JP7184159B2 JP2021506244A JP2021506244A JP7184159B2 JP 7184159 B2 JP7184159 B2 JP 7184159B2 JP 2021506244 A JP2021506244 A JP 2021506244A JP 2021506244 A JP2021506244 A JP 2021506244A JP 7184159 B2 JP7184159 B2 JP 7184159B2
Authority
JP
Japan
Prior art keywords
data
cloud server
difference
client device
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021506244A
Other languages
English (en)
Other versions
JPWO2020189133A1 (ja
Inventor
善行 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020189133A1 publication Critical patent/JPWO2020189133A1/ja
Application granted granted Critical
Publication of JP7184159B2 publication Critical patent/JP7184159B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Description

本発明は、システム、該システムに含まれるクライアント装置、該システムにおけるデータ処理方法、コンピュータプログラム及び記録媒体の技術分野に関する。
機械学習処理に、例えばIaaS(Infrastructure as a Service)等のクラウドサービスが利用されることがある。クラウドサービスを提供する事業者は、例えば通信路の暗号化やストレージの暗号化等のセキュリティ対策を採っている。しかしながら、例えば事業者の人為的ミス等に起因して、ユーザ情報が漏洩するリスクがある。このため、ユーザは、例えば独自の暗号化を施したデータをクラウドサービスに送信する等、情報漏洩に備えた対策を採る必要がある。
情報漏洩に備えた技術として、例えば特許文献1に記載の技術が提案されている。特許文献1に記載の技術では、先ず、データDT0がn個の分散情報に分割された後、該n個の分散情報のうちk個(1<k<n)の分散情報によりデータDT0を復元可能な秘密分散が実行され、該秘密分散により生成されたk個の分散情報が互いに異なる記憶装置に保存される。次に、該k個の分散情報から復元されたデータDT0が編集されることにより生成されたデータDT1がn個の編集後分散情報に分割される。次に、各記憶装置に保存されている分散情報と、対応する編集後分散情報との差分が計算された後、各記憶装置に、対応する編集後分散情報と、該対応する編集後分散情報以外の複数の編集後分散情報に係る複数の差分とが保存される。その他関連する技術として、特許文献2乃至5が挙げられる。
特開2007-304962号公報 特開2014-142871号公報 特開2017-211689号公報 特許第4590048号 特許第4588142号
特許文献1に記載の技術では、クラウドサービスが考慮されておらず改善の余地がある。
本発明は、上記事情に鑑みてなされたものであり、クラウドサービスを提供する事業者に依存することなく、情報漏洩に備えたセキュリティ対策を行うことができるシステム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体を提供することを課題とする。
本発明のシステムの一態様は、機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムであって、前記クライアント装置は、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成する生成手段と、前記複数の差分データを、前記クラウドサーバの記憶装置に保存する保存手段と、を有し、前記クライアント装置は、前記クラウドサーバに対し前記機械学習処理を要求する際に、前記一又は複数の基準データを前記クラウドサーバに送信し、前記クラウドサーバは、前記記憶装置に保存された前記複数の差分データと、前記一又は複数の基準データとから、前記複数のデータを復元する復元手段を有する。
本発明のデータ処理方法の一態様は、機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムにおけるデータ処理方法であって、前記クライアント装置において、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成し、前記複数の差分データを、前記クラウドサーバの記憶装置に保存し、前記クラウドサーバに対し前記機械学習処理を要求する際に、前記一又は複数の基準データを前記クラウドサーバに送信し、前記記憶装置に保存された前記複数の差分データと、前記一又は複数の基準データとから、前記複数のデータを復元する。
本発明のコンピュータプログラムは、コンピュータに、データ処理方法を実行させるコンピュータプログラムであって、前記データ処理方法は、機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムにおけるデータ処理方法であって、前記クライアント装置において、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成し、前記複数の差分データを、前記クラウドサーバの記憶装置に保存し、前記クラウドサーバに対し前記機械学習処理を要求する際に、前記一又は複数の基準データを前記クラウドサーバに送信し、前記記憶装置に保存された前記複数の差分データと、前記一又は複数の基準データとから、前記複数のデータを復元する。
本発明の記録媒体の一の態様は、上述したコンピュータプログラムの一の態様が記録された記録媒体である。
上述したシステム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体のそれぞれの一の態様によれば、クラウドサービスを提供する事業者に依存することなく、情報漏洩に備えたセキュリティ対策を行うことができる。
実施形態に係るシステムの構成を示すブロック図である。 実施形態に係るクライアント装置のハードウェア構成を示すブロック図である。 実施形態に係るクラウドサーバのハードウェア構成を示すブロック図である。 実施形態に係るクライアント装置及びクラウドサーバ各々のCPU内で実現される機能ブロックを示すブロック図である。 入力データの一例を示す図である。 基準データの一例を示す図である。 差分データの一例を示す図である。 実施形態に係るシステムにおいて機械学習処理が行われるときの該システムの動作を示すフローチャートである。 実施形態に係るシステムにおいて分析モデルを用いた分析が行われるときの該システムの動作を示すフローチャートである。 実施形態に係るクライアント装置のCPU内で実現される機能ブロックの他の例を示すブロック図である。
システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体の実施形態を図面に基づいて説明する。以下では、機械学習処理を実施可能なクラウドサーバと、該クラウドサーバと通信可能なクライアント装置とを備えるシステム1を用いて、システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体の実施形態について説明する。
(構成)
実施形態に係るシステム1の構成について図1乃至図4を参照して説明する。先ず、システム1の全体構成について図1を参照して説明する。図1は、実施形態に係るシステムの構成を示すブロック図である。図1において、システム1は、クライアント装置100とクラウドサーバ200とを備えて構成されている。クライアント装置100は、クラウドサーバ200と通信可能に構成されている。
次に、クライアント装置100のハードウェア構成について図2を参照して説明する。図2は、実施形態に係るクライアント装置のハードウェア構成を示すブロック図である。
図2において、クライアント装置100は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、記憶装置14、入力装置15及び出力装置16を備えている。CPU11、RAM12、ROM13、記憶装置14、入力装置15及び出力装置16は、データバス17を介して相互に接続されている。
CPU11は、コンピュータプログラムを読み込む。例えば、CPU11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込んでもよい。例えば、CPU11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。CPU11は、ネットワークインタフェースを介して、クライアント装置100の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。CPU11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。当該実施形態では特に、CPU11が読み込んだコンピュータプログラムを実行すると、CPU11内には、機械学習に用いられる複数のデータの暗号化(詳細については後述する)を行うための論理的な機能ブロックが実現される。つまり、CPU11は、機械学習に用いられる複数のデータの暗号化を行うためのコントローラとして機能可能である。尚、CPU11内で実現される機能ブロックの構成については、後に図4を参照しながら詳述する。
RAM12は、CPU11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、CPU11がコンピュータプログラムを実行している際にCPU11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic RAM)であってもよい。
ROM13は、CPU11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable ROM)であってもよい。
記憶装置14は、クライアント装置100が長期的に保存するデータを記憶する。記憶装置14は、CPU11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入力装置15は、クライアント装置100のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
出力装置16は、クライアント装置100に関する情報を外部に対して出力する装置である。例えば、出力装置16は、クライアント装置100に関する情報を表示可能な表示装置であってもよい。
次に、クラウドサーバ200のハードウェア構成について図3を参照して説明する。図3は、実施形態に係るクラウドサーバのハードウェア構成を示すブロック図である。
図3において、クラウドサーバ200は、CPU21、RAM22、ROM23、記憶装置24、入力装置25及び出力装置26を備えている。CPU21、RAM22、ROM23、記憶装置24、入力装置25及び出力装置26は、データバス27を介して相互に接続されている。
CPU21は、コンピュータプログラムを読み込む。例えば、CPU21は、RAM22、ROM23及び記憶装置24のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込んでもよい。例えば、CPU21は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。CPU21は、ネットワークインタフェースを介して、クラウドサーバ200の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。CPU21は、読み込んだコンピュータプログラムを実行することで、RAM22、記憶装置24、入力装置25及び出力装置26を制御する。当該実施形態では特に、CPU21が読み込んだコンピュータプログラムを実行すると、CPU21内には、機械学習処理、及び、機械学習に用いられる複数のデータの復号化(詳細については後述する)を行うための論理的な機能ブロックが実現される。つまり、CPU21は、機械学習処理、及び、機械学習に用いられる複数のデータの復号化を行うためのコントローラとして機能可能である。尚、CPU21内で実現される機能ブロックの構成については、後に図4を参照しながら詳述する。
RAM22は、CPU21が実行するコンピュータプログラムを一時的に記憶する。RAM22は、CPU21がコンピュータプログラムを実行している際にCPU21が一時的に使用するデータを一時的に記憶する。RAM22は、例えば、D-RAMであってもよい。
ROM23は、CPU21が実行するコンピュータプログラムを記憶する。ROM23は、その他に固定的なデータを記憶していてもよい。ROM23は、例えば、P-ROMであってもよい。
記憶装置24は、クラウドサーバ200が長期的に保存するデータを記憶する。記憶装置24は、CPU21の一時記憶装置として動作してもよい。記憶装置24は、例えば、ハードディスク装置、光磁気ディスク装置、SSD及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入力装置25は、クラウドサーバ200の管理者からの入力指示を受け取る装置である。入力装置25は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
出力装置26は、クラウドサーバ200に関する情報を外部に対して出力する装置である。例えば、出力装置26は、クラウドサーバ200に関する情報を表示可能な表示装置であってもよい。
次に、CPU11及び21内で実現される機能ブロックの構成について図4を参照して説明する。図4は、実施形態に係るクライアント装置及びクラウドサーバ各々のCPU内で実現される機能ブロックを示すブロック図である。
図4において、クライアント装置100のCPU11内には、機械学習に用いられる複数のデータの暗号化を行うための論理的な機能ブロックとして、データ暗号化装置111が実現される。データ暗号化装置111は、データ前処理装置1111、簡易データ分類装置1112、基準データ算出装置1113及び差分データ算出装置1114を有する。
クラウドサーバ200のCPU21内には、機械学習処理、及び、機械学習に用いられる複数のデータの復号化を行うための論理的な機能ブロックとして、データ復号化装置211、学習エンジン212及び予測エンジン213が実現される。データ復号化装置211は、結合データ算出装置2111を有する。
図4に示すように、本実施形態では、オンプレミス(On-Premises)環境にあるクライアント装置100にデータ暗号化装置111が配置される一方、クラウドサーバ200にデータ復号化装置211が配置されている。
尚、図4において、簡易分類モデル入力装置301、学習用データ入力装置302及び予測用データ入力装置303は、クライアント装置100とは異なる装置である。簡易分類モデル入力装置301、学習用データ入力装置302及び予測用データ入力装置303各々は、例えばオンプレミス環境にあるパーソナルコンピュータ等により実現されてよい。クライアント装置100と、簡易分類モデル入力装置301、学習用データ入力装置302及び予測用データ入力装置303とは、ローカルネットワーク経由で相互に通信可能に接続されていてよい。
さて、データ暗号化装置111のデータ前処理装置1111は、学習用データ入力装置302及び予測用データ入力装置303各々から取得した学習用データ又は予測用データに対して、所定の前処理を施す。学習用データ及び予測用データが画像データである場合、例えばコントラスト補正、位置合わせ、回転補正等が、所定の前処理として挙げられる。
簡易データ分類装置1112は、簡易分類モデル入力装置301から取得したデータ分類のためのモデルを用いて、学習用データ又は予測用データ各々をカテゴリ毎に分類する。尚、データ分類のためのモデルは、インターネット上に公開されているモデルであってもよいし、過去に機械学習処理により生成されたモデルであってもよい。
例えば、学習用データ又は予測用データとしての入力データである、図5に示すA~Fの6つの顔画像が、簡易データ分類装置1112に入力された場合、簡易データ分類装置1112は、顔画像A~Fを、男性の顔画像A、B及びCと、女性の顔画像D、E及びFとに分類してよい。
基準データ算出装置1113は、カテゴリ毎に分類された学習用データ又は予測用データ各々から、カテゴリ毎に基準データを算出する。基準データは、一のカテゴリに分類された複数のデータの基準となるデータである。このような基準データは、例えば一のカテゴリに分類された複数のデータの平均値であってよい。学習用データ及び予測用データが画像データである場合は、各画素の画素値が、学習用データ又は予測用データとしての複数の画像データの画素値の平均値であるような画像データが、基準データとして算出されてよい。或いは、基準データは、例えば一のカテゴリに分類された複数のデータ各々に共通する共通成分からなるデータであってよい。
基準データ算出装置1113は、図5に示す男性の顔画像A、B及びCについて、図6(a)に示す画像を、基準データとして算出してよい。同様に、基準データ算出装置1113は、図5に示す女性の顔画像D、E及びFについて、図6(b)に示す画像を、基準データとして算出してよい。基準データ算出装置1113は、算出された基準データを、例えば記憶装置14により実現される基準データ記憶装置141に保存する。
差分データ算出装置1114は、カテゴリ毎に、基準データと、学習用データ又は予測用データとの差分を算出することにより、差分データを算出する。差分データ算出装置1114は、基準データとしての図6(a)に示す画像と、図5に示す男性の顔画像A、B及びC各々との差分を算出することにより、図7(a)に示す差分データを算出する。同様に、差分データ算出装置1114は、基準データとしての図6(b)に示す画像と、図5に示す女性の顔画像D、E及びF各々との差分を算出することにより、図7(b)に示す差分データを算出する。差分データ算出装置1114は、算出された複数の差分データを、例えばクラウドサーバ200の記憶装置24により実現される差分データ記憶装置241に保存する。
ここで、図7(a)の画像Aは、図5に示す顔画像Aと図6(a)に示す基準データとしての画像との差分データであり、図7(a)の画像Bは、図5に示す顔画像Bと図6(a)に示す基準データとしての画像との差分データであり、図7(a)の画像Cは、図5に示す顔画像Cと図6(a)に示す基準データとしての画像との差分データである。図7(b)の画像Dは、図5に示す顔画像Dと図6(b)に示す基準データとしての画像との差分データであり、図7(b)の画像Eは、図5に示す顔画像Eと図6(b)に示す基準データとしての画像との差分データであり、図7(b)の画像Fは、図5に示す顔画像Fと図6(b)に示す基準データとしての画像との差分データである。
学習用データ及び予測用データが画像データである場合、差分データ算出装置1114により算出された差分データは、基準データを含まないため元の画像データよりも高周波成分が少なくなる。このため、差分データに対して周波数変換圧縮(つまり、画像データを周波数領域のデータに変換した上で圧縮する処理であり、例えば、JPEG(Joint Photographic Experts Group)方式等で用いられる圧縮処理)を施した場合に、圧縮後の差分データのデータサイズが比較的小さくなることが期待できる。そこで、差分データ算出装置1114は、算出された差分データに周波数変換圧縮を施して、圧縮された差分データを、差分データ記憶装置241に保存してよい。このように構成すれば、差分データを差分データ記憶装置241に保存するために費やされる時間を抑制することができるとともに、差分データ記憶装置241の容量の消費を抑制することができる。
クライアント装置100は、クラウドサーバ200に機械学習処理を要求する際に、基準データ記憶装置141に保存されている基準データを、クラウドサーバ200のデータ復号化装置211に送信する。
データ復号化装置211の結合データ算出装置2111は、クライアント装置100から送信された基準データと、差分データ記憶装置241に予め保存されている差分データとを結合して、学習用データ又は予測用データを復元する。具体的には、結合データ算出装置2111は、図6(a)に示す基準データとしての画像と、図7(a)に示す差分データとしての画像A、B及びCとを結合して、図5に示す顔画像A、B及びCを復元する。同様に、結合データ算出装置2111は、図6(b)に示す基準データとしての画像と、図7(b)に示す差分データとしての画像D、E及びFとを結合して、図5に示す顔画像D、E及びFを復元する。
学習エンジン212は、結合データ算出装置2111により復元された学習用データを用いた機械学習により、分析モデルを生成する。学習エンジン212は、該生成された分析モデルを、例えば記憶装置24により実現される分析結果記憶装置242に保存する。
予測エンジン213は、結合データ算出装置2111により復元された予測用データと、分析結果記憶装置242に保存されている分析モデルとを用いて、例えば予測用データとしての複数の画像データ各々のカテゴリを予測することにより得られた予測結果を、例えば記憶装置24により実現される予測結果記憶装置243に保存する。
(動作)
次に、機械学習処理が行われるときのシステム1の動作について、図8のフローチャートを参照して説明を加える。
図8において、先ず、クライアント装置100のデータ暗号化装置111は、簡易分類モデル入力装置301からデータ分類のためのモデル(簡易分類モデル)を取得する(ステップS101)。ステップS101の処理と並行して、データ暗号化装置111は、学習用データ入力装置302から学習用データを取得する(ステップS102)。
データ暗号化装置111のデータ前処理装置1111は、ステップS102の処理において取得された学習用データに対して所定の前処理を施す(ステップS103)。次に、データ暗号化装置111の簡易データ分類装置1112は、ステップS101の処理において取得された簡易分類モデルを用いて、学習用データをカテゴリ毎に分類する(ステップS104)。
次に、データ暗号化装置111の基準データ算出装置1113は、カテゴリ毎に分類された学習用データから、カテゴリ毎に基準データを算出する(ステップS105)。基準データ算出装置1113は、算出された基準データを、基準データ記憶装置141に保存する(ステップS106)とともに、データ暗号化装置111の差分データ算出装置1114に出力する。
差分データ算出装置1114は、カテゴリ毎に、基準データと、学習用データとの差分を算出することにより、差分データを算出する(ステップS107)。差分データ算出装置1114は、算出された複数の差分データを、クラウドサーバ200の差分データ記憶装置241に保存する(ステップS108)。
その後、クラウドサーバ200に機械学習処理が要求されるときに、クライアント装置100は、基準データ記憶装置141に保存されている基準データを、クラウドサーバ200のデータ復号化装置211に送信する(ステップS109)。
データ復号化装置211の結合データ算出装置2111は、クライアント装置100から送信された基準データと、差分データ記憶装置241に予め保存されている差分データとを結合して、学習用データを復元する(ステップS110)。データ復号化装置211は、復元された学習用データを、学習エンジン212に出力する。
学習エンジン212は、学習用データを用いて機械学習処理を行うことにより(つまり、学習用データを分析することにより)、分析モデルを生成する(ステップS111)。学習エンジン212は、該生成された分析モデルを、分析結果記憶装置242に保存する(ステップS112)。
次に、機械学習処理により生成された分析モデルを用いた分析が行われるときのシステム1の動作について、図9のフローチャートを参照して説明を加える。
図9において、先ず、クライアント装置100のデータ暗号化装置111は、簡易分類モデル入力装置301からデータ分類のためのモデル(簡易分類モデル)を取得する(ステップS201)。ステップS201の処理と並行して、データ暗号化装置111は、予測用データ入力装置303から予測用データを取得する(ステップS202)。
データ暗号化装置111のデータ前処理装置1111は、ステップS202の処理において取得された予測用データに対して所定の前処理を施す(ステップS203)。次に、データ暗号化装置111の簡易データ分類装置1112は、ステップS201の処理において取得された簡易分類モデルを用いて、予測用データをカテゴリ毎に分類する(ステップS204)。
次に、データ暗号化装置111の基準データ算出装置1113は、カテゴリ毎に分類された予測用データから、カテゴリ毎に基準データを算出する(ステップS205)。基準データ算出装置1113は、算出された基準データを、基準データ記憶装置141に保存する(ステップS206)とともに、データ暗号化装置111の差分データ算出装置1114に出力する。
差分データ算出装置1114は、カテゴリ毎に、基準データと、予測用データとの差分を算出することにより、差分データを算出する(ステップS207)。差分データ算出装置1114は、算出された複数の差分データを、クラウドサーバ200の差分データ記憶装置241に保存する(ステップS208)。
その後、クラウドサーバ200に分析モデルを用いた分析が要求されるときに、クライアント装置100は、基準データ記憶装置141に保存されている基準データを、クラウドサーバ200のデータ復号化装置211に送信する(ステップS209)。
データ復号化装置211の結合データ算出装置2111は、クライアント装置100から送信された基準データと、差分データ記憶装置241に予め保存されている差分データとを結合して、予測用データを復元する(ステップS210)。データ復号化装置211は、復元された予測用データを、予測エンジン213に出力する。
予測エンジン213は、復元された予測用データと、分析結果記憶装置242に保存されている分析モデルとを用いて、例えば予測用データとしての複数の画像データ各々のカテゴリを予測することにより得られた予測結果を、予測結果記憶装置243に保存する(ステップS212)。
尚、「基準データ算出装置1113」、「差分データ算出装置1114」及び「簡易データ分類装置1112」は、後述する付記における「生成手段」の一例に相当する。「差分データ算出装置1114」は、後述する付記における「保存手段」の一例に相当する。
(技術的効果)
当該システム1では、上述したように、クラウドサーバ200における機械学習処理に用いられる学習用データ、及び、分析モデルを用いた分析に用いられる予測用データが、オンプレミス環境にあるクライアント装置100において、基準データと差分データとに分割される(この結果として、学習用データ及び予測用データが暗号化される)。そして、差分データが、クラウドサーバ200の差分データ記憶装置241に保存される一方、基準データは、クライアント装置100の基準データ記憶装置141に保存される。
仮に、クラウドサーバ200が攻撃を受け、差分データ記憶装置241に保存されている差分データが盗まれたとしても、差分データだけから元のデータ(即ち、学習用データ又は予測用データ)を復元することは極めて困難である(事実上不可能であると言える)。機械学習処理や分析モデルを用いた分析が行われるときに、クラウドサーバ200に基準データが送信される。しかしながら、基準データ、並びに、該基準データ及び差分データから復元された元のデータは、クラウドサーバ200の、例えばキャッシュメモリ等に一時的に保存され、機械学習処理等が終了した後にクラウドサーバ200から削除される。このため、クラウドサーバ200から元のデータが盗まれる可能性は極めて低い。
このように、オンプレミス環境にあるクライアント装置100において、元のデータ(即ち、学習用データ又は予測用データ)を基準データと差分データとに分割することにより、クラウドサービスを提供する事業者に依存することなく、情報漏洩に備えたセキュリティ対策を行うことができる。特に、データの暗号化(即ち、基準データと差分データとに分割すること)及び復号化(即ち、基準データと差分データとから元のデータを復元すること)により該データは劣化しないので、機械学習処理等の精度が、暗号化及び復号化に起因して損なわれることはない。加えて、クラウドサーバ200の差分データ記憶装置241に保存される(言い換えれば、アップロードされる)差分データのデータサイズは比較的小さいので、差分データに起因する差分データ記憶装置241の容量の消費を抑制することができる。また、クラウドサーバ200において分散処理が行われる場合には、分散処理における通信量を抑制することができる。
<変形例>
(1)上述した実施形態では、学習用データ及び予測用データの一例として画像データを挙げたが、画像データに限らず、例えば音声データや時系列数値データ等であってもよい。
(2)図10に示すように、クライアント装置100のCPU11内には、データ暗号化装置111の基準データ算出装置1113及び差分データ算出装置1114が実現される一方で、基準データ算出装置1113及び差分データ算出装置1114以外の機能ブロックが実現されなくてもよい。この場合であっても、基準データ算出装置1113が、図8におけるステップS105及びS106の処理、並びに、図9におけるステップS205及びS206の処理を行い、差分データ算出装置1114が、図8におけるステップS108及びS109の処理、並びに、図9におけるステップS208及びS209の処理を行えば、学習用データ及び予測用データが基準データと差分データとに分割され(即ち、暗号化され)、差分データがクラウドサーバ200の差分データ記憶装置241に保存される。この結果、クラウドサービスを提供する事業者に依存することなく、情報漏洩に備えたセキュリティ対策を行うことができる。
<付記>
以上説明した実施形態に関して、更に以下の付記を開示する。
(付記1)
付記1に記載のシステムは、機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムであって、前記クライアント装置は、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成する生成手段と、前記複数の差分データを、前記クラウドサーバの記憶装置に保存する保存手段と、を有することを特徴とするシステムである。
(付記2)
付記2に記載のシステムは、前記生成手段は、前記複数のデータ各々を一又は複数のカテゴリに分類し、前記一又は複数のカテゴリ毎に前記基準データ及び前記差分データを生成することを特徴とする付記1に記載のシステムである。
(付記3)
付記3のシステムは、前記保存手段は、前記複数の差分データを周波数変換圧縮した後に、前記記憶装置に保存することを特徴とする付記1又は2に記載のシステムである。
(付記4)
付記4に記載のシステムは、前記クライアント装置は、前記クラウドサーバに対し前記機械学習処理を要求する際に、前記一又は複数の基準データを前記クラウドサーバに送信し、前記クラウドサーバは、前記記憶装置に保存された前記複数の差分データと、前記一又は複数の基準データとから、前記複数のデータを復元する復元手段を有することを特徴とする付記1乃至3のいずれかに記載のシステムである。
(付記5)
付記5に記載のクライアント装置は、機械学習処理を実施可能なクラウドサーバと通信可能なクライアント装置であって、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成する生成手段と、前記複数の差分データを、前記クラウドサーバの記憶装置に保存する保存手段と、を備えることを特徴とするクライアント装置である。
(付記6)
付記6に記載のデータ処理方法は、機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムにおけるデータ処理方法であって、前記クライアント装置において、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成する生成工程と、前記複数の差分データを、前記クラウドサーバの記憶装置に保存する保存工程と、を含むことを特徴とするデータ処理方法である。
(付記7)
付記7に記載のコンピュータプログラムは、コンピュータに、付記6に記載のデータ処理方法を実行させるコンピュータプログラムである。
(付記8)
付記8に記載の記録媒体は、付記7に記載のコンピュータプログラムが記録された記録媒体である。
本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うシステム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体もまた本発明の技術思想に含まれる。
この出願は、2019年3月19日に出願された日本出願特願2019-051317を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1…システム、100…クライアント装置、111…データ暗号化装置、141…基準データ記憶装置、200…クラウドサーバ、211…データ復号化装置、212…学習エンジン、213…予測エンジン、241…差分データ記憶装置、242…分析結果記憶装置、243…予測結果記憶装置、1111…データ前処理装置、1112…簡易データ分類装置、1113…基準データ算出装置、1114…差分データ算出装置

Claims (5)

  1. 機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムであって、
    前記クライアント装置は、
    前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成する生成手段と、
    前記複数の差分データを、前記クラウドサーバの記憶装置に保存する保存手段と、
    を有し、
    前記クライアント装置は、前記クラウドサーバに対し前記機械学習処理を要求する際に、前記一又は複数の基準データを前記クラウドサーバに送信し、
    前記クラウドサーバは、前記記憶装置に保存された前記複数の差分データと、前記一又は複数の基準データとから、前記複数のデータを復元する復元手段を有する
    ことを特徴とするシステム。
  2. 前記生成手段は、前記複数のデータ各々を一又は複数のカテゴリに分類し、前記一又は複数のカテゴリ毎に前記基準データ及び前記差分データを生成することを特徴とする請求項1に記載のシステム。
  3. 前記保存手段は、前記複数の差分データを周波数変換圧縮した後に、前記記憶装置に保存することを特徴とする請求項1又は2に記載のシステム。
  4. 機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムにおけるデータ処理方法であって、
    前記クライアント装置において、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成し、
    前記複数の差分データを、前記クラウドサーバの記憶装置に保存し、
    前記クラウドサーバに対し前記機械学習処理を要求する際に、前記一又は複数の基準データを前記クラウドサーバに送信し、
    前記記憶装置に保存された前記複数の差分データと、前記一又は複数の基準データとから、前記複数のデータを復元する
    ことを特徴とするデータ処理方法。
  5. コンピュータに、データ処理方法を実行させるコンピュータプログラムであって、
    前記データ処理方法は、機械学習処理を実施可能なクラウドサーバと、前記クラウドサーバと通信可能なクライアント装置とを備えるシステムにおけるデータ処理方法であって、
    前記クライアント装置において、前記機械学習処理に用いられる複数のデータから、前記複数のデータの少なくとも一部の基準となるデータである一又は複数の基準データを生成するとともに、前記複数のデータ各々と、前記一又は複数の基準データのうち対応する基準データとの差分を示す複数の差分データを生成し、
    前記複数の差分データを、前記クラウドサーバの記憶装置に保存し、
    前記クラウドサーバに対し前記機械学習処理を要求する際に、前記一又は複数の基準データを前記クラウドサーバに送信し、
    前記記憶装置に保存された前記複数の差分データと、前記一又は複数の基準データとから、前記複数のデータを復元する
    コンピュータプログラム。
JP2021506244A 2019-03-19 2020-02-17 システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体 Active JP7184159B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019051317 2019-03-19
JP2019051317 2019-03-19
PCT/JP2020/006048 WO2020189133A1 (ja) 2019-03-19 2020-02-17 システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020189133A1 JPWO2020189133A1 (ja) 2021-12-23
JP7184159B2 true JP7184159B2 (ja) 2022-12-06

Family

ID=72520173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506244A Active JP7184159B2 (ja) 2019-03-19 2020-02-17 システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体

Country Status (3)

Country Link
US (1) US20220172454A1 (ja)
JP (1) JP7184159B2 (ja)
WO (1) WO2020189133A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019078B (zh) * 2022-08-09 2023-01-24 阿里巴巴(中国)有限公司 车辆图像处理方法、计算设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257248A (ja) 2006-03-23 2007-10-04 Kochi Univ Of Technology パターン認識方法及びその装置及びそのプログラムを格納した記憶媒体
JP2018514100A (ja) 2015-11-19 2018-05-31 シェンジェン イーグルソウル テクノロジー カンパニー リミテッド 画像同期表示方法及び装置
JP2018190239A (ja) 2017-05-09 2018-11-29 公立大学法人県立広島大学 深層学習自動学習システム、クライアント装置およびサーバ装置
CN109344742A (zh) 2018-09-14 2019-02-15 腾讯科技(深圳)有限公司 特征点定位方法、装置、存储介质和计算机设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820688B2 (ja) * 2006-05-12 2011-11-24 富士通株式会社 データ分散装置、情報分散機能を有する情報処理装置、情報処理装置のプログラム、および情報分散保存システム
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
US9697247B2 (en) * 2014-07-16 2017-07-04 Facebook, Inc. Tiered data storage architecture
US11836746B2 (en) * 2014-12-02 2023-12-05 Fair Isaac Corporation Auto-encoder enhanced self-diagnostic components for model monitoring
JP6055023B2 (ja) * 2015-05-11 2016-12-27 レノボ・シンガポール・プライベート・リミテッド クラウド環境にデータを保存する情報処理装置、端末装置および保存方法
US10700864B2 (en) * 2017-07-12 2020-06-30 International Business Machines Corporation Anonymous encrypted data
US20220383194A1 (en) * 2019-12-24 2022-12-01 Aising Ltd. Information processing device, method, and program
US20210295168A1 (en) * 2020-03-23 2021-09-23 Amazon Technologies, Inc. Gradient compression for distributed training

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257248A (ja) 2006-03-23 2007-10-04 Kochi Univ Of Technology パターン認識方法及びその装置及びそのプログラムを格納した記憶媒体
JP2018514100A (ja) 2015-11-19 2018-05-31 シェンジェン イーグルソウル テクノロジー カンパニー リミテッド 画像同期表示方法及び装置
JP2018190239A (ja) 2017-05-09 2018-11-29 公立大学法人県立広島大学 深層学習自動学習システム、クライアント装置およびサーバ装置
CN109344742A (zh) 2018-09-14 2019-02-15 腾讯科技(深圳)有限公司 特征点定位方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
US20220172454A1 (en) 2022-06-02
WO2020189133A1 (ja) 2020-09-24
JPWO2020189133A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
JP6926429B2 (ja) データ処理装置、データ処理方法、およびプログラム
US11106814B1 (en) System, method and apparatus for securely storing data on public networks
Castiglione et al. Cloud-based adaptive compression and secure management services for 3D healthcare data
CN111898137A (zh) 一种联邦学习的隐私数据处理方法、设备及系统
US11381381B2 (en) Privacy preserving oracle
CN113542228B (zh) 基于联邦学习的数据传输方法、装置以及可读存储介质
CN111191255B (zh) 信息加密处理的方法、服务器、终端、设备以及存储介质
CN113821810B (zh) 数据处理方法及系统、存储介质及电子设备
Selvi et al. Medical image encryption and compression by adaptive sigma filterized synorr certificateless signcryptive Levenshtein entropy-coding-based deep neural learning
CN110738395A (zh) 一种业务数据处理方法及装置
US10536276B2 (en) Associating identical fields encrypted with different keys
Noor et al. Strategizing secured image storing and efficient image retrieval through a new cloud framework
JP7184159B2 (ja) システム、クライアント装置、データ処理方法、コンピュータプログラム及び記録媒体
CN111949998A (zh) 对象检测及请求方法、数据处理系统、装置及存储介质
CN107133517B (zh) 一种基于内存中数据加密和计算的数据还原方法
Alkhabet et al. Security algorithms for distributed storage system for E-health application over wireless body area network
CN112131591A (zh) 对信息的密文进行压缩的加密方法、装置、设备及介质
CN111061720B (zh) 数据筛选方法、装置和电子设备
Costa et al. High-performance blockchain system for fast certification of manufacturing data
Karmakar et al. MediChain: Medical data fusion using blockchain integrated elastic storage
Liu et al. A parallel encryption algorithm for dual-core processor based on chaotic map
CN113642009A (zh) 基于区块链的打印方法、装置、计算机设备和存储介质
Silva et al. Performance evaluation of cryptography on middleware-based computational offloading
Marwan et al. A Novel Approach for Security in Cloud-Based Medical Image Storage Using Segmentation
Jabor et al. New approach to improve power consumption associated with blockchain in WSNs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R151 Written notification of patent or utility model registration

Ref document number: 7184159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151