JP7176625B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7176625B2
JP7176625B2 JP2021519955A JP2021519955A JP7176625B2 JP 7176625 B2 JP7176625 B2 JP 7176625B2 JP 2021519955 A JP2021519955 A JP 2021519955A JP 2021519955 A JP2021519955 A JP 2021519955A JP 7176625 B2 JP7176625 B2 JP 7176625B2
Authority
JP
Japan
Prior art keywords
data
records
item
hierarchy
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519955A
Other languages
English (en)
Other versions
JPWO2020235019A1 (ja
Inventor
義行 美原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020235019A1 publication Critical patent/JPWO2020235019A1/ja
Application granted granted Critical
Publication of JP7176625B2 publication Critical patent/JP7176625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
近年、様々なデータ(例えば、購買データや宿泊データ、人流データ、医療データ、交通データ等)を収集及び分析して、事業活動や行政活動等に活用する取り組みが行われている。
これらのデータには、例えば、商品の購入者や宿泊者を特定可能な情報(個人情報)等が含まれる場合がある。このため、例えば、小売店やデパート等の商業施設が購買データをデータ収集・分析業者等に第三者提供したり、宿泊施設が宿泊データをデータ収集・分析業者等に第三者提供したりする際には、いわゆる個人情報保護法の規定を遵守する必要がある。個人情報保護法では、そのガイドラインにおいて、統計情報は特定の個人との対応関係が排斥されている限り、個人情報に該当しない旨を規定している。
また、個人の特定確率を1/k以下にするデータ加工手法として、k-匿名化と呼ばれる手法が知られている(例えば、非特許文献1参照)。
渡邉 奈津美, 土井 洋, 趙 晋輝, 「k-匿名化手法の効率向上に関する一提案」, 情報処理学会 第75回全国大会講演論文集, 2013(1), 519-520 (2013-03-06)
しかしながら、第三者提供の対象となるデータに対して統計加工を行って、個人の特定確率を1/k以下にする場合、データ中のレコードのうち、個人の特定確率が1/kより大きくなるレコードは削除する必要がある。他方で、データ中のレコードの削除が多い場合(つまり、データの損失率が高い場合)、データ分析等の精度が低下する。
また、データを構成するレコード数が少ない場合には、レコードの削除数を減らして個人の特定確率が1/k以下とするために、レコードに含まれる項目値の抽象化が必要なことがあるが、この場合にもデータ分析等の精度が低下する。このため、データ中のレコードの削除数を減らしつつ、項目値の抽象化も可能な限り抑えることが好ましい。
本発明は、上記の点に鑑みてなされたもので、データ分析の精度低下を防止することを目的とする。
上記目的を達成するため、本発明の実施の形態における情報処理装置は、1以上の項目が含まれるレコードで構成されるデータを統計加工によって匿名化する情報処理装置であって、前記項目のうち、マスキングの対象となる項目を示すマスキング対象項目と、前記マスキング対象項目毎に該項目値のカテゴリが木構造で表現された辞書と、前記マスキング対象項目毎に前記木構造で選択された階層を示す選択階層と、前記データに含まれるレコード数とに基づいて、前記データを構成する各レコードを1つ以上の集合に分類して、各集合のレコード数Nと、レコード数Nの集合に属するレコードの割合とを算出する算出手段と、前記レコード数Nの集合に属するレコードの割合が所定の条件を満たす場合に、前記データを1つ以上のデータに分割する分割手段と、を有することを特徴とする。
データ分析の精度低下を防止することができる。
本発明の実施の形態におけるデータ加工システムの全体構成の一例を示す図である。 本発明の実施の形態におけるデータ提供端末及びデータ分析装置のハードウェア構成の一例を示す図である。 対象データの一例を示す図である。 分類辞書の一例を示す図である。 分類辞書の一例を示す図である。 データ加工の一例を説明するための図である。 本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例1)である。 本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例1)である。 ユーザ提示画面における階層選択の一例を説明するための図である。 ユーザ提示画面における階層選択の一例を説明するための図である。 ユーザ提示画面における階層選択の一例を説明するための図である。 ユーザ提示画面における階層選択の一例を説明するための図である。 N毎のレコードの割合の他の表示例を示す図である。 N毎のレコードの割合の他の表示例を示す図である。 本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例2)である。 本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例2)である。 本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例3)である。 本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例3)である。 ユーザ提示画面の一例を示す図(実施例3)である。 クロス率の算出の一例を説明するための図(その1)である。 クロス率の算出の一例を説明するための図(その2)である。 本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例4)である。 本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例4)である。 本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例5)である。 本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例5)である。 本発明の実施の形態における統計量の減算処理の一例を示すフローチャート(実施例5)である。 本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例6)である。 本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例6)である。 マスキング対象項目の削除の一例を説明するための図である。 本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例7)である。 分類辞書の修正の一例を説明するための図(その1)である。 分類辞書の修正の一例を説明するための図(その1)である。 分類辞書の修正の一例を説明するための図(その2)である。 分類辞書の修正の一例を説明するための図(その2)である。 本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例7)である。 ユーザ提示画面及び分類辞書修正画面の一例を示す図(実施例7)である。
以下、本発明の実施の形態について説明する。以降で説明する本発明の実施の形態では、第三者提供の対象となるデータを統計加工によって匿名化するデータ加工システム1について説明する。
なお、本発明の実施の形態では、第三者提供の対象となるデータには何等かの個人情報が含まれていることを想定するが、必ずしも個人情報が含まれていなくてもよい。また、第三者提供の対象となるデータは任意のデータとしてよいが、例えば、小売店やデパート等の商業施設における購買データ、宿泊施設における宿泊データ、飲食店における顧客データ等が挙げられる。これら以外にも、第三者提供の対象となるデータとしては、例えば、人口データ、人流データ、水道使用量データ、医療データ、交通データ等も挙げられる。
[全体構成]
まず、本発明の実施の形態におけるデータ加工システム1の全体構成について、図1を参照しながら説明する。図1は、本発明の実施の形態におけるデータ加工システム1の全体構成の一例を示す図である。
図1に示すように、本発明の実施の形態におけるデータ加工システム1には、1以上のデータ提供端末10と、データ分析装置20とが含まれる。各データ提供端末10とデータ分析装置20とは、例えばインターネット等の通信ネットワークNを介して通信可能に接続されている。
データ提供端末10は、データ提供者(例えば、商業施設等)が利用する情報処理装置(コンピュータ)である。データ提供端末10は、データ提供者の操作に応じて、例えば購買データ等のデータをデータ分析装置20に送信する。このとき、データ提供端末10は、統計加工によってデータを匿名化した上で、この匿名化後のデータ(以降、「統計加工後データ」とも表す。)をデータ分析装置20に送信する。
ここで、データ提供端末10は、データ加工処理部100と、分類辞書記憶部200とを有する。データ加工処理部100は、分類辞書記憶部200に記憶されている分類辞書を参照して、統計加工によってデータを匿名化する処理(データ加工処理)を行う。分類辞書とは、各データ提供端末10でデータを匿名化する際に用いられる木構造の辞書情報(つまり、階層構造を有する辞書情報)のことである。データを構成する各レコードを分類辞書によって1つ以上の集合に分類した上で、レコード数がk個未満の集合に属する各レコードを削除すると共に、レコード数がk個以上の集合に属する各レコードに対して統計加工を施すことで、当該データが匿名化される。なお、分類辞書の具体例については後述する。
データ提供端末10としては、例えば、PC(パーソナルコンピュータ)やスマートフォン、タブレット端末等を用いることができる。なお、以降では、複数のデータ提供端末10の各々を区別する場合は、「データ提供端末10A」、「データ提供端末10B」等と表す。この場合、本発明の実施の形態では、データ提供端末10Aとデータ提供端末10Bとは異なるデータ提供者が利用する端末であるものとする。例えば、データ提供端末10AはデパートAが利用する端末であり、データ提供端末10BはデパートBが利用する端末であるものとする。
データ分析装置20は、データ収集・分析業者(例えば、データの収集及び分析を行う事業者や自治体等)が利用又は管理する情報処理装置(コンピュータ)又は情報処理システム(コンピュータシステム)である。データ分析装置20は、各データ提供端末10から収集したデータ(つまり、統計加工後データ)を所定の目的に応じて分析(例えば、事業活動や行政活動のための購買分析等)する。
ここで、データ分析装置20は、データ分析処理部300と、マスタデータ記憶部400とを有する。データ分析処理部300は、統計加工後データを受信すると、この統計加工後データをマスタデータとしてマスタデータ記憶部400に記憶する。また、データ分析処理部300は、マスタデータ記憶部400に記憶されているマスタデータを所定の目的に応じて分析する。これにより、各データ提供端末10から収集したデータが分析される。
なお、図1に示すデータ加工システム1の全体構成は一例であって、他の構成であってもよい。例えば、データ加工システム1には、データ分析装置20での分析結果を閲覧可能な端末が含まれていてもよい。
[ハードウェア構成]
次に、本発明の実施の形態におけるデータ提供端末10及びデータ分析装置20のハードウェア構成について、図2を参照しながら説明する。図2は、本発明の実施の形態におけるデータ提供端末10及びデータ分析装置20のハードウェア構成の一例を示す図である。なお、データ提供端末10及びデータ分析装置20は同様のハードウェア構成で実現可能であるため、以降では、主に、データ提供端末10のハードウェア構成について説明する。
図2に示すように、本発明の実施の形態におけるデータ提供端末10は、ハードウェアとして、入力装置11と、表示装置12と、外部I/F13と、RAM(Random Access Memory)14と、ROM(Read Only Memory)15と、プロセッサ16と、通信I/F17と、補助記憶装置18とを有する。これら各ハードウェアは、それぞれがバス19を介して通信可能に接続されている。
入力装置11は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種の入力操作を行うのに用いられる。表示装置12は、例えばディスプレイ等であり、データ提供端末10の処理結果等を表示する。なお、データ分析装置20は、入力装置11及び表示装置12の少なくとも一方を有していなくてもよい。
外部I/F13は、外部装置とのインタフェースである。外部装置には、記録媒体13a等がある。データ提供端末10は、外部I/F13を介して、記録媒体13aの読み取りや書き込み等を行うことができる。記録媒体13aには、例えば、データ加工処理部100を実現する1以上のプログラムやデータ分析処理部300を実現する1以上のプログラム等が記録されていてもよい。
記録媒体13aとしては、例えば、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
RAM14は、プログラムやデータを一時保持する揮発性の半導体メモリである。ROM15は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ROM15には、例えば、OS(Operating System)に関する設定情報や通信ネットワークNに関する設定情報等が格納されている。
プロセッサ16は、例えばCPU(Central Processing Unit)等であり、ROM15や補助記憶装置18等からプログラムやデータをRAM14上に読み出して処理を実行する演算装置である。データ加工処理部100は、ROM15や補助記憶装置18等に格納されている1以上のプログラムをRAM14上に読み出してプロセッサ16が処理を実行することで実現される。同様に、データ分析処理部300は、ROM15や補助記憶装置18等に格納されている1以上のプログラムをRAM14上に読み出してプロセッサ16が処理を実行することで実現される。
通信I/F17は、データ提供端末10を通信ネットワークNに接続するためのインタフェースである。データ加工処理部100を実現する1以上のプログラムやデータ分析処理部300を実現する1以上のプログラムは、通信I/F17を介して、所定のサーバ装置等から取得(ダウンロード)されてもよい。
補助記憶装置18は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置18に格納されているプログラムやデータには、例えば、OS、当該OS上で各種機能を実現するアプリケーションプログラム等がある。また、データ提供端末10の補助記憶装置18には、データ加工処理部100を実現する1以上のプログラムが格納されている。同様に、データ分析装置20の補助記憶装置18には、データ分析処理部300を実現する1以上のプログラムが格納されている。
また、分類辞書記憶部200は、例えば、データ提供端末10の補助記憶装置18を用いて実現可能である。同様に、マスタデータ記憶部400は、例えば、データ分析装置20の補助記憶装置18を用いて実現可能である。なお、分類辞書記憶部200は、データ提供端末10と通信ネットワークN等を介して接続される記憶装置等を用いて実現されていてもよい。同様に、マスタデータ記憶部400は、データ分析装置20と通信ネットワークN等を介して接続される記憶装置等を用いて実現されていてもよい。
本発明の実施の形態におけるデータ提供端末10は、図2に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。同様に、本発明の実施の形態におけるデータ分析装置20は、図2に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
なお、図2に示す例では、本発明の実施の形態におけるデータ提供端末10及びデータ分析装置20がそれぞれ1台の装置(コンピュータ)で実現されている場合を示したが、これに限られない。本発明の実施の形態におけるデータ提供端末10及びデータ分析装置20の少なくとも一方が、複数台の装置(コンピュータ)で実現されていてもよい。また、1台の装置(コンピュータ)には、複数のプロセッサ16や複数のメモリ(RAM14やROM15、補助記憶装置18等)が含まれていてもよい。
[実施例1]
最初に、実施例1として、データ提供端末10で対象データを統計加工によって匿名化する際に、ユーザによる適切な匿名化粒度の決定を支援するUI(ユーザインタフェース)を提供する場合について説明する。対象データとは統計加工の対象となるデータのことであり、例えば、第三者提供の対象となるデータそのもの(つまり、生データ)であってもよいし、第三者提供の対象となるデータを構成する各レコードに対して所定の匿名加工を施したデータであってもよい。
ここで、匿名化の粒度が細かすぎると、対象データ中の多くのレコードが削除されることで、対象データ全体の情報の損失(つまり、レコード削除に伴う対象データ全体の情報量の損失)が大きくなる、一方で、匿名化の粒度が粗すぎると、対象データ中のレコードの削除は少なくなるものの、1レコードあたりの情報の損失(つまり、対象データを構成する各レコードの情報量の損失)が大きくなる。このため、k-匿名性を満たしつつ、情報の損失をできるだけ抑えるためには、適切な匿名化粒度を決定する必要がある。
なお、匿名化の粒度が細かすぎて対象データ中の多くのレコードが削除されると、匿名化後の対象データを分析する際の精度(正確さ)に影響する。すなわち、レコードの削除数が多い場合、対象データ中のレコードの分布が歪み、分析結果が意味を持たなくなってしまう可能性がある。同様に、匿名化の粒度が粗すぎて1レコードあたりの情報量の損失が多い場合も、匿名化後の対象データを分析する際の精度(詳細さ)に影響する。すなわち、1レコードあたりの情報量の損失が大きい場合、大まかな分析しかできず、有用な情報(例えば、集団間の差異等)が発見できなくなる可能性がある。
匿名加工とは、第三者提供の対象となるデータを構成する各レコードに含まれる各項目(項目は「フィールド」又は「属性」等と称されてもよい。)のうち、個人を識別可能な情報が設定される項目を削除したり、置き換えたりする処理等のことである。具体的には、第三者提供の対象となるデータが免税店における購買データである場合、購買データを構成する各レコードから項目「パスポート番号」を削除する処理が挙げられる。同様に、例えば、第三者提供の対象となるデータが宿泊施設における宿泊データである場合、宿泊データを構成する各レコードから項目「宿泊者名」を削除したデータ等が挙げられる。
以降では、対象データは、第三者提供の対象となるデータを構成する各レコードに対して所定の匿名加工を施したデータであるものとする。
(対象データ)
まず、対象データの一例として、或る商業施設の購買データを構成する各レコードに対して匿名加工を施したデータついて、図3を参照しながら説明する。図3は、対象データの一例を示す図である。
図3に示すように、対象データは複数のレコードで構成されており、各レコードには、少なくとも当該対象データ中で各レコードを一意に識別可能な項目「レコードID」が含まれている。また、図3に示す例では、各レコードには、項目「住所」や項目「年代」、項目「性別」、項目「金額」が含まれている。例えば、レコードID「1」のレコードには、住所「東京都武蔵野市緑町3丁目」、年代「10代」、性別「男」、金額「500円」が含まれている。これは、例えば、東京都武蔵野市緑町3丁目の店舗(商業施設)にて、10代の男が500円分の商品を購入したことを表している。ただし、図3に示す対象データの各レコードには、これら以外にも、例えば、項目「商品名」や項目「購入個数」、項目「購入日時」、項目「業種」等が含まれていてもよい。
なお、対象データを構成する各レコードには少なくとも項目「レコードID」が含まれるが、項目「レコードID」以外にどのような項目が各レコードに含まれるかは、対象データの種類(又は対象データの基となったデータの種類)によっても異なり得るし、データ提供者によっても異なり得る。すなわち、例えば、購買データと宿泊データとでは各レコードに含まれる項目は異なり得るし、商業施設Aの購買データと商業施設Bの購買データとでも各レコードに含まれる項目は異なり得る。
また、図3に示す例では対象データを構成するレコード数が5レコードであるが、これは一例であって、対象データを構成するレコード数は任意である。データ提供者の規模等によっても異なるが、例えば、データ収集・分析業者に対して月次で対象データを提供するような場合、一般には、数千や数万、数十万レコード等といったレコード数になることが想定される。
(分類辞書)
次に、データ提供端末10の分類辞書記憶部200に記憶されている分類辞書の一例として、図3に示す対象データを提供するデータ提供端末10の分類辞書記憶部200に記憶されている分類辞書について、図4を参照しながら説明する。図4は、分類辞書の一例を示す図である。分類辞書は、例えば、対象データを構成する各レコードに含まれる項目毎に、分類辞書記憶部200に記憶されている。図4では、一例として、項目「住所」の分類辞書と、項目「年代」の分類辞書とを示す。
図4Aは、項目「住所」の分類辞書の一例である。図4Aに示すように、項目「住所」の分類辞書はカテゴリ(この例の場合、地域名を表すカテゴリ)の木構造(階層構造)になっており、階層が低いほどより詳細な情報(つまり、より詳細な住所)が表現できるようになっている。例えば、図4Aに示す例では、「1丁目」、「2丁目」、「緑町」、「武蔵野市」、「三鷹市」、「東京都」等のそれぞれがカテゴリである。後述するように、ユーザによって階層が選択された場合、該当の項目において、この選択された階層未満の階層で表現される情報にマスキングされる。
例えば、或るレコードの住所が「東京都武蔵野市緑町3丁目」である場合に、ユーザによって第2階層が選択されると、当該住所が「東京都武蔵野市緑町」とマスキングされる。したがって、この場合、「3丁目」という情報が表現できなくなり、項目「住所」の情報が抽象化される。同様に、例えば、ユーザによって第3階層が選択されると、当該住所が「東京都武蔵野市」とマスキングされる(この場合、「緑町3丁目」という情報が表現できなくなる。)。また、同様に、例えば、ユーザによって第4階層が選択されると、当該住所が「東京都」とマスキングされる(この場合、「武蔵野市緑町3丁目」という情報が表現できなくなる。)。一方で、ユーザによって第1階層が選択された場合には、マスキング前後で当該住所は「東京都武蔵野市緑町3丁目」である。
図4Bは、項目「年代」の分類辞書の一例である。図4Bに示すように、項目「年代」の分類辞書はカテゴリ(この例の場合、年代の数値幅を表すカテゴリ)の木構造(階層構造)になっており、階層が低いほどより詳細な情報(つまり、より詳細な年代)が表現できるようになっている。例えば、図4Bに示す例では、「0代」、「10代」、「20代」、「30代」、「0~10代」、「20~30代」、「0~30代」等のそれぞれがカテゴリである。後述するように、ユーザによって階層が選択された場合、該当の項目において、この選択された階層未満の階層で表現される情報にマスキングされる。例えば、或るレコードの年代が「10代」である場合に、ユーザによって第2階層が選択されると、当該年代が「0~10代」にマスキングされる。したがって、この場合、項目「年代」によって表現可能な年齢幅が広がるため、項目「年代」の情報が抽象化される。同様に、ユーザによって第3階層が選択されると、当該年代が「0~30代」にマスキングされる。一方で、ユーザによって第1階層が選択された場合には、マスキング前後で年代は「10代」である。
より高い階層でマスキングすることで該当の項目の情報を抽象化することができる。このため、これらの項目の情報が互いに一致するレコード同士を同一集合に分類した上で、レコード数がk個以上の集合に属する各レコードを集合毎に1つのレコードに集約する統計加工を行って、k-匿名性を満たすようなレコードを作成することが可能となる。一方で、レコード数がk個未満の集合に属する各レコードによっては統計加工によりk-匿名性を満たすようなレコードを作成することはできないため、レコード数がk個未満の集合に属するレコードは削除する必要がある。
したがって、データ分析装置20における分析精度を考慮すると、ユーザは、k-匿名性を満たしつつ、削除されるレコード数を減らすように、該当の項目(この項目を以降では「マスキング対象項目」とも表す。)の階層を選択する必要がある。すなわち、ユーザは、k-匿名性を満たしつつ、匿名化の粒度が可能な限り細かくなるように、マスキング対象項目の階層を選択する必要がある。
なお、どのような分類辞書が分類辞書記憶部200に記憶されているかは、対象データの種類(又は対象データの基となったデータの種類)によっても異なり得るし、データ提供者によっても異なり得る。すなわち、例えば、購買データのマスキングに用いられる分類辞書と宿泊データのマスキングに用いられる分類辞書とは異なり得るし、商業施設Aの購買データのマスキングに用いられる分類辞書と商業施設Bの購買データのマスキングに用いられる分類辞書とは異なり得る。
例えば、上述した項目「住所」や項目「年代」以外にも、項目「業種」の分類辞書が挙げられる。項目「業種」の分類辞書としては、例えば、第4階層として「小売り」や「飲食」、第4階層「小売り」の第3階層として「電気店」や「デパート」、第3階層「デパート」の第2階層として「デパートA」や「デパートB」、第2階層「デパートA」の第1階層として「○○店」や「××店」等とすればよい。
(データ加工の概略)
次に、マスキング対象項目を項目「住所」及び項目「年代」として、図4に示す分類辞書によって図3に示す対象データを統計加工して、匿名化(k-匿名化)するデータ加工の概略について説明する。図5は、データ加工の一例を説明するための図である。なお、図5に示す例では、k=2であるものとして説明する。
Step1)データ加工処理部100は、対象データを構成する各レコードのマスキング対象項目を、選択された階層(以降、「選択階層」とも表す。)でマスキングする。ここで、一例として、項目「住所」の選択階層を第3階層、項目「年代」の選択階層を第3階層としてマスキングしたものとする。
Step2)データ加工処理部100は、マスキング後の対象データを構成する各レコードについて、各マスキング対象項目の情報(つまり、項目「住所」の項目値と項目「年代」の項目値。以降、項目の情報(又は項目に設定されている情報)を「項目値」とも表す。)が互いに一致するレコード同士で分類した上で、集合毎に、同一集合に属するレコードの数Nを算出する。そして、データ加工処理部100は、N毎に、Nが同一であるレコードの割合を算出する。なお、割合とは、対象データを構成する全レコード数に対してNが同一であるレコード数の割合のことであり、例えば、「比率」等と称されてもよい。
図5に示す例では、レコードID「1」~レコードID「3」の各レコードは、第3階層の項目「住所」の項目値と第3階層の項目「年代」の項目値とが一致している。このため、これらのレコードは同一集合に分類され、この集合に属するレコードのNの値はN=3となる。
一方で、レコードID「4」のレコード及びレコードID「5」のレコードは、第3階層の項目「住所」の項目値と第3階層の項目「年代」の項目値とが一致する他のレコードが存在しない。このため、レコードID「4」のレコードが分類される集合には、このレコードのみが属することにより、そのNはN=1となる。同様に、レコードID「5」のレコードのNもN=1となる。
また、N=3であるレコードの割合は3/5×100=60(%)となり、N=1であるレコードの割合は2/5×100=40(%)となる。なお、後述するように、N毎のレコードの割合は、例えば、ユーザに提示される。この割合を参照することで、ユーザは、マスキング対象項目に対する適切な階層を選択することができるようになる。なお、Nがk未満のレコードの割合の合計(つまり、N(<k)であるレコードが属する集合のレコード数の割合の合計)が、削除されるレコードの割合を表す。この割合がより小さくなるように、ユーザはUIを確認しながら選択階層を設定する。
Step3)データ加工処理部100は、対象データを構成する各レコードのうち、Nがk未満であるレコードを削除すると共に、Nがk以上である各レコードを同一集合内で統計加工する。
図5に示す例では、レコードID「1」~レコードID「3」のレコードの項目「性別」を削除した上で、人数(つまり、レコード数又はヒット数)をカウントして項目「人数」の項目値とすると共に、項目「金額」の項目値を合計する統計加工を行っている。これにより、k-匿名性を満たすレコードが作成される。なお、この統計加工は一例であって、任意の統計加工(例えば、平均値の計算や中央値の計算等)を行ってもよい。
なお、上記の統計加工は、Nがk以上であるレコードが属する集合毎に行われる。例えば、Nがk以上であるレコードが属する集合として第1の集合と第2の集合とが存在する場合、第1の集合内で各レコードを統計加工すると共に、第2の集合内で各レコードを統計加工する。これにより、k-匿名性を満たすレコードとして、第1の集合に対応するレコードと、第2の集合に対応するレコードとが作成する。
(データ加工処理部100の機能構成)
まず、実施例1におけるデータ加工処理部100の機能構成について、図6を参照しながら説明する。図6は、本発明の実施の形態におけるデータ加工処理部100の機能構成の一例を示す図(実施例1)である。
図6に示すように、実施例1におけるデータ加工処理部100には、算出部101と、UI提供部102と、データ加工部103とが含まれる。
算出部101は、予め設定されたマスキング対象項目と、分類辞書記憶部200に記憶されている分類辞書と、各マスキング対象項目の階層と、対象データを構成するレコード数とに基づいて、対象データを構成する各レコードを分類して、これら各レコードが分類された集合毎に、同一集合に属するレコードの数Nを算出する。そして、算出部101は、N毎に、Nが同一であるレコードの割合を算出する。ここで、上述したように、算出部101は、該当の階層でマスキングされた各マスキング対象項目の項目値が互いに一致するレコード同士を同一集合に分類する。
UI提供部102は、算出部101により算出されたN毎のレコードの割合が含まれるユーザ提示画面を表示する。また、UI提供部102は、ユーザ提示画面におけるユーザの各種操作(例えば、階層の選択操作)を受け付ける。
データ加工部103は、UI提供部102により表示されたユーザ提示画面におけるユーザ操作に応じて、同一集合に属するレコード数Nがk未満のレコードを削除すると共に、Nがk以上である各レコードを同一集合内で統計加工する。
(データ加工処理)
次に、データ提供端末10で対象データを統計加工して、匿名化(k-匿名化)するデータ加工処理について、図7を参照しながら説明する。図7は、本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例1)である。なお、対象データは、データ提供端末10の補助記憶装置18に記憶されていてもよいし、データ提供端末10とローカルな通信ネットワーク(例えば、社内ネットワーク等)を介して接続される記憶装置等に記憶されていてもよい。また、以降では、k=5であるものとする。
まず、算出部101は、予め設定されたマスキング対象項目と、分類辞書記憶部200に記憶されている分類辞書と、各マスキング対象項目の階層と、対象データを構成するレコード数とに基づいて、対象データを構成する各レコードを分類した場合に同一集合に属するレコードの数N(つまり、集合毎のレコード数N)と、N毎のレコードの割合とを算出する(ステップS101)。ここで、ステップS101では、算出部101は、各マスキング対象項目の選択階層が「第1階層」であるものとして、選択階層での集合毎のレコード数N及びN毎のレコードの割合と、1つのマスキング対象項目のみ階層を上げた場合における集合毎のレコード数N及びN毎のレコードの割合とを算出する。
例えば、マスキング対象項目を項目「住所」及び項目「年代」とした場合、算出部101は、以下の集合毎のレコード数N及びN毎のレコードの割合を算出する。
・項目「住所」の階層が「第1階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第2階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第3階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第4階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第1階層」、かつ、項目「年代」の階層が「第2階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第1階層」、かつ、項目「年代」の階層が「第3階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第1階層」、かつ、項目「年代」の階層が「第4階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
このように、算出部101は、まず、各マスキング対象項目の選択階層が「第1階層」であるものとして、1つのマスキング対象項目のみ階層を上げた場合における集合毎のレコード数NとN毎のレコードの割合とをそれぞれ算出する。
ここで、上述したように、算出部101は、該当の階層でマスキングされた各マスキング対象項目の項目値が互いに一致するレコード同士を同一集合に分類する。例えば、項目「住所」の階層が「第1階層」、かつ、項目「年代」の階層が「第1階層」である場合、算出部101は、「第1階層」でマスキングされた項目「住所」の項目値と、「第1階層」でマスキングされた項目「年代」の項目値との両方が一致するレコード同士を同一集合に分類する。同様に、例えば、項目「住所」の階層が「第2階層」、かつ、項目「年代」の階層が「第1階層」である場合、算出部101は、「第2階層」でマスキングされた項目「住所」の項目値と、「第1階層」でマスキングされた項目「年代」の項目値との両方が一致するレコード同士を同一集合に分類する。同様に、例えば、項目「住所」の階層が「第3階層」、かつ、項目「年代」の階層が「第1階層」である場合、算出部101は、「第3階層」でマスキングされた項目「住所」の項目値と、「第1階層」でマスキングされた項目「年代」の項目値との両方が一致するレコード同士を同一集合に分類する。以降も同様である。
以降では、一例として、マスキング対象項目は項目「住所」及び項目「年代」であるものとして説明を続ける。なお、本実施例ではマスキング対象項目が予め設定されているものとするが、マスキング対象項目はユーザにより選択及び設定されてもよい。
次に、UI提供部102は、上記のステップS101で算出されたN毎のレコードの割合が含まれるユーザ提示画面を表示する(ステップS102)。すなわち、UI提供部102は、例えば、図8Aに示すユーザ提示画面G100を表示する。
図8Aに示すユーザ提示画面G100は、データ加工のための階層をユーザが選択する際に表示される初期画面であり、ユーザ提示情報表示欄G110と、決定ボタンG120とが含まれる。
図8Aに示すユーザ提示画面G100のユーザ提示情報表示欄G110では、選択階層が網掛けで表示されている。また、図8Aに示すユーザ提示画面G100のユーザ提示情報表示欄G110には、上記のステップS101で算出されたN毎のレコードの割合が、マスキング対象項目の階層を変化させた場合におけるN毎のレコードの割合として表示される。
図8Aに示す例では、項目「住所」及び項目「年代」の選択階層は共に「第1階層」であり、この場合の各集合のレコード数はN=1で、N=1のレコードの割合は100%(つまり、レコード数がN=1の集合に属するレコードの割合は100%)であることが表示されている。
また、このとき、項目「住所」のみを「第2階層」に上げた場合、レコード数がN=2の集合に属するレコードの割合は40%、レコード数がN=1の集合に属するレコードの割合は60%になることが表示されている。同様に、項目「住所」のみを「第3階層」に上げた場合、レコード数がN=3の集合に属するレコードの割合は60%、レコード数がN=1の集合に属するレコードの割合は40%になることが表示されている。同様に、項目「住所」のみを「第4階層」に上げた場合、レコード数がN=3の集合に属するレコードの割合は60%、レコード数がN=1の集合に属するレコードの割合は40%になることが表示されている。一方で、項目「年代」のみを「第2階層」以上に上げた場合、レコード数がN=1の集合に属するレコードの割合は100%のままであることが表示されている。
ユーザは、ユーザ提示情報表示欄G110に表示されているNの値とその割合とを確認することで、どのマスキング対象項目の階層を上げればよいかを知ることができる。例えば、図8Aに示す例の場合、項目「年代」の階層を上げてもNの値とその割合とが変化しないため、匿名化の粒度を変化させることはできないと知ることができる。一方で、例えば、項目「住所」の階層を2つ上げることで、「N=1:100%」から「N=3:60%,N=1:40%」に変化させることができると知ることができる。なお、決定ボタンG120がユーザによって押下されることで、選択階層で対象データを構成する各レコードをデータ加工することができる。
以降では、ユーザは、項目「住所」の階層を「第3階層」にする選択操作を行ったものとして説明を続ける。なお、ユーザは、例えば、ユーザ提示情報表示欄G110において、所望のマスキング対象項目と所望の階層とが交差するセルを押下することで、所望のマスキング対象項目に対する階層の選択操作を行うことができる。
次に、UI提供部102は、マスキング対象項目に対する階層の選択操作を受け付ける(ステップS103)。上述したように、項目「住所」に対する「第3階層」の選択操作がユーザにより行われたものとして、UI提供部102は、この選択操作を受け付けたものとする。
次に、算出部101は、上記のステップS101と同様に、集合毎のレコード数Nと、N毎のレコードの割合とを算出する(ステップS104)。ここで、ステップS104では、算出部101は、各マスキング対象項目の選択階層での集合毎のレコード数N及びN毎のレコードの割合と、1つのマスキング対象項目のみ階層を上げた場合における集合毎のレコード数N及びN毎のレコードの割合とを算出する。
例えば、項目「住所」の階層として「第3階層」、項目「年代」の階層として「第1階層」が選択されている場合、算出部101は、以下の集合毎のレコード数N及びN毎のレコードの割合を算出する。
・項目「住所」の階層が「第3階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第1階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第2階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第4階層」、かつ、項目「年代」の階層が「第1階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第3階層」、かつ、項目「年代」の階層が「第2階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第3階層」、かつ、項目「年代」の階層が「第3階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
・項目「住所」の階層が「第3階層」、かつ、項目「年代」の階層が「第4階層」である場合における集合毎のレコード数N及びN毎のレコードの割合
このように、算出部101は、各マスキング対象項目のうちの1つのマスキング対象項目の階層のみを、選択階層から変化させた場合における集合毎のレコード数NとN毎のレコードの割合とをそれぞれ算出する。
次に、UI提供部102は、上記のステップS102で表示されたユーザ提示画面を更新して、上記のステップS104で算出されたN毎のレコードの割合が含まれるユーザ提示画面を表示する(ステップS105)。すなわち、UI提供部102は、例えば、図8Aに示すユーザ提示画面G100のユーザ提示情報表示欄G110を更新して、図8Bに示すユーザ提示画面G100を表示する。
図8Bに示すユーザ提示画面G100のユーザ提示情報表示欄G110では、選択階層が網掛けで表示されている。図8Bに示す例では、項目「住所」の選択階層は「第3階層」であり、項目「年代」の選択階層は「第1階層」である。
また、図8Bに示すユーザ提示画面G100のユーザ提示情報表示欄G110には、上記のステップS104で算出されたN毎のレコードの割合が、マスキング対象項目の階層を変化させた場合におけるN毎のレコードの割合として表示される。
図8Bに示す例では、項目「住所」及び項目「年代」の選択階層において、レコード数がN=3の集合に属するレコードの割合は60%、レコード数がN=1の集合に属するレコードの割合は40%であることが表示されている。
また、このとき、項目「住所」のみを「第4階層」に上げた場合、レコード数がN=3の集合に属するレコードの割合は60%、レコード数がN=1の集合に属するレコードの割合は40%のままであることが表示されている。同様に、項目「住所」のみを「第2階層」に下げた場合、レコード数がN=2の集合に属するレコードの割合は40%、レコード数がN=1の集合に属するレコードの割合は60%になることが表示されている。同様に、項目「住所」のみを「第1階層」に上げた場合、レコード数がN=1の集合に属するレコードの割合は100%になることが表示されている。一方で、項目「年代」のみを「第2階層」以上に上げた場合、レコード数がN=3の集合に属するレコードの割合は60%、レコード数がN=1の集合に属するレコードの割合は40%のままであることが表示されている。
ユーザは、ユーザ提示情報表示欄G110に表示されているNの値とその割合とを確認することで、どのマスキング対象項目の階層を上げればよいかを知ることができる。例えば、図8Bに示す例の場合、項目「年代」の階層を上げてもNの値とその割合とが変化しないため、匿名化の粒度を変化させても、匿名化可能なレコード数を増やす(つまり、削除されるレコード数を減らす)ことはできないと知ることができる。したがって、図8Bに示す例の場合、ユーザは、項目「住所」の階層を1つ上げる操作を行うことが考えられる。
次に、UI提供部102は、マスキング対象項目の階層選択を終了するか否かを判定する(ステップS106)。ここで、UI提供部102は、例えば、ユーザによって決定ボタンG120が押下された場合に、マスキング対象項目の階層選択を終了すると判定すればよい。
ステップS106でマスキング対象項目の階層選択を終了すると判定されなかった場合、データ加工処理部100は、ステップS103に戻る。これにより、マスキング対象項目の階層選択が終了するまで、上記のステップS103~ステップS105が繰り返し実行される。
例えば、図8Bに示すユーザ提示画面G100において項目「住所」の階層として「第4階層」がユーザによって選択された場合、UI提供部102により、図8Cに示すユーザ提示画面G100が表示される。図8Cに示すユーザ提示画面G100では、項目「住所」の選択階層として「第4階層」が、項目「年代」の選択階層として「第1階層」が選択されている。ユーザは、図8Cに示すユーザ提示画面G100のユーザ提示情報表示欄G110に表示されているNの値とその割合とを確認することで、例えば、項目「年代」の階層を「第3階層」まで上げることで、k-匿名性を確保しつつ(つまり、レコードの削除数を最低限に抑えたまま)、匿名化の粒度を最も細かくすることができると知ることができる。
例えば、図8Cに示すユーザ提示画面G100において項目「年代」の階層として「第3階層」がユーザによって選択された場合、UI提供部102により、図8Dに示すユーザ提示画面G100が表示される。図8Dに示すユーザ提示画面G100では、項目「住所」の選択階層として「第4階層」が、項目「年代」の選択階層として「第3階層」が選択されている。ユーザは、図8Dに示すユーザ提示画面G100のユーザ提示情報表示欄G110に表示されているNの値とその割合とを確認することで、例えば、項目「住所」及び項目「年代」の選択階層にて、k-匿名性を確保しつつ(つまり、レコードの削除数を最低限に抑えたまま)、匿名化の粒度を最も細かくすることができると知ることができる。
このように、ユーザは、ユーザ提示情報表示欄G110に表示されているNの値とその割合とを確認することで、N毎のレコードの割合を確認することができるため、Nがk以上となるレコードの割合を知ることができる。これにより、ユーザは、例えば、各マスキング対象項目の階層をできるだけ低くしつつ、Nがk以上となるレコードの割合が高くなるようにすることで、k-匿名性を確保しつつ、可能な限り細かい粒度で多くのレコードを匿名化することが可能となる。すなわち、ユーザは、Nの値とその割合とを確認することで、適切な匿名化粒度を決定することができるようになる。
一方、ステップS106でマスキング対象項目の階層選択を終了すると判定された場合、データ加工部103は、同一集合に属するレコード数Nがk未満のレコードを削除すると共に、Nがk以上である各レコードを同一集合内で統計加工する(ステップS107)。これにより、k-匿名性を有するレコードが作成され、これらのレコードで構成される統計加工後データが得られる。なお、統計加工の処理内容については、対象データの種類(又は対象データの基となったデータの種類)によって異なる。例えば、対象データの基となったデータが購買データである場合、統計加工の処理としては、金額の合計の算出、購入個数の合計の算出、購入者数の合計の算出、不要な項目(例えば、性別等)の削除等が挙げられる。
上記のステップS107で作成された統計加工後データは、データ加工処理部100により、データ分析装置20に送信される。そして、データ分析装置20のデータ分析処理部300は、受信した統計加工後データをマスタデータ記憶部400に記憶する。これにより、マスタデータ記憶部400にはマスタデータが蓄積され、データ分析処理部300は、これらのマスタデータを所定の目的に応じて分析することが可能となる。
なお、本実施例では、図8A~図8Dに示すように、ユーザ提示画面G100を遷移させたが、ユーザによる階層選択を戻す(取り消す)ことで、画面遷移を戻すことができてもよい。例えば、図8Bに示すユーザ提示画面G100から図8Aに示すユーザ提示画面G100に戻ることができてもよい。この場合、例えば、画面遷移を戻るための「戻る」ボタンやリンク等がユーザ提示画面G100に含まれており、ユーザが「戻る」ボタンやリンク等を押下することで、画面遷移を戻すことができてもよい。
また、画面遷移が戻った場合にはN毎のレコードの割合が算出部101によって再度算出されてもよいが、例えば、画面遷移を戻す場合のために補助記憶装置18等に予め履歴としてN毎のレコードの割合を記憶させておき、画面遷移が戻った場合には、履歴として記憶されているN毎のレコードの割合を用いてもよい。同様に、例えば、過去に選択されたことがある階層が再度選択された場合にも、履歴として記憶されているN毎のレコードの割合が用いられてもよい。
適切な匿名化粒度を決定するために、ユーザは、UI上で選択階層を頻繁に変更しながら試行錯誤を行うことが予想される。このため、上記のように履歴として記憶されている情報を用いることで、選択階層の変更や画面遷移の際の処理時間を短縮させることが可能となる。このような処理時間の短縮は、対象データの規模が大きくなるほど(つまり、対象データを構成するレコード数が多くなるほど)顕著になる。
(ユーザ提示情報の他の表示例)
本実施例では、ユーザ提示情報表示欄G110にてN毎のレコードの割合を表示する例を示したが、これ以外にも種々の表示方法にてN毎のレコードの割合が表示されてもよい。
例えば、図9Aに示すように、円グラフにてN毎のレコードの割合が表示されてもよい。図9Aに示す例では、N=1であるレコードの割合は68%、N=2であるレコードの割合は14%、N=3であるレコードの割合は6%、N=4であるレコードの割合は3%、N=5であるレコードの割合は2%等と円グラフで表示されている。また、図9Aに示す例では、N=1であるレコード数は14334件、N=2であるレコード数は2959件等と、N毎のレコード数も表示されている。
また、例えば、図9Bに示すように、棒グラフにてN毎のレコード数が表示されてもよい。図9Bに示す例では、N=1であるレコード数は14件、N=2であるレコード数は9件、N=3であるレコード数は4件、N=4であるレコード数は3件、N≧5であるレコード数は2件と棒グラフで表示されている。
なお、上記の図9A及び図9B以外にも、例えば、積み上げ棒グラフや折れ線グラフ等の種々のグラフにてN毎のレコードの割合(又はN毎のレコード数)が表示されてもよい。
また、N毎のレコードの割合が表示される代わりに、例えば、Nがk以上のレコードの割合と、Nがk未満のレコードの割合とが表示されてもよい。これにより、ユーザは、削除されるレコード(つまり、Nがk未満のレコード)の割合を容易に把握することができるようになる。
[実施例2]
次に、実施例2として、データ提供端末10で対象データを統計加工によって匿名化する際に、自動的に適切な匿名化粒度を決定する場合について説明する。なお、実施例2では、実施例1と同一の構成要素についてはその説明を省略する。
(データ加工処理部100の機能構成)
まず、実施例2におけるデータ加工処理部100の機能構成について、図10を参照しながら説明する。図10は、本発明の実施の形態におけるデータ加工処理部100の機能構成の一例を示す図(実施例2)である。
図10に示すように、実施例2におけるデータ加工処理部100には、算出部101と、データ加工部103と、選択部104と、終了条件判定部105とが含まれる。また、実施例2におけるデータ加工処理部100には、UI提供部102が含まれていてもよいし、UI提供部102が含まれていなくてもよい。
選択部104は、算出部101による算出結果と、マスキング対象項目の優先度とに基づいて、各マスキング対象項目の階層を選択する。ここで、マスキング対象項目の優先度とは、階層を上げるマスキング対象項目を選択するための値である。選択部104は、例えば、優先度が低いマスキング対象項目の階層を上げるように、各マスキング対象項目の階層を選択する。なお、優先度としては、ユーザによって設定された数値等が用いられてもよいし、任意の方法によって算出された各種スコアが用いられてもよい。各種スコアとしては、例えば、後述するクロス率や損失率、集約率、分離率、カバー率等を用いることができる。また、複数のスコアを用いる場合には、スコア間の優先度が設定されてもよいし、スコアの和や重み付き和が用いられてもよい。
なお、スコアの種類によっては、スコアの値が高いほど良い場合とスコアの値が低いほど良い場合とがある。複数のスコアを用いる場合に、このようなスコアが混在している場合には、適宜、逆数をとったり、負数をとったりすればよい。
終了条件判定部105は、所定の終了条件を満たしたか否かを判定する。終了条件とは、算出部101による算出と、選択部104による階層選択との繰り返しを終了させるための条件のことである。したがって、この終了条件を満たすまで、算出部101による算出と、選択部104による階層選択とが繰り返し実行される。
(データ加工処理)
次に、データ提供端末10で対象データを統計加工して、匿名化(k-匿名化)するデータ加工処理について、図11を参照しながら説明する。図11は、本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例2)である。
まず、算出部101は、図7のステップS101と同様に、予め設定されたマスキング対象項目と、分類辞書記憶部200に記憶されている分類辞書と、各マスキング対象項目の階層と、対象データを構成するレコード数とに基づいて、対象データを構成する各レコードを分類した場合に、同一集合に属するレコードの数Nと、N毎のレコードの割合とを算出する(ステップS201)。なお、上述したように、算出部101は、各マスキング対象項目は「第1階層」が選択されているものとして、同一集合に属するレコードの数Nと、N毎のレコードの割合とを算出する。
次に、選択部104は、算出部101による算出結果と、マスキング対象項目の優先度とに基づいて、各マスキング対象項目の階層を選択する(ステップS202)。ここで、選択部104は、以下の(選択条件1)及び(選択条件2)により各マスキング対象項目の階層を選択する。
(選択条件1)階層を1つ上げることでNがk以上のレコードの割合が向上するマスキング対象項目が存在する場合には、当該マスキング対象項目の1つ上の階層を選択する。ここで、N毎のレコードの割合が向上するとは、階層を1つ上げることで、Nの値が大きくなり、かつ、当該Nのレコードの割合が大きくなることを意味する。
(選択条件2)階層を1つ上げることでN毎のレコードの割合が向上するマスキング対象項目が存在しない場合には、最も優先度が低いマスキング対象項目の1つ上の階層を選択する。
なお、上記の(選択条件1)及び(選択条件2)は一例であって、選択部104は、他の方法により各マスキング対象項目の階層を選択してもよい。例えば、選択部104は、マスキング対象項目の階層を1つ上げることでN毎のレコードの割合が向上する度合いと、当該マスキング対象項目の優先度との和や積、重み付き積等により、どのマスキング対象項目の階層を1つ上げるかを選択してもよい。
次に、算出部101は、上記のステップS201と同様に、集合毎のレコード数Nと、N毎のレコードの割合とを算出する(ステップS203)。なお、上述したように、算出部101は、各マスキング対象項目の選択階層での集合毎のレコード数N及びN毎のレコードの割合と、1つのマスキング対象項目のみ階層を上げた場合における集合毎のレコード数N及びN毎のレコードの割合とを算出する。
次に、終了条件判定部105は、所定の終了条件を満たしたか否かを判定する(ステップS204)。ここで、終了条件としては、例えば、以下の(終了条件1)~(終了条件3)のいずれかが挙げられる。
(終了条件1)対象データを構成する全てのレコードのNがk以上となる。
(終了条件2)後述するステップS205でデータ加工部103によって削除されるレコードが所定の割合(又は所定の件数)以下となる。これは、言い換えれば、Nがk未満であるレコードが所定の割合(又は所定の件数)以下であることを意味する。
(終了条件3)各マスキング対象項目の階層が、予め設定された上限の階層となる。例えば、項目「住所」の階層は上限が「第3階層」、項目「年代」の階層は上限が「第2階層」と設定されている場合に、項目「住所」の階層が「第3階層」となり、かつ、項目「年代」の階層が「第2階層」となったときである。
なお、上記以外にも、例えば、終了条件として、繰り返し回数が所定の回数に達したこと等が用いられてもよい。又は、例えば、ユーザによって設定された任意の終了条件が用いられてもよい。
ステップS204で終了条件を満たすと判定されなかった場合、データ加工処理部100は、ステップS202に戻る。これにより、終了条件を満たすまで、上記のステップS202~ステップS203が繰り返し実行される。なお、例えば、UI提供部102は、適宜、ユーザ提示画面を表示して、マスキング対象項目の階層をユーザに選択させるようにしてもよい。
一方、ステップS204で終了条件を満たすと判定された場合、データ加工部103は、図7のステップS107と同様に、同一集合に属するレコード数Nがk未満のレコードを削除すると共に、Nがk以上である各レコードを同一集合内で統計加工する(ステップS205)。これにより、k-匿名性を有するレコードが作成され、これらのレコードで構成される統計加工後データが得られる。
このように、実施例2では、各マスキング対象項目の階層が自動的に選択されることで、k-匿名性を確保しつつ、可能な限り細かい粒度で多くのレコードを匿名化することが可能となる。しかも、実施例2では、ユーザは、マスキング対象項目の階層を選択する必要がないため、対象データを構成する各レコードの匿名化を容易に行うことが可能となる。
[実施例3]
次に、実施例3として、実施例1と同様のデータ加工を行う際に、指標値の1つであるクロス率を算出した上で、ユーザに提示する場合について説明する。クロス率とは、2以上のデータ集合間で、同一項目で同一情報(つまり、同一項目値)を有するデータ数を表す指標値のことであり、2つ以上の集合間の共通度を表す。本実施例では、対象データを構成する各レコード(第1のレコード集合)と、マスタデータ記憶部400に記憶されているマスタデータを構成する各レコード(第2のレコード集合)との間で、同一項目で同一情報(つまり、同一項目値)を有するレコード数を表す指標値としてクロス率を定義する。クロス率をユーザに提示することで、例えば、当該ユーザは、統計加工後データ(マスタデータ)がクロス分析に用いられることも考慮して、マスキング対象項目の階層を選択することが可能となる。
ここで、クロス分析を行う際には、第1のレコード集合と第2のレコード集合との間で、分析対象項目における同一項目の項目値の粒度(つまり、当該項目の階層)を揃える必要がある。このため、例えば、対象データを匿名化する際にレコード数を犠牲にして細かい粒度で匿名化を行ったとしても、マスタデータを構成する各レコードの粒度が粗い場合には、匿名化後の対象データを構成する各レコードの粒度を、マスタデータを構成する各レコードの粒度に揃える必要がある。なお、分析対象項目とは、クロス分析で分析の対象とする項目のことである。
また、クロス分析の分析対象項目間で、同一項目で共通する項目値(後述する共通値)が或る程度存在していないと、有用なクロス分析を行うことができない。このため、或る程度の共通値が生じるように、粒度を調整する必要がある。例えば、或る2つの会社(A社及びB社)間でチョコレートの購買金額比率を比較したい場合には、A社の購買データと、B社の購買データとの間で、例えば、同一項目「商品種別」で共通する項目値「チョコレート」が含まれるレコードが存在する必要がある。
なお、実施例3では、実施例1と同一の構成要素についてはその説明を省略する。
(データ加工処理部100の機能構成)
まず、実施例3におけるデータ加工処理部100の機能構成について、図12を参照しながら説明する。図12は、本発明の実施の形態におけるデータ加工処理部100の機能構成の一例を示す図(実施例3)である。
図12に示すように、実施例3におけるデータ加工処理部100には、算出部101と、UI提供部102と、データ加工部103と、マスタデータ取得部106とが含まれる。
マスタデータ取得部106は、データ分析装置20のマスタデータ記憶部400に記憶されているマスタデータを取得する。マスタデータ取得部106は、例えば、マスタデータの取得要求をデータ分析装置20に送信して、この取得要求の応答として、マスタデータを取得することができる。
また、実施例3における算出部101は、更に、マスタデータ取得部106により取得されたマスタデータと、対象データとに基づいて、指標値の1つであるクロス率を算出する。
(データ加工処理)
次に、データ提供端末10で対象データを統計加工して、匿名化(k-匿名化)する際に、クロス率もユーザに提示する場合のデータ加工処理について、図13を参照しながら説明する。図13は、本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例3)である。
まず、マスタデータ取得部106は、データ分析装置20のマスタデータ記憶部400に記憶されているマスタデータを取得する(ステップS301)。ここで、マスタデータ取得部106は、マスタデータを構成する全てのレコードを取得してもよいし、マスタデータを構成する各レコードのうち、所定の条件を満たすレコードのみを取得してもよい、所定の条件としては、例えば、「マスキング対象項目を全て含むレコード」等が挙げられる。
また、マスタデータ取得部106により取得されたマスタデータを構成する各レコードのうち、対象データを構成する各レコードとの間で共通の項目が1つも含まれないレコードは、当該マスタデータから削除される。このような削除は、マスタデータ取得部106によって行われてもよいし、算出部101によって行われてもよい。
次に、算出部101は、予め設定されたマスキング対象項目と、分類辞書記憶部200に記憶されている分類辞書と、各マスキング対象項目の階層と、対象データを構成するレコード数とに基づいて、対象データを構成する各レコードを分類した場合に同一集合に属するレコードの数N(つまり、集合毎のレコード数N)と、N毎のレコードの割合と、クロス率とを算出する(ステップS302)。なお、集合毎のレコード数N及びN毎のレコードの割合は実施例1と同様である。また、クロス率についても、各マスキング対象項目は「第1階層」が選択されているものとして、クロス率を算出する。クロス率の算出方法については後述する。
次に、UI提供部102は、上記のステップS302で算出されたN毎のレコードの割合とクロス率とが含まれるユーザ提示画面を表示する(ステップS303)。すなわち、UI提供部102は、例えば、図14に示すユーザ提示画面G100を表示する。
図14に示すユーザ提示画面G100のユーザ提示情報表示欄G110には、N毎のレコードの割合に加えて、マスキング対象項目の階層を変化させた場合におけるクロス率が表示されている。ユーザは、ユーザ提示情報表示欄G110に表示されているクロス率も確認することで、クロス分析を考慮した場合に、どのマスキング対象項目の階層を上げればよいかを知ることもできる。
次に、UI提供部102は、マスキング対象項目に対する階層の選択操作を受け付ける(ステップS304)。
次に、算出部101は、上記のステップS302と同様に、集合毎のレコード数Nと、N毎のレコードの割合と、クロス率とを算出する(ステップS305)。ここで、ステップS305では、算出部101は、各マスキング対象項目の選択階層での集合毎のレコード数N、N毎のレコードの割合及びクロス率と、1つのマスキング対象項目のみ階層を上げた場合における集合毎のレコード数N、N毎のレコードの割合及びクロス率とを算出する。なお、クロス率の算出方法については後述する。
次に、UI提供部102は、ユーザ提示画面を更新して、上記のステップS305で算出されたN毎のレコードの割合とクロス率とが含まれるユーザ提示画面を表示する(ステップS306)。
次に、UI提供部102は、図7のステップS106と同様に、マスキング対象項目の階層選択を終了するか否かを判定する(ステップS307)。
ステップS307でマスキング対象項目の階層選択を終了すると判定されなかった場合、データ加工処理部100は、ステップS304に戻る。これにより、マスキング対象項目の階層選択が終了するまで、上記のステップS304~ステップS306が繰り返し実行される。
一方、ステップS306でマスキング対象項目の階層選択を終了すると判定された場合、データ加工部103は、図7のステップS107と同様に、同一集合に属するレコード数Nがk未満のレコードを削除すると共に、Nがk以上である各レコードを同一集合内で統計加工する(ステップS308)。これにより、k-匿名性を有するレコードが作成され、これらのレコードで構成される統計加工後データが得られる。
(クロス率の算出方法)
ここで、上記のステップS302及びステップS305におけるクロス率の算出方法について説明する。以降では、単に「マスタデータ」と記載した場合には、マスタデータ取得部106により取得されたマスタデータを構成する各レコードのうち、対象データを構成する各レコードとの間で共通の項目が1つも含まれないレコードを削除したデータを指すものとする。
なお、クロス分析では、2つの分析対象項目を設定する必要がある。例えば、分析対象項目を「業種」及び「商品種別」と設定する等である。この場合、クロス分析では、例えば、同じ商品種別の商品が、複数の業種の業者から購入されていることが確認可能となるまで分析対象項目の項目値が抽象化されている必要がある。このため、対象データをクロス分析に用いる場合には、対象データのマスクキング対象項目の階層が低い(つまり、中抽象度が低い)方が良いとは必ずしも限らず、クロス率が低い場合には階層を高く(つまり、抽象度を高く)した方が良いこともある。
一般に、クロス分析の分析対象項目の設定する際には、以下の2つのパターンが考えられる。
(パターン1)1つのデータ(対象データ、マスタデータ、又は対象データとマスタデータとを統合したデータ)内に分析対象項目が2つとも存在する場合
例えば、分析対象項目が「業種」及び「商品種別」であるとして、1つのデータを構成する各レコードには項目「業種」と項目「商品種別」とが含まれる場合である。
(パターン2)分析対象項目の1つがデータ(対象データ、マスタデータ)で決まる場合
例えば、分析対象項目が「業種」及び「商品種別」であるとして、対象データが「A社の購買データ」、マスタデータが「B社の購買データ」であり、対象データ及びマスタデータをそれぞれ構成する各レコードには項目「商品種別」が含まれる場合である。なお、この場合は、例えば、対象データを構成する各レコードに対して項目「業種」及び項目値「A社」を追加すると共に、マスタデータを構成する各レコードに対して項目「業種」及び項目値「B社」を追加することで、パターン1と同様に扱うことが可能となる。
・クロス率の算出方法(その1)
一例として、図15に示す対象データ及びマスタデータを用いて、クロス率の算出方法(その1)を説明する。図15に示す対象データ及びマスタデータをそれぞれ構成する各レコードには項目「商品種別」が共通に含まれており、この項目「商品種別」がマスキング対象項目であるものとする。すなわち、1つの分析対象項目が「商品種別」、もう1つの分析対象項目が対象データ及びマスタデータで決まる場合(上記のパターン2)のクロス率の算出方法を説明する。以降では、対象データを構成する各レコードと、マスタデータを構成する各レコードとの間で共通に含まれるマスキング対象項目を「共通項目」と表す。また、対象データを構成する各レコードと、マスタデータを構成する各レコードとの間で、共通項目中の同一情報(同一項目値)を「共通値」と表す。図15に示す例では、共通項目「商品種別」中の共通項目値は、「チョコレート」及び「飴」である。
クロス率の算出方法(その1)では、以下の(式1)によりクロス率を算出する。
クロス率=(該当の階層における共通値の個数)/(該当の階層における対象データの共通項目中で異なる情報(項目値)の個数)×100 ・・・(式1)
例えば、図15に示す対象データ及びマスタデータが既に該当の階層でマスキング済みであるとすれば、上記の(式1)に示す定義の分数部分の分子については、共通値は「チョコレート」及び「飴」であるため、「2」となる。一方で、分母については、対象データの共通項目中で異なる項目値は「チョコレート」、「飴」及び「扇風機」であるため、「3」となる。したがって、上記の(式1)に示す定義では、クロス率=2/3×100=約66(%)と算出される。
なお、上記の(式1)に示す定義の分数部分の分母は、「該当の階層におけるマスタデータの共通項目中で異なる情報(項目値)の個数」としてもよいし、「該当の階層における対象データ及びマスタデータの和集合で表されるデータの共通項目中で異なる情報(項目値)の個数」としてもよい。なお、該当の階層における対象データ及びマスタデータの和集合で表されるデータとは、該当の階層で、対象データ及びマスタデータをマージすることで得られるデータのことである。
また、上記の(式1)に示す定義の代わりに、以下の(式2)に示す定義によりクロス率が算出されてもよい。
クロス率=(該当の階層における対象データで共通値を持つレコード数)/(対象データのレコード数)×100 ・・・(式2)
この場合、上記の(式2)に示す定義の分数部分の分子については「3」、分母部分については「4」であるため、クロス率=3/4×100=75(%)と算出される。
更に、上記の(式2)に示す定義の代わりに、以下の(式3)又は(式4)を用いてクロス率が算出されてもよい。
クロス率=(該当の階層におけるマスタデータで共通値を持つレコード数)/(マスタデータのレコード数)×100 ・・・(式3)
この場合、上記の(式3)に示す定義の分数部分の分子については「3」、分母部分については「5」であるため、クロス率=3/5×100=60(%)と算出される。
クロス率=(該当の階層における対象データ及びマスタデータの和集合で表されるデータで共通値を持つレコード数)/(該当の階層における対象データ及びマスタデータの和集合で表されるデータのレコード数)×100 ・・・(式4)
この場合、上記の(式4)に示す定義の分数部分の分子については「7」、分母部分については「9」であるため、クロス率=7/9×100≒77(%)と算出される。
・クロス率の算出方法(その2)
一例として、図16に示す対象データ及びマスタデータを用いて、クロス率の算出方法(その2)を説明する。図16に示す対象データ及びマスタデータをそれぞれ構成する各レコードには、共通項目「商品種別」と「業種」とが含まれている。すなわち、2つの分析対象項目「商品種別」及び「業種」が対象データ及びマスタデータに含まれる場合(上記のパターン1)のクロス率の算出方法を説明する。なお、これらの項目「商品種別」及び「業種」はマスキング対象項目である。
このとき、図16に示すように、算出部101は、該当の階層において、対象データとマスタデータとを或る共通項目で集計処理して、集計データを作成する。図16に示す例では、共通項目「商品種別」で集計処理して、集計データを作成した場合を示している。なお、ヒット数とは、対象データ及びマスタデータで、同一商品種別であるレコード数の合計である。
そして、クロス率の算出方法(その2)では、以下の(式5)又は(式6)によりクロス率を算出する。
クロス率=(集計データにおいて、特定の項目の項目値が所定の値以上のレコード数)/(集計データを構成するレコード数)×100 ・・・(式5)
クロス率=(集計データにおいて、特定の項目の項目値が所定の値以上のヒット数の合計)/(集計データを構成する各レコードのヒット数の合計)×100 ・・・(式6)
例えば、特定の項目を「業種数」、所定の値を「3」とした場合、上記の(式5)に示す定義では、クロス率=1/3×100≒33(%)と算出される。一方で、上記の(式6)に示す定義では、クロス率=4/8×100=50(%)と算出される。なお、集計データを構成する各レコードの項目のうちのどの項目を特定の項目とするかは、例えば、ユーザ等によって予め設定される。同様に、所定の値についても、例えば、ユーザ等によって予め設定される。
(クロス率の他の算出方法)
ここで、統計加工によってNがk未満のレコードは対象データから削除されるため、統計加工の前後でクロス率が変わる可能性がある。このため、統計加工後のクロス率(つまり、統計加工後データをデータ分析装置20に送信(アップロード)した後のクロス率)を確認したい場合もある。
そこで、統計加工後のクロス率の算出方法として、以下の(式7)又は(式8)のいずれかが用いられてもよい。なお、以降では、該当の階層において、対象データを構成する各レコードのうち、Nがk以上のレコード(すなわち、Nがk未満のレコードを除外した対象データ)と、マスタデータを構成する各レコードとを或る共通項目で集計処理して作成された集計データを「除外集計データ」と表す。
クロス率=(除外集計データにおいて、特定の項目の項目値が所定の値以上のレコード数)/(除外集計データを構成するレコード数)×100 ・・・(式7)
クロス率=(除外集計データにおいて、特定の項目の項目値が所定の値以上のレコードのヒット数)/(除外集計データを構成する各レコードのヒット数の合計)×100 ・・・(式8)
また、マスタデータを考慮せずに、クロス率が算出されてもよい。この場合は、クロス率の他の算出方法として、以下の(式9)又は(式10)のいずれかが用いられてもよい。
クロス率=(該当の階層における対象データにおいて、特定の項目の項目値が所定の値以上のレコード数)/(該当の階層における対象データを構成するレコード数)×100 ・・・(式9)
クロス率=(該当の階層における対象データにおいて、特定の項目の項目値が所定の値以上の項目値の個数)/(該当の階層における対象データにおいて、特定の項目の項目値の個数)×100 ・・・(式10)
(他の指標値)
ここで、本実施例において、クロス率に代えて又はクロス率と共に、指標値の1つとして損失率が用いられてもよい。ユーザは、例えば、ユーザ提示画面に表示された損失率を確認することで、損失率も考慮して、マスキング対象項目の階層を選択することができるようになる。損失率とは、対象データとマスタデータとを統合した後に行う分析(例えば、クロス分析)において、削除されるレコード又はカテゴリの粒度が合わないために使用できないレコードの割合を表す指標値のことである。
・マスタデータの損失率
マスタデータの損失率とは、マスタデータを構成するレコードのうち、クロス率の算出に用いることができないレコードの割合のことである。マスタデータの損失率は、マスキング対象項目毎に、以下の(式11)により算出される。
マスタデータの損失率=(マスタデータを構成する各レコードのうち、対象データを構成する各レコードとの間で共通の項目値が1つも含まれないレコードの数)/(マスタデータを構成するレコード数)×100 ・・・(式11)
なお、前記した「クロス率の算出に用いることができないレコード」は、「マスタデータの項目値の粒度が対象データの項目値の粒度と合わないために、クロス分析に用いることができないレコード」でもある。例えば、マスタデータの項目「住所」が第3階層の粒度であるレコードが80%、第4階層であるレコードが20%であり、対象データの項目「住所」を第3階層で匿名化した上で、マスタデータと、匿名化後の対象データとを統合したデータを用いた分析(クロス分析等)を行う場合を考える。このとき、マスタデータに由来する20%のレコードは第4階層の情報しか持たない。よって、統合後のデータの「住所」の第3階層の情報を用いた分析において、前記した20%のレコードは分析に用いることができない。
・対象データの損失率
対象データの損失率とは、対象データを構成するレコードのうち、データ加工によって削除されるレコードの割合のことである。対象データの損失率は、以下の(式12)又は(式13)により算出される。
対象データの損失率=(該当の階層において、対象データを構成する各レコードのうち、Nがk未満であるレコードの数)/(対象データを構成するレコード数)×100 ・・・(式12)
対象データの損失率=(該当の階層において、対象データを構成する各レコードの該当のマスキング対象項目の項目値のうち、Nがk未満のレコードの当該項目値の個数)/(該当の階層において、対象データを構成する各レコードの該当のマスキング対象項目の項目値の個数)×100 ・・・(式13)
本実施例により指標値を算出することで、対象データだけではなく、統計加工後データをデータ分析装置20に送信(アップロード)した後の分析も考慮した指標値をユーザに提示することが可能となる。これにより、ユーザは、例えば、最終的な分析(例えば、クロス分析)の際に使用することができないレコード数を最低限に抑えたり、階層を可能な限り低く保ったりしながら、対象データの匿名化を行うことが可能となる。
[実施例4]
次に、実施例4として、データ提供端末10で対象データを統計加工によって匿名化する際に、指標値の1つであるクロス率を算出すると共に自動的に適切な匿名化粒度を決定する場合について説明する。なお、実施例4では、実施例2や実施例3と同一の構成要素についてはその説明を省略する。
(データ加工処理部100の機能構成)
まず、実施例4におけるデータ加工処理部100の機能構成について、図17を参照しながら説明する。図17は、本発明の実施の形態におけるデータ加工処理部100の機能構成の一例を示す図(実施例4)である。
図17に示すように、実施例4におけるデータ加工処理部100には、算出部101と、データ加工部103と、選択部104と、終了条件判定部105と、マスタデータ取得部106とが含まれる。また、実施例4におけるデータ加工処理部100には、UI提供部102が含まれていてもよいし、UI提供部102が含まれていなくてもよい。なお、これら各部の機能は実施例2や実施例3と同様であるため、その説明を省略する。ただし、実施例4における選択部は、更に、クロス率等の指標値にも基づいて、各マスキング対象項目の階層を選択する。
(データ加工処理)
次に、データ提供端末10で対象データを統計加工して、匿名化(k-匿名化)する際に、クロス率も算出するデータ加工処理について、図18を参照しながら説明する。図18は、本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例4)である。
まず、マスタデータ取得部106は、図13のステップS301と同様に、データ分析装置20のマスタデータ記憶部400に記憶されているマスタデータを取得する(ステップS401)。
次に、算出部101は、図13のステップS302と同様に、予め設定されたマスキング対象項目と、分類辞書記憶部200に記憶されている分類辞書と、各マスキング対象項目の階層と、対象データを構成するレコード数とに基づいて、対象データを構成する各レコードを分類した場合に同一集合に属するレコードの数N(つまり、集合毎のレコード数N)と、N毎のレコードの割合と、クロス率とを算出する(ステップS402)。
次に、選択部104は、算出部101による算出結果と、マスキング対象項目の優先度と、クロス率等の指標値とに基づいて、各マスキング対象項目の階層を選択する(ステップS403)。ここで、選択部104は、例えば、図11のステップS202における(選択条件1)及び(選択条件2)に代えて、以下の(選択条件1´)及び(選択条件2´)により各マスキング対象項目の階層を選択すればよい。
(選択条件1´)階層を1つ上げることでN毎のレコードの割合が向上し、かつ、クロス率も高くなるマスキング対象項目が存在する場合には、当該マスキング対象項目の1つ上の階層を選択する。
(選択条件2´)階層を1つ上げることでN毎のレコードの割合が向上し、かつ、クロス率も高くなるマスキング対象項目が存在しない場合には、最も優先度が低いマスキング対象項目の1つ上の階層を選択する。
次に、算出部101は、図13のステップS305と同様に、集合毎のレコード数Nと、N毎のレコードの割合と、クロス率とを算出する(ステップS404)。
次に、終了条件判定部105は、図11のステップS204と同様に、所定の終了条件を満たしたか否かを判定する(ステップS405)。
ステップS405で終了条件を満たすと判定されなかった場合、データ加工処理部100は、ステップS403に戻る。これにより、終了条件を満たすまで、上記のステップS403~ステップS404が繰り返し実行される。なお、例えば、UI提供部102は、適宜、ユーザ提示画面を表示して、マスキング対象項目の階層をユーザに選択させるようにしてもよい。
一方、ステップS405で終了条件を満たすと判定された場合、データ加工部103は、図13のステップS308と同様に、同一集合に属するレコード数Nがk未満のレコードを削除すると共に、Nがk以上である各レコードを同一集合内で統計加工する(ステップS406)。これにより、k-匿名性を有するレコードが作成され、これらのレコードで構成される統計加工後データが得られる。
なお、本実施例でも、実施例3と同様に、クロス率に代えて又はクロス率と共に、指標値の1つとして損失率が算出されてもよい。損失率が算出された場合には、上記のステップS403では、選択部104は、損失率にも基づいて、各マスキング対象項目の階層を選択する。
[実施例5]
次に、実施例5として、対象データとマスタデータの全部又は一部とをマージしたデータをデータ加工する場合について説明する。ここで、例えば、比較的小規模な小売店等の商業施設では十分なレコード数の対象データを準備することができない場合がある。レコード数が少ない場合には、マスキング対象項目の階層を高くしないとNがk未満となるレコード数が多くなってしまう。したがって、マスキング対象項目の階層を比較的低くした場合には、対象データ中の多くのレコードが削除され、統計加工後データに含まれるレコードが少なくなってしまい、データ分析の精度(正確さ)が低下してしまう。一方で、マスキング対象項目の階層を比較的高くした場合には、統計加工後データには多くのレコードを残すことができるものの、マスキング対象項目の情報の抽象度が上がってしまい、データ分析の精度(詳細さ)が低下してしまう。
そこで、実施例5では、対象データとマスタデータの全部又は一部とをマージしたデータをデータ加工することで、対象データ中のレコード数が少ない場合であっても、削除されるレコード数を減らすことでデータ分析の精度(正確さ及び詳細さ)の低下を防止する。なお、実施例5では、実施例1や実施例3と同一の構成要素についてはその説明を省略する。
(データ加工処理部100の機能構成)
まず、実施例5におけるデータ加工処理部100の機能構成について、図19を参照しながら説明する。図19は、本発明の実施の形態におけるデータ加工処理部100の機能構成の一例を示す図(実施例5)である。
図19に示すように、実施例5におけるデータ加工処理部100には、算出部101と、UI提供部102と、データ加工部103と、マスタデータ取得部106と、マージ部107とが含まれる。なお、実施例5におけるデータ加工処理部100には、UI提供部102が含まれていなくてもよい。
マージ部107は、マスタデータ取得部106により取得されたマスタデータと、対象データとをマージしたデータを作成する。
また、実施例5における算出部101は、マージ部107により作成されたデータ(つまり、マスタデータと対象データとをマージしたデータ)を用いて、このデータを構成する各レコードを分類して、これら各レコードが分類された集合毎に、同一集合に属するレコードの数Nを算出する。そして、算出部101は、N毎に、Nが同一であるレコードの割合を算出する。言い換えれば、実施例5における算出部101は、実施例1の「対象データ」の代わりに、「マスタデータと対象データとをマージしたデータ」を用いて、N毎に、Nが同一であるレコードの割合を算出する。
(データ加工処理)
次に、マスタデータと対象データとをマージしたデータ(以降、「マージ対象データ」とも表す。)を作成した上で、データ提供端末10でマージ対象データを統計加工して、匿名化(k-匿名化)するデータ加工処理について、図20を参照しながら説明する。図20は、本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例5)である。
まず、マスタデータ取得部106は、データ分析装置20のマスタデータ記憶部400に記憶されているマスタデータを取得する(ステップS501)。ここで、マスタデータ取得部106は、マスタデータ記憶部400に記憶されているマスタデータを構成する各レコードの全部を取得してもよいし、一部のレコードのみを取得してもよい。なお、マスタデータの全レコードを取得する場合に、これらのレコードの中に不足する項目(つまり、対象データを構成するレコード中には含まれる一方で、マスタデータを構成するレコード中には含まれない項目)が存在するときには、当該項目に任意の値を代入してもよい。これは、後述する「統計量の減算処理」のステップS602において、当該項目の項目値が、統計加工後データを構成する各レコードの当該項目の統計量から減算されるため、最終的な統計量には影響を与えないためである。
一部のレコードのみを取得する場合は、マスタデータ取得部106は、例えば、取得条件を指定した取得要求をデータ分析装置20に送信すればよい。これにより、例えば、データ分析処理部300によってマスタデータ記憶部400が検索され、取得条件を満たすレコードで構成されるマスタデータがデータ提供端末10に返信される。
このような取得条件としては、例えば、マスキング対象項目の項目値を指定すればよい。例えば、マスキング対象項目が項目「住所」及び項目「年代」である場合、取得条件としては、『住所=「東京都武蔵野市緑町」、かつ、年代=「10代」』等とすればよい。又は、例えば、マスキング対象項目が項目「住所」、項目「年代」及び項目「業種」である場合、取得条件としては、『住所=「東京都武蔵野市緑町」、かつ、年代=「10代」、かつ、業種=「電気店」』等とすればよい。これら以外にも、取得条件として、例えば、マスキング対象項目の項目名のみが指定されてもよい。このような取得条件は、例えば、マージ対象データの損失率(つまり、マージ対象データを構成するレコードのうち、データ加工によって削除されるレコードの割合)が所望の値よりも小さくなるようにユーザによって決定される。
次に、マージ部107は、上記のステップS501で取得されたマスタデータと、対象データとをマージしたマージ対象データを作成する(ステップS502)。
次に、データ加工処理部100は、実施例1又は実施例2で「対象データ」の代わりに「マージ対象データ」を用いたデータ加工処理を行う(ステップS503)。これにより、マージ対象データから統計加工後データが作成され、データ分析装置20に送信される。
(統計量の減算処理)
ここで、上記の統計加工後データを構成する各レコードの統計量(例えば、金額の合計や購入個数の合計、購入者数の合計等)の算出には、上記のステップS501で取得されたマスタデータに含まれるレコードの情報も用いられている。このため、統計加工後データをマスタデータ記憶部400に記憶させる前に、当該統計加工後データを構成する各レコードの統計量を減算する必要がある。そこで、この統計量の減算処理について、図21を参照しながら説明する。図21は、本発明の実施の形態における統計量の減算処理の一例を示すフローチャート(実施例5)である。
まず、データ分析処理部300は、データ提供端末10から統計加工後データを受信する(ステップS601)。
次に、データ分析処理部300は、当該統計加工後データを構成する各レコードの統計量から、当該データ提供端末10に送信したマスタデータの該当のレコードの項目値を減算する(ステップS602)。
例えば、統計加工後データに含まれる或るレコードの統計量が合計金額であり、この合計金額が、対象データのレコードA、レコードB及びレコードCと、マスタデータのレコードD及びレコードEとで、項目「購入金額」の項目値を合計したものとする。この場合、当該合計金額から、レコードDの項目「購入金額」の項目値と、レコードEの項目「購入金額」の項目値とを減算する。これにより、統計加工後データを構成する各レコードの統計量を、対象データを構成する各レコードから算出される統計量と一致させることができる。
[実施例6]
次に、実施例6として、対象データを構成する各レコードのマスキング対象項目のうちの一部のマスキング対象項目を削除したデータをデータ加工する場合について説明する。実施例5と同様に、例えば、比較的小規模な小売店等の商業施設のように十分なレコード数の対象データを準備することができない場合に、一部のマスキング対象項目を削除することで、データ分析の精度(正確さ)の低下を防止することができる。なお、実施例6では、実施例1や実施例3と同一の構成要素についてはその説明を省略する。
(データ加工処理部100の機能構成)
まず、実施例6におけるデータ加工処理部100の機能構成について、図22を参照しながら説明する。図22は、本発明の実施の形態におけるデータ加工処理部100の機能構成の一例を示す図(実施例6)である。
図22に示すように、実施例6におけるデータ加工処理部100には、算出部101と、UI提供部102と、データ加工部103と、項目削除部108とが含まれる。なお、実施例6におけるデータ加工処理部100には、UI提供部102が含まれていなくてもよい。
項目削除部108は、対象データを構成する各レコードのマスキング対象項目のうち、一部のマスキング対象項目を削除したデータを作成する。
また、実施例6における算出部101は、項目削除部108により作成されたデータ(つまり、対象データを構成する各レコードのマスキング対象項目のうち、一部のマスキング対象項目を削除したデータ)を用いて、このデータを構成する各レコードを分類して、これら各レコードが分類された集合毎に、同一集合に属するレコードの数Nを算出する。そして、算出部101は、N毎に、Nが同一であるレコードの割合を算出する。言い換えれば、実施例6における算出部101は、実施例1の「対象データ」の代わりに、「対象データの一部のマスキング対象項目を削除したデータ」を用いて、N毎に、Nが同一であるレコードの割合を算出する。
(データ加工処理)
次に、対象データを構成する各レコードから一部のマスキング対象項目を削除したデータ(以降では、「項目削除後データ」とも表す。)を作成した上で、データ提供端末10で項目削除後データを統計加工して、匿名化(k-匿名化)するデータ加工処理について、図23を参照しながら説明する。図23は、本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例6)である。なお、以降では、一例として、マスキング対象項目は「住所」及び「年代」であるものとする。
まず、項目削除部108は、対象データを構成する各レコードのマスキング対象項目のうち、一部のマスキング対象項目を削除して、項目削除後対象データを作成する(ステップS701)。例えば、図24に示す対象データから一部のマスキング対象項目を削除する場合、項目削除部108は、図24に示す対象データの項目「年代」を削除した年代削除後対象データを項目削除後対象データとして作成してもよいし、項目「住所」を削除した住所削除後対象データを項目削除後対象データとして作成してもよい。又は、項目削除部108は、年代削除後対象データと住所削除後対象データとの両方を項目削除後対象データとして作成してもよい(すなわち、項目削除部108は、複数の項目削除後対象データを作成してもよい。)。複数の項目削除後対象データを作成することを、「対象データを分割する」と称されてもよい。
次に、データ加工処理部100は、実施例1又は実施例2で「対象データ」の代わりに「項目削除後対象データ」を用いたデータ加工処理を行う(ステップS702)。これにより、項目削除後対象データから統計加工後データが作成され、データ分析装置20に送信される。なお、上記のステップS702で複数の項目削除後対象データが作成された場合には、各項目削除後対象データをそれぞれ用いて、実施例1又は実施例2のデータ加工処理を行えばよい。
なお、本実施例では、対象データを構成するレコード数が少ないことを前提として、対象データから項目削除後対象データを作成したが、対象データを構成するレコード数の多寡に限られず、項目削除後対象データを作成してもよい。例えば、ユーザ提示画面G100上で、対象データから一部のマスキング対象項目を削除するか否かや対象データを分割するか否かをユーザに問い合わせた上で、この問い合わせに対して、削除操作や分割操作が行われた場合に項目削除後対象データを作成してもよい。特に、このような問い合せは、マスキング対象項目の階層を上げても、N毎のレコードの割合が向上したり、所定の指標値が向上したりしない場合に行われるようにしてもよい。
[実施例7]
次に、実施例7として、分類辞書記憶部200に記憶されている分類辞書を修正する場合について説明する。ここで、上述したように、分類辞書は、対象データを構成するレコードのマスキング項目毎に、カテゴリの木構造で表現される。しかしながら、カテゴリの粒度が粗すぎたり、又はカテゴリの粒度が細かすぎたりする場合がある。このような場合、例えば、対象データ中の多くのレコードが削除されたり、マスキング対象項目の情報の抽象度が上がったりしてしまい、データ分析の精度(正確さ又は詳細さ)が低下してしまう。
そこで、実施例7では、分類辞書を修正可能とする場合について説明する。これにより、ユーザは、分類辞書を適切に修正することで、データ分析の精度(正確さ及び詳細さ)の低下を防止することができるようになる。なお、実施例5では、実施例1と同一の構成要素についてはその説明を省略する。
(データ加工処理部100の機能構成)
まず、実施例7におけるデータ加工処理部100の機能構成について、図25を参照しながら説明する。図25は、本発明の実施の形態におけるデータ加工処理部の機能構成の一例を示す図(実施例7)である。
図25に示すように、実施例7におけるデータ加工処理部100には、算出部101と、UI提供部102と、データ加工部103と、分類修正部109とが含まれる。
分類修正部109は、ユーザの操作に応じて、分類辞書記憶部200に記憶されている分類辞書を修正する。ここで、分類辞書の修正とは、木構造で表現される分類辞書に対してカテゴリを追加したり、分類辞書からカテゴリを削除したり、分類辞書のカテゴリ自体を変更したりすることである。
また、実施例7における算出部101は、更に、分類辞書記憶部200に記憶されている分類辞書と、マスキング対象項目と、対象データとに基づいて、指標値の1つである集約率を算出する。集約率とは、分類辞書によってマスキング対象項目の項目値をマスキングした場合に、同一集合に分類されるレコード数を表す指標値である。ユーザは、集約率を参考にして、分類辞書を修正するか否かやどのような修正を行ったらよいかを判断することができる。
ここで、低すぎる集約率は、カテゴリの粒度が細かすぎて、対象データ中のレコードがまとまっていない(つまり、各レコードがバラバラになっている)ことを表す。一方で、高すぎる集約率は、カテゴリの粒度が粗すぎて、対象データ中のレコードがまとまりすぎていることを表す。また、例えば、或る項目の分類辞書で階層毎に集約率を算出した場合、これらの集約率は、階層が上がるに従ってなだらかに上昇していくことが望ましい。例えば、或る階層で集約率が急激に上昇する場合や集約率の上昇がほとんど無い場合、集約率が最初から高い場合等は、当該項目の各階層のカテゴリ(の粒度)が適切でないことを表す。したがって、階層毎の集約率をUI上に表示し、可視化することで、ユーザは、例えば、集約率の上昇度合い等を把握することができるようになる。また、このとき、集約率を参考にして分類辞書の修正を行ったり、修正後の分類辞書を用いた集約率を確認したりすることで、ユーザは、分類辞書の編集を容易に行うことが可能となる。
(集約率の算出方法)
集約率は以下の(式14)により算出される。
集約率=(該当の階層よりも1つ下の階層で対象データを構成する各レコードの該当の項目の項目値が属するカテゴリ数-該当の階層で対象データを構成する各レコードの該当の項目の項目値が属するカテゴリ数)/(該当の階層よりも1つ下の階層で対象データを構成する各レコードの該当の項目の項目値が属するカテゴリ数)×100 ・・・(式14)
上記の(式14)の代わりに、以下の(式15)により集約率が算出されてもよい。
集約率=(該当の階層よりも1つ下の階層における該当の項目のカテゴリ数-該当の階層における該当の項目のカテゴリ数)/(該当の階層よりも1つ下の階層における該当の項目のカテゴリ数)×100 ・・・(式15)
(分類辞書の修正)
ここで、一例として、図26Aに示す対象データを用いて、図26Bに示す分類辞書の修正を行う場合について説明する。
マスキング対象項目を、項目「レコードID」以外の全項目、k=1、集約率を算出する対象の階層を「第2階層」とした場合に、図26Aに示す対象データのマスキング対象項目「日時」の集約率を上記の(式14)により算出すると、80(%)となる。すなわち、図26Aに示す対象データを構成する各レコードは、マスキング対象項目「日時」の「第2階層」では1つのカテゴリ「17日」に属する。一方で、「第1階層」では、レコードID「1」及び「2」がカテゴリ「8時」、レコードID「3」がカテゴリ「9時」、レコードID「4」がカテゴリ「11時」、レコードID「5」がカテゴリ「17時」、レコードID「6」が「20時」の計5つのカテゴリにそれぞれ属する。したがって、集約率は、(5-1)/5×100=80(%)と算出される。なお、上記の(式15)により集約率を算出した場合、約96(%)となる。
集約率が高い場合には対象データに含まれる多くのレコードを1つのレコードに集約して匿名化を図ることができる一方で、情報の損失が多くなる。例えば、図26Bに示す分類辞書を用いて、図26Aに示す対象データのマスキング対象項目「日時」を「第2階層」とした場合、マスキング対象項目「日時」の項目値のうちの時刻情報(8時や9時、11時、17時、20時等)が失われてしまう。
そこで、集約率が高すぎるような場合には、ユーザは、分類辞書に対して階層を追加することで、集約率を下げて、情報の損失を抑えることが可能となる。例えば、図27Aに示すように、図27Bに示す分類辞書に対して、「第2階層」以上の階層を1つ上の階層とした上で、新たな「第2階層」としてカテゴリ「午前」、「午後」を追加することで、上記の(式14)により算出されるマスキング対象項目「日時」の「第2階層」における集約率を60(%)に下げることができる。すなわち、図26Aに示す対象データを構成する各レコードは、マスキング対象項目「日時」の「第2階層」では「午前」及び「午後」の2つのカテゴリに属する。一方で、「第1階層」では、レコードID「1」及び「2」がカテゴリ「8時」、レコードID「3」がカテゴリ「9時」、レコードID「4」がカテゴリ「11時」、レコードID「5」がカテゴリ「17時」、レコードID「6」が「20時」の計5つのカテゴリにそれぞれ属する。したがって、集約率は、(5-2)/5×100=60(%)と算出される。なお、上記の(式15)により集約率を算出した場合、約92(%)となる。
これにより、集約率を下げることができ、情報の損失を抑えることが可能となる。例えば、図27Bに示す対象データでは、マスキング対象項目「日時」の時刻情報として、午前又は午後を残すことができる。したがって、データ分析装置20におけるデータ分析の精度低下を抑えることが可能となる。
なお、上記では、集約率が高すぎる場合に分類辞書に階層を追加する場合を説明したが、例えば、集約率が低すぎるような場合には分類辞書から階層を削除してもよい。また、既存の階層にカテゴリを追加したり、既存の階層のカテゴリ自体を修正したりしてもよい。
(データ加工処理)
次に、データ提供端末10で対象データを統計加工して、匿名化(k-匿名化)する際に、集約率もユーザに提示し、必要に応じて分類辞書の修正が可能なデータ加工処理について、図28を参照しながら説明する。図28は、本発明の実施の形態におけるデータ加工処理の一例を示すフローチャート(実施例7)である。
まず、算出部101は、予め設定されたマスキング対象項目と、分類辞書記憶部200に記憶されている分類辞書と、各マスキング対象項目の階層と、対象データを構成するレコード数とに基づいて、対象データを構成する各レコードを分類した場合に同一集合に属するレコードの数N(つまり、集合毎のレコード数N)と、N毎のレコードの割合と、集約率とを算出する(ステップS801)。なお、集合毎のレコード数N及びN毎のレコードの割合は実施例1と同様である。また、集約率についても、各マスキング対象項目は「第1階層」が選択されているものとして、上記の(式14)又は(式15)により集約率を算出する。なお、集約率の定義から、「第1階層」の集約率は算出されない。
次に、UI提供部102は、上記のステップS801で算出されたN毎のレコードの割合と集約率とが含まれるユーザ提示画面を表示する(ステップS802)。すなわち、UI提供部102は、例えば、図29に示すユーザ提示画面G100を表示する。
図29に示すユーザ提示画面G100のユーザ提示情報表示欄G110には、N毎のレコードの割合に加えて、マスキング対象項目の階層を変化させた場合における集約率が表示されている。ユーザは、ユーザ提示情報表示欄G110に表示されている集約率を確認することで、分類辞書の修正をするか否かを判断することができる。ここで、図29に示すユーザ提示画面G100には、「分類辞書を修正」ボタンG130が含まれる。ユーザは、分類辞書の修正が必要と判断した場合には「分類辞書を修正」ボタンG130を押下して分類辞書の修正開始操作を行うことで、図29に示す分類辞書の修正画面G200を表示させることができる。以降では、ユーザは、マスキング対象項目に対する階層の選択操作又は分類辞書の修正開始操作のいずれかを行ったものとして説明を続ける。
次に、UI提供部102は、階層の選択操作又は分類辞書の修正開始操作のいずれを受け付けたかを判定する(ステップS803)。
ステップS803で分類辞書の修正開始操作を受け付けたと判定した場合、UI提供部102は、例えば、図29に示す分類辞書の修正画面G200を表示する(ステップS804)。
図29に示す分類辞書の修正画面G200は、分類辞書を修正するための画面である。なお、図29に示す分類辞書の修正画面G200は、例えば、図29に示すユーザ提示画面G100から画面遷移により表示されてもよいし、ポップアップにより表示されてもよい。
図29に示す分類辞書の修正画面G200には、例えば、修正対象の分類辞書の項目を選択するためのマスキング対象項目選択欄G210と、修正方法(追加、削除、変更等)を選択するための修正方法選択欄G220と、修正対象の階層を選択するための階層選択欄G230とが含まれる。また、図29に示す分類辞書の修正画面G200には、現在の集約率(例えば、マスキング対象項目選択欄G210及び階層選択欄G230でそれぞれ選択されている項目及び階層の集約率)も表示される。更に、図29に示す分類辞書の修正画面G200には、修正方法が「追加」又は「変更」である場合に、追加されるカテゴリの内容や変更後のカテゴリの内容を入力するカテゴリ設定欄G250が含まれる。
加えて、図29に示す分類辞書の修正画面G200には、スコア再計算ボタンG270が含まれる。スコア再計算ボタンG270が押下されることで、分類辞書が修正された後における該当の項目及び階層のスコア(例えば、集約率)が計算される。
ユーザは、マスキング対象項目選択欄G210、修正方法選択欄G220及び階層選択欄G230から項目、修正方法及び階層をそれぞれ選択した上で、必要に応じてカテゴリ設定欄G250にカテゴリの内容を設定して、決定ボタンG260を押下することで、カテゴリ修正操作を行うことができる。カテゴリ修正操作が行われることで、分類修正部109により、当該修正操作で選択及び入力された内容で、分類辞書記憶部200に記憶されている該当の分類辞書が修正される。
一方、ステップS803で階層の選択操作を受け付けたと判定した場合又は上記のステップS804に続いて、算出部101は、上記のステップS801と同様に、集合毎のレコード数Nと、N毎のレコードの割合と、集約率とを算出する(ステップS805)。ここで、ステップS803では、算出部101は、各マスキング対象項目の選択階層での集合毎のレコード数N、N毎のレコードの割合及び集約率と、1つのマスキング対象項目のみ階層を上げた場合における集合毎のレコード数N、N毎のレコードの割合及び集約率とを算出する。なお、このとき、上記のステップS804で分類辞書が修正された場合には、修正後の分類辞書を用いて、集合毎のレコード数Nと、N毎のレコードの割合と、集約率とを算出する。
次に、UI提供部102は、ユーザ提示画面を更新して、上記のステップS805で算出されたN毎のレコードの割合と集約率とが含まれるユーザ提示画面を表示する(ステップS806)。
次に、UI提供部102は、図7のステップS106と同様に、マスキング対象項目の階層選択を終了するか否かを判定する(ステップS807)。
ステップS807でマスキング対象項目の階層選択を終了すると判定されなかった場合、データ加工処理部100は、ステップS803に戻る。これにより、マスキング対象項目の階層選択が終了するまで、上記のステップS803~ステップS806が繰り返し実行される。
一方、ステップS807でマスキング対象項目の階層選択を終了すると判定された場合、データ加工部103は、図7のステップS107と同様に、同一集合に属するレコード数Nがk未満のレコードを削除すると共に、Nがk以上である各レコードを同一集合内で統計加工する(ステップS808)。これにより、k-匿名性を有するレコードが作成され、これらのレコードで構成される統計加工後データが得られる。
(他の指標値)
ここで、本実施例において、集約率に代えて又は集約率と共に、指標値の1つとして分離率やカバー率が用いられてもよい。ユーザは、例えば、ユーザ提示画面に表示された分離率やカバー率を確認することで、これらの指標値も考慮して、分類辞書を修正するか否かを判断することができるようになる。
・分離率
分離率とは、対象データを構成する各レコードのマスキング対象項目を分類辞書によってマスキングする際の細かさを表す指標値のことである。分離率が大きいほど、Nがk未満であるとしてデータ加工の際に削除され易くなる。分離率は以下の(式16)により算出される。
分離率=(該当の階層における対象データを構成する各レコードの各項目の項目値のうち、同一カテゴリに属する項目値の個数がM個以下の項目値の個数)/(該当の階層における対象データを構成する各レコードの各項目の項目値の個数)×100 ・・・(式16)
なお、Mとしては、例えば、M=1やM=2等とすることが考えられる。
・カバー率
カバー率とは、対象データを構成する各レコードのマスキング対象項目を分類辞書によってマスキングする際における項目値が属するカテゴリの分布を表す指標値である。カバー率が低いと、マスタデータを機械学習の学習データとして利用する場合等に誤った学習を引き起きやすくなる。カバー率は以下の(式17)により算出される。
カバー率=(該当の階層で、対象データを構成する各レコードの各項目の項目値が属するカテゴリ数)/(該当の階層における各項目のカテゴリ数)×100 ・・・(式17)
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。また、上記の各実施例は、適宜、組み合わせて適用することが可能である。例えば、実施例1や実施例3に対して、実施例5~実施例7のうちの少なくとも1つの実施例を組み合わせることが可能である。同様に、例えば、実施例2や実施例4に対して、実施例5~実施例7のうちの少なくとも1つの実施例を組み合わせることが可能である。
1 データ加工システム
10 データ提供端末
20 データ分析装置
100 データ加工処理部
101 算出部
102 UI提供部
103 データ加工部
104 選択部
105 終了条件判定部
106 マスタデータ取得部
107 マージ部
108 項目削除部
109 分類修正部
200 分類辞書記憶部
300 データ分析処理部
400 マスタデータ記憶部

Claims (4)

  1. 1以上の項目が含まれるレコードで構成されるデータを統計加工によって匿名化する情報処理装置であって、
    前記項目のうち、マスキングの対象となる項目を示すマスキング対象項目と、前記マスキング対象項目毎に該項目値のカテゴリが木構造で表現された辞書と、前記マスキング対象項目毎に前記木構造で選択された階層を示す選択階層と、前記データに含まれるレコード数とに基づいて、前記データを構成する各レコードを1つ以上の集合に分類して、各集合のレコード数Nと、レコード数Nの集合に属するレコードの割合とを算出する算出手段と、
    前記レコード数Nの集合に属するレコードの割合が所定の条件を満たす場合に、前記データを1つ以上のデータに分割する分割手段と、
    を有することを特徴とする情報処理装置。
  2. 前記レコード数Nの集合に属するレコードの割合と、予め設定された優先度とに基づいて、前記選択階層を変更する変更手段と、
    所定の終了条件を満たすまで前記算出手段による算出と前記変更手段による変更とが繰り返し実行された後、同一の集合に属するレコードを統計加工した統計加工後レコードを作成する統計手段と、を有し、
    前記算出手段は、
    前記分割手段により前記データが1つ以上のデータに分割された場合、前記1つ以上のデータの各々を用いて、前記各集合のレコード数Nと、前記レコード数Nの集合に属するレコードの割合とを算出し、
    前記変更手段は、
    前記1つ以上のデータの各々を用いて、前記選択階層を変更し、
    前記統計手段は、
    前記1つ以上のデータの各々を用いて、前記統計加工後レコードを作成する、ことを特徴とする請求項1に記載の情報処理装置。
  3. 1以上の項目が含まれるレコードで構成されるデータを統計加工によって匿名化するコンピュータが、
    前記項目のうち、マスキングの対象となる項目を示すマスキング対象項目と、前記マスキング対象項目毎に該項目値のカテゴリが木構造で表現された辞書と、前記マスキング対象項目毎に前記木構造で選択された階層を示す選択階層と、前記データに含まれるレコード数とに基づいて、前記データを構成する各レコードを1つ以上の集合に分類して、各集合のレコード数Nと、レコード数Nの集合に属するレコードの割合とを算出する算出手順と、
    前記レコード数Nの集合に属するレコードの割合が所定の条件を満たす場合に、前記データを1つ以上のデータに分割する分割手順と、
    を実行することを特徴とする情報処理方法。
  4. コンピュータを、請求項1又は2に記載の情報処理装置における各手段として機能させるためのプログラム。
JP2021519955A 2019-05-21 2019-05-21 情報処理装置、情報処理方法及びプログラム Active JP7176625B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020169 WO2020235019A1 (ja) 2019-05-21 2019-05-21 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020235019A1 JPWO2020235019A1 (ja) 2020-11-26
JP7176625B2 true JP7176625B2 (ja) 2022-11-22

Family

ID=73458737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519955A Active JP7176625B2 (ja) 2019-05-21 2019-05-21 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11921897B2 (ja)
JP (1) JP7176625B2 (ja)
WO (1) WO2020235019A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046030A (ja) 2013-08-28 2015-03-12 株式会社日立ソリューションズ パーソナル情報匿名化システム
JP2016110399A (ja) 2014-12-05 2016-06-20 株式会社東芝 匿名化装置、及びプログラム
JP2017049693A (ja) 2015-08-31 2017-03-09 富士通株式会社 個人情報匿名化方法、プログラム、及び情報処理装置
JP2017182508A (ja) 2016-03-30 2017-10-05 西日本電信電話株式会社 匿名化装置、匿名化方法及びコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6208586B2 (ja) * 2014-01-16 2017-10-04 株式会社日立製作所 検索可能暗号処理システムおよび検索可能暗号処理方法
US9858426B2 (en) * 2015-11-03 2018-01-02 Palo Alto Research Center Incorporated Computer-implemented system and method for automatically identifying attributes for anonymization
EP3602377A1 (en) * 2017-03-30 2020-02-05 McAfee, LLC Secure software defined storage
US20220215129A1 (en) * 2019-05-21 2022-07-07 Nippon Telegraph And Telephone Corporation Information processing apparatus, information processing method and program
WO2020235018A1 (ja) * 2019-05-21 2020-11-26 日本電信電話株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
US11366928B2 (en) * 2020-01-29 2022-06-21 Collibra Nv Systems and method of contextual data masking for private and secure data linkage
DE102020205776A1 (de) * 2020-05-07 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes Verfahren zur Konzeptextraktion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046030A (ja) 2013-08-28 2015-03-12 株式会社日立ソリューションズ パーソナル情報匿名化システム
JP2016110399A (ja) 2014-12-05 2016-06-20 株式会社東芝 匿名化装置、及びプログラム
JP2017049693A (ja) 2015-08-31 2017-03-09 富士通株式会社 個人情報匿名化方法、プログラム、及び情報処理装置
JP2017182508A (ja) 2016-03-30 2017-10-05 西日本電信電話株式会社 匿名化装置、匿名化方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US20220222376A1 (en) 2022-07-14
WO2020235019A1 (ja) 2020-11-26
JPWO2020235019A1 (ja) 2020-11-26
US11921897B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
JP7147969B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7231020B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11748345B2 (en) Apparatuses, methods and systems for a lead generating hub
US20110288962A1 (en) Apparatuses, methods and systems for a lead exchange facilitating hub
JP7173315B2 (ja) 分析装置、分析システム、分析方法及びプログラム
US10579589B2 (en) Data filtering
JP2019148897A (ja) 行動パターン探索システム、および行動パターン探索方法
US20080288527A1 (en) User interface for graphically representing groups of data
CN114510735B (zh) 基于角色管理的智慧共享财务管理方法及平台
JP6696568B2 (ja) アイテム推奨方法、アイテム推奨プログラムおよびアイテム推奨装置
US11061755B1 (en) Application health monitoring and reporting
JP5017434B2 (ja) 情報処理装置およびプログラム
JP7151886B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7211499B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP7176625B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7168076B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20230088044A1 (en) End-to-end prospecting platform utilizing natural language processing to reverse engineer client lists
JP2009009342A (ja) 情報処理装置およびプログラム
WO2015191592A1 (en) System and method for generating descriptive measures that assesses the financial health of a business
JP2004005702A (ja) リスク分析システム及びその方法、保険設計システム及びその方法、保険約款作成方法、並びにコンピュータ上で動作するリスク分析プログラム、保険設計プログラム又は保険約款作成プログラムを記録した記録媒体
JP2022027253A (ja) 情報処理装置、データ検出方法およびデータ検出プログラム
CN114119205A (zh) 基于动态配置的授信匹配方法、装置、设备及介质
Seddighi Qualitative Response Regression Models
JP2007257006A (ja) 資産運用成果分析支援システム及び方法
CN110246023A (zh) 基于互联网金融的用户信息评估方法、系统及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R150 Certificate of patent or registration of utility model

Ref document number: 7176625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150