JPWO2019168144A1 - 情報処理装置、情報処理システム、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JPWO2019168144A1
JPWO2019168144A1 JP2020503639A JP2020503639A JPWO2019168144A1 JP WO2019168144 A1 JPWO2019168144 A1 JP WO2019168144A1 JP 2020503639 A JP2020503639 A JP 2020503639A JP 2020503639 A JP2020503639 A JP 2020503639A JP WO2019168144 A1 JPWO2019168144 A1 JP WO2019168144A1
Authority
JP
Japan
Prior art keywords
anonymization
data
conviction
information processing
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503639A
Other languages
English (en)
Other versions
JP7151759B2 (ja
Inventor
敦典 坂井
敦典 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019168144A1 publication Critical patent/JPWO2019168144A1/ja
Application granted granted Critical
Publication of JP7151759B2 publication Critical patent/JP7151759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

匿名化の比較に用いるための値を算出するため、本発明の情報処理装置は、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出する匿名化前確信度算出手段と、匿名化前データに匿名化手法を適用して匿名化後データを作成する匿名化手段と、匿名化手法の匿名化強度を算出する匿名化強度算出手段と、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出する匿名化後確信度算出手段と、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する評価値算出手段とを含む。

Description

本発明は、情報の処理に関し、特に、情報の匿名化に関する。
機械学習又はディープラーニングなどの技術を用いてビックデータなどの大量の個人情報の解析(ビックデータ解析)を基に、多数の人々の行動及び嗜好などを精緻に分析することができる。このような分析を基に、大量の個人情報を用いた新たな製品又はサービスの開発が、求められている。このような、所定のコンテンツを処理する技術が、提案されている(例えば、特許文献1を参照)。
ただし、個人情報の扱いにおいては、機微情報(センシティブ情報)の保護を考慮する必要がある。例えば、分析などのために個人情報を第三者に提供する場合、その個人(本人)からの同意が必要である。大量の個人情報を分析するためには、多数の個人から同意を得ることが必要である。その工数は膨大であり、費用は非常に高くなる。あるいは、本人が承諾しない、又は、本人を所在地が不明であるなど、本人の同意を得ることができない場合もある。そのため、個人情報の第三者での利用は、容易ではなかった。
そこで、個人情報の利用を促進するような法令が制定されてきている。例えば、個人を識別することができないように加工された個人情報は、本人の同意なしに第三者が利用できるようになってきている。そこで、個人が識別することができないように個人情報を加工する技術が、提案されている。
個人を識別することができないように個人情報を加工する技術の一つして、匿名化がある(例えば、特許文献2ないし4を参照)。匿名化の処理は、まず、単独で個人を特定できる属性(「識別子」と呼ばれる)を削除する。さらに、匿名化の処理は、組み合わせると個人を特定できる属性(「準識別子」と呼ばれている)を所定の匿名化の強度を満足するように匿名化する。
特開2017−004260号公報 特開2017−049693号公報 特開2016−139261号公報 特開2015−232863号公報
匿名化のやり方(匿名化手法)としては、様々なやり方(手法)が存在している。ここで、匿名化のやり方とは、匿名化の種類に限らず、データをどの程度まで匿名化するか(匿名化強度)の違いを含む。
最も多く用いられている匿名化手法として、「k−匿名化」がある。k−匿名化とは、全てのレコードをデータセットに分割し、各データセットの中に同じ準識別子(又は準識別子の組)を有するレコードが、少なくともk個以上存在するように、匿名化することである。k−匿名化における「k」が、k−匿名化における指標である。
「k」の値を大きくすると、匿名化後のデータにおいて個人を特定するのが難しくなる。つまり、個人のプライバシイの保護の観点からは、匿名化の指標を大きくすることが望ましい。
一方、匿名化の指標を大きくすると、匿名化後のデータにおける情報量の損失が大きくなる。
そこで、個人情報を匿名化する場合、匿名化の指標を適切に決めることが必要である。
一般的な匿名化では、匿名化を実施する担当者(実施者)が、匿名化の対象となる個人情報と、データを利用する第三者などとを基に、準識別子における匿名化の指標を、匿名化が要求される場面ごとに、決めている。より詳細には、匿名化の実施者が、複数の匿名化を用いてデータを匿名化し、匿名化後のデータを確認して、匿名化を選択している。そのため、匿名化を決めるための作業に多くの工数が、必要となっている。さらに、必ずしも複数の実施者の判断が同じとなるとは限られない。そのため、実施者に依存した匿名化が実施されている。
さらに、個人情報に複数の準識別子が含まれる場合、各準識別子に対して匿名化の指標を決める必要がある。この場合、実施者は、複数の準識別子それぞれに対する指標(指標の組合せ)を決める必要がある。
この場合、多くの選択肢があるため、多くの匿名化後のデータを確認して匿名化を決める必要があった。その結果、匿名化後のデータの確認のための、多くの作業が必要とされている。
匿名化手法に対して他の匿名化手法と比較するための指標又は評価値を算出できると、実施者は、その値を比較することで、匿名化手法を選択できる。そこで、匿名化を比較するための値の算出が望まれている。
特許文献1に記載の発明は、コンテンツにおける同義語を処理するものであり、匿名化に関するものではない。
特許文献2ないし4に記載の発明は、匿名化に関するものであるが、複数の匿名化を比較するものではない。
特許文献1ないし4に記載の発明は、匿名化を比較できないという問題点があった。
本発明の目的は、上記問題点を解決し、匿名化の比較に用いるための値を算出する情報処理装置などを提供することにある。
本発明の一形態における情報処理装置は、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出する匿名化前確信度算出手段と、匿名化前データに匿名化手法を適用して匿名化後データを作成する匿名化手段と、匿名化手法の匿名化強度を算出する匿名化強度算出手段と、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出する匿名化後確信度算出手段と、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する評価値算出手段とを含む。
本発明の一形態における情報処理方法は、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出し、匿名化前データに匿名化手法を適用して匿名化後データを作成し、匿名化手法の匿名化強度を算出し、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出し、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する。
本発明の一形態における記録媒体は、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出する処理と、匿名化前データに匿名化手法を適用して匿名化後データを作成する処理と、匿名化手法の匿名化強度を算出する処理と、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出する処理と、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する処理とをコンピュータに実行させるプログラムを記録する。
本発明に基づけば、匿名化の比較に用いるための値を算出するとの効果を奏することができる。
図1は、第1の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図2は、匿名化の対象データの一例を示す図である。 図3は、匿名化手法の一例の匿名化後のデータを示す図である。 図4は、匿名化手法の別の例の匿名化後のデータを示す図である。 図5は、第1の実施形態に係る学習用特徴量算出部が算出する特徴量の一例を示す図である。 図6は、データの匿名化を説明するための図である。 図7は、第1の実施形態に係る情報処理装置におけるモデルを作成する動作の一例を示すフロー図である。 図8は、第1の実施形態に係る情報処理装置における匿名化手法の評価値を算出する動作の一例を示すフロー図である。 図9は、第1の実施形態に係る匿名化手法選択部の動作を含む情報処理装置の動作の一例を示すフロー図である。 図10は、第1の実施形態に係る情報処理装置の概要の構成の一例を示すブロック図である。 図11は、第1の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図12は、第1の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。
次に、本発明の実施形態について図面を参照して説明する。
なお、各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
<第1の実施形態>
以下、図面を参照して、第1の実施形態について説明する。
本発明における第1の実施形態に係る情報処理装置10は、データの匿名化に関連する。
そこで、まず、データの匿名化について説明する。
図6は、データの匿名化を説明するための図である。
図6の上部が、匿名化前のデータである。図6の下部が、匿名化後のデータである。図6において、例えば、属性「年齢」は、20歳の幅のデータに変換されている。そのため、匿名化後データの利用者が匿名化後データを用いて個人の年齢を特定しようとしても、利用者は、年齢幅20歳の範囲までしか、個人を限定できない。あるいは、属性「市区町村」は、削除されている。そのため、利用者が、個人の住所を特定しようとしても、都道府県までしか特定できない。
ただし、匿名化手法は、一つではない。図面を参照して、匿名化手法の例を説明する。
図2は、匿名化の対象データの一例を示す図である。図2の上部は、顧客の個人情報の一例である。図2の下部は、購入履歴に関する情報の一例である。
例えば、図2のデータが利用者に提供された場合、データの利用者は、図2の情報から、「千葉県市原市に住む15歳の男子学生である山田太郎が、2017年9月19日12時30分に、千葉店でAパンを購入したこと」が分かる。
図3は、匿名化手法の一例の匿名化後のデータを示す図である。図3に示されている匿名化後データは、会員ID(Identifier)及び名前など、個人を特定できる属性(識別子)を削除し、残り属性を匿名化している。
図3のデータが利用者に提供された場合、データ利用者は、図3の情報から、「千葉県市原市に住む10代の男子学生が、12時台に千葉店でAパンを購入したこと」が分かる。
図4は、匿名化手法の別の例の匿名化後のデータを示す図である。図4に示されている匿名化手法は、図3に示されている匿名化手法と比べ、データをより汎化している。
図4のデータが利用者に提供された場合、データの利用者は、図4の情報から、「千葉県に住む19歳以下の男子学生が、12時から14時の間に千葉でパンを購入したこと」が分かる。
図4に示されている匿名化手法の方が、より情報が汎化されている。しかし、図4に示されている匿名化手法は、利用可能な情報量が少ない。
実際の匿名化においては、複数の匿名化の中から適切な匿名化を選択する必要がある。一般的な匿名化において、匿名化の実施者が、複数の匿名化の結果を基に、恣意的に匿名化を選択していた。しかし、この場合、匿名化は、実施者ごとに、異なる可能性があった。
第1の実施形態に係る情報処理装置10は、匿名化手法を評価するための指標(評価値)を算出する。
[構成の説明]
まず、図面を参照して、本発明における第1の実施形態に係る情報処理装置10の構成について説明する。
図1は、第1の実施形態に係る情報処理装置10の構成の一例を示すブロック図である。
情報処理装置10は、匿名化部201と、匿名化前確信度算出部202と、匿名化後確信度算出部203と、評価値算出部204と、匿名化強度算出部211とを含む。情報処理装置10は、さらに、学習用特徴量算出部103と、学習部104とを含む。情報処理装置10は、さらに、匿名化手法選択部205を含む。
情報処理装置10は、匿名化手法の評価として、確信度を用いる。情報処理装置10は、確信度の算出に所定のモデルを用いる。
「確信度」とは、データを用いた判定結果に対して、どのくらいの確信が持てるかの度合い(確からしさ)を表す値である。確信度は、限定されない。確信度は、利用が想定される場面(想定ユースケース)と、確信度の算出に用いられるデータとを基に決定される。例えば、利用者の情報から飲料の購入を予測する場合、モデルは、入力された利用者の情報に対して、その利用者が飲料を購買する確率(判定に対する正解の程度(正解率))を出力する。この確率が、確信度の一例である。なお、確信度は、確率のような0から1までの範囲の数値に限定されない。確信度は、他の範囲の数値でもよい。
「モデル」は、想定ユースケースに沿って選定される。例えば、モデルは、過去において想定ユースケースに近いケースに用いられたモデルの中から選定される。後ほど説明するように、情報処理装置10は、モデルを学習する。そのため、モデルは、想定ユースケースとは異なるケースに適用されたモデルでもよい。ただし、想定ユースケースに近いケースに用いられたモデルを用いると、学習における収束が早くなる。
学習用特徴量算出部103は、学習部104がモデルの学習に用いる教師データを、取得する。そして、学習用特徴量算出部103は、教師データを基に、学習部104がモデルの学習に用いる特徴量(学習用特徴量)を算出する。
情報処理装置10が取得する教師データは、限定されない。例えば、教師データは、情報処理装置10の利用者が、匿名化の対象となるデータ(対象データ)の一部に対して、想定される利用ケースにおける正誤の値を設定したデータでもよい。
利用者における対象データの作成の一例を説明する。まず、利用者は、匿名化後のデータの想定ユースケースを基に、対象データの中から、正誤を判定できる一部のデータを抽出する。そして、利用者は、抽出した対象データにおいて、識別子など単独で個人を特定できる属性を削除する。さらに、利用者は、想定利用ユースケースを基に、不要な属性を削除する。そして、利用者は、想定ユースケースを基に、抽出した対象データに正誤の判定結果を設定する。この結果が、教師データとなる。
なお、情報処理装置10は、ディープラーニングなどを用いて所定のデータの集合(例えば、対象データ)から教師データを作成又は抽出する構成を含み、その構成を用いて教師データを作成又は抽出してもよい。
なお、教師データは、対象データの一部に限定されない。教師データは、所定の知見を基に作成されたデータでもよい。教師データは、対象データの一部と、他のデータとを含んでいてもよい。
学習用特徴量算出部103が算出する特徴量は、限定されない。特徴量は、学習部104におけるモデルの学習に合わせて決定される。
特徴量の一例は、スカラ値である。例えば、対象データが属性として「性別」を含む場合、学習用特徴量算出部103は、性別を二値(例えば、男性を「0」、女性を「1」)に変換してもよい。特徴量は、二値に限られず、二を超える複数の値を取ってもよい。特徴量は、整数に限られず、小数又は分数など有理数でもよい。
あるいは、特徴量は、ベクトルでもよい。例えば、対象データが属性として複数の職業を含む場合、学習用特徴量算出部103は、職業の特徴量として、ベクトルを算出してもよい。例えば、属性「職業」が4種類(学生、会社員、主婦、及び、公務員)の属性値を含むとする。この場合、例えば、学習用特徴量算出部103は、属性「職業」の属性値が「会社員」の対象データの特徴量として、ベクトル(0,1,0,0)を算出する。
図5は、第1の実施形態に係る学習用特徴量算出部103が算出する特徴量の一例を示す図である。学習用特徴量算出部103は、図5の上部に示されている教師データを、下部に示されている特徴量のデータに変換する。図5に示されている特徴量を説明する。
属性「性別」は、二値(男が「0」、女が「1」)に変換されている。属性「年齢」は、文字データから整数に変換されている。属性「職業」は、「ベクトル(学生、会社員、主婦、公務員)」における対応する要素を「1」、その他の要素を「0」としたベクトルに変換されている。属性「都道府県」は、都道府県に割り振った数値(整数)に変換されている。属性「購入時間」は、小数2位までの数値(有理数)に変換されている。属性「店舗エリア」は、店舗エリアを示す数値(整数)に変換されている。属性「数(購入数)」は、元のデータが数値(整数)のため、そのまま整数の値となっている。属性「正誤」は、二値(正が「1」、誤が「0」)に変換されている。
ただし、情報処理装置10が用いる特徴量は、図5に限定されない。情報処理装置10は、図5と異なる特徴量を用いてもよい。
図1を参照した説明に戻る。
学習部104は、学習用特徴量算出部103が算出した特徴量を用いて、データにおける「確信度」を算出するモデルを作成及び学習する。学習部104における機械学習は、限定されない。学習部104は、例えば、使用する機械学習として、サポートベクタマシン、ニューラルネット、又は、ベイズ分類器を用いればよい。なお、教師データを用いているため、学習部104における学習は、教師あり学習である。
また、学習部104は、学習対象のモデルとして、予め保持するモデルを用いてもよい。あるいは、学習部104は、学習の際に、図示しない外部の装置からモデルを取得してもよい。
なお、情報処理装置10は、教師データとして特徴量を取得してもよい。この場合、学習部104が教師データを受信して学習を実行すればよい。そのため、この場合、情報処理装置10は、学習用特徴量算出部103を含まなくてもよい。
モデルの学習が終了すると、情報処理装置10は、対象データの匿名化を開始する。なお、教師データが対象データの一部を用いている場合、情報処理装置10は、以下の説明において、教師データに用いたデータを除いた対象データを用いる。
なお、対象データは、一般的な匿名化における前処理(例えば、識別子と不要な属性の削除)が終了したデータである。
匿名化前確信度算出部202は、匿名化の対象である対象データ(匿名化前データ)をモデルに適用して確信度(匿名化前確信度)を算出する。匿名化前確信度算出部202は、必要に応じて、学習用特徴量算出部103と同様のやり方を用いて、対象データの特徴量を算出する。
匿名化部201は、匿名化手法を取得する。そして、匿名化部201は、取得した匿名化手法を用いて、対象データを匿名化する。匿名化部201が用いる匿名化手法は、限定されない。例えば、匿名化部201は、「k−匿名化」、「l−多様化」及び/又は「t−近接化」などを用いてもよい。「l−多様化」は、「l」種類以上の属性を含むように、データを匿名化することである。「t−近接化」は、k-匿名化前後におけるデータの分布を近づけるように、データを匿名化することである。
匿名化部201が取得する匿名化手法の取得元は、限定されない。例えば、匿名化部201は、利用者の端末装置から評価対象となる匿名化手法を受信してもよい。あるいは、匿名化部201は、図示しない記憶装置に予め保存されている複数の匿名化から所定の選択規則に沿って、匿名化手法を選択してもよい。
匿名化強度算出部211は、匿名化部201が用いた匿名化手法に対する匿名化強度を算出する。
第1の実施形態に係る匿名化強度は、限定されない。匿名化強度は、匿名化手法及び想定ユースケースを基に決定されればよい。次に示す「数1」は、k−匿名化を用いた場合の匿名化強度Zの一例である。
[数1]
Z=(a・K)+b・(1/L)+(c・T)
数1において、「a」、「b」、及び「c」は、それぞれ、所定の重みである。「K」は、k−匿名化における「k(指標値)」である。「K」の値が多いほど(つまり、同じ値の属性の数が多いほど)、匿名化強度Zは、高くなる。「L」は、属性の数である。「L」の値の少ないほど(つまり、個人を特定するために組み合わせることができる属性が少ないほど)、匿名化強度Zは、高くなる。Tは、匿名化における汎化の程度を示す値である。例えば、Tは、時間を匿名化する場合における時間幅に対応した値である。具体的に例示すると、時間幅が1時間の場合にTを「1」とし、時間幅が2時間の場合にTを「2」とする。「T」の値が大きいほど(つまり、より範囲が広く匿名化されるほど)、匿名化強度Zは、高くなる。なお、匿名化強度Zは、正の値である。
ここまでの説明では、k−匿名化を用いて説明しているが、本実施形態は、k-匿名化に限定されない。例えば、情報処理装置10は、k−匿名化に加え、l−多様化及び/又はt−近接化を用いてもよい。この場合、情報処理装置10は、匿名化強度にこれらの匿名化の指標を追加してもよい。
匿名化後確信度算出部203は、匿名化部201において匿名化された匿名化後データをモデルに適用して確信度(匿名化後確信度)を算出する。匿名化後確信度算出部203は、匿名化前確信度算出部202と同様に、必要に応じて、学習用特徴量算出部103と同様のやり方を用いて、匿名化後のデータの特徴量を算出する。
評価値算出部204は、匿名化前確信度と、匿名化後確信度と、匿名化強度とを用いて、匿名化手法に対する評価値を算出する。
望ましい匿名化手法は、匿名化前確信度と匿名化後確信度のとの差が小さく(つまり、匿名化の前後で確信度の変化が少ない)、かつ、匿名化強度が大きい(つまり、個人が特定されにくい)匿名化手法である。そこで、評価値算出部204は、匿名化手法の評価値として、匿名化前確信度と匿名化後確信度との差が小さいと値が大きくなり、かつ、匿名化強度が高いと値が大きくなる評価値を算出する。
評価値Aの計算式の一例を、「数2」に示す。
[数2]
Figure 2019168144
数2において、右辺の第1項が、確信度の差の項である。第2項が、匿名化強度の項である。「d」及び「e」は、確信度の差と匿名化強度との比率を決める所定の重みである。「n」は、対象データの数である。「x」は、匿名化前確信度(つまり、対象データの確信度)である。「y」は、匿名化後確信度(つまり、匿名化後データの確信度)である。右辺の第1項は、匿名化の前後における確信度の変化の絶対値の平均値である。第2項のZは、上記で説明した匿名化強度である。
第1項は、匿名化前後の確信度の差が小さいほど0に近い負の値となり、確信度の差が大きいほど絶対値が大きな負の値となる。第2項は、匿名化強度が大きいほど大きな正の値となり、匿名化強度が小さいほど小さな正の値となる。
評価値算出部204は、算出した評価値を所定の装置(例えば、匿名化手法の評価を依頼した装置)に出力する。評価値算出部204は、図示しない表示装置に評価値を表示してもよい。
情報処理装置10は、一つに限られず、複数の匿名化手法の評価値を算出してもよい。
匿名化手法選択部205は、複数の匿名化手法の中から、評価値が最大となる匿名化手法、評価値が所定の閾値より大きい匿名化手法、又は、評価値が大きい方から所定の数の匿名化手法を選択する。そして、匿名化手法選択部205は、選択した匿名化手法を所定の装置に出力する。
あるいは、匿名化手法選択部205は、次のように動作してもよい。
匿名化手法選択部205は、評価値が所定の条件を満たすか否かを判定する。例えば、匿名化手法選択部205は、評価値が所定の閾値を越えているか否かを判定する。
評価値が所定の条件を満たさない場合、匿名化手法選択部205は、複数の匿名化手法の中から選択していない別の匿名化手法を選択する。そして、匿名化手法選択部205は、選択した匿名化手法を用いて、匿名化部201、匿名化後確信度算出部203、匿名化強度算出部211、及び評価値算出部204に同様動作を実行させ、選択した匿名化手法の評価値を取得する。匿名化手法選択部205は、評価値が所定の条件を満足するまで、匿名化手法を選択して各構成に同様の動作を繰り返させる。
評価値が所定の閾値を越えた場合、匿名化手法選択部205は、その匿名化手法を出力する。
このような動作を基に、情報処理装置10は、評価値が所定の条件を満足する匿名化手法を選択できる。
なお、情報処理装置10は、他の装置で学習したモデルを取得してもよい。この場合、情報処理装置10は、学習用特徴量算出部103と学習部104とを含まなくてもよい。
[動作の説明]
次に、図面を参照して、第1の実施形態に係る情報処理装置10の動作について説明する。
まず、図面を参照して、教師データを用いてモデルを学習するまでの動作を説明する。
図7は、第1の実施形態に係る情報処理装置10におけるモデルを作成する動作の一例を示すフロー図である。
学習用特徴量算出部103は、所定の記憶装置又は処理装置から教師データを取得する(ステップA301)。
学習用特徴量算出部103は、教師データから、確信度を算出するためのモデルの学習に用いる特徴量(学習用特徴量)を算出する(ステップA302)。
学習部104は、学習用特徴量を用いて、モデルを学習する(ステップA303)。
想定ユースケースが複数ある場合、学習用特徴量算出部103及び学習部104は、それぞれの想定ユースケースに対する教師データとモデルとを用いて、上記の動作を実行する。
次に、図面を参照して、匿名化手法の評価値を算出する動作を説明する。
図8は、第1の実施形態に係る情報処理装置10における匿名化手法の評価値を算出する動作の一例を示すフロー図である。
匿名化前確信度算出部202は、対象データ(匿名化前データ)をモデルに適用して匿名化前確信度を算出する(ステップB301)。
匿名化部201は、匿名化手法を用いて、対象データを匿名化する(ステップB304)。
匿名化強度算出部211は、匿名化手法の匿名化強度を算出する(ステップB305)。
匿名化後確信度算出部203は、匿名化された対象データ(匿名化後データ)をモデルに適用して、匿名化後データに対する確信度(匿名化後確信度)を算出する(ステップB306)。
評価値算出部204は、匿名化強度と、匿名化前確信度と、匿名化後確信度とを用いて、匿名化手法の評価値を算出する(ステップB307)。
評価値算出部204は、算出した評価値を出力する(ステップB309)。
このような動作を基に、情報処理装置10は、匿名化手法に対する評価値を出力する。
なお、情報処理装置10は、匿名化手法選択部205を用いて、複数の匿名化手法から、評価値が特定の条件(例えば、評価値が閾値より大きい)を満足する匿名化手法を選択してもよい。
図9は、第1の実施形態に係る匿名化手法選択部205の動作を含む情報処理装置10の動作の一例を示すフロー図である。図9において、図8と同様の動作の説明については、適宜省略する。
匿名化前確信度を算出後、匿名化手法選択部205は、匿名化手法を選択し、匿名化部201に渡す(ステップB303)。
匿名化手法選択部205のおける上記の動作の一例を説明する。匿名化前確信度算出部202は、匿名化前確信度を算出すると、匿名化手法選択部205に算出の終了を通知する。通知を受けると、匿名化手法選択部205は、複数の匿名化手法の中から、所定に規則に沿って最初に使用する匿名化手法を選択する。なお、2回目以降においては、匿名化手法選択部205は、取得した評価値を用いて、匿名化手法を選択する。そして、匿名化手法選択部205は、選択した匿名化手法を匿名化部201に渡す。そして、匿名化手法選択部205は、匿名化部201、匿名化後確信度算出部203、匿名化強度算出部211、及び評価値算出部204に既に説明した動作と同様動作を実行させ、選択した匿名化手法の評価値を取得する。ただし、上記の説明は、匿名化手法選択部205の動作の一例である。匿名化手法選択部205は、上記と異なるように動作してもよい。
情報処理装置10は、ステップB307までは、図8の同様に動作する。
匿名化手法選択部205は、評価値が所定の条件を満足するか否かを判定する(ステップB308)。
条件を満たさない場合(ステップB308でNo)、情報処理装置10は、ステップB303に戻る。そして、匿名化手法選択部205は、次の匿名化手法を選択する。以降、情報処理装置10は、条件を満足するまで動作を繰り返す。
条件を満たす場合(ステップB308でYes)、情報処理装置10は、評価手法を出力する(ステップB310)。なお、この場合、匿名化手法選択部205は、匿名化手法に合わせて評価値を出力してもよい。あるいは、匿名化手法選択部205は、評価値算出部204に評価値の出力を依頼してもよい。
[効果の説明]
次に、第1の実施形態に係る情報処理装置10の効果を説明する。
このように、第1の実施形態に係る情報処理装置10は、匿名化の比較に用いるための値を算出するとの効果を得ることができる。
その理由は、次のとおりである。
情報処理装置10は、匿名化前確信度算出部202と、匿名化部201と、匿名化後確信度算出部203と、匿名化強度算出部211と、評価値算出部204とを含む。匿名化前確信度算出部202は、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出する。匿名化部201は、匿名化前データに匿名化手法を適用して匿名化後データを作成する。匿名化強度算出部211は、匿名化手法の匿名化強度を算出する。匿名化後確信度算出部203は、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出する。評価値算出部204は、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する。
上記構成は、モデルと、匿名化手法と、対象データとが決まると、自動的に評価値を算出する。そのため、情報処理装置10の利用者は、情報処理装置10が算出した評価値を用いて、匿名化手法を判定することができる。例えば、利用者が複数の匿名化手法の中から適切な匿名化手法を選択する場合、利用者は、情報処理装置10を用いて全ての匿名化手法の評価値を算出し、最も評価値が高い匿名化手法を選択すればよい。
さらに、情報処理装置10は、評価値を所定の条件を満たす匿名化手法を提供するとの効果を奏することができる。
その理由は、情報処理装置10が、匿名化手法選択部205の動作を基に、評価値が所定の条件を満足するまで、匿名化手法の選択と、選択した匿名化手法の評価値の算出を繰り返し、所定の条件を満足する匿名化手法を出力するためである。
さらに、情報処理装置10は、確信度の精度を向上するとの効果を奏することができる。
その理由は、情報処理装置10が、教師データを基に確信度を算出するモデルを学習する学習部104を含むためである。
[実施形態の概要]
次に、図面を参照して、第1の実施形態に係る情報処理装置10の概要を説明する。
図10は、第1の実施形態に係る情報処理装置10の概要である情報処理装置15の構成の一例を示すブロック図である。
情報処理装置15は、匿名化前確信度算出部202と、匿名化部201と、匿名化後確信度算出部203と、匿名化強度算出部211と、評価値算出部204とを含む。匿名化前確信度算出部202は、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出する。匿名化部201は、匿名化前データに匿名化手法を適用して匿名化後データを作成する。匿名化強度算出部211は、匿名化手法の匿名化強度を算出する。匿名化後確信度算出部203は、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出する。評価値算出部204は、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する。
上記構成は、モデルと、匿名化手法と、対象データとが決まると、自動的に評価値を算出する。そのため、情報処理装置15の利用者は、評価値を用いて、匿名化手法を比較することができる。
情報処理装置15は、情報処理装置10と同様の効果を奏することができる。
その理由は、上記の情報処理装置15の構成が、対応する情報処理装置10の構成と同様に動作するためである。
なお、情報処理装置15は、第1の実施形態の最小構成である。
[ハードウェア構成]
図面を参照して、第1の実施形態に係る情報処理装置10のハードウェアを説明する。
例えば、情報処理装置10の各構成部は、ハードウェア回路で構成されてもよい。
あるいは、情報処理装置10において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。
あるいは、情報処理装置10において、複数の構成部は、1つのハードウェアで構成されてもよい。
あるいは、情報処理装置100は、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)とを含むコンピュータ装置として実現されてもよい。情報処理装置100は、上記構成に加え、さらに、入出力接続回路(IOC:Input and Output Circuit)を含むコンピュータ装置として実現されてもよい。情報処理装置100は、上記構成に加え、さらに、ネットワークインターフェース回路(NIC:Network Interface Circuit)を含むコンピュータ装置として実現されてもよい。
図11は、第1の実施形態に係る情報処理装置100のハードウェア構成の一例である情報処理装置600の構成を示すブロック図である。
情報処理装置600は、CPU610と、ROM620と、RAM630と、内部記憶装置640と、IOC650と、NIC680とを含み、コンピュータ装置を構成している。
CPU610は、ROM620からプログラムを読み込む。そして、CPU610は、読み込んだプログラムに基づいて、RAM630と、内部記憶装置640と、IOC650と、NIC680とを制御する。そして、CPU610を含むコンピュータは、これらの構成を制御し、図1に示されている各構成の機能を実現する。各構成とは、学習用特徴量算出部103、学習部104、匿名化前確信度算出部202と、匿名化部201と、匿名化後確信度算出部203と、評価値算出部204と、匿名化手法選択部205とである。
CPU610は、各機能を実現する際に、RAM630又は内部記憶装置640を、プログラムの一時記憶媒体として使用してもよい。
また、CPU610は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体700が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、CPU610は、NIC680を介して、図示しない外部の装置からプログラムを受け取り、RAM630又は内部記憶装置640に保存して、保存したプログラムを基に動作してもよい。
ROM620は、CPU610が実行するプログラム及び固定的なデータを記憶する。ROM620は、例えば、P−ROM(Programmable−ROM)又はフラッシュROMである。
RAM630は、CPU610が実行するプログラム及びデータを一時的に記憶する。RAM630は、例えば、D−RAM(Dynamic−RAM)である。
内部記憶装置640は、情報処理装置600が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置640は、CPU610の一時記憶装置として動作してもよい。内部記憶装置640は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)又はディスクアレイ装置である。
ここで、ROM620と内部記憶装置640は、不揮発性(non−transitory)の記憶媒体である。一方、RAM630は、揮発性(transitory)の記憶媒体である。そして、CPU610は、ROM620、内部記憶装置640、又は、RAM630に記憶されているプログラムを基に動作可能である。つまり、CPU610は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。
IOC650は、CPU610と、入力機器660及び表示機器670とのデータを仲介する。IOC650は、例えば、IOインターフェースカード又はUSB(Universal Serial Bus)カードである。さらに、IOC650は、USBのような有線に限らず、無線を用いてもよい。
入力機器660は、情報処理装置600の操作者からの入力指示を受け取る機器である。入力機器660は、例えば、キーボード、マウス又はタッチパネルである。
表示機器670は、情報処理装置600の操作者に情報を表示する機器である。表示機器670は、例えば、液晶ディスプレイである。
NIC680は、図示しない外部の装置とのネットワークを介したデータのやり取りを中継する。NIC680は、例えば、LAN(Local Area Network)カードである。さらに、NIC680は、有線に限らず、無線を用いてもよい。NIC680は、モデル、対象データ、及び匿名化手法を受信する。さらに、NIC680は、教師データを受信する。
このように構成された情報処理装置600は、情報処理装置10と同様の効果を得ることができる。
その理由は、情報処理装置600のCPU610が、プログラムに基づいて情報処理装置10と同様の機能を実現できるためである。
[情報処理システム]
図面を参照して、情報処理装置10を含む情報処理システム50の一例を説明する。
図12は、第1の実施形態に係る情報処理装置10を含む情報処理システム50の構成の一例を示すブロック図である。情報処理システム50は、情報処理装置10と、データ格納装置30と、表示装置40とを含む。
各装置は、所定の通信網を用いて接続されている。
データ格納装置30は、匿名化の対象となるデータ(対象データ)を格納する。さらに、データ格納装置30は、教師データを格納する。なお、情報処理装置10が、教師データとして、匿名化の対象となるデータの一部を用いる場合、データ格納装置30は、匿名化の対象となるデータとは別に教師データを保持せず、教師データとして用いるデータの範囲を保持してもよい。さらに、データ格納装置30は、匿名化手法を保持してもよい。
データ格納装置30は、さらにモデル(学習前のモデル)を保持してもよい。この場合、情報処理装置10は、データ格納装置30からモデルを取得する。
情報処理装置10は、データ格納装置30から、教師データと、匿名化の対象となるデータと、匿名化手法とを取得する。
そして、情報処理装置10は、上記の動作を基に匿名化手法の評価値を算出し、算出した評価値を表示装置40に送信する。情報処理装置10は、評価値に合わせて、匿名化手法及び/又は匿名化後データを送信してもよい。
表示装置40は、受信した評価値を表示する。表示装置40は、他の情報(匿名化手法など)を表示してもよい。
情報処理システム50の利用者は、表示された評価値などを基に、匿名化手法を判定すればよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2018年 3月 2日に出願された日本出願特願2018−037117を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、所定の解析等に利用するために、データ内に含まれる個人情報を匿名化する際に利用可能である。
10 情報処理装置
15 情報処理装置
30 データ格納装置
40 表示装置
50 情報処理システム
103 学習用特徴量算出部
104 学習部
201 匿名化部
202 匿名化前確信度算出部
203 匿名化後確信度算出部
204 評価値算出部
205 匿名化手法選択部
211 匿名化強度算出部
600 情報処理装置
610 CPU
620 ROM
630 RAM
640 内部記憶装置
650 IOC
660 入力機器
670 表示機器
680 NIC
700 記憶媒体
本発明の一形態におけるプログラムは、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出する処理と、匿名化前データに匿名化手法を適用して匿名化後データを作成する処理と、匿名化手法の匿名化強度を算出する処理と、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出する処理と、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する処理とをコンピュータに実行させる

Claims (6)

  1. 確信度を算出するモデルを用いて匿名化前データにおける前記確信度である匿名化前確信度を算出する匿名化前確信度算出手段と、
    前記匿名化前データに匿名化手法を適用して匿名化後データを作成する匿名化手段と、
    前記匿名化手法の匿名化強度を算出する匿名化強度算出手段と、
    前記モデルを用いて、前記匿名化後データにおける前記確信度である匿名化後確信度を算出する匿名化後確信度算出手段と、
    前記匿名化前確信度と前記匿名化後確信度との差と、前記匿名化強度とを基に前記匿名化手法の評価値を算出する評価値算出手段と
    を含む情報処理装置。
  2. 前記評価値が所定の条件を満たすか否かを判定し、
    前記評価値が前記条件を満たさない場合に、前記評価値が前記条件を満たすまで、別の前記匿名化手法を選択して、前記匿名化手段、前記匿名化強度算出手段、前記匿名化後確信度算出手段、及び、前記評価値算出手段に、同様の動作を繰り返させる
    匿名化選択手段をさらに含む
    請求項1に記載の情報処理装置。
  3. 教師データを用いて前記モデルを学習する学習手段
    をさらに含む請求項1又は2に記載の情報処理装置。
  4. 前記教師データを取得し、前記教師データを基に前記モデルが用いる特徴量を算出する学習用特徴量算出手段を、
    をさらに含む請求項3に記載の情報処理装置。
  5. 確信度を算出するモデルを用いて匿名化前データにおける前記確信度である匿名化前確信度を算出し、
    前記匿名化前データに匿名化手法を適用して匿名化後データを作成し、
    前記匿名化手法の匿名化強度を算出し、
    前記モデルを用いて、前記匿名化後データにおける前記確信度である匿名化後確信度を算出し、
    前記匿名化前確信度と前記匿名化後確信度との差と、前記匿名化強度とを基に前記匿名化手法の評価値を算出する
    情報処理方法。
  6. 確信度を算出するモデルを用いて匿名化前データにおける前記確信度である匿名化前確信度を算出する処理と、
    前記匿名化前データに匿名化手法を適用して匿名化後データを作成する処理と、
    前記匿名化手法の匿名化強度を算出する処理と、
    前記モデルを用いて、前記匿名化後データにおける前記確信度である匿名化後確信度を算出する処理と、
    前記匿名化前確信度と前記匿名化後確信度との差と、前記匿名化強度とを基に前記匿名化手法の評価値を算出する処理と
    をコンピュータに実行させるプログラムを記録する記録媒体。
JP2020503639A 2018-03-02 2019-03-01 情報処理装置、情報処理方法、及び、プログラム Active JP7151759B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018037117 2018-03-02
JP2018037117 2018-03-02
PCT/JP2019/008017 WO2019168144A1 (ja) 2018-03-02 2019-03-01 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019168144A1 true JPWO2019168144A1 (ja) 2020-12-10
JP7151759B2 JP7151759B2 (ja) 2022-10-12

Family

ID=67805479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503639A Active JP7151759B2 (ja) 2018-03-02 2019-03-01 情報処理装置、情報処理方法、及び、プログラム

Country Status (2)

Country Link
JP (1) JP7151759B2 (ja)
WO (1) WO2019168144A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021144833A1 (ja) * 2020-01-14 2021-07-22 三菱電機株式会社 匿名加工評価システム、匿名加工評価方法および匿名加工評価プログラム
JP7219734B2 (ja) * 2020-03-25 2023-02-08 Kddi株式会社 評価装置、評価方法及び評価プログラム
JP7359063B2 (ja) 2020-03-31 2023-10-11 富士通株式会社 生成方法、生成プログラム、および生成装置
US20220083822A1 (en) * 2020-09-11 2022-03-17 Actapio, Inc. Classification apparatus, classification method, a non-transitory computer-readable storage medium
JP7453707B2 (ja) 2022-07-27 2024-03-21 Aicro株式会社 個人情報匿名化システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013088681A1 (ja) * 2011-12-15 2013-06-20 日本電気株式会社 匿名化装置、匿名化方法、並びにコンピュータ・プログラム
JP2016095641A (ja) * 2014-11-13 2016-05-26 ニフティ株式会社 評価生成装置、評価生成方法および評価生成プログラム
JP2016139261A (ja) * 2015-01-27 2016-08-04 株式会社エヌ・ティ・ティ ピー・シー コミュニケーションズ 匿名化処理装置、匿名化処理方法及びプログラム
JP2016181196A (ja) * 2015-03-25 2016-10-13 日本電気株式会社 情報処理装置、情報処理方法およびプログラム
JP2017027137A (ja) * 2015-07-16 2017-02-02 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
US20170221081A1 (en) * 2014-09-30 2017-08-03 Pcms Holdings, Inc. System and method for use in a secure personal data marketplace

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013088681A1 (ja) * 2011-12-15 2013-06-20 日本電気株式会社 匿名化装置、匿名化方法、並びにコンピュータ・プログラム
US20170221081A1 (en) * 2014-09-30 2017-08-03 Pcms Holdings, Inc. System and method for use in a secure personal data marketplace
JP2016095641A (ja) * 2014-11-13 2016-05-26 ニフティ株式会社 評価生成装置、評価生成方法および評価生成プログラム
JP2016139261A (ja) * 2015-01-27 2016-08-04 株式会社エヌ・ティ・ティ ピー・シー コミュニケーションズ 匿名化処理装置、匿名化処理方法及びプログラム
JP2016181196A (ja) * 2015-03-25 2016-10-13 日本電気株式会社 情報処理装置、情報処理方法およびプログラム
JP2017027137A (ja) * 2015-07-16 2017-02-02 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
小栗 秀暢: "匿名加工・再識別コンテストを通じた情報流通プラットフォームの検討", 情報処理学会 研究報告 マルチメディア通信と分散処理(DPS) 2016−DPS−166 [ONLI, JPN6019019938, 25 February 2016 (2016-02-25), JP, pages 1 - 8, ISSN: 0004779340 *
山口 高康: "差分プライバシに基づく一括開示と対話開示のデータ有用性の評価", 電子情報通信学会技術研究報告 VOL.116 NO.131, vol. 第116巻, JPN6019019936, 7 July 2016 (2016-07-07), JP, pages 209 - 216, ISSN: 0004779339 *
福嶋 雄也: "匿名化に用いられる安全性指標の比較評価", 2017年 暗号と情報セキュリティシンポジウム(SCIS2017)予稿集 [USB] 2017年 暗, JPN6019019941, 24 January 2017 (2017-01-24), pages 1 - 5, ISSN: 0004779341 *

Also Published As

Publication number Publication date
JP7151759B2 (ja) 2022-10-12
WO2019168144A1 (ja) 2019-09-06

Similar Documents

Publication Publication Date Title
JP7151759B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Zaeem et al. The effect of the GDPR on privacy policies: Recent progress and future promise
CN111316273B (zh) 认知数据匿名化
US11036886B2 (en) Iterative execution of data de-identification processes
US10289869B2 (en) Personal information anonymization method, recording medium, and information processing apparatus
US10685138B2 (en) Re-identification risk measurement estimation of a dataset
US11222731B2 (en) Balancing provenance and accuracy tradeoffs in data modeling
KR102345142B1 (ko) 개인정보 보호를 위한 비식별화 방법 및 장치
JP2021507360A (ja) データを非特定化する方法、データを非特定化するためのシステム、および非データを特定化するためのコンピュータ・プログラム
JP2019527409A (ja) 個人情報の非識別化方法および装置
US20210089667A1 (en) System and method for implementing attribute classification for pii data
US20210049282A1 (en) Simulated risk contribution
CA2913561A1 (en) Determining journalist risk of a dataset using population equivalence class distribution estimation
Louzada et al. A zero-inflated non default rate regression model for credit scoring data
US20190294594A1 (en) Identity Data Enhancement
US20190303273A1 (en) Establishing a Proficiency Baseline for any Domain Specific Natural Language Processing
CN110751501A (zh) 新零售模式下的商品导购方法、装置、设备及存储介质
US20150199358A1 (en) System and Method For Providing Unidimensional Scale Extraction from a Multidimensional Entity
US20140324524A1 (en) Evolving a capped customer linkage model using genetic models
CN114170000A (zh) 信用卡用户风险类别识别方法、装置、计算机设备和介质
WO2016021039A1 (ja) k-匿名化処理システム及びk-匿名化処理方法
CN114023407A (zh) 一种健康档案缺失值补全方法、系统以及存储介质
US20230297880A1 (en) Cognitive advisory agent
KR102645612B1 (ko) 데이터 가치 산출 방법과 시스템
KR102466112B1 (ko) 직무에 적합한 전공 추천 서비스 제공 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151