JP5785617B2 - データ・セットを取り扱うための方法及び構成、データ処理プログラム及びコンピュータ・プログラム製品 - Google Patents

データ・セットを取り扱うための方法及び構成、データ処理プログラム及びコンピュータ・プログラム製品 Download PDF

Info

Publication number
JP5785617B2
JP5785617B2 JP2013527511A JP2013527511A JP5785617B2 JP 5785617 B2 JP5785617 B2 JP 5785617B2 JP 2013527511 A JP2013527511 A JP 2013527511A JP 2013527511 A JP2013527511 A JP 2013527511A JP 5785617 B2 JP5785617 B2 JP 5785617B2
Authority
JP
Japan
Prior art keywords
value
data set
data
metric
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013527511A
Other languages
English (en)
Other versions
JP2013541754A (ja
Inventor
セイレット、ヤニック
オーバーホーファー、マーティン
サイフェルト、ジェンズ
ネルケ、セバスチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2013541754A publication Critical patent/JP2013541754A/ja
Application granted granted Critical
Publication of JP5785617B2 publication Critical patent/JP5785617B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、一般に、データ管理の分野に関し、より具体的には、データ・セットを取り扱うための方法及び構成に関する。さらに具体的には、本発明は、データ・セットを取り扱うためのデータ処理プログラム及びコンピュータ・プログラム製品に関する。
データ統合プロジェクトにおける課題は常に、理解することが必要とされるデータ・ソースの量である。企業の情報技術（ＩＴ）アプリケーションは通常、数千個もの表の使用を伴い、これらの表の各々が数百もの列を含む。これらの列の各々の意味及びセマンティックは、文書化されていない場合が多く、統合作業を開始することができるようになる前にデータを理解することは、単調ではあるが不可欠なタスクである。
このタスクを容易にするために、ＩＢＭ ＩｎｆｏＳｐｈｅｒｅ Ｉｎｆｏｒｍａｔｉｏｎ Ａｎａｌｙｚｅｒのような、ユーザがデータ・ソースを理解して文書化することを、これらのソースに含まれたデータを直接見て調べることによって支援するためのデータ理解ツールが考案されている。
このようなツールに共通する特徴は、解析される各列について、列の濃度、最小／最大値、最頻値などの一般統計量を計算すること、単一の列内にどのような異なる値が含まれているのか、そしてそれら異なる値がどのような頻度であるかをユーザに示す値分布、その列の値がどのような異なる形式を使用しているか（例えば、ＺＩＰコードが、その事例の６０％では５桁の値として表され、事例の４０％では５桁の値に４桁の値が続く形で表されていること）をユーザに示す形式解析、データベースのメタデータ内で定義されたその列のデータ型とは独立して、その列の値が実際にはどのような型式を使用しているか（例えば、記号ベースの列が、記号列としてコード化された数値のみを含み得ること）をユーザに示す推論された型式、及び、例えばその列がフリーテキスト、数字又はコードを含んでいるというような基本的なデータ分類である。
上記のＩｎｆｏｒｍａｔｉｏｎ Ａｎａｌｙｚｅｒのような高度なデータ・プロファイリング・ツールは、さらに、列のデータから特定の領域（ドメイン）を検出する専用アルゴリズムの使用を可能にする。例えば、正規表現又は値の辞書を使用することにより、そのようなアルゴリズムは、ある列が、ＺＩＰコード、米国内住所、個人名、電子メールアドレス、電話番号などを含んでいることを検出することが可能であり得る。
列をその列が含む値に基づいて分類するこの能力は、暗号化された物理ソースをセマンティック情報と共に文書化し、ユーザが良く理解できるビジネス用語又は論理モデルへとこれをマッピングすることを容易にするので、重要である。しかしながら、技術的現状において、データの分類に用いられるアルゴリズムはその領域独自のものである。米国内住所、人名などのような古典的な領域については、そのまますぐ使える専用アルゴリズムが供給される。しかしながら、製品参照、企業コード、チケット・レポートなどのような会社独自の領域、又は、例えばベルギー国内の郵便番号のような一般的でない領域については、その特定の領域に関する新たなアルゴリズムを記述してツールにプラグインしなければならない。このようなアルゴリズムの開発には特別な知識が必要とされるので、ユーザは通常、そのデータの大部分を、データを見て調べ、専門知識を用いてその領域を認識することにより、手動で分類しなければならない。個々の列ごとのデータは、その列のセマンティックが別の列で用いられている場合であっても手動で評価しなければならないので、これは時間のかかる作業である。
Ｌｉｎｇｅｎｆｅｌｄｅｒ他による特許文献１「ＭＥＴＨＯＤ ＦＯＲ ＭＡＰＰＩＮＧ Ａ ＤＡＴＡ ＳＯＵＲＣＥ ＴＯ Ａ ＤＡＴＡ ＴＡＲＧＥＴ」において、データベース・ソースからの少なくとも１つのデータ列をデータ・ターゲットの少なくとも１つのデータ列にマッピングするための方法が開示されている。開示された方法においては、データ・ターゲットの少なくとも１つの参照列と、少なくとも１つのデータベース・ソース列とが定義される。さらに、データ列に含まれるデータと参照列との比較が行われる。最後に、データ列と参照列との間でのマッピング候補が決定される。
米国特許出願公開第２００８／０２０８８５５ Ａ１号明細書
本発明の根底にある技術的課題は、専用アルゴリズムの使用を必要とすることなく、かつ、上記の欠点及び短所を伴わずに、いかなる領域内のデータの分類をも容易にすることができる、データ・セットを取り扱うための方法及び構成を提供すること、並びに、データ・セットを取り扱うための方法を実施するためのデータ処理プログラム及びコンピュータ・プログラム製品を提供することである。
本発明によれば、この課題は、請求項１の特徴を有する、データ・セットを取り扱うための方法、請求項１３の特徴を有する、データ・セットを取り扱うための構成、請求項１４の特徴を有するデータ処理プログラム、及び請求項１５の特徴を有するコンピュータ・プログラム製品を提供することにより解決される。本発明の有利な実施形態は、従属請求項において言及される。
したがって、本発明の１つの実施形態において、データ・セットを取り扱うための方法は、第１のデータ・セットに関連付けられた第１の特性、並びに、単一データ値、及び、第２のデータ・セットに関連付けられた第２の特性のうちの少なくとも一方を提供するステップであって、提供された特性が、第１のデータ・セット、第２のデータ・セット及び単一データ値の実行可能な比較を可能にする、ステップと、第１及び第２の特性に基づく第１のデータ・セットと第２のデータ・セットとの類似性、第１の特性及び単一データ値に基づく第１のデータ・セットと単一データ値との類似性、第１の特性に基づく、第１の特性が第１のデータ・セットの性質をどの程度良く反映しているかを示す信頼性、及び、第１の特性及び単一データ値に基づく、第１のデータ・セットと単一データ値との類似性が単一データ値の性質をどの程度良く反映しているかを示す信頼性、のうちの少なくとも１つを計算するステップとを含む。
本発明の更なる実施形態において、第１の特性は、メトリック値の集合を含み、メトリック値の集合内のそれぞれのメトリック値の各々は、第１のデータ・セットに対してそれぞれのメトリック・アルゴリズムを適用することにより計算され、各々のメトリック・アルゴリズムは、メトリック値の集合内のそれぞれのメトリック値、並びに、単一データ値に適用された同じメトリック・アルゴリズムの値及び第２のデータ・セットに適用された同じメトリック・アルゴリズムの値のうちの少なくとも一方に基づく、少なくとも１つの類似性値と、メトリック値の集合内のそれぞれのメトリック値、並びに、単一データ値に適用された同じメトリック・アルゴリズムの値及び第２のデータ・セットに適用された同じメトリック・アルゴリズムの値のうちの少なくとも一方に基づく、少なくとも１つの信頼性値とを提供する。
本発明の更なる実施形態において、各々のメトリック・アルゴリズムは、第１の類似性値を、第１のデータ・セットのそれぞれのメトリック値及び第２のデータ・セットに適用された同じメトリック・アルゴリズムのメトリック値に基づいて計算するための第１の類似性関数と、メトリック・アルゴリズムが第１のデータ・セットの性質をどの程度良く反映しているかを示す第１の信頼性値を、第１のデータ・セットに基づいて計算するための第１の信頼性関数とを、少なくとも用いている。
本発明の更なる実施形態において、各々のメトリック・アルゴリズムは、第２の類似性値を、第１のデータ・セットのそれぞれのメトリック値及び単一データ値に適用された同じメトリック・アルゴリズムのメトリック値に基づいて計算するための第２の類似性関数と、メトリック・アルゴリズムが単一データ値の性質をどの程度良く反映しているかを示す第２の信頼性値を、第１のデータ・セットのそれぞれのメトリック値に基づいて計算するための第２の信頼性関数とを、少なくとも用いている。
本発明の更なる実施形態において、本方法は、第１のデータ・セットと第２のデータ・セットとの類似性、及び第１のデータ・セットと単一データ値との類似性のうちの少なくとも一方を決定するために、少なくとも１つのメトリック・アルゴリズムにより提供される類似性値の加重平均を計算するステップと、第１のデータ・セットと第２のデータ・セットとの類似性を決定するための重みとして、少なくとも第１の信頼性値を用いるステップと、第１のデータ・セットと単一データ値との類似性を決定するための重みとして、少なくとも第２の信頼性値を用いるステップとを含む。
本発明の更なる実施形態において、第１の特性に関連付けられたメトリック・アルゴリズムは、一般統計量メトリック・アルゴリズム、最頻形式メトリック・アルゴリズム、最頻単語メトリック・アルゴリズム、ｎグラム・メトリック・アルゴリズム、及びニューラル・ネットワークに基づくメトリック・アルゴリズムのうちの少なくとも１つを含む。
本発明の更なる実施形態において、第１のデータ・セットに関連付けられた第１の特性と第２のデータ・セットに関連付けられた第２の特性とが異なるメトリック・アルゴリズムを含んでいる場合に、共通のメトリック・アルゴリズム及びそれぞれのメトリック値が類似性の計算に用いられる。
本発明の更なる実施形態において、本方法は、第１の特性をメタデータ・リポジトリ内に格納するステップを含む。
本発明の更なる実施形態において、本方法は、第１及び第２の特性に基づいて、第１のデータ・セット及び第２のデータ・セットのうちの少なくとも一方の領域を決定するステップを含む。
本発明の更なる実施形態において、本方法は、第２の類似性値が所定の条件を満たさない場合に、第２の類似性値に基づいて、単一データ値が第１のデータ・セットの領域と矛盾すると決定するステップ、及び、第２の類似性値が所定の条件を満たす場合に、第２の類似性値に基づいて、単一データ値が第１のデータ・セットの領域と矛盾しないと決定するステップのうちの少なくとも一方を含む。
本発明の更なる実施形態において、本方法は、第１のデータ・セットを、第１の特性に基づいて、データ変換におけるマッピング候補として検出するステップを含む。
本発明の別の実施形態において、データ・セットを取り扱うための構成は、第１のデータ・セットに関連付けられた第１の特性、並びに、単一データ値、及び、第２のデータ・セットに関連付けられた第２の特性のうちの少なくとも一方を提供する手段であって、提供された特性が、第１のデータ・セット、第２のデータ・セット及び単一データ値の実行可能な比較を可能にする、手段と、第１及び第２の特性に基づく第１のデータ・セットと第２のデータ・セットとの類似性、第１の特性及び単一データ値に基づく第１のデータ・セットと単一データ値との類似性、第１の特性に基づく、第１の特性が第１のデータ・セットの性質をどの程度良く反映しているかを示す信頼性、及び、第１の特性及び単一データ値に基づく、第１のデータ・セットと単一データ値との類似性が単一データ値の性質をどの程度良く反映しているかを示す信頼性のうちの少なくとも１つを計算するための手段とを含む。
本発明の別の実施形態において、データ処理システム内での実行のためのデータ処理プログラムは、該プログラムがデータ処理システム上で実行されたときにデータ・セットを取り扱う方法を実施するための、ソフトウェア・コード部分を含む。
本発明のさらに別の実施形態において、コンピュータ使用可能媒体上に格納されたコンピュータ・プログラム製品は、該プログラムがデータ処理システム上で実行されたときにデータ・セットを取り扱う方法をコンピュータに実施させるための、コンピュータ可読プログラム手段を含む。
全体的に見て、本発明の実施形態は、専用アルゴリズムの使用を必要とすることなく、いかなる領域内のデータの分類をも容易にするシステムを提供する。さらに、本発明の実施形態は、対応するデータ・セットの領域に適合しない値を、領域とは独立的した方式で自動的に検出することを容易にするシステムを提供する。
従って、本発明の実施形態は、データ統合プロジェクトにおいて統合されるデータの質を評価する。データが人間により入力されたものである場合、例えば、コール・センタのオペレータによって記入される入力マスクからのデータの場合には、特定の列に入力されたデータ値がその列の領域に対応していないことが非常に頻繁に生じる。よくある例は、電話番号が含まれるべきフィールド内に、電話番号が入手できないがそのアプリケーションがこのフィールドに値を要求するという理由で、オペレータが電子メールアドレスを入力する場合である。別の例は、人々が、必須のフィールドに、何を記入していいかわからない、又は正しい値を有していないなどの理由で、でたらめな文字の組み合わせ、又は単純に「−」を記入する場合である。データの質を評価するために、及び、新たなターゲット・システム内にロードされる前にこれらのデータ値を訂正するためには、各列がどのような共通の無効値の型式を含んでいる可能性があるのかを理解すること、及び、それらの無効値を検出することが重要である。
技術的現状において、この問題は、各列について値分布及び形式分布を計算して、何が有効／無効な値／形式であるかをユーザが定義することを可能にする、上記のＩｎｆｏｒｍａｔｉｏｎ Ａｎａｌｙｚｅｒのようなデータ・プロファイリング・ツールを用いることによって表面化する。このツールは、データを表示して記述することによってユーザをサポートするに過ぎない。ユーザは、所与の列について、どの値が有効であり、どの値が無効であるかを手動で決定しなければならない。その後で、ツールは、指定された列の値がユーザによって定義された基準を満たさない全ての行を見つけ出すことが可能になる。この手法は、ユーザが各列を検討して、その列の値に対して１つ又は複数の有効性基準を定義することを必要とするので、非常に時間がかかる。その他にも、特定の型式の列を取り扱うことは、この機構には非常に困難である。例えば、限定されたカテゴリ値の集合を含む列、例えば「Ｍ」及び「Ｆ」という２つの異なる値のみを有することができる性別の列ついて、何が有効値であるか否かを明示的に指定することによって定義することは、時間はかかるが簡単である。ＺＩＰコード、ＳＳＮ番号、電話番号、電子メールアドレスのような特定の形式に従う値を含む列について、各々の値がその列の領域に所属するか否かを実証する正規表現を定義することもまた、時間はかかるが実行可能である。他方おいて、人名、会社名、又は、一意の値及び繰り返し可能ではない形式を含むいずれかの型式のデータのような、構造化されていない又は標準化されていないデータを含む列については、このような規則を定義することは困難であり、むしろ不可能である。
本発明の中核となる着想は、各データ・セットについて、例えば列などの対応するデータ・セット内に含まれるデータのクラスを特徴付ける「フィンガープリント」と呼ばれる特性を自動的に計算することである。このようなフィンガープリントは、そのデータの異なる態様を捕捉する幾つかのメトリックから成る。フィンガープリントを構成する各メトリックは、対応するメトリック・アルゴリズムを用いて計算される。提案されるメトリックに関する詳細は本開示において後ほど説明するが、メトリックの例は、データ・セットの全てのデータ値の中の各々の記号又は記号の組み合わせの頻度を計量するメトリック、データ・セットのデータ値の中で最も頻度の高い語又は形式を計量するメトリック、データ・セットのデータ値についての平均長、文字又は数字の割合などの多様な統計量を計量するメトリックなどであり得る。また、「フィンガープリント概念」は特定のメトリック・アルゴリズムに依存しないので、新たなメトリック・アルゴリズムをシステムに追加することができる。使用される各メトリック・アルゴリズムは、あるデータ・セットと、判定すべき別のデータ・セットに属する同じ型式のメトリック・アルゴリズムとの間の類似性スコアを、これら２つのデータ・セットが類似のデータ値を含む場合にすばやく計算すること、及び、あるデータ・セットと判定すべき単一データ値との間の類似性スコアを、このデータ値がこのデータ・セットに属する可能性がある場合にすばやく計算することを可能にする方法を提供するものであるべきである。
メトリック・アルゴリズムのうちの幾つかは、データ・セット内のデータの型式に依存して、より妥当である場合も、又はあまり妥当ではない場合もある。例えば、最頻形式を捕捉するメトリック・アルゴリズムは、例えば住所フィールドのように非常に多数の形式を有するデータを含むデータ・セットに対してはあまり良い代表とはならないが、他方、例えばＺＩＰコードのような一定の形式を有する値を含むデータ・セットに対しては非常に妥当である。この理由で、各メトリック・アルゴリズムは、それが属するデータ・セットに対するそのメトリック・アルゴリズムの信頼性を計算する方法を提供することができるものであるべきである。そのため、本発明の実施形態で用いられるメトリック・アルゴリズムは、２つの異なるデータ・セットに属する２つのフィンガープリント間の類似性スコア、又はフィンガープリントと１つの単一データ値との間の類似性スコアをすばやく計算することを可能にする。
２つのデータ・セットの２つのフィンガープリントを比較する場合、低スコアは、２つのデータ・セット間に領域の一致がないことを示す。従って、この２つのデータ・セットは異なって見えるデータを含んでいる。１００％に近いスコアは、２つのデータ・セットの間の領域の一致を示す。従って、この２つのデータ・セットは、データが、類似の特性を提示しているので、同じ型式のデータを含んでいる可能性が高い。
フィンガープリントを単一データ値と比較する場合、低スコアは、その値がそのデータ・セットの領域に良く一致しないことを示す。１００％に近い値は、その値が、フィンガープリントを所有するデータ・セットの値の領域と矛盾しないことを示す。単一データ値をデータ・セットのフィンガープリントと比較するために、データ・セットのフィンガープリントを決定するために用いられたメトリック・アルゴリズムが、単一データ値の対応するフィンガープリントを決定するためにも用いられる。
データ・セットを解析するときに、各データ・セットのフィンガープリントを計算するために時間費用が高い努力を要する。一旦計算されると、このフィンガープリントは、シリアル化され、解析されたデータ・セットのメタデータに添付することができ、容易に取り出すことができる。２つのフィンガープリントを互いに比較する操作、又は１つのフィンガープリントをデータ値と比較する操作はこれに比べて低費用なので、多数の列の対を短時間で互いに比較することができる。
一旦、各データ・セットについてフィンガープリントが計算され（これはデータ解析操作中に行われる）、メタデータ・リポジトリ内に格納されると、上記のＩｎｆｏｒｍａｔｉｏｎ Ａｎａｌｙｚｅｒのようなデータ・プロファイリング・ツールは、これらのフィンガープリントを用いて半自動データ解析方式を提供することができる。
従来技術の場合と同様に、ユーザは最初に、データ・セットの少数のデータ値を見て調べ、このデータ・セットのためのデータ・クラスを手動で設定する必要があるが、データ・セットのデータ・クラスが定義されるたびに、本発明の実施形態は、事前計算されたフィンガープリントを用いて、検討されたデータ・セットと同様の類似のフィンガープリントを有する全ての他のデータ・セットを見つけ出すことができる。それに基づいて、本発明の実施形態は、定義された閾値を超えた類似性を有する未検討の全てのデータ・セットのデータ・クラスを自動的に設定することができ、又は、ユーザが新たなデータ・セットの領域を定義することを所望する場合には、この情報を用いて、領域が既知のデータ・セットとの類似性に基づいて、ユーザにデータ・クラスを示唆することができる。
この半自動プロセスは、ユーザの検討作業を著しく加速する。ユーザが、どのデータ・セットも定義された領域を有していないシステムから開始する場合であっても、ユーザは、個々のデータ・セット各々の値を深く調査する必要はない。その代わりに、ユーザは少数のデータ・セットの少数のデータ値に対してそれを行うだけでよい。次いで、本発明の実施形態は、未検討のデータ・セットとの類似性を見いだす。例えば幾つかのレガシー・システムの新規システムへの統合を背景とした、未知システムのデータを既知システムに移動すべきデータ移送プロセスにおいては、ターゲット・システムのデータ・セットのデータ・クラスは全て既知である。その場合、ターゲット・システムは十分な例を含んでいるので、各ソース・データ・セットの領域を推定するプロセスは、ユーザが最初にデータ値の小さいコアを手動で解析することを必要としないであろう。
フィンガープリントは、対応するデータ・セットの領域に適合しないデータ値を自動的に検出することもまた可能にする。あるデータ・セットの全ての単一データ値を、そのデータ・セットのフィンガープリントと比較することができる。フィンガープリントは次に、各々の単一データ値について、データ値のソートに用いることができるスコアを生成する。最も低いスコアを有するデータ値は、そのデータ・セットの領域に適合しない可能性があるデータ値であり、手動による検討を必要とする。
このようなフィンガープリントは、データ変換におけるマッピング候補の検出などのような、その他の問題を解決するために用いることもできる。
本発明の上記の、及び更なる目的、特徴、及び利点は、以下の詳細な説明において明らかとなる。
以下で詳細に説明される本発明の好ましい実施形態を図面で示す。
本発明の一実施形態によるデータ処理システムの概略的なブロック図である。 本発明の一実施形態によるデータ・セットを取り扱うための方法の概略的な流れ図である。 本発明の一実施形態による、異なるデータ・セットのメタデータに添付される特性を示すブロック図である。 本発明の実施形態により用いられる特性としてフィンガープリントを実装するＵＭＬモデルである。 本発明の実施形態によりデータ・セットの特性を計算するためのメトリック・アルゴリズムとして用いられる、最頻単語アルゴリズムを示すブロック図である。 本発明の実施形態によりデータ・セットの特性を計算するためのメトリック・アルゴリズムとして用いられる、最頻形式アルゴリズムを示すブロック図である。 ２つの異なるデータ・セット内のデータ値の長さについての正規分布を各々が表す、２つのガウス曲線を示す図である。 ２つの異なるデータ・セットのデータ値における単語の数に関する正規分布を各々が表す、２つのガウス曲線を示す図である。 ２つの異なるデータ・セットのデータ値における文字の割合についての正規分布を各々が表す、２つのガウス曲線を示す図である。 ２つの異なるデータ・セットのデータ値における数字の割合についての正規分布を各々が表す、２つのガウス曲線を示す図である。 データ・セット内のデータ値の長さについての正規分布を表すガウス曲線及び単一データ値の長さを示す図である。 データ・セットのデータ値における単語の数についての正規分布を表すガウス曲線及び単一データ値における単語の数を示す図である。 データ・セットのデータ値における文字の割合についての正規分布を表すガウス曲線及び単一データ値における文字の割合を示す図である。 データ・セットのデータ値における数字の割合についての正規分布を表すガウス曲線及び単一データ値における数字の割合を示す図である。
図１は、本発明の実施形態によるデータ処理システム１０を示し、図２は、本発明の実施形態による、データ・セット１２、１４を取り扱うための方法を示す。
図１及び図２を参照すると、本発明の図示された実施形態は、データ・セット１２、１４を取り扱うための方法を使用し、この方法は、ステップＳ１０において、第１のデータ・セット１２に関連付けられた第１の特性２０．１又はいわゆる「フィンガープリント」、並びに、単一データ値、及び、第２のデータ・セット１４に関連付けられた第２の特性２０．２のうちの少なくとも一方を提供することを含み、提供された特性２０．１、２０．２が、第１のデータ・セット１２、第２のデータ・セット１４及び単一データ値１２’の実行可能な比較を可能にする。単一データ値１２’を第１のデータ・セット１２と比較するために、特性２０．１は、通常は、単一データ値１２’についても決定される。単一データ値についてのこの特性は、事前計算することもでき、又は第１のデータ・セットと単一データ値１２’との比較が行われるときに計算することもできる。ステップＳ２０において、第１及び第２の特性２０．１、２０．２に基づく第１のデータ・セット１２と第２のデータ・セット１４との類似性、第１の特性２０．１及び単一データ値１２’に基づく第１のデータ・セット１２と単一データ値１２’との類似性、第１の特性２０．１に基づく、第１の特性２０．１が第１のデータ・セット１２の性質をどの程度良く反映しているかを示す信頼性、並びに、第１の特性２０．１及び単一データ値１２’に基づく、第１のデータ・セット１２と単一データ値１２’との類似性が単一データ値の性質をどの程度良く反映しているかを示す信頼性、のうちの少なくとも１つが計算される。図１において、単一データ値１２’を表す、又は単一データ値１２’に適用される構成要素は、破線で示される。第１のデータ・セットを、類似性値に基づいて第２のデータ・セット及び単一データ値と比較して、第１のデータ・セットと第２のデータ・セット又は単一の値とが同じデータ領域内にあるか否かを評価することができる。
さらに図１を参照すると、図示された実施形態において、データ処理システム１０は、ブロック２０において、４つのメトリック・アルゴリズム２２、２４、２６、２８を用いて、第１のデータ・セット１２の第１の特性２０．１の一部であるメトリック値１２２２、１２２４、１２２６、１２２８を計算し、かつ、第１のデータ・セット１２と比較される第２のデータ・セット１４の第２の特性２０．２の一部であるメトリック値１４２２、１４２４、１４２６、１４２８を計算する。代替的に、４つのメトリック・アルゴリズム２２、２４、２６、２８より多い又は少ないメトリック・アルゴリズムを用いて、第２の特性２０．２のメトリック値１４２２、１４２４、１４２６、１４２８を計算することができる。更なる代替法として、ブロック２０は、第１のデータ・セット１２の第１の特性２０．１及び第２のデータ・セット１４の第２の特性２０．２のうちの少なくとも一方を外部ソースから受け取り、更なる処理のためにそれらを提供する。このように、データ・セット１２、１４の特性２０．１、２０．２は、前処理中に決定することができる。
第１のデータ・セット１２が単一データ値１２’と比較される場合には、ブロック２０において、第２のデータ・セット１４のメトリック値１４２２、１４２４、１４２６、１４２８の代わりに、単一データ値１２’の対応するメトリック値１２’２２、１２’２４、１２’２６、１２’２８が、第１のデータ・セット１２の第１の特性２０．１を計算するために用いられたメトリック・アルゴリズム２２、２４、２６、２８によって計算される。これは、一般に比較に関連して行われ、前処理中には行われない。メトリック・アルゴリズム２２、２４、２６、２８は、対応するメトリック値１２２２、１２２４、１２２６、１２２８、１２’２２、１２’２４、１２’２６、１２’２８、１４２２、１４２４、１４２６、１４２８に加えて、少なくとも１つの類似性値４２、４６及び少なくとも１つの信頼性値４４、４８を、メトリック値１２２２、１２２４、１２２６、１２２８、１２’２２、１２’２４、１２’２６、１２’２８、１４２２、１４２４、１４２６、１４２８に基づいて提供する。各メトリック・アルゴリズム２２、２４、２６、２８は、比較ユニット３０の第１の類似性関数３２を用いて、第１のデータ・セット１２のメトリック値１２２２、１２２４、１２２６、１２２８、及び、第２のデータ・セット１４に適用された同じメトリック・アルゴリズム２２、２４、２６、２８のメトリック値１４２２、１４２４、１４２６、１４２８に基づいて、第１の類似性値４２を計算し、比較ユニット３０の第１の信頼性関数３４を用いて、第１のデータ・セット１２のメトリック値１２２２、１２２４、１２２６、１２２８に基づいて、対応するメトリック・アルゴリズム２２、２４、２６、２８が第１のデータ・セット１２の性質をどの程度良く反映しているかを示す第１の信頼性値４４を計算する。
さらに、各メトリック・アルゴリズムは、比較ユニット３０の破線で示された第２の類似性関数３６を用いて、第１のデータ・セット１２のメトリック値１２２２、１２２４、１２２６、１２２８、及び、単一データ値１２’に適用された同じメトリック・アルゴリズム２２、２４、２６、２８のメトリック値１２’２２、１２’２４、１２’２６、１２’２８に基づいて、第２の類似性値４６を計算し、比較ユニット３０の同じく破線で示された第２の信頼性関数３８を用いて、第１のデータ・セット１２及び単一データ値１２’のメトリック値１２２２、１２２４、１２２６、１２２８、１２’２２、１２’２４、１２’２６、１２’２８に基づいて、第１のデータ・セット１２、１４、１６、１８のメトリック・アルゴリズム２２、２４、２６、２８が、単一データ値１２’の性質をどの程度良く反映しているかを示す第２の信頼性値４８を計算する。第１及び第２の類似性値４２、４６、並びに第１及び第２の信頼性値４４、４８は、比較ユニット３０により生成される比較結果４０の一部である。別の言い方をすれば、類似性は、２つのデータ・セット１２、１４の、又は、１つのデータ・セット１２及び単一データ値１２’の関数である。厳密に言えば、類似性は、各々が１つの対応するデータ・セットについて決定されたメトリック値の２つの集合の関数、又は、１つはデータ・セットについて決定され、もう１つは単一データ値について決定されたメトリック値の２つの集合の関数のうちの一方である。類似性が計算される時点では、データ・セット全体は典型的にはもはや利用できず、メトリック値のみが利用可能である。信頼性は、メトリック・アルゴリズム自体の関数であり、メトリック・アルゴリズムが、そのメトリック・アルゴリズムの計算が行われたデータ・セットに対してどの程度有意であるかを示すものである。２つのデータ・セットを比較する場合には、信頼性は第１のデータ・セットのメトリック値のみの関数であり、従って、「事前計算」されている。したがって、一旦メトリック値が事前計算されると、信頼性は既知となる。単一データ値をデータ・セットと比較する場合には、信頼性は、データ・セットのメトリック値と単一データ値のメトリック値との関数である。そのため、信頼性は、もはや事前計算されたものではなく、検定される各々の単一データ値ごとに異なるものとなり得る。
特性２０．１、２０．２又はフィンガープリントは、１つ又は複数のメトリック値のための論理上の入れものである。技術的には、フィンガープリントは、データ・セット１２、１４の全てのデータ値を、対応するフィンガープリントを構成する全てのメトリック・アルゴリズムに連続的に通すことで計算される。各特性２０．１、２０．２は、それ自体のメトリック・アルゴリズム２２、２４、２６、２８を用いてメトリック結果を計算する。一旦、全てのデータ値が全てのメトリック・アルゴリズム２２、２４、２６、２８によって解析されると、全てのメトリック結果は、シリアル化されて、フィンガープリントのシリアル化形態を表す１つのエンティティにされ、これをメタデータ・リポジトリ内に格納するか、又は解析されたデータ・セット１２、１４のメタデータに添付することができる。任意のシリアル化形式を用いることができる。好ましい実施形態においてはＸＭＬ形式を用いることができるが、形式自体は本発明にとって重要ではない。
図３は、ある表の中の姓、住所、郵便番号又は電話の列を各々が表す異なるデータ・セット１２、１４、１６、１８のメタデータに添付された、フィンガープリント２０．１、２０．２、２０．３、２０．４を示し、図４は、フィンガープリントを本発明の実施形態で用いられる特性として実装するための、ＵＭＬ（統一モデリング言語）モデルを示す。
図３及び図４を参照すると、各データ・セット１２、１４、１６、１８に対して、幾つかのメトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６から成るフィンガープリント２０．１、２０．２、２０．３、２０．４が、各々のデータ・セット１２、１４、１６、１８について計算されており、対応するメタデータに添付されている。フィンガープリント２０．１、２０．２、２０．３、２０．４をデータ・セット１２、１４、１６、１８に関連付けることは、メタデータ・モデルをフィンガープリント２０．１、２０．２、２０．３、２０．４の概念をサポートするように拡張すること、又はそのメタデータ・モデルが提供することができる汎用注釈機構を使用すること、又は単にデータ・セット名をシリアル化されたフィンガープリント２０．１、２０．２、２０．３、２０．４に関連付ける表を使用すること、のいずれかで行うことができる。
図３は、異なるデータ・セット１２、１４、１６、１８のフィンガープリント２０．１、２０．２、２０．３、２０．４が、異なるメトリック型式を含むことができることを示す。例えば、姓及び住所の列のフィンガープリント２０．１、２０．２は、異なる文字のバイグラムの出現頻度を計量する「バイグラム・メトリック・アルゴリズム」２８を含む。バイグラム・メトリックは、文字を含んで単語を形成する値に対してのみ計算することができるが、それは、「郵便番号」及び「電話」の列には当てはまらない。その理由で、バイグラム・メトリックは、郵便番号及び電話の列については計算されていない。バイグラム・メトリック・アルゴリズム２８は、メトリック値１２２８及び１４２８を計算する。特性２０．１、２０．２、２０．３、２０．４のためのメトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６を計算するメトリック・アルゴリズム２２、２４、２６、２８は、全てのデータ・セット１２、１４、１６、１８に対して同じである必要はない。図示された、姓、住所、郵便番号、及び電話の列の全てのフィンガープリント２０．１、２０．２、２０．３、２０．４は、「一般統計量メトリック・アルゴリズム」２２により計算されるメトリック値１２２２、１４２２、１６２２、１８２２、「最頻形式メトリック・アルゴリズム」２４により計算されるメトリック値１２２４、１４２４、１６２４、１８２４、及び「最頻単語メトリック・アルゴリズム」２６により計算されるメトリック値１２２６、１４２６、１６２６、１８２６を含む。２つのデータ・セット１２、１４、１６、１８が互いに比較されるときには、同じ型式のメトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６の対のみが比較されることになり、一方のフィンガープリント２０．１、２０．２、２０．３、２０．４には存在するが他方のフィンガープリントには存在しないメトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６は無視されることになる。２つのフィンガープリント２０．１、２０．２、２０．３、２０．４が互いに比較可能であるためには、共通する同じ型式の少なくとも１つのメトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６を有していなければならない。図示された実施形態において、第１のデータ・セット１２と第２のデータ・セット１４とを比較する場合には、一般統計量メトリック・アルゴリズム２２、最頻形式メトリック・アルゴリズム２４、最頻単語メトリック・アルゴリズム２６、及びバイグラム・メトリック・アルゴリズム２８により計算されたメトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８が用いられる。第３のデータ・セット１６と第４のデータ・セット１８とを比較する場合には、一般統計量メトリック・アルゴリズム２２、最頻形式メトリック・アルゴリズム２４、及び最頻単語メトリック・アルゴリズム２６により計算されたメトリック値１６２２、１６２４、１６２６、１８２２、１８２４、１８２６が用いられる。第１又は第２のデータ・セット１２、１４と、第３のデータ・セット１６又は第４のデータ・セット１８とを比較する場合には、一般統計量メトリック・アルゴリズム２２、最頻形式メトリック・アルゴリズム２４、及び最頻単語メトリック・アルゴリズム２６により計算されたメトリック値１２２２、１２２４、１２２６、１４２２、１４２４、１４２６、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６が用いられ、バイグラム・メトリック・アルゴリズム２８により計算されたメトリック値１２２８、１４２８は無視される。
さらに図３及び図４を参照すると、フィンガープリントの概念は、フィンガープリントを、２つの異なるデータ・セット１２、１４、１６、１８の２つのフィンガープリント２０．１、２０．２、２０．３、２０．４の間、又は１つのフィンガープリント２０．１、２０．２、２０．３、２０．４と単一データ値１２’との間の類似性スコアを計算するための２つの方法を定義するクラスとして用いることにより、実装することができる。
フィンガープリント２０．１、２０．２、２０．３、２０．４は、抽象メトリック・クラスにより表される１つ又は複数のメトリックを含む。抽象メトリック・クラスのサブクラスにより特殊化された各メトリックは、４つの関数を与える。第１の類似性関数３２は、メトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６と、別のフィンガープリント２０．１、２０．２、２０．３、２０．４からの同じ型式タイプの別のメトリック値１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６との間の類似性スコア４２を返している。第１の信頼性関数３４は、そのメトリックが計算されたデータ・セット１２、１４、１６、１８に対するメトリックの信頼性値４４を返している。信頼性値４４は、０．０と１．０との間の値であり、このメトリックによって返される類似性スコア４２が、フィンガープリント２０．１、２０．２、２０．３、２０．４を所有するデータ・セット１２、１４、１６、１８内に含まれるデータの型式についてどの程度良く信頼することができるかを示す。第２の類似性関数３６は、単一データ値が、全データ・セット１２、１４、１６、１８について計算されたメトリックにどの程度良く適合するかを示す類似性スコア４６を返している。第２の信頼性関数３８は、第２の類似性関数３６により返される結果の信頼性値４８を返している。
類似性関数及び信頼性関数３２、３４、３６、３８は、一般に対称ではない。それは、２つのデータ・セット１２、１４間の類似性を第１のデータ・セット１２のメトリック値を参照として用いて計算すると、２つのデータ・セット１２、１４間の類似性を第２のデータ・セット１４のメトリック値を参照として用いて計算した場合とは僅かに異なる値を返すことを意味する。同じことが、信頼性関数３４、３８についても当てはまる。通常は、参照と、比較されるメトリックとを入れ替えたときに結果が異なったとしても、この差は十分に小さいので、どちらを参照として用いるかは問題にならない。代替法として、第１のデータ・セット１２を参照して２つのデータ・セット１２、１４間の類似性を計算し、次いで第２のデータ・セット１４を参照して２つのデータ・セット１２、１４間の類似性を計算し、次いでこれら２つの結果の平均値を求めてこれを返すことは、計算により時間がかかるがより安全であり得る。説明される実施形態において、２つのデータ・セットを比較するときに用いられる信頼性は参照データ・セットのみの関数なので、第１の信頼性値４４は、参照データ・セットとしての第１のデータ・セット１２のみに関連する。代替的に、信頼性を両データ・セット１２、１４のメトリック値に基づいて動的に計算するためのより複雑なアルゴリズムを用いることができる。しかし、検定の際に、参照データ・セットのみを考慮して信頼性を計算することで十分に良好な結果が得られるように思われたので、より複雑なアルゴリズムは正当化されなかった。
さらに、２つのデータ・セット１２、１４が比較される場合、一方のデータ・セットだけをここで第１のデータ・セット／メトリックと呼ぶ参照データ・セットとして任意に選択し、他方のデータ・セットをここで第２のデータ・セット／メトリックと呼ぶ比較データ・セットとして選択することができる。重みは、参照データ・セットの信頼性値である。より正確な計算は、最初に第１のデータ・セットを参照として結果を計算し、同じ計算を第２のデータ・セットを参照として再び行い、両方の平均として最終結果を返すことであろう。
式（１）及び（２）は、２つのフィンガープリント２０．１、２０．２、２０．３、２０．４の間、又はフィンガープリント２０．１、２０．２、２０．３、２０．４と単一データ値との間の類似性スコアを、メトリック・アルゴリズム２２、２４、２６、２８の結果に基づいて計算するために用いられる例示的な式を示す。
Figure 0005785617
２つのフィンガープリント２０．１、２０．２、２０．３、２０．４の間の類似性は、それらが共通して有するメトリックの第１の類似性関数３２又は第２の類似性関数３６の結果の加重平均として計算される。各メトリックに対して用いられる重みは、対応する信頼性関数３４、３８によって計算されるそのメトリックの信頼性値である。式（１）において、Ｓｉｍｉｌａｒｉｔｙ１は、第１の又は参照データ・セットのフィンガープリントと比較したときの第２のデータ・セットのフィンガープリントの類似性を表し、Ｃｏｎｆｉｄｅｎｃｅ（Ｍｅｔｒｉｃｉ，ｄａｔａｓｅｔ１）は、データ・セット１について計算されたメトリックｉの信頼性である。Ｓｉｍｉｌａｒｉｔｙ（Ｍｅｔｒｉｃｉ，ｃｏｌ１，Ｍｅｔｒｉｃｉ，ｃｏｌ２）は、データ・セット１についてのメトリックｉと、データ・セット２についての同じメトリックｉとの間の類似性を表す。式（１）内の反復を、両フィンガープリント内に存在するメトリックの全ての対について行う。
１つのデータ・セットのフィンガープリントとデータ値との間の類似性は、同様の手法で、但し、メトリックの第２の類似性関数３６及び第２の信頼性関数３８を適用することにより計算される。
以下、本発明の好ましい実施形態で用いられる４つの異なるメトリック・アルゴリズム２２、２４、２６、２８を説明する。
バイグラム・アルゴリズム２８の考え方は、人が読むことができる値を含むデータにおいて、文字の組み合わせの頻度は均等に分布していないという事実に基づくものであり、ここで、値は、単語、名前、又は人間の言語に基づく何らかのもので構成されている。例えば、英語において、文字Ｅは、テキスト内で文字Ｚよりもずっと頻繁に使用される。２つの文字の組み合わせを表すバイグラムを調べると、幾つかの組合せは、例えば文字「Ｑ」は英語では殆どの場合に後に文字「Ｕ」が続くというように、非常に頻度が高く、その他の幾つかの組み合わせ、例えば文字「Ｑ」の後にもうひとつ文字「Ｑ」が続くことは、起こる可能性が低い。この、全ての可能なバイグラムに関する頻度の表は、対応するデータ・セット１２、１４により表される領域を代表するものである。英語に基づくフリーテキスト値を含むデータ・セット１２、１４、例えば住所、人名、会社名などは、英語に特有のバイグラム表を有することになる。ドイツ語の値を含むデータ・セットは、僅かに異なるバイグラム表を有することになる。自然言語に基づかないコードを含むデータ・セットは、完全に異なる表を有することになる。そのようなバイグラム表を計算するために、対応するテキスト値の全ての記号が大文字に変換される。「＠、−、＊」のような特殊記号及び数字は除去され、その場合、空白は無視されない。次に、２文字長のスライディング・ウィンドウを、残った記号列上で移動させて、全ての可能なバイグラムの行列を生成し、出現した各々のバイグラムについて頻度を数える。全ての内容が処理されたとき、各バイグラムについて発生確率が計算される。
図３において、メトリック値１２２８及び１４２８は、各々、姓及び住所の列に関して生成されたそのようなバイグラムの一部を示す。この行列は、以下のように読まれる。即ち、第１行第１列のセルは、バイグラムＡＡが出現する確率が０％であることを示す。第１行第２列のセルは、バイグラムＡＢについての確率を示す。第２行第１列のセルは、バイグラムＢＡの確率を示し、以下同様である。
式（３）は、データ・セット１２、１４の間の類似性スコアを、バイグラム・メトリック・アルゴリズム２８の結果に基づいて計算するために用いられる例示的な式を示す。
Figure 0005785617
２つの異なるデータ・セット１２、１４の２つのバイクラム・メトリック間の類似性を計算するために、２つのデータ・セット１２、１４についてのバイグラム表１２２８、１４２８がロードされる。次に、行列の全ての値が、長い数字シーケンスとして、各行列につき１つの頻度シーケンスとして取得される。次に、これらの２つの頻度系列の間の相関が計算される。相関が正であれば、それが類似性スコアとして返される。相関が負であれば、類似性スコアは０であると見なされる。行列同士が類似しているほど、相関は１００％に近づき、従って類似性スコアも１００％に近づくことになる。
式（４）は、バイグラム・メトリック・アルゴリズム２８の信頼性を計算するために用いられる例示的な式を示す。バイグラム・メトリック・アルゴリズム２８は、フリーテキストを含む値を代表するものであるが、バイグラム・パターンにとっては代表する度合いが低く、ランダムに分布するはずの値に対しては役に立たない。好ましい実施形態において、行列内の０を上回る頻度を有するセルの割合が、信頼性として計算される。このようにすると、バイグラム・メトリック・アルゴリズム２８は、全てのバイグラムが表現されたフリーテキスト列については強い信頼性を有し、値の数及び多様性が行列全体を埋めるほど十分に高くなかった列については、より低い信頼性を有する。
Figure 0005785617
式中、Ｍｅｔｒｉｃｃｏｌ１（ｒｏｗ，ｃｏｌ）＝０であれば、ｆ（Ｍｅｔｒｉｃｃｏｌ１（ｒｏｗ，ｃｏｌ））＝０であり、Ｍｅｔｒｉｃｃｏｌ１（ｒｏｗ，ｃｏｌ）＞０であれば、ｆ（Ｍｅｔｒｉｃｃｏｌ１（ｒｏｗ，ｃｏｌ））＝１である。
バイグラム・メトリックと１つの単一データ値との間の類似性を計算するためには、バイグラム行列を、各列における最大頻度が１００％に正規化されるように、正規化しなければならない。式（５）は、正規化のための式を示す。行列内の各セルを、同じ列内で見いだされる最大頻度で除する。
Figure 0005785617
次いで、比較される単一データ値から全てのバイグラムが抽出され、これらのバイグラムの各々についての値を、正規化行列内で探索する。式（６）に従って、単一データ値内で見いだされた全てのバイグラムについて、平均値が計算される。
Figure 0005785617
最後に、式（６）を用いて得られたスコアを、０．４を上回るスコアが１に近い類似性を与えるように変換しなければならない。好ましい実施形態において用いられる変換関数は、式（７）で示される。
Figure 0005785617
代替的に、同じ方法を、モノグラム若しくはトライグラム又は一般にｎグラムで用いることができよう。
最頻単語メトリック・アルゴリズム２６は、解析されるデータ・セット１２、１４、１６、１８の全てのデータ値の中で見いだされる最も頻繁に繰り返される単語のリストを計算する。これは、繰り返し現れる単語を用いるデータ・セット１２、１４、１６、１８における類似性を検出するにはかなり効果的なメトリックである。例えば、所番地を含むデータ・セット１２、１４、１６、１８は、「ストリート（Ｓｔｒｅｅｔ）」、「アベニュー（Ａｖｅｎｕｅ）」、「市名」などのような繰り返し現れる単語を有している可能性が高い。人名を含むデータ・セット１２、１４、１６、１８は、繰り返し現れる姓及び名を有している可能性が高い。
図５は、最頻単語を計算するためのアルゴリズム２６を示す。データ・セット１２、１４、１６、１８において見出された各単語の頻度が計算される。最後に、上位Ｎ個の値のみが解析用に保持され、稀にしか出現しない値は無視される。分布の幅は、メトリック２６がどの程度良く機能するかに関する良い指標であり、従って、信頼性を計算するために用いられる。
式（８）及び（９）は、好ましい実施形態において、この最頻単語メトリック・アルゴリズム２６についての類似性及び信頼性を計算するために用いられる式を示す。
Figure 0005785617
式中、ｃは、定数であり、例えば、
Figure 0005785617
である。
２つの最頻単語メトリック２６の間の類似性を計算するために、第１のメトリックにおける上位Ｎ個の単語の頻度と、第２のメトリックにおける同じ単語の頻度との間のユークリッド距離が計算される。さらに、その他の全ての単語、即ち、上位Ｎ個のリストに属していない単語の頻度が、更なる次元として取得される。距離ｄｉｓｔを計算するための式は、例えば、式（８）で表される。次に、距離ｄｉｓｔは、例えば、式（９）で表される変換関数を用いることにより、０．０と１．０との間のスコアに変形される。メトリックの信頼性は、少なくとも１つの単語が、メトリックによって捕捉された上位Ｎ個の単語の一部となっている値の、そのメトリックを所有するデータ・セット１２、１４、１６、１８における割合である。。式（１０）は、最頻単語メトリック２６についての信頼性を計算するための式を示す。
Figure 0005785617
式中、値（ｉ）がメトリックの上位Ｎ個の最頻単語リスト内に存在しなければ、ｆ（ｖａｌｕｅ（ｉ））＝０であり、値（ｉ）がメトリックの上位Ｎ個の最頻単語リスト内に存在すれば、ｆ（ｖａｌｕｅ（ｉ））＝１である。
単一データ値と再頻度語メトリックとの間の類似性は、少し異なった手法で計算される。好ましい実施形態において、二値的類似性は、単一データ値の単語がメトリックの上位Ｎ個の最頻単語内になければ０．０となり、少なくとも１つの単語がリスト内にあれば１．０となる、そのいずれかである。信頼性は、単一データ値を構成する全ての単語の、上位Ｎ個の単語のメトリックにおける頻度を合計することにより計算される。
図６は、最頻形式を計算するためのアルゴリズム２４を示す。最頻形式メトリック・アルゴリズム２４は、最頻単語メトリック・アルゴリズム２６に類似しているが、繰り返し出現する語を捕捉する代わりに、繰り返し出現する形式を捕捉する。解析されるデータ・セット１２、１４、１６、１８内の各データ値は、形式マスクに変換され、そこでは例えば、全ての大文字が「Ａ」に変換され、全ての小文字が「ａ」に変換され、全ての数字が「９」に変換され、その他の全ての記号は変更されないまま残される。例えば、「７７０１９−６８１３」に対する形式マスクは「９９９９９−９９９９」になり。「ＡＢＣ１２３」に対する形式マスクは「ＡＡＡ９９９」なる。
一旦、値がその形式マスクに変換されると、最頻単語メトリック２６の場合と類似の技術を用いて、上位Ｎ個の最頻形式が計算される。最頻単語メトリック２６の場合と同様に、２つの最頻形式メトリック２４の間の類似性は、式（１１）で表されるユークリッド距離を用い、式（１２）で表される変換関数を用いるにことにより、計算される。
Figure 0005785617
式中、ｃは、定数であり、例えば、
Figure 0005785617
である。
メトリックの信頼性は、最頻形式メトリック２４により捕捉された全ての形式の頻度の合計である。式（１３）は、最頻形式メトリック２４についての信頼性を計算するための式を示す。
Figure 0005785617
単一データ値と最頻形式メトリック２４との間の類似性は、ここでもやはり二値的である。したがって、二値的類似性は、単一データ値の形式がメトリック２４の上位Ｎ個の最頻形式内になければ０．０となり、その形式がリスト内にあれば１．０となる、そのいずれかである。信頼性は、単純に、単一データ値の形式の、メトリックにおける頻度である。
一般統計量メトリック・アルゴリズム２２は、解析されるデータ・セット１２、１４、１６、１８内に含まれるデータ値についての統計量を収集することに関する。好ましい実施形態において収集される統計量は、データ値の平均長及びその標準偏差、各データ値内の単語の平均個数及びその標準偏差、データ値内の文字の平均割合及びその標準偏差、並びにデータ値内の数字の平均割合及びその標準偏差である。したがって、２つの一般統計量メトリックの間の類似性は、上で挙げた４つの統計量の各々について、２つの正規分布を比較することと同じである。
図７乃至図１０は各々、このプロセスをグラフで示す。各々の一般統計量メトリック２２は、値の長さ（記号の数）（図７参照）、単語の数（図８参照）、文字の割合（図９参照）、及び数字の割合（図１０参照）についての正規分布を表す４つのガウス曲線としてグラフで表示することができる。別のデータ・セット由来の別のメトリックの４つの分布を同じグラフ上に重ねると、各次元についての類似性は、この場合は実線の曲線が第１の一般統計量メトリックを表し、破線の曲線が第２の一般統計量メトリックを表す２つの曲線間の共通の面積を計量することにより、計量することができる。図７を参照すると、比較された２つのデータ・セットは、記号の数（データ値の長さ）に関して３８．１５％の類似性を有する。図８を参照すると、比較された２つのデータ・セットは、単語の数に関して１９．５７％の類似性を有する。図９を参照すると、比較された２つのデータ・セットは、文字の割合に関して８８．２８％の類似性を有する。図１０を参照すると、比較された２つのデータ・セットは、数字の割合に関して８１．９０％の類似性を有する。これらの類似性スコアの平均を計算することにより、２つのデータ・セット間の全類似性スコアを得る。
単一データ値と一般統計量メトリック２２との間の類似性の計算は、同じ手法で行われる。しかし、２つの正規分布を互いに比較する代わりに、図１１乃至図１４において示されるように、正規分布と単一データ値とが比較される。図１１を参照すると、データ・セット及び単一データ値は、記号の数（データ値の長さ）について、９４．１％の類似性を有する。図１２を参照すると、データ・セット及び単一データ値は、単語の数について８２．６％の類似性を有する。図１３を参照すると、データ・セット及び単一データ値は、文字の割合について９０％の類似性を有する。図１４を参照すると、データ・セット及び単一データ値は、数字の割合について８５％の類似性を有する。これらの類似性スコアの平均を計算することにより、データ・セットと単一データ値との間の全類似性スコアを得る。
データ・セットを取り扱うための本発明の方法は、全体がソフトウェアの実施形態として、又はハードウェア要素とソフトウェア要素の両方を含む実施形態として、実装することができる。１つの好ましい実施形態において、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアとして実装される。
さらに、本発明は、コンピュータ若しくはいずれかの命令実行システムによって使用されるか又はこれらと関連して使用されるプログラム・コードを提供するコンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータ・プログラム製品の形態を取ることができる。この説明の目的に関して、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置若しくはデバイスによって使用されるか又はこれらと関連して使用されるためのプログラムを収容し、格納し、通信し、伝搬し、又は搬送することができるいずれかの装置とすることができる。
媒体は、電子、磁気、光学、電磁気、赤外線若しくは半導体のシステム（又は装置若しくはデバイス）、又は伝搬媒体とすることができる。コンピュータ可読媒体の例としては、半導体又は固体メモリ、磁気テープ、取り外し可能コンピュータ・ディスケット、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、剛性磁気ディスク及び光ディスクが挙げられる。現在の光ディスクの例として、コンパクトディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−読み出し／書き込み（ＣＤ−Ｒ／Ｗ）及びＤＶＤが挙げられる。プログラム・コードを格納し、及び／又は実行するのに適したデータ処理システムは、システム・バスを通じてメモリ要素に直接又は間接に結合される少なくとも１つのプロセッサを含む。メモリ要素は、プログラム・コードの実際の実行中に用いられるローカル・メモリと、大容量記憶デバイスと、実行中に大容量記憶デバイスからコードを取り出さなければならない回数を減らすために少なくとも幾つかのプログラム・コードの一時的な記憶場所を提供するキャッシュ・メモリとを含むことができる。
入出力デバイス即ちＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティング・デバイスなどを含むがこれらに限定されない）は、システムに、直接的に、又は介在するＩ／Ｏコントローラを通じて結合することができる。
ネットワーク・アダプタをシステムに結合して、データ処理システムを、介在する私設ネットワーク又は公衆ネットワークを通じて他のデータ処理システム又は遠隔のプリンタ若しくは記憶装置に結合できるようにすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、現在利用可能なネットワーク・アダプタのタイプのうちのごく一部である。
１０：データ処理システム
１２、１４、１６、１８：データ・セット
１２’：単一データ値
２０．１、２０．２、２０．３、２０．４：特性（フィンガープリント）
２２：一般統計量メトリック・アルゴリズム
２４：最頻形式メトリック・アルゴリズム
２６：最頻単語メトリック・アルゴリズム
２８：バイグラム・メトリック・アルゴリズム
３０：比較ユニット
３２：第１の類似性関数
３４：第１の信頼性関数
３６：第２の類似性関数
３８：第２の信頼性関数
４０：比較結果
４２：第１の類似性値
４４：第１の信頼性値
４６：第２の類似性値
４８：第２の信頼性値
１２２２、１２２４、１２２６、１２２８、１２’２２、１２’２４、１２’２６、１２’２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１８２２、１８２４、１８２６：メトリック値
１２’２２、１２’２４、１２’２６、１２’２８：単一データ値のメトリック値

Claims (15)

  1. データ・セットを取り扱う方法であって、
    コンピュータが、第１のデータ・セット（１２、１４、１６、１８）に関連付けられた第１の特性（２０．１、２０．２、２０．３、２０．４）、単一データ値（１２’）、及び、第２のデータ・セット（１２、１４、１６、１８）に関連付けられた第２の特性（２０．１、２０．２、２０．３、２０．４）を提供するステップであって、前記提供された特性（２０．１、２０．２、２０．３、２０．４）が、前記第１のデータ・セット（１２、１４、１６、１８）、前記第２のデータ・セット（１２、１４、１６、１８）及び前記単一データ値（１２’）の実行可能な比較を可能にする、ステップと、
    前記コンピュータが、
    ・前記第１及び第２の特性に基づく、前記第１のデータ・セット（１２、１４、１６、１８）と前記第２のデータ・セット（１２、１４、１６、１８）との類似性、及び
    ・前記第１の特性及び前記単一データ値（１２’）に基づく、前記第１のデータ・セット（１２、１４、１６、１８）と前記単一データ値（１２’）との類似性、
    のうちの少なくとも１つと、
    ・前記第１の特性に基づく、前記第１の特性が前記第１のデータ・セット（１２、１４、１６、１８）の性質をどの程度良く反映しているかを示す信頼性、及び
    ・前記第１の特性及び前記単一データ値（１２’）に基づく、前記第１のデータ・セットと前記単一データ値（１２’）との前記類似性が前記単一データ値の性質をどの程度良く反映しているかを示す信頼性
    のうちの少なくとも１つを計算するステップと、
    を含む、方法。
  2. 前記第１の特性（２０．１、２０．２、２０．３、２０．４）は、メトリック値の集合（１２２２、１２２４、１２２６、１２２８、１２’２２、１２’２４、１２’２６、１２’２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１６２８、１８２２、１８２４、１８２６、１８２８）を含み、
    前記メトリック値の集合（１２２２、１２２４、１２２６、１２２８、１２’２２、１２’２４、１２’２６、１２’２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１６２８、１８２２、１８２４、１８２６、１８２８）内のそれぞれのメトリック値の各々は、前記第１のデータ・セットに対してそれぞれのメトリック・アルゴリズム（２２、２４、２６、２８）を適用することにより計算され、
    前記各々のメトリック・アルゴリズム（２２、２４、２６、２８）は、
    ・前記メトリック値の集合内のそれぞれのメトリック値、並びに、前記単一データ値に適用された同じメトリック・アルゴリズムの値及び前記第２のデータ・セットに適用された同じメトリック・アルゴリズムの値のうちの少なくとも一方に基づく、少なくとも１つの類似性値（４２、４６）と、
    ・前記メトリック値の集合内のそれぞれのメトリック値、並びに、前記単一データ値に適用された同じメトリック・アルゴリズムの値及び前記第２のデータ・セットに適用された同じメトリック・アルゴリズムの値のうちの少なくとも一方に基づく、少なくとも１つの信頼性値（４４、４８）と、
    を提供する、請求項１に記載の方法。
  3. 前記各々のメトリック・アルゴリズム（２２、２４、２６、２８）が、
    第１の類似性値（４２）を、前記第１のデータ・セット（１２、１４、１６、１８）の前記それぞれのメトリック値（１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１６２８、１８２２、１８２４、１８２６、１８２８）、及び前記第２のデータ・セット（１２、１４、１６、１８）に適用された同じメトリック・アルゴリズム（２２、２４、２６、２８）のメトリック値（１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１６２８、１８２２、１８２４、１８２６、１８２８）に基づいて計算するための第１の類似性関数（３２）と、
    前記メトリック・アルゴリズム（２２、２４、２６、２８）が前記第１のデータ・セット（１２、１４、１６、１８）の性質をどの程度良く反映しているかを示す第１の信頼性値（４４）を、前記第１のデータ・セット（１２、１４、１６、１８）に基づいて計算するための第１の信頼性関数（３４）と、
    を少なくとも用いる、請求項２に記載の方法。
  4. 前記各々のメトリック・アルゴリズム（２２、２４、２６、２８）が、
    第２の類似性値（４６）を、前記第１のデータ・セット（１２、１４、１６、１８）の前記それぞれのメトリック値（１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１６２８、１８２２、１８２４、１８２６、１８２８）、及び前記単一データ値（１２’）に適用された同じメトリック・アルゴリズム（２２、２４、２６、２８）のメトリック値（１２２２、１２２４、１２２６、１２２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１６２８、１８２２、１８２４、１８２６、１８２８）に基づいて計算するための第２の類似性関数（３６）と、
    前記メトリック・アルゴリズム（２２、２４、２６、２８）が前記単一データ値（１２’）の性質をどの程度良く良好に反映しているかを示す第２の信頼性値（４８）を、前記第１のデータ・セット（１２、１４、１６、１８）の前記それぞれのメトリック値（１２２２、１２２４、１２２６、１２２８、１２’２２、１２’２４、１２’２６、１２’２８、１４２２、１４２４、１４２６、１４２８、１６２２、１６２４、１６２６、１６２８、１８２２、１８２４、１８２６、１８２８）に基づいて計算するための第２の信頼性関数（３８）と、
    を、少なくとも用いる、請求項３に記載の方法。
  5. 前記コンピュータが、前記第１のデータ・セット（１２、１４、１６、１８）と前記第２のデータ・セット（１２、１４、１６、１８）との前記類似性、及び、前記第１のデータ・セットと前記単一データ値（１２’）との前記類似性のうちの少なくとも一方を決定するために、前記少なくとも１つのメトリック・アルゴリズム（２２、２４、２６、２８）により提供される類似性値（４２、４６）の加重平均を計算するステップと、
    前記コンピュータが、前記第１のデータ・セット（１２、１４、１６、１８）と前記第２のデータ・セット（１２、１４、１６、１８）との前記類似性を決定するための重みとして、少なくとも前記第１の信頼性値（４４）を用いるステップと、
    前記コンピュータが、前記第１のデータ・セット（１２、１４、１６、１８）と前記単一データ値（１２’）との前記類似性を決定するための重みとして、少なくとも前記第２の信頼性値（４８）を用いるステップと、
    を含む、請求項４に記載の方法。
  6. 前記第１の特性に関連付けられた前記メトリック・アルゴリズム（２２、２４、２６、２８）は、一般統計量メトリック・アルゴリズム（２２）、最頻形式メトリック・アルゴリズム（２４）、最頻単語メトリック・アルゴリズム（２６）、ｎグラム・メトリック・アルゴリズム（２８）、及びニューラル・ネットワークに基づくメトリック・アルゴリズムのうちの少なくとも１つを含む、請求項５に記載の方法。
  7. 前記第１のデータ・セット（１２、１４、１６、１８）に関連付けられた前記第１の特性（２０．１、２０．２、２０．３、２０．４）と前記第２のデータ・セット（１２、１４、１６、１８）に関連付けられた前記第２の特性とが異なるメトリック・アルゴリズム（２２、２４、２６、２８）を含んでいる場合に、共通のメトリック・アルゴリズム（２２、２４、２６、２８）及び前記それぞれのメトリック値が類似性の計算に用いられる、請求項６に記載の方法。
  8. 前記コンピュータが、前記第１の特性（２０．１、２０．２、２０．３、２０．４）をメタデータ・リポジトリ内に格納することを含む、請求項７に記載の方法。
  9. 前記コンピュータが、前記第１及び第２の特性（２０．１、２０．２、２０．３、２０．４）に基づいて、前記第１のデータ・セット（１２、１４、１６、１８）及び前記第２のデータ・セット（１２、１４、１６、１８）のうちの少なくとも一方の領域を決定することを含む、請求項８に記載の方法。
  10. 前記コンピュータが、前記第１のデータ・セットの領域に関する情報を受け取ることと、前記第２のデータ・セット（１２、１４、１６、１８）が同じ領域に属するか否かを、前記決定された類似性及び前記決定された信頼性のうちの少なくとも一方に基づいて決定することとを含む、請求項９に記載の方法。
  11. 前記コンピュータが、前記第２の類似性値（４６）が所定の条件を満たさない場合に、前記第２の類似性値（４６）に基づいて、前記単一データ値（１２’）が前記第１のデータ・セット（１２、１４、１６、１８）の前記領域と矛盾すると決定するステップ、及び、
    前記コンピュータが、前記第２の類似性値（４６）が所定の条件を満たす場合に、前記第２の類似性値（４６）に基づいて、前記単一データ値（１２’）が前記第１のデータ・セット（１２、１４、１６、１８）の前記領域と矛盾しないと決定するステップ
    のうちの少なくとも一方を含む、請求項１０に記載の方法。
  12. 前記コンピュータが、前記第１のデータ・セットを、前記第１の特性（２０．１、２０．２、２０．３、２０．４）に基づいて、データ変換におけるマッピング候補として検出することを含む、請求項１乃至請求項１１のいずれか１項に記載の方法。
  13. データ・セットを取り扱うための装置であって、
    第１のデータ・セット（１２、１４、１６、１８）に関連付けられた第１の特性（２０．１、２０．２、２０．３、２０．４）、単一データ値（１２’）、及び、第２のデータ・セット（１２、１４、１６、１８）に関連付けられた第２の特性（２０．１、２０．２、２０．３、２０．４）を提供する手段であって、前記提供された特性が、前記第１のデータ・セット（１２、１４、１６、１８）、前記第２のデータ・セット（１２、１４、１６、１８）及び前記単一データ値（１２’）の実行可能な比較を可能にする、手段（２０）と、
    ・前記第１及び第２の特性に基づく、前記第１のデータ・セット（１２、１４、１６、１８）と前記第２のデータ・セット（１２、１４、１６、１８）との類似性、及び
    ・前記第１の特性及び前記単一データ値に基づく、前記第１のデータ・セット（１２、１４、１６、１８）と前記単一データ値（１２’）との類似性、
    のうちの少なくとも１つと、
    ・前記第１の特性に基づく、前記第１の特性が前記第１のデータ・セットの性質をどの程度良く反映しているかを示す信頼性、及び
    ・前記第１の特性及び前記単一データ値に基づく、前記第１のデータ・セットと前記単一データ値（１２’）との前記類似性が前記単一データ値の性質をどの程度良く反映しているかを示す信頼性
    のうちの少なくとも１つを計算するための手段（３０）と、
    を含む、装置。
  14. 請求項１乃至請求項１２のいずれか１項に記載の方法の各ステップをコンピュータに実行させる、データ処理プログラム。
  15. 請求項１４記載のデータ処理プログラムをコンピュータ可読媒体に記録した、記録媒体。
JP2013527511A 2010-09-14 2011-07-14 データ・セットを取り扱うための方法及び構成、データ処理プログラム及びコンピュータ・プログラム製品 Active JP5785617B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10176677.2 2010-09-14
EP10176677 2010-09-14
PCT/EP2011/062074 WO2012034733A2 (en) 2010-09-14 2011-07-14 Method and arrangement for handling data sets, data processing program and computer program product

Publications (2)

Publication Number Publication Date
JP2013541754A JP2013541754A (ja) 2013-11-14
JP5785617B2 true JP5785617B2 (ja) 2015-09-30

Family

ID=44628981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013527511A Active JP5785617B2 (ja) 2010-09-14 2011-07-14 データ・セットを取り扱うための方法及び構成、データ処理プログラム及びコンピュータ・プログラム製品

Country Status (5)

Country Link
US (1) US8666998B2 (ja)
EP (1) EP2616960A2 (ja)
JP (1) JP5785617B2 (ja)
CN (1) CN103080924B (ja)
WO (1) WO2012034733A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093675A1 (ko) * 2017-11-10 2019-05-16 (주) 위세아이텍 빅데이터 분석을 위한 데이터 병합 장치 및 방법

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478705B2 (en) 2010-01-15 2013-07-02 International Business Machines Corporation Portable data management using rule definitions
US8949166B2 (en) 2010-12-16 2015-02-03 International Business Machines Corporation Creating and processing a data rule for data quality
US8898104B2 (en) 2011-07-26 2014-11-25 International Business Machines Corporation Auto-mapping between source and target models using statistical and ontology techniques
US8484170B2 (en) 2011-09-19 2013-07-09 International Business Machines Corporation Scalable deduplication system with small blocks
WO2014028860A2 (en) * 2012-08-17 2014-02-20 Opera Solutions, Llc System and method for matching data using probabilistic modeling techniques
US8805865B2 (en) * 2012-10-15 2014-08-12 Juked, Inc. Efficient matching of data
US9558230B2 (en) 2013-02-12 2017-01-31 International Business Machines Corporation Data quality assessment
US10332010B2 (en) * 2013-02-19 2019-06-25 Business Objects Software Ltd. System and method for automatically suggesting rules for data stored in a table
KR20140109729A (ko) * 2013-03-06 2014-09-16 한국전자통신연구원 의미기반 검색 시스템 및 이의 검색방법
US20150089403A1 (en) * 2013-09-20 2015-03-26 Jin You ZHU Dynamic generation of user interface
CN104252515B (zh) * 2013-12-04 2017-06-16 深圳市华傲数据技术有限公司 一种数据生成方法和装置
US9542456B1 (en) * 2013-12-31 2017-01-10 Emc Corporation Automated name standardization for big data
US10503709B2 (en) * 2014-03-11 2019-12-10 Sap Se Data content identification
GB2524074A (en) 2014-03-14 2015-09-16 Ibm Processing data sets in a big data repository
US9477713B2 (en) * 2014-06-06 2016-10-25 Netflix, Inc. Selecting and ordering groups of titles
US10387389B2 (en) * 2014-09-30 2019-08-20 International Business Machines Corporation Data de-duplication
CN105573971B (zh) * 2014-10-10 2018-09-25 富士通株式会社 表格重构装置和方法
EP3029607A1 (en) * 2014-12-05 2016-06-08 PLANET AI GmbH Method for text recognition and computer program product
US9928284B2 (en) * 2014-12-31 2018-03-27 Zephyr Health, Inc. File recognition system and method
US10445897B2 (en) * 2015-07-09 2019-10-15 Canon Kabushiki Kaisha Device for acquiring information relating to position displacement of multiple image data sets, method, and program
US20170011314A1 (en) * 2015-07-10 2017-01-12 International Business Machines Corporation Semi-Additive Data Modeling
US10055430B2 (en) 2015-10-14 2018-08-21 International Business Machines Corporation Method for classifying an unmanaged dataset
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
US10635693B2 (en) 2016-11-11 2020-04-28 International Business Machines Corporation Efficiently finding potential duplicate values in data
US10585864B2 (en) 2016-11-11 2020-03-10 International Business Machines Corporation Computing the need for standardization of a set of values
EP3428813A1 (en) * 2017-07-10 2019-01-16 Informatica LLC Method, apparatus, and computer-readable medium for determining a data domain of a data object
US10594817B2 (en) * 2017-10-04 2020-03-17 International Business Machines Corporation Cognitive device-to-device interaction and human-device interaction based on social networks
US11263341B1 (en) * 2017-10-11 2022-03-01 Snap Inc. Identifying personally identifiable information within an unstructured data store
US20190130027A1 (en) 2017-11-02 2019-05-02 International Business Machines Corporation Data classification
US11397855B2 (en) * 2017-12-12 2022-07-26 International Business Machines Corporation Data standardization rules generation
US11106820B2 (en) 2018-03-19 2021-08-31 International Business Machines Corporation Data anonymization
US11474978B2 (en) * 2018-07-06 2022-10-18 Capital One Services, Llc Systems and methods for a data search engine based on data profiles
US20200074104A1 (en) * 2018-08-28 2020-03-05 Ca, Inc. Controlling access to data in a database based on density of sensitive data in the database
US11200215B2 (en) * 2020-01-30 2021-12-14 International Business Machines Corporation Data quality evaluation
US11455321B2 (en) 2020-03-19 2022-09-27 International Business Machines Corporation Deep data classification using governance and machine learning
US11500886B2 (en) 2020-12-11 2022-11-15 International Business Machines Corporation Finding locations of tabular data across systems
US11886468B2 (en) * 2021-12-03 2024-01-30 International Business Machines Corporation Fingerprint-based data classification
US20230206669A1 (en) * 2021-12-28 2023-06-29 Snap Inc. On-device two step approximate string matching

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5315709A (en) 1990-12-03 1994-05-24 Bachman Information Systems, Inc. Method and apparatus for transforming objects in data models
EP0513653A2 (en) 1991-05-10 1992-11-19 Siemens Aktiengesellschaft Method for estimating similarity function coefficients from object classification data
US5555346A (en) 1991-10-04 1996-09-10 Beyond Corporated Event-driven rule-based messaging system
US5283856A (en) 1991-10-04 1994-02-01 Beyond, Inc. Event-driven rule-based messaging system
JP3175849B2 (ja) 1991-10-07 2001-06-11 株式会社日立製作所 電子秘書システム
US5392390A (en) 1992-04-10 1995-02-21 Intellilink Corp. Method for mapping, translating, and dynamically reconciling data between disparate computer platforms
US5555388A (en) 1992-08-20 1996-09-10 Borland International, Inc. Multi-user system and methods providing improved file management by reading
US6963920B1 (en) 1993-11-19 2005-11-08 Rose Blush Software Llc Intellectual asset protocol for defining data exchange rules and formats for universal intellectual asset documents, and systems, methods, and computer program products related to same
US5684990A (en) 1995-01-11 1997-11-04 Puma Technology, Inc. Synchronization of disparate databases
US5729665A (en) 1995-01-18 1998-03-17 Varis Corporation Method of utilizing variable data fields with a page description language
US6029160A (en) 1995-05-24 2000-02-22 International Business Machines Corporation Method and means for linking a database system with a system for filing data
US5761671A (en) 1996-10-25 1998-06-02 International Business Machines Corporation Method for interfacing queryable datestore persistent objects to non-relational, non-object-oriented datastores
US6044381A (en) 1997-09-11 2000-03-28 Puma Technology, Inc. Using distributed history files in synchronizing databases
US5943676A (en) 1996-11-13 1999-08-24 Puma Technology, Inc. Synchronization of recurring records in incompatible databases
US5966717A (en) 1996-12-20 1999-10-12 Apple Computer, Inc. Methods for importing data between database management programs
US6301584B1 (en) 1997-08-21 2001-10-09 Home Information Services, Inc. System and method for retrieving entities and integrating data
US6230157B1 (en) 1997-11-25 2001-05-08 International Business Machines Corporation Flattening complex data structures in Java/Javascript objects
US6076090A (en) 1997-11-26 2000-06-13 International Business Machines Corporation Default schema mapping
US6279008B1 (en) 1998-06-29 2001-08-21 Sun Microsystems, Inc. Integrated graphical user interface method and apparatus for mapping between objects and databases
US6385618B1 (en) 1997-12-22 2002-05-07 Sun Microsystems, Inc. Integrating both modifications to an object model and modifications to a database into source code by an object-relational mapping tool
US6216131B1 (en) 1998-02-06 2001-04-10 Starfish Software, Inc. Methods for mapping data fields from one data set to another in a data processing environment
US6154748A (en) 1998-04-07 2000-11-28 International Business Machines Corporation Method for visually mapping data between different record formats
US6260187B1 (en) 1998-08-20 2001-07-10 Wily Technology, Inc. System for modifying object oriented code
US7197741B1 (en) 1999-04-14 2007-03-27 Adc Telecommunications, Inc. Interface for an enterprise resource planning program
US6460048B1 (en) 1999-05-13 2002-10-01 International Business Machines Corporation Method, system, and program for managing file names during the reorganization of a database object
US6408302B1 (en) 1999-06-28 2002-06-18 Davox Corporation System and method of mapping database fields to a knowledge base using a graphical user interface
US6539391B1 (en) * 1999-08-13 2003-03-25 At&T Corp. Method and system for squashing a large data set
JP3938872B2 (ja) 2001-02-02 2007-06-27 松下電器産業株式会社 データ分類装置および物体認識装置
US20020143818A1 (en) 2001-03-30 2002-10-03 Roberts Elizabeth A. System for generating a structured document
US7043492B1 (en) 2001-07-05 2006-05-09 Requisite Technology, Inc. Automated classification of items using classification mappings
US6947947B2 (en) 2001-08-17 2005-09-20 Universal Business Matrix Llc Method for adding metadata to data
US7136852B1 (en) * 2001-11-27 2006-11-14 Ncr Corp. Case-based reasoning similarity metrics implementation using user defined functions
US7080088B1 (en) 2002-01-30 2006-07-18 Oracle International Corporation Automatic reconciliation of bindable objects
US20070198910A1 (en) 2002-03-26 2007-08-23 Aatrix Software, Inc. Method and apparatus for creating and filing forms
US7200619B2 (en) 2002-05-31 2007-04-03 International Business Machines Corporation Method and process to optimize correlation of replicated with extracted data from disparate data sources
AU2003281390A1 (en) 2002-07-09 2004-01-23 Koninklijke Philips Electronics N.V. Method and apparatus for classification of a data object in a database
US7039898B2 (en) 2002-07-12 2006-05-02 Netspective Communications, Llc Computer system for performing reusable software application development from a set of declarative executable specifications
US20040083199A1 (en) 2002-08-07 2004-04-29 Govindugari Diwakar R. Method and architecture for data transformation, normalization, profiling, cleansing and validation
US7069269B2 (en) 2002-12-03 2006-06-27 International Business Machines Corporation Method, system and program product for mapping data fields between a data source and a data target
US7779345B2 (en) * 2003-07-30 2010-08-17 Aol Inc. Reverse mapping method and apparatus for form filling
US7739223B2 (en) 2003-08-29 2010-06-15 Microsoft Corporation Mapping architecture for arbitrary data models
US7506307B2 (en) 2003-10-24 2009-03-17 Microsoft Corporation Rules definition language
US7908548B2 (en) 2003-10-24 2011-03-15 Oracle International Corporation User interface for establishing mappings from internal metadata to external metadata
US20050131771A1 (en) * 2003-12-15 2005-06-16 Steven Tischer System and method for generating data sets associated with an entity
US7921110B1 (en) * 2003-12-23 2011-04-05 Netapp, Inc. System and method for comparing data sets
US7617531B1 (en) * 2004-02-18 2009-11-10 Citrix Systems, Inc. Inferencing data types of message components
US7870046B2 (en) 2004-03-04 2011-01-11 Cae Solutions Corporation System, apparatus and method for standardized financial reporting
US8359336B2 (en) 2004-05-14 2013-01-22 Oracle International Corporation Interpreting remote objects at a local site
US7870091B2 (en) 2004-06-18 2011-01-11 Sap Ag Methods and systems for receiving data, selecting a condition table, selecting a ruleset based on the condition table, and determining and applying rules to data
JP2006099236A (ja) * 2004-09-28 2006-04-13 Toshiba Corp 分類支援装置、分類支援方法及び分類支援プログラム
US7756882B2 (en) 2004-10-01 2010-07-13 Microsoft Corporation Method and apparatus for elegant mapping between data models
US20090019358A1 (en) 2005-02-11 2009-01-15 Rivet Software, Inc. A Delaware Corporation Extensible business reporting language (xbrl) enabler for business documents
US7536409B2 (en) 2005-02-15 2009-05-19 International Business Machines Corporation Having a single set of object relational mappings across different instances of the same schemas
US7472346B2 (en) 2005-04-08 2008-12-30 International Business Machines Corporation Multidimensional XBRL engine
US20060242181A1 (en) 2005-04-22 2006-10-26 Business Objects Apparatus and method for transforming XBRL data into database schema
US20070112827A1 (en) 2005-11-10 2007-05-17 International Business Machines Corporation Abstract rule sets
JP2007164591A (ja) 2005-12-15 2007-06-28 Hitachi Ltd 財務情報の分析支援方法及びシステム
US7657506B2 (en) 2006-01-03 2010-02-02 Microsoft International Holdings B.V. Methods and apparatus for automated matching and classification of data
JP4889347B2 (ja) 2006-04-03 2012-03-07 株式会社エヌ・ティ・ティ・ドコモ コンテンツ配信ルール作成システム及びコンテンツ配信ルール作成方法
US20080201172A1 (en) 2006-04-25 2008-08-21 Mcnamar Richard T Method, system and computer software for using an xbrl medical record for diagnosis, treatment, and insurance coverage
US20090030754A1 (en) 2006-04-25 2009-01-29 Mcnamar Richard Timothy Methods, systems and computer software utilizing xbrl to identify, capture, array, manage, transmit and display documents and data in litigation preparation, trial and regulatory filings and regulatory compliance
CN101578600A (zh) * 2006-05-02 2009-11-11 皇家飞利浦电子股份有限公司 用于将一个用户的分类标签与由另一个用户定义的分类标签相关联的系统和方法
US8001607B2 (en) 2006-09-27 2011-08-16 Direct Computer Resources, Inc. System and method for obfuscation of data across an enterprise
US7814045B2 (en) 2006-10-04 2010-10-12 Sap Ag Semantical partitioning of data
US7836004B2 (en) 2006-12-11 2010-11-16 International Business Machines Corporation Using data mining algorithms including association rules and tree classifications to discover data rules
JP2008204444A (ja) 2007-01-23 2008-09-04 Just Syst Corp データ処理装置、データ処理方法及び検索装置
JP4902863B2 (ja) * 2007-01-26 2012-03-21 三菱電機株式会社 テーブル分類装置
US8122045B2 (en) * 2007-02-27 2012-02-21 International Business Machines Corporation Method for mapping a data source to a data target
US20080319983A1 (en) * 2007-04-20 2008-12-25 Robert Meadows Method and apparatus for identifying and resolving conflicting data records
US8166000B2 (en) 2007-06-27 2012-04-24 International Business Machines Corporation Using a data mining algorithm to generate format rules used to validate data sets
US8171001B2 (en) 2007-06-27 2012-05-01 International Business Machines Corporation Using a data mining algorithm to generate rules used to validate a selected region of a predicted column
US8176003B2 (en) 2007-06-29 2012-05-08 Microsoft Corporation Automatic designation of XBRL taxonomy tags
US8401987B2 (en) 2007-07-17 2013-03-19 International Business Machines Corporation Managing validation models and rules to apply to data sets
US8103704B2 (en) 2007-07-31 2012-01-24 ePrentise, LLC Method for database consolidation and database separation
US7797289B2 (en) 2007-09-05 2010-09-14 Oracle International Corporation Method and apparatus for automatically executing rules in enterprise systems
US8266168B2 (en) * 2008-04-24 2012-09-11 Lexisnexis Risk & Information Analytics Group Inc. Database systems and methods for linking records and entity representations with sufficiently high confidence
US20090307240A1 (en) * 2008-06-06 2009-12-10 International Business Machines Corporation Method and system for generating analogous fictional data from non-fictional data
US9535959B2 (en) * 2008-11-21 2017-01-03 Li Sun Method and apparatus for reconciliation of multiple sets of data
US8843487B2 (en) 2009-08-18 2014-09-23 Black Oak Partners, Llc Process and method for data assurance management by applying data assurance metrics
CN101702172A (zh) * 2009-11-10 2010-05-05 大连理工大学 一种基于类-属性关系依赖度的数据离散化方法
US8478705B2 (en) 2010-01-15 2013-07-02 International Business Machines Corporation Portable data management using rule definitions
US8612164B2 (en) * 2010-02-10 2013-12-17 Chevron U.S.A. Inc. Method of maintaining a pipeline
US8620930B2 (en) * 2010-03-11 2013-12-31 Yahoo! Inc. Method and system for determining similarity score
US10209967B2 (en) * 2010-10-18 2019-02-19 Infosys Technologies Ltd. System and method for detecting preventative maintenance operations in computer source code
US8180811B2 (en) 2010-10-19 2012-05-15 Symantec Corporation Identifying unreferenced file system components
US8949166B2 (en) 2010-12-16 2015-02-03 International Business Machines Corporation Creating and processing a data rule for data quality
US8515962B2 (en) 2011-03-30 2013-08-20 Sap Ag Phased importing of objects
US10013439B2 (en) 2011-06-27 2018-07-03 International Business Machines Corporation Automatic generation of instantiation rules to determine quality of data migration
US8898104B2 (en) 2011-07-26 2014-11-25 International Business Machines Corporation Auto-mapping between source and target models using statistical and ontology techniques

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093675A1 (ko) * 2017-11-10 2019-05-16 (주) 위세아이텍 빅데이터 분석을 위한 데이터 병합 장치 및 방법
KR20190053616A (ko) * 2017-11-10 2019-05-20 (주)위세아이텍 빅데이터 분석을 위한 데이터 병합 장치 및 방법
KR102033151B1 (ko) 2017-11-10 2019-10-16 (주)위세아이텍 빅데이터 분석을 위한 데이터 병합 장치 및 방법

Also Published As

Publication number Publication date
WO2012034733A2 (en) 2012-03-22
JP2013541754A (ja) 2013-11-14
WO2012034733A3 (en) 2012-11-08
EP2616960A2 (en) 2013-07-24
CN103080924A (zh) 2013-05-01
US8666998B2 (en) 2014-03-04
US20120066214A1 (en) 2012-03-15
CN103080924B (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
JP5785617B2 (ja) データ・セットを取り扱うための方法及び構成、データ処理プログラム及びコンピュータ・プログラム製品
KR100544514B1 (ko) 검색 쿼리 연관성 판단 방법 및 시스템
US8630989B2 (en) Systems and methods for information extraction using contextual pattern discovery
WO2019184217A1 (zh) 热点事件分类方法、装置及存储介质
US8122045B2 (en) Method for mapping a data source to a data target
JP4920023B2 (ja) オブジェクト間競合指標計算方法およびシステム
JP7153004B2 (ja) コミュニティ質問応答データの検証方法、装置、コンピュータ機器、及び記憶媒体
US10452627B2 (en) Column weight calculation for data deduplication
Qahtan et al. FAHES: A robust disguised missing values detector
CN111198948A (zh) 文本分类校正方法、装置、设备及计算机可读存储介质
JP5057474B2 (ja) オブジェクト間の競合指標計算方法およびシステム
CN110334343B (zh) 一种合同中个人隐私信息抽取的方法和系统
Ambert et al. K-information gain scaled nearest neighbors: a novel approach to classifying protein-protein interaction-related documents
US11557141B2 (en) Text document categorization using rules and document fingerprints
US8650180B2 (en) Efficient optimization over uncertain data
CN112181490A (zh) 功能点评估法中功能类别的识别方法、装置、设备及介质
US20230023636A1 (en) Methods and systems for preparing unstructured data for statistical analysis using electronic characters
Trushkowsky et al. Getting it all from the crowd
CN111341404B (zh) 一种基于ernie模型的电子病历数据组解析方法及系统
JP5020274B2 (ja) 意味ドリフトの発生評価方法及び装置
US8359329B2 (en) Method, computer apparatus and computer program for identifying unusual combinations of values in data
CN112215006A (zh) 机构命名实体归一化方法和系统
US20230359826A1 (en) Computer-implemented system and method to perform natural language processing entity research and resolution
US20230046539A1 (en) Method and system to align quantitative and qualitative statistical information in documents
CN113807429B (zh) 企业的分类方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150724

R150 Certificate of patent or registration of utility model

Ref document number: 5785617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150