JP2023526626A - エンティティ解決データ構造システム及び方法 - Google Patents

Abstract

エンティティ解決データ構造システムが、分散型処理環境において混同行列を作成することによって、２つのデータ・グラフを比較する。ベンチマーク・ファイルが、参照データ・グラフとの比較のために、１つのデータ・グラフから作成される。識別子及びメタデータがベンチマーク・ファイルに付加されて、比較が行われることと混同行列の構築とを可能にする。混同行列は、比較の結果の高レベル指示を提供する。データ・グラフが個人識別可能情報（ＰＩＩ）を含んでいるとき、プロセスは、ＰＩＩが、比較されるべきデータ・グラフを維持する当事者間でいずれの方向にも送信されることを必要としない。

Description

本出願は、２０２０年５月２０日に出願された「Ｄａｔａ Ｇｒａｐｈ Ｃｏｍｐａｒｉｓｏｎ Ｕｓｉｎｇ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｃｏｎｆｕｓｉｏｎ Ｍａｔｒｉｃｅｓ」と題する米国仮特許出願第６３／０２７，７５５号の利益を主張する。上記の出願は、その全体が参照により本明細書に組み込まれる。

エンティティ解決（ｅｎｔｉｔｙ ｒｅｓｏｌｕｔｉｏｎ）システムは、エンティティに関するデータを処理するように動作し、そのエンティティをエンティティの集団（ｐｏｐｕｌａｔｉｏｎ）の中から確実に識別することを試みる、コンピュータ化システムである。エンティティ解決データ・グラフ又は単に「データ・グラフ」が、この目的で使用され得る。データ・グラフは、エンティティ又はオブジェクトについて説明するアサーションの大きいセットからなる。これらのエンティティは、たとえば、アイデンティティ・データ・グラフの場合、人、世帯（すなわち、人のセット）、又はビジネスであり得る。アイデンティティ・データ・グラフにおいて、アサーションは、個人識別可能情報（ＰＩＩ：ｐｅｒｓｏｎａｌｌｙ ｉｄｅｎｔｉｆｉａｂｌｅ ｉｎｆｏｒｍａｔｉｏｎ）属性並びに非ＰＩＩ属性を含み得る。商用設定におけるアイデンティティ・グラフは、各レコード中に数百個又は数千個の属性（フィールド）をもつ何十億ものレコードを含む、極めて大きいものであり得る。医学など、他の分野において使用されるデータ・グラフは、オブジェクトのための非常に大きい数のノードと、対応する接続するエッジとを同様に含み得る。

現在、データ・グラフ間の一致のレベル、又は、一方のグラフが参照と見なされる場合、いずれかのデータ・グラフの精度を決定するために、２つの極めて大きいデータ・グラフを互いに比較するための有効な手段がない。したがって、問題のデータ・グラフ間の一致の精度又は少なくとも程度を決定するために、比較を実施し、有意味な出力を提供する方法が望ましいであろう。個人識別可能情報（ＰＩＩ）の使用に対する様々な制限、特に、特定の地理的領域中にある特定の団体の外部のＰＩＩの送信に課される制限により、データ・グラフ間の通信のいずれの方向でもＰＩＩの使用を必要としないやり方で、この情報を含んでいる（アイデンティティ・グラフなどの）データ・グラフを比較する方法を開発することが、さらに望ましいであろう。

混同行列は、機械学習の分野においてよく知られている。混同行列は、一般に、教師あり機械学習のコンテキストにおいて、機械学習アルゴリズムの性能の可視化を可能にするテーブル・レイアウトである。通常、行列の各行は、予測されたクラスにおけるインスタンスを表し、各列は、実際のクラスにおけるインスタンスを表す。混同行列は、予測された分類が実際の分類にどれくらいの頻度で一致したかを示すことによって、機械学習アルゴリズムが、それが割り当てられた分類タスクをどれくらい正確に実施したかの容易に読み取られる指示を研究者に提供する。本出願の発明者は、混同行列が、他のタイプの比較、特にデータ・グラフ間の特定の比較を可視化するために使用され得るが、従来の方法による混同行列の構築が、何十億ものレコードをもつデータ・グラフを比較するとき、計算量的に実現不可能であることを認識した。したがって、現存するコンピューティング機器上で実現可能な時間フレームにおいて結果を作り出す様式で混同行列を生成するためにそのような比較を実施する方法も望ましいであろう。

この背景技術のセクションにおいて述べられる言及は、本発明に関して従来技術であると認められるものではない。

本発明は、混同行列を作成する２つのデータ・グラフを比較するためのシステム及び方法を対象とする。混同行列は、比較の結果の高レベル指示を提供するために読み取られ得る。データ・グラフがＰＩＩを含んでいるとき、プロセスは、ＰＩＩが、比較されるべきデータ・グラフを維持する当事者間でいずれの方向にも送信されることを必要としない。さらに、プロセスは、参照データ・グラフと比較されているデータ・グラフの品質に依存しない。本発明のいくつかの実装形態では、ベンチマーク・ファイルが、参照データ・グラフとの比較のために、１つのデータ・グラフから作成される。識別子及びメタデータがベンチマーク・ファイルに付加される。識別子の適用は、比較が行われることと混同行列の構築とを可能にする。分散型処理方法が、プロセスを計算量的に実現可能にするために使用される。

本発明のこれらの及び他の特徴、目的並びに利点は、図面とともに、いくつかの実施例の以下の詳細な説明、及び添付の特許請求の範囲を考慮するとより良く理解されるようになるであろう。

本発明の一実装形態による、いくつかのデータ構造の論理図である。 本発明の一実装形態による、システムのための論理構造である。 本発明の一実装形態による、例示的な混同行列の図である。 本発明の一実装形態による、クラウド・コンピューティング・システムの論理図である。

本発明がさらに詳細に説明される前に、本発明の範囲は後続の非仮出願における特許請求の範囲によってのみ限定されるので、本発明が、説明される特定の実施例に限定されないこと、並びに特定の実施例を説明する際に使用される用語が、それらの特定の実施例を説明するためのものにすぎず、限定するものではないことを理解されたい。

次に図１を参照しながら、本発明の一実施例による、方法を実施するためのプロセスが次に説明され得る。比較されるべきデータ・グラフは、最初に、ベンチマーク・ファイルに集約（ｒｅｄｕｃｅ）される。ベンチマーク・ファイルは、レコードのセット、場合によっては何十億ものそのようなレコードからなり、各エンティティについて１つのレコードがある。図１は、１つの例示的なデータ・グラフ・レコード１０を示すが、これは一実例にすぎず、実際のシステムは、非常に多数のそのようなレコードを含むことになることを理解されよう。各レコードはエンティティ表現を含み、エンティティ表現は、人及び世帯（すなわち、人のグループ化）に関するデータを含むアイデンティティ・グラフの場合、名前、郵便住所（ｐｏｓｔａｌ ａｄｄｒｅｓｓ）、電話番号、電子メール・アドレスなどを含み得る。データ・グラフ・レコード１０の実例では、簡単のために、名前及び住所のみが示されている。各エンティティ表現は、１つ又は複数の「ゴールド」キーを割り当てられ、「ゴールド」キーは、アイデンティティ・グラフ内のすべてのエンティティ表現の母集団（ｕｎｉｖｅｒｓｅ）にわたって一意である、各エンティティ表現のための識別子である。「ゴールド」キーという用語は、本明細書では、参照データ・グラフと比較されるべきである、データ・グラフ内で使用される任意の識別子を示すために使用される。それらの識別子は、それらが、比較されるべきデータ・グラフ内の各エンティティ表現に関して一意である限り、任意の形式をとり得る。

各エンティティ表現に割り当てられる複数のゴールド・キーがあり得、たとえば、人のための単一のエンティティ表現が、その人のためのゴールド・キーと、その人が属する世帯のためのゴールド・キーと、その人がいる場所のためのゴールド・キーとを割り当てられ得る。ゴールド・キーの各タイプはそれの空間内で一意であり、したがって、各人ゴールド・キーは、すべての人ゴールド・キーの間で一意であり、各世帯ゴールド・キーは、すべての世帯ゴールド・キーの間で一意であり、各場所又はロケーション・ゴールド・キーは、すべての場所又はロケーション・ゴールド・キーの間で一意である。このようにして、各ゴールド・キーは、特定の一意の人、特定の一意の世帯、又は特定の一意の場所を表すことができる。世帯を共有する複数の人が、それらに割り当てられた同じ世帯ゴールド・キーを有することになる。同様に、同じロケーションを共有する人及び／又は世帯が、それらを割り当てられた同じ場所ゴールド・キーを有し得る。データ・グラフ・レコード１０の実例では、６桁英数字が、人ゴールド・キー、世帯ゴールド・キー、及び場所ゴールド・キーのために使用されるが、これらのゴールド・キーは、コンピューティング環境内で任意の他の形式で表され得る。代替実装形態では、本発明が、１つ又は複数の他のタイプのデータ・オブジェクトに拡張され得、１つ又はより大きい数のゴールド・キーを採用し得ることを容易に理解されよう。

データ・グラフ・レコード１０の場合のようにゴールド・キーを各エンティティ表現に割り当てた後に、修正されたベンチマーク・ファイルが、エンティティ解決システム・マッチ論理プロセス１２に導入される。エンティティ解決マッチ論理１２プロセスは、参照データ・グラフ（すなわち、エンティティ解決グラフ１４）を利用して、参照データ・グラフ自体の識別子をベンチマーク・ファイルの各エンティティ解決に割り当てる。ゴールド・キーのように、参照データ・グラフの識別子は、そのデータ・グラフに知られている、各人、世帯、又は場所について一意である。このプロセスの結果は、図１に示されているように、各エンティティ表現が、例示的なエンティティ解決グラフ・レコード１６によって表されるように、エンティティ解決グラフ（すなわち、参照データ・グラフ）からの１つ又は複数のゴールド・キーと１つ又は複数の識別子の両方を各エンティティ表現に割り当てられることになることである。ここでも、このプロセスの出力は、一般に、非常に多数のそのようなレコードを含むことが理解されるとともに、エンティティ解決グラフ・レコード１６は、一実例にすぎないことを理解されたい。

このプロセスはまた、図２のデータ・フロー図によって示されているように可視化され得る。ベンチマーク入力ファイル１８が、ゴールド・キーの割当ての後に、解決ジョブ２０に供給され、これは、エンティティ解決グラフ１４を使用するエンティティ解決マッチ論理１２プロセスによって促進される。「解決された」ベンチマーク（すなわち、エンティティ解決グラフからのゴールド・キーと識別子の両方をもつベンチマーク・ファイル）２２が、次いで、マッチ率及びスコアリング２４のために送られ、マッチ率及びスコアリング２４は、以下で説明されるようにエンティティ解決混同行列２６を作り出す。

数十億ものレコードの規模でのエンティティ解決混同行列２６の構築は、利用可能な算出リソースを用いて連続的に実現可能に実施され得ない。むしろ、それは、分散型処理を通して実施される。一実装形態では、大きいデータ・ジョイン（ｄａｔａ ｊｏｉｎ）をサポートするためにコンピューティング・クラスタ上で並列の、分散型アルゴリズムを使用して極めて大きいデータ・セットのために使用されるプログラミング・モデルである、ＭａｐＲｅｄｕｃｅなどのフレームワークが採用される。図４は、本発明がＨａｄｏｏｐフレームワークを使用して実装され得る、ＭａｐＲｅｄｕｃｅシステムの全体的なアーキテクチャ・ビューを提供する。システム出力は、分散型ストレージ３６のコンテキスト内にある。概して、Ｈａｄｏｏｐクラスタは、最小限に、マスタ・サーバ及びワーカー・サーバ（ｗｏｒｋｅｒ ｓｅｒｖｅｒ）を必要とする。この場合、クラスタは、マスタ３０、複数のワーカー３２を、すべてビッグ・データ処理コンピュート・クラスタ３４のフレームワーク内に含む。ただし、本発明は、Ｈａｄｏｏｐフレームワークにおける実装形態に限定されず、本発明の代替実装形態では、他のソフトウェア・パッケージが使用され得る。

ＭａｐＲｅｄｕｃｅフレームワークを適用すること、フィルタ処理すること、及び分類することが、最初に実施され、次いで、集計（ｓｕｍｍａｒｙ）動作を実施する集約方法が適用される。詳細には、本プロセスは、本発明の特定の実装形態において、以下のフェーズを通る。
１．各一意の予測されたキー（参照データ・グラフにおいて使用される識別子である予測されたキー）について、すべてのゴールド・キーをグループ化する、
２．頻度に基づいて、各一意の予測されたキーについて、単一のゴールド・キーを発行する、
３．各一意のゴールド・キーについて、すべての予測されたキーをグループ化する、
４．頻度に基づいて、各一意のゴールド・キーについて、単一の予測されたキーを選ぶ、
５．この時点で混同行列が作られており、次に、ゴールド・キーに関する１対１のマッピングをグループ化する、
６．混同行列の以下の領域を合計する、
ａ．総集団、
ｂ．データの一意の集団を表す、総ゴールド・キー集団、
ｃ．参照データ・グラフにおいて未知であった、ベンチマーク・ファイル中の集団を表す、総未知集団（ｔｏｔａｌ ｕｎｋｎｏｗｎ ｐｏｐｕｌａｔｉｏｎ）（ＴＭＥＣ）、
ｄ．ベンチマーク・ファイル中ではなく、参照データ・グラフ中の集団を表す、総追加集団（ｔｏｔａｌ ａｄｄｉｔｉｏｎａｌ ｐｏｐｕｌａｔｉｏｎ）、
ｅ．ベンチマーク・ファイルと参照データ・グラフとの間で一致しなかった重複する集団を表す、総不一致（ｔｏｔａｌ ｄｉｓａｇｒｅｅｍｅｎｔ）（混同行列における黄色セルの和）、
ｆ．ベンチマーク・ファイルと参照データ・グラフとが一致した重複する集団を表す、総一致（ｔｏｔａｌ ａｇｒｅｅｍｅｎｔ）（混同行列における緑色セルの和）、
ｇ．列におけるゴールド・キーについての一致のみが存在する、非あいまい完全同値類を表す、総厳密（ｔｏｔａｌ ｅｘａｃｔ）（ＴＥＥＣ）、
ｈ．列におけるゴールド・キーについての欠落した識別子がなかったが、ゴールド・キーと予測されたキーとの間のいくつかの不一致があり得る、同値類を表す、総完全（ｔｏｔａｌ ｃｏｍｐｌｅｔｅ）（ＴＣＥＣ）、
ｉ．列におけるゴールド・キーについてのいくつかの欠落した識別子があったが、ゴールド・キーと比較して正確又は不正確のいずれかであった少なくとも１つの予測されたキーがあった、同値類を表す、総部分的（ｔｏｔａｌ ｐａｒｔｉａｌ）（ＴＰＥＣ）、
ｊ．参照データ・グラフにおけるすべての予測された識別子が一致するが、集団のすべてが参照データ・グラフ中に存在したとは限らない、ベンチマーク・ファイルの集団を表す、非あいまい部分的（ｕｎａｍｂｉｇｕｏｕｓ ｐａｒｔｉａｌ）（ＴＰＵＥＣ）、
ｋ．集団のすべてが参照データ・グラフと重複したが、すべての予測された識別子が一致したとは限らない、ベンチマーク・ファイルの集団を表す、あいまい完全（ａｍｂｉｇｕｏｕｓ ｃｏｍｐｌｅｔｅ）（ＴＣＥＣ）、
ｌ．集団のすべてが参照データ・グラフ中に存在したとは限らず、予測された識別子のすべてがベンチマーク・ファイルと一致したとは限らない、ベンチマーク・ファイルの集団を表す、あいまい部分的（ａｍｂｉｇｕｏｕｓ ｐａｒｔｉａｌ）（ＴＰＡＥＣ）。

本発明の実装形態による、本方法に従って構築された例示的な混同行列が、図３に示されている。図３におけるＴＰＩＤは、「総予測されたＩＤ（ｔｏｔａｌ ｐｒｅｄｉｃｔｅｄ ＩＤ）」を指し、他の略語及び用語は、上記で又は図３自体内で定義されるものである。図３から、得られた混同行列は個人識別可能情報（ＰＩＩ）を含んでいないことがわかり得る。したがって、システムは、データ・グラフにおけるＰＩＩの使用又は送信を必要とすることなしにデータ・グラフの比較を可能にし、したがって、いずれかのグラフ中でデータが収集される人のための個人データが失われるか又はインターセプトされ得るリスクを大幅に減少させる。

本明細書で説明されるシステム及び方法は、様々な実施例では、ハードウェアとソフトウェアとの任意の組合せによって実装され得る。たとえば、一実施例では、システム及び方法は、コンピュータ・システム又はコンピュータ・システムの集合によって実装され得、それらの各々は、プロセッサに結合されたコンピュータ可読記憶媒体に記憶されたプログラム命令を実行する１つ又は複数のプロセッサを含む。プログラム命令は、本明細書で説明される機能を実装し得る。図において示されているような、本明細書で説明される様々なシステム及び表示は、例示的な実装形態を表す。任意の方法の順序が変更され得、様々な要素が追加、修正、又は省略され得る。

本明細書で説明されるコンピューティング・システム又はコンピューティング・デバイスは、本発明の様々な実装形態の部分を形成するものとして、クラウド・コンピューティング・システム又は非クラウド・コンピューティング・システムのハードウェア部分を実装し得る。コンピュータ・システムは、限定はしないが、コモディティ・サーバ、パーソナル・コンピュータ・システム、デスクトップ・コンピュータ、ラップトップ又はノートブック・コンピュータ、メインフレーム・コンピュータ・システム、ハンドヘルド・コンピュータ、ワークステーション、ネットワーク・コンピュータ、消費者デバイス、アプリケーション・サーバ、ストレージ・デバイス、電話、携帯電話、或いは概して任意のタイプのコンピューティング・ノード、コンピュート・ノード、コンピュート・デバイス、及び／又はコンピューティング・デバイスを含む、様々なタイプのデバイスのうちのいずれかであり得る。コンピューティング・システムは、入出力（Ｉ／Ｏ）インターフェースを介してシステム・メモリに結合された（それらのうちのいずれかが単一又はマルチスレッドであり得る複数の処理コアを含み得る）１つ又は複数のプロセッサを含む。コンピュータ・システムは、Ｉ／Ｏインターフェースに結合されたネットワーク・インターフェースをさらに含み得る。

様々な実施例では、コンピュータ・システムは、１つのプロセッサを含むシングル・プロセッサ・システム、又は複数のプロセッサを含むマルチプロセッサ・システムであり得る。プロセッサは、コンピューティング命令を実行することが可能な任意の好適なプロセッサであり得る。たとえば、様々な実施例では、プロセッサは、様々な命令セット・アーキテクチャのうちのいずれかを実装する汎用プロセッサ又は組込みプロセッサであり得る。マルチプロセッサ・システムでは、プロセッサの各々は、通常、必ずしもそうではないが、同じ命令セットを実装し得る。コンピュータ・システムはまた、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、又はインターネットなど、通信ネットワークにわたって他のシステム及び／又は構成要素と通信するための１つ又は複数のネットワーク通信デバイス（たとえば、ネットワーク・インターフェース）を含む。たとえば、コンピューティング・デバイス上で実行するクライアント・アプリケーションは、様々なサブシステムにおいて実装される、クラウド・コンピューティング又は非クラウド・コンピューティング環境において本明細書で説明されるシステムの構成要素のうちの１つ又は複数を実装する単一のサーバ上で又はサーバのクラスタ上で実行するサーバ・アプリケーションと通信するためのネットワーク・インターフェースを使用し得る。別の実例では、コンピュータ・システム上で実行するサーバ・アプリケーションのインスタンスは、他のコンピュータ・システム上に実装され得るアプリケーションの他のインスタンスと通信するためのネットワーク・インターフェースを使用し得る。

コンピューティング・デバイスはまた、１つ又は複数の永続ストレージ・デバイス及び／又は１つ又は複数のＩ／Ｏデバイスを含む。様々な実施例では、永続ストレージ・デバイスは、ディスク・ドライブ、テープ・ドライブ、固体メモリ、他の大容量ストレージ・デバイス、又は任意の他の永続ストレージ・デバイスに対応し得る。コンピュータ・システム（或いはその上で動作する分散型アプリケーション又はオペレーティング・システム）は、要望に応じて、命令及び／又はデータを永続ストレージ・デバイスに記憶し得、必要に応じて、記憶された命令及び／又はデータを取り出し得る。たとえば、いくつかの実施例では、コンピュータ・システムは、制御プレーン又は制御システムの１つ又は複数のノードを実装し得、永続ストレージは、そのサーバ・ノードに取り付けられたＳＳＤを含み得る。複数のコンピュータ・システムは、同じ永続ストレージ・デバイスを共有し得るか、或いは、永続ストレージ・デバイスのプールを共有し得、プール中のデバイスは、同じ又は異なるストレージ技術を表す。

コンピュータ・システムは、（１つ又は複数の）プロセッサによってアクセス可能なコード／命令とデータとを記憶し得る１つ又は複数のシステム・メモリを含む。システム・メモリは、たとえば、アクセス速度に基づいてメモリ中の情報をスワップするように設計されたシステムにおける複数のレベルのメモリ及びメモリ・キャッシュを含み得る。インターリービング及びスワッピングが、仮想メモリ実装形態において永続ストレージに拡張し得る。メモリを実装するために使用される技術は、実例として、スタティック・ランダムアクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ダイナミックＲＡＭ、読取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、不揮発性メモリ、又はフラッシュタイプ・メモリを含み得る。永続ストレージの場合と同様に、複数のコンピュータ・システムは、同じシステム・メモリを共有し得るか、又はシステム・メモリのプールを共有し得る。１つ又は複数のシステム・メモリは、本明細書で説明されるルーチンを実装するために、（１つ又は複数の）プロセッサによって実行可能であるプログラム命令を含んでいることがある。様々な実施例では、プログラム命令は、バイナリ、アセンブリ言語、Ｊａｖａなどの任意のインタープリタ型言語、Ｃ／Ｃ＋＋などのコンパイルされた言語において、又はそれらの任意の組合せにおいて符号化され得、ここで与えられる特定の言語は、実例にすぎない。いくつかの実施例では、プログラム命令は、複数の別個のクライアント、サーバ・ノード、及び／又は他の構成要素を実装し得る。

いくつかの実装形態では、プログラム命令は、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ、Ｓｏｌａｒｉｓ（商標）、ＭａｃＯＳ（商標）、又はＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（商標）など、様々なオペレーティング・システムのうちのいずれかであり得る、オペレーティング・システム（図示せず）を実装するために実行可能な命令を含み得る。プログラム命令のいずれか又はすべては、様々な実装形態に従ってプロセスを実施するようにコンピュータ・システム（又は他の電子デバイス）をプログラムするために使用され得る、命令を記憶した非一時的コンピュータ可読記憶媒体を含み得る、コンピュータ・プログラム製品又はソフトウェアとして提供され得る。非一時的コンピュータ可読記憶媒体は、機械（たとえば、コンピュータ）によって可読な形態（たとえば、ソフトウェア、処理アプリケーション）で情報を記憶するための任意の機構を含み得る。概して、非一時的コンピュータアクセス可能媒体は、磁気媒体又は光媒体など、コンピュータ可読記憶媒体又はメモリ媒体、たとえば、Ｉ／Ｏインターフェースを介してコンピュータ・システムに結合されたディスク又はＤＶＤ／ＣＤ－ＲＯＭを含み得る。非一時的コンピュータ可読記憶媒体は、コンピュータ・システムのいくつかの実施例では、システム・メモリ又は別のタイプのメモリとして含まれ得る、ＲＡＭ又はＲＯＭなど、任意の揮発性媒体又は不揮発性媒体をも含み得る。他の実装形態では、プログラム命令は、ネットワーク・インターフェースを介して実装され得るものなど、ネットワーク及び／或いはワイヤード又はワイヤレス・リンクなど、通信媒体を介して伝達される、伝搬される信号の光形態、音響形態、又は他の形態（たとえば、搬送波、赤外線信号、デジタル信号など）を使用して通信され得る。ネットワーク・インターフェースは、他のコンピュータ・システム又は任意のタイプの外部電子デバイスを含み得る、他のデバイスとインターフェースするために使用され得る。概して、ネットワークを通して他のデバイス上でアクセス可能なシステム・メモリ、永続ストレージ、及び／又はリモート・ストレージは、データ・ブロック、データ・ブロックのレプリカ、データ・ブロック及び／又はそれらの状態に関連付けられたメタデータ、データベース構成情報、並びに／或いは本明細書で説明されるルーチンを実装する際に使用可能な任意の他の情報を記憶し得る。

いくつかの実装形態では、Ｉ／Ｏインターフェースは、ネットワーク・インターフェース又は他の周辺インターフェースを通してを含めて、システムにおけるプロセッサとシステム・メモリと任意の周辺デバイスとの間のＩ／Ｏトラフィックを協調させ得る。いくつかの実施例では、Ｉ／Ｏインターフェースは、ある構成要素（たとえば、システム・メモリ）からのデータ信号を、別の構成要素（たとえば、プロセッサ）による使用に好適なフォーマットにコンバートするために、任意の必要なプロトコル、タイミング又は他のデータ変換を実施し得る。いくつかの実施例では、Ｉ／Ｏインターフェースは、たとえば、周辺構成要素相互接続（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス規格又はユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格の変形態など、様々なタイプの周辺バスを通して取り付けられたデバイスのサポートを含み得る。また、いくつかの実施例では、システム・メモリへのインターフェースなど、Ｉ／Ｏインターフェースの機能の一部又は全部が、（１つ又は複数の）プロセッサに直接組み込まれ得る。

ネットワーク・インターフェースは、たとえば、データが、コンピュータ・システムと、（本明細書で説明される、１つ又は複数のストレージ・システム・サーバ・ノード、１次ノード、読取り専用ノード・ノード、及び／又はデータベース・システムのクライアントを実装し得る）他のコンピュータ・システムなど、ネットワークに取り付けられた他のデバイスとの間で交換されることを可能にし得る。さらに、Ｉ／Ｏインターフェースは、コンピュータ・システムと様々なＩ／Ｏデバイス及び／又はリモート・ストレージとの間の通信を可能にし得る。入出力デバイスは、いくつかの実施例では、１つ又は複数のディスプレイ端末、キーボード、キーパッド、タッチパッド、走査デバイス、ボイス又は光認識デバイス、或いは１つ又は複数のコンピュータ・システムによってデータを入れるか又は取り出すのに好適な任意の他のデバイスを含み得る。これらは、特定のコンピュータ・システムに直接接続するか、或いは、概して、クラウド・コンピューティング環境、グリッド・コンピューティング環境、又は複数のコンピュータ・システムを伴う他のシステムにおける、複数のコンピュータ・システムに接続し得る。複数の入出力デバイスが、コンピュータ・システムと通信して存在し得るか、又はコンピュータ・システムを含む分散型システムの様々なノード上に分散され得る。本明細書で説明されるユーザ・インターフェースは、ＣＲＴディスプレイと、ＬＣＤディスプレイと、ＬＥＤディスプレイと、他のディスプレイ技術とを含み得る、様々なタイプのディスプレイ・スクリーンを使用してユーザに可視であり得る。いくつかの実装形態では、入力は、タッチスクリーン技術を使用してディスプレイを通して受信され得、他の実装形態では、入力は、キーボード、マウス、タッチパッド、又は他の入力技術、或いはこれらの技術の任意の組合せを通して受信され得る。

いくつかの実施例では、同様の入出力デバイスが、コンピュータ・システムとは別個であり得、ネットワーク・インターフェース上でなど、ワイヤード又はワイヤレス接続を通して、コンピュータ・システムを含む分散型システムの１つ又は複数のノードと対話し得る。ネットワーク・インターフェースは、通常、１つ又は複数のワイヤレス・ネットワーキング・プロトコル（たとえば、Ｗｉ－Ｆｉ／ＩＥＥＥ８０２．１１、又は別のワイヤレス・ネットワーキング規格）をサポートし得る。ネットワーク・インターフェースは、たとえば、他のタイプのイーサネット・ネットワークなど、任意の好適なワイヤード又はワイヤレスの一般的なデータ・ネットワークを介した通信をサポートし得る。さらに、ネットワーク・インターフェースは、アナログ・ボイス・ネットワーク又はデジタル・ファイバー通信ネットワークなどの電気通信／テレフォニー・ネットワークを介した通信、ファイバー・チャネルＳＡＮなどのストレージ・エリア・ネットワークを介した通信、或いは任意の他の好適なタイプのネットワーク及び／又はプロトコルを介した通信をサポートし得る。

本明細書で説明される分散型システム実施例のうちのいずれか、又はそれらの構成要素のうちのいずれかは、クラウド・コンピューティング環境における１つ又は複数のネットワークベース・サービスとして実装され得る。たとえば、データベース・システムのデータベース・ティア内の読取り書込みノード及び／又は読取り専用ノードは、本明細書で説明される分散型ストレージ・システムを採用するデータベース・サービス及び／又は他のタイプのデータ・ストレージ・サービスを、ネットワークベース・サービスとしてクライアントに提示し得る。いくつかの実施例では、ネットワークベース・サービスは、ネットワークを介した相互運用可能なマシンツーマシン対話をサポートするように設計されたソフトウェア及び／又はハードウェア・システムによって実装され得る。ウェブ・サービスは、ウェブ・サービス記述言語（ＷＳＤＬ：Ｗｅｂ Ｓｅｒｖｉｃｅｓ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）などの機械処理可能なフォーマットで記述されたインターフェースを有し得る。他のシステムは、ネットワークベース・サービスのインターフェースの記述によって規定された様式でネットワークベース・サービスと対話し得る。たとえば、ネットワークベース・サービスは、他のシステムが呼び出し得る様々な動作を定義し得、様々な動作を要求するときに他のシステムが従うことが予想され得る特定のアプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を定義し得る。

様々な実施例では、ネットワークベース・サービスは、ネットワークベース・サービス要求に関連付けられたパラメータ及び／又はデータを含むメッセージの使用を通して要求されるか又は呼び出され得る。そのようなメッセージは、拡張可能マークアップ言語（ＸＭＬ：Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの特定のマークアップ言語に従ってフォーマットされ得、及び／又はシンプル・オブジェクト・アクセス・プロトコル（ＳＯＡＰ：Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）などのプロトコルを使用してカプセル化され得る。ネットワークベース・サービス要求を実施するために、ネットワークベース・サービス・クライアントは、要求を含むメッセージをアセンブルし、ハイパーテキスト転送プロトコル（ＨＴＴＰ：Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などのインターネットベース・アプリケーション・レイヤ転送プロトコルを使用して、そのメッセージを、ウェブ・サービスに対応するアドレス指定可能なエンドポイント（たとえば、ユニフォーム・リソース・ロケータ（ＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ））に伝達し得る。いくつかの実施例では、ネットワークベース・サービスは、メッセージ・ベース技法ではなく表現状態転送（ＲＥＳＴ：Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）技法を使用して実装され得る。たとえば、ＲＥＳＴ技法に従って実装されたネットワークベース・サービスが、ＰＵＴ、ＧＥＴ、又はＤＥＬＥＴＥなど、ＨＴＴＰメソッド内に含まれるパラメータを通して呼び出され得る。

別段に明記されていない限り、本明細書で使用されるすべての技術用語及び科学用語は、本発明が属する当技術分野の当業者によって一般に理解されるものと同じ意味を有する。本明細書で説明されるものと同様の又は等価な方法及び材料が、本発明の実施又はテストにおいても使用され得るが、限られた数の例示的な方法及び材料が本明細書で説明される。はるかに多くの修正が、本明細書の発明概念から逸脱することなく可能であることが当業者には明らかであろう。

本明細書で使用されるすべての用語は、コンテキストに一致する最も広い可能な様式で解釈されるべきである。グループ化が本明細書で使用されるとき、グループのすべての個々のメンバー並びにグループの可能なすべての組合せ及び部分組合せが本開示に個々に含まれるものとする。本明細書で引用されるすべての参照は、本明細書の本開示との不整合がない範囲で、参照により本明細書に組み込まれる。本明細書で範囲が使用されるとき、範囲内のすべてのポイント及び範囲内のすべてのサブ範囲が、本開示に含まれるものとする。

本発明は、例にすぎないことが意図され、本発明の完全な範囲に限定するものではない、いくつかの好ましい実装形態及び代替実装形態に関して説明された。

Claims (24)

1. データ・グラフを比較するための方法であって、前記方法は、
   ソース・データ・グラフからベンチマーク・ファイルを構築するステップであって、前記ベンチマーク・ファイルが、各々エンティティ表現を備える複数のレコードを備える、ステップと、
   前記ベンチマーク・ファイルの各エンティティ表現にゴールド・キーを割り当てるステップであって、各ゴールド・キーが、前記ソース・データ・グラフにおいてエンティティに一意に関連付けられる識別子である、ステップと、
   前記ベンチマーク・ファイルとエンティティ解決システムとの間でマッチ・プロセスを稼働するステップであって、前記エンティティ解決システムが、マッチングのための参照データ・グラフを利用し、前記参照データ・グラフが複数のエンティティ表現を備え、前記参照データ・グラフにおける各エンティティ表現が少なくとも１つの識別子を備える、ステップと、
   前記ベンチマーク・ファイルと前記参照データ・グラフとの間の各マッチしたエンティティ表現について、前記参照データ・グラフにおける前記マッチしたエンティティ表現における各識別子を、前記ベンチマーク・ファイルにおける前記マッチしたエンティティ表現にコピーするステップと、
   エンティティ解決混同行列を作り出すために、前記ベンチマーク・ファイルをスコアリングするステップと
   を含む、方法。
2. 各エンティティ表現に割り当てられた前記ゴールド・キーが人ゴールド・キーであり、各人ゴールド・キーが、前記ベンチマーク・ファイルにおけるすべての人エンティティに関して一意である、請求項１に記載の方法。
3. 少なくとも１つのエンティティ表現に世帯ゴールド・キーを割り当てるステップであって、各世帯ゴールド・キーが、前記ベンチマーク・ファイルにおけるすべての世帯エンティティに関して一意である、ステップをさらに含む、請求項２に記載の方法。
4. 少なくとも１つのエンティティ表現にロケーション・ゴールド・キーを割り当てるステップであって、各ロケーション・ゴールド・キーが、前記ベンチマーク・ファイルにおけるエンティティのすべてのロケーションに関して一意である、ステップをさらに含む、請求項３に記載の方法。
5. 各エンティティ表現が、名前又は郵便住所又は電話番号又は電子メール・アドレスのうちの少なくとも１つを備える、請求項１に記載の方法。
6. 参照アイデンティティ・グラフにおいて各エンティティ表現に割り当てられた前記識別子が人識別子であり、各人識別子が、前記参照アイデンティティ・グラフにおけるすべての人識別子に関して一意である、請求項１に記載の方法。
7. 前記参照アイデンティティ・グラフにおいて各表現に割り当てられた前記識別子が世帯識別子をさらに備え、各世帯識別子が、前記参照アイデンティティ・グラフにおけるすべての世帯識別子に関して一意である、請求項６に記載の方法。
8. 前記参照アイデンティティ・グラフにおいて各表現に割り当てられた前記識別子がロケーション識別子をさらに備え、各ロケーション識別子が、前記参照アイデンティティ・グラフにおけるすべてのロケーション識別子に関して一意である、請求項７に記載の方法。
9. エンティティ表現混同行列を作り出すステップが、並列処理を通してコンピューティング・クラスタ上の分散型コンピューティング・システムにおいて実施される、請求項１に記載の方法。
10. エンティティ表現混同行列を作り出す前記ステップが、大きいデータ・ジョインをサポートするバッチ並列フレームワークにおいて実施される、請求項９に記載の方法。
11. エンティティ表現混同行列を作り出す前記ステップが、フィルタ処理するステップと、分類するステップと、集約のステップとを含む、請求項１に記載の方法。
12. エンティティ表現混同行列を作り出す前記ステップが、
    各一意の予測されたキーについて、すべてのゴールド・キーをグループ化するステップと、
    各一意の予測されたキーについて、単一のゴールド・キーを発行するステップと、
    各一意のゴールド・キーについて、すべての予測されたキーをグループ化するステップと、
    各一意のゴールド・キーについて、単一の予測されたキーを選ぶステップと
    をさらに含む、請求項１に記載の方法。
13. 各一意の予測されたキーについて、単一のゴールド・キーを発行するサブステップが、頻度に基づく、請求項１２に記載の方法。
14. 各一意のゴールド・キーについて、単一の予測されたキーを選ぶサブステップが、頻度に基づく、請求項１２に記載の方法。
15. 対応するゴールド・キーに基づいて１対１のマッピングをグループ化するステップをさらに含む、請求項１２に記載の方法。
16. 総集団を合計するステップをさらに含む、請求項１５に記載の方法。
17. 総ゴールド・キー集団を合計するステップをさらに含み、前記総ゴールド・キー集団が、参照ファイルの一意の集団を含む、請求項１６に記載の方法。
18. 総未知集団を合計するステップをさらに含み、前記総未知集団が、前記参照アイデンティティ・グラフにおいて未知であった、前記ベンチマーク・ファイル中の集団を含む、請求項１７に記載の方法。
19. 総追加集団を合計するステップをさらに含み、前記総追加集団が、前記ベンチマーク・ファイル中ではなく、前記参照アイデンティティ・グラフ中の集団を含む、請求項１８に記載の方法。
20. 総不一致を計算するステップをさらに含み、総不一致が、前記ベンチマーク・ファイルと前記参照アイデンティティ・グラフとの間で一致しなかった重複する集団を含む、請求項１９に記載の方法。
21. 総一致を計算するステップをさらに含み、総一致が、前記ベンチマーク・ファイルと前記参照アイデンティティ・グラフとの間で一致した重複する集団を含む、請求項２０に記載の方法。
22. 非あいまい部分的を計算するステップをさらに含み、非あいまい部分的が、集団であって、前記参照アイデンティティ・グラフにおけるすべての予測された識別子が一致するが、前記集団のすべてが前記参照アイデンティティ・グラフ中に存在したとは限らない、集団を含む、請求項２１に記載の方法。
23. あいまい完全を計算するステップをさらに含み、あいまい完全が、前記ベンチマーク・ファイルの集団であって、前記集団のすべてが前記参照アイデンティティ・グラフと重複したが、すべての予測された識別子が一致したとは限らない、集団を含む、請求項２２に記載の方法。
24. あいまい部分的を計算するステップをさらに含み、あいまい部分的が、前記ベンチマーク・ファイルの集団であって、前記集団のすべてが前記参照アイデンティティ・グラフ中に存在したとは限らず、前記予測された識別子のすべてが前記ベンチマーク・ファイルと一致したとは限らない、集団を含む、請求項２３に記載の方法。

Images