JP7444245B2 - データ検索システム、装置、方法、および、プログラム - Google Patents

データ検索システム、装置、方法、および、プログラム Download PDF

Info

Publication number
JP7444245B2
JP7444245B2 JP2022517451A JP2022517451A JP7444245B2 JP 7444245 B2 JP7444245 B2 JP 7444245B2 JP 2022517451 A JP2022517451 A JP 2022517451A JP 2022517451 A JP2022517451 A JP 2022517451A JP 7444245 B2 JP7444245 B2 JP 7444245B2
Authority
JP
Japan
Prior art keywords
data
unit
cell
column
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517451A
Other languages
English (en)
Other versions
JP2022551230A (ja
Inventor
于洋 董
昌史 小山田
邦紘 竹岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2022551230A publication Critical patent/JP2022551230A/ja
Application granted granted Critical
Publication of JP7444245B2 publication Critical patent/JP7444245B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24558—Binary matching operations
    • G06F16/2456—Join operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、結合可能なテーブルを検索するデータ検索システム、データ検索装置、データ検索方法およびデータ検索プログラムに関する。
「結合」は、２つ以上のテーブルを接続するための重要な技術である。２つの異なるテーブルを結合することで、元のデータに関連するより多くの属性を得ることにより、データの価値を高めることができる。データ分析は、より多くの特徴を処理し、より良いパフォーマンスを得ることができる結合から利益を得る。例えば、データ分析者は、ＰＯＳ（販売時点情報管理）データと気象データとを結合することで、「台風の日はおにぎりがよく売れる」のようにより多くの知識を得ることができる。
そのため、テーブルを保有しているデータ分析者にとっては、大規模なソーステーブルから結合可能なテーブルを見つけることが大きなニーズとなっている。特許文献１には、入力された文字列で関連テーブルを検索する生成装置が開示されている。しかし、特許文献１に開示されている生成装置は、問合せ文字列を受け取り、その文字列に対応する関連テーブルを出力するものであり、クエリテーブルに対する結合可能なテーブルを検索する問題に適用することはできない。
非特許文献１には、入力テーブルに対して結合可能なテーブルを検索する方法が開示されている。非特許文献１に開示されている方法では、２つのテーブルが結合可能かどうかの判断は、厳密な結合（または等しい結合）操作に基づいて行われる。厳密な結合は、等しい結合や外部キー結合と同様に、全く同じ値を持つ２つの異なるテーブルからの値で実行される。図１２は、テーブルの例を示す説明図である。例えば、図１２では、「ＳＴＯＲＥ ＩＤ」の列に応じてテーブルを結合することができる。
一方で、２つのテーブルのデータがまったく同じとは限らない。このような場合、テーブルは類似度結合（またはファジー結合）で結合される。類似度結合は、異なるテーブルの２つのデータの類似度を測定する。非特許文献２には、文字列データに対する類似度結合の操作に基づいて、２つのテーブルから関連する集合を見つける方法が開示されている。
図１３は、テーブルの他の例を示す説明図である。例えば、図１３において、列「ベストセラー」は、文字列の類似度に応じて、別のテーブルの別の列「Ｐｒｏｄｕｃｔ」と結合することができる。例えば、図１３において、「Ｇｏｏｇｌｅ ＡＲ Ｇｌａｓｓ」と「Ｇｏｏｇｌｅ Ｇｌａｓｓ」は、全く同じではないが、Ｊａｃｃａｒｄ類似度や編集距離などの文字列類似度関数で高い類似度を持つ。そこで、非特許文献２では、このような文字列のファジィ結合を可能にし、文字列データの関連集合を効率的に見つけることができる。
データ分析者は、実数（または数値ベクトル）データで２つのテーブル間の類似度結合を処理する必要もある。ユークリッド距離やコサイン類似度など、２つの実数データを測定する類似度関数は、文字列データに対する類似度関数とは異なる。例えば、図１２において、「位置」の列には座標が表示されている。２つのテーブルを結合すると、売上と天気の関係がわかる。非特許文献３には、２つの表を入力し、数値ベクトルデータの列をユークリッド距離で高速に類似度結合する方法が開示されている。
米国特許ＵＳ９６０７０４４ Ｂ２
Erkang zhu et al., "JOSIE: Overlap Set Similarity Search for Finding Joinable Tables in Data Lakes", SIGMOD Conference 2019, pp.847-864, 2019 Dong Deng et al., "SilkMoth: An Efficient Method for Finding Related Sets with Maximum Matching Constraints", PVLDB 10(10), pp.1082-1093, 2017 You Jung Kim et al., "Performance Comparison of the R*-Tree and the Quadtree for kNN and Distance Join Queries", IEEE Trans. Knowledge Data Eng., 22(7), pp. 1014-1027, 2010
第１の課題は、実数データの類似度結合を持つ結合可能なテーブルを見つけることである。上述したように、クエリテーブルが与えられた場合、非特許文献１によれば、クエリテーブルと全く同じデータを含む結合可能なテーブルしか検索できない。非特許文献１に開示されている方法では、類似度結合に対応できない。
非特許文献２には、類似度結合で結合可能なテーブルを見つける方法が開示されている。しかし、非特許文献２に開示されている方法は、文字列データに対する類似度関数に対応し、実数データに対する類似度関数に対応していない。実際のアプリケーションにおいて、データ分析の性能を上げるために、多くの文字列処理システムでは、文字列をワードエンベッディング技術によって実数データ（数値ベクトル）に変換する傾向がある。そのため、上記の手法では、実数データの類似度結合で結合可能なテーブルを見つけることができないという問題がある。
第２の課題は、大規模なソーステーブルから結合可能なテーブルを効率的に検索することである。非特許文献３に開示されている方法は、実数データの類似結合に対応しているが、２つのテーブルを入力し、結合可能な行を検索する場合のみを想定している。非特許文献３に開示されている方法を、結合可能なテーブルの検索に用いることは、非効率的であり、不可能である。ソーステーブルは、常に膨大な数（数千、数百万）のテーブルを持っている。非特許文献３に開示されている方法では、結合可能なテーブルを検索するために、テーブルを１つ１つ確認する必要があり、処理時間が非常に長くなる。そのため、大規模なソーステーブルから結合可能なテーブルを効率的に検索する方法が課題となっている。
そこで、本発明は、大規模なソーステーブルから類似度結合により結合可能なテーブルを短い処理時間で検索することができるデータ検索システム、データ検索装置、データ検索方法およびデータ検索プログラムを提供することを目的とする。
本発明によるデータ検索システムは、クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索システムであって、ソーステーブルのデータを管理するデータインデックス部と、クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索部とを備え、データインデックス部が、ソーステーブルを列のコレクションに分割し、分割された列ごとに、セルの類似度を計算する類似度関数を用いて、その列に含まれる類似セルのグループを生成するグループインデックス部を含み、データ検索部が、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、その第１セルに類似するセルを含む上記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索するデータフィルタリング部を含むことを特徴とする。
本発明によるデータ検索装置は、クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索装置であって、セルの類似度を計算する類似度関数を用いて各ソーステーブルの列ごとに生成された類似セルのグループを入力する入力部と、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、その第１セルに類似するセルを含む上記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索するデータフィルタリング部とを含むことを特徴とする。
本発明によるデータ検索方法は、クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索方法であって、コンピュータが、ソーステーブルを列のコレクションに分割し、分割された列ごとに、セルの類似度を計算する類似度関数を用いて、その列に含まれる類似セルのグループを生成し、コンピュータが、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、その第１セルに類似するセルを含む上記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索することを特徴とする。
本発明によるデータ検索方法は、クエリテーブルに対して結合可能なソーステーブルをコンピュータに検索させるためのデータ検索方法であって、コンピュータが、セルの類似度を計算する類似度関数を用いて各ソーステーブルの列ごとに生成された類似セルのグループを入力し、コンピュータが、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、その第１セルに類似するセルを含む上記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索することを特徴とする。
本発明によるデータ検索プログラムは、クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索プログラムであって、コンピュータに、セルの類似度を計算する類似度関数を用いて各ソーステーブルの列ごとに生成された類似セルのグループを入力する入力処理、および、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、その第１セルに類似するセルを含む上記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索するデータフィルタリング処理を実行させることを特徴とする。
本発明によれば、大規模なソーステーブルから類似度結合により結合可能なテーブルを短い処理時間で検索することができる。
本発明によるデータインデックス部の一実施形態の構成例を示すブロック図である。 第一の実施形態によるデータインデックス部のデータインデックス処理の例を示すフローチャートである。 グループ生成時の処理の例を示す説明図である。 支配関係の例を示す説明図である。 本発明によるデータ検索システムの一実施形態の構成例を示すブロック図である。 第二の実施形態によるデータ検索部のデータ検索処理の例を示すフローチャートである。 一致した組の対のセルの下限を算出する処理の例を示す説明図である。 本発明によるデータ可視化システムの一実施形態の構成例を示すブロック図である。 第三の実施形態によるグラフ生成部のデータ可視化処理の例を示すフローチャートである。 本発明によるデータ検索システムの概要を示すブロック図である。 本発明によるデータ検索装置の概要を示すブロック図である。 テーブルの例を示す説明図である。 テーブルの他の例を示す説明図である。
まず、本実施形態で使用する用語について説明する。異なるテーブルの列の組について、列のセルの値が十分に一致していれば、それらを結合することに意味がある。以下の説明では、テーブルの列における１つのデータを「セル」と呼ぶ。例えば、図１２の「晴れ」は、「天気」列のセルである。この列を「集合」と呼ぶ。
セル類似度関数ｆにより、２つのセルが所定のセル類似度の閾値Ｔｃｅｌｌよりも大きな類似度を持つ場合は、「ｍａｔｃｈ」（一致）と呼ばれ、以下の式１で表わされる。
Figure 0007444245000001
式１において、ｆ（ｑ，ｘ）は、セルｑとセルｘとのセル類似度関数である。｜Ｍａｔｃｈ（ｑ，ｘ）｜は、類似度がセル類似度の閾値Ｔｃｅｌｌよりも大きい組の数である。特定の関数ｕを持つ数に応じて集合類似度関数Ｆが算出される。集合類似度関数Ｆは、以下の式２で表わされる。
Figure 0007444245000002
関数Ｆの値が設定された類似度の閾値Ｔｓｅｔを超えるとき、２つの集合は、結合可能であると定義され、以下の式３で表される。
Figure 0007444245000003
結合可能なテーブルの探索問題は、形式的に２つのバージョンで定義される。１つは、問合せバージョン、もう１つは全組バージョンである。
問合せバージョンについては、集合のコレクションＸと問合せ集合Ｑ、さらに設定された類似度の閾値Ｔｓｅｔとセル類似度の閾値Ｔｃｅｌｌが与えられ、次のような集合Ａを見つける。
Figure 0007444245000004
全組バージョンについては、集合のコレクションＸ、設定された類似度の閾値Ｔｓｅｔ、セル類似度の閾値Ｔｃｅｌｌが与えられ、Ｘの要素である各集合ｘｉに対して、次のような集合Ａを見つける。
Figure 0007444245000005
以下、本発明の実施形態を、図面を参照して説明する。すべての図面において、同様の要素は同様の参照数字で参照され、その説明は繰り返されない。
実施形態１．
本発明の第一の実施形態における、データインデックス部を説明する。第一の実施形態のデータインデックス部は、テーブルデータをインデックス化して管理する。すなわち、データインデックス部では、複数のテーブルがインデックス化されて管理される。データインデックス部は、１つのテーブルの挿入、削除、更新をサポートする。削除は同一部でコピーと同様の（逆の）処理フローで対応し、更新操作は挿入と削除の組み合わせであるため、以下では、主にテーブルの挿入の詳細を説明する。
図１は、本発明によるデータインデックス部の一実施形態の構成例を示すブロック図である。本実施形態のデータインデックス部６００は、データ入力部６０１と、データ前処理部６０２と、グループインデックス部６０３と、支配関係インデックス部６０４と、グループ構造記憶部６０５と、支配関係構造記憶部６０６と、ソーステーブル記憶部６０７とを含む。
データ入力部６０１は、複数のテーブルを取得する。データ前処理部６０２は、入力されたテーブルをインデックス生成可能な状態に前処理する。グループインデックス部６０３は、テーブルの同様のセルをグループに分割し、グループ構造をグループ構造記憶部６０５にインデックス化する。支配関係インデックス部６０４は、グループ間の支配関係を抽出し、これを支配関係構造記憶部６０６にインデックス化する。ソーステーブル記憶部６０７は、元の入力テーブルを記憶する。
データ入力部６０１、データ前処理部６０２、グループインデックス部６０３、および、支配関係インデックス部６０４は、プログラム（データインデックスプログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、データインデックス部６００に含まれる記憶装置（図示せず）に記憶され、ＣＰＵはそのプログラムを読み込み、プログラムに従って、データ入力部６０１、データ前処理部６０２、グループインデックス部６０３、および、支配関係インデックス部６０４として動作してもよい。また、データインデックス部の機能が、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）の形式で提供されてもよい。
また、データ入力部６０１、データ前処理部６０２、グループインデックス部６０３、支配関係インデックス部６０４は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
また、各装置各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
さらに、グループ構造記憶部６０５、支配関係構造記憶部６０６、ソーステーブル記憶部６０７は、例えば、磁気ディスク等により実現される。
以下、各部の内容を具体的に説明する。
図２は、本実施形態によるデータインデックス部６００のデータインデックス処理の例を示すフローチャートである。ステップＳ１０１において、データ入力部６０１は、複数のソーステーブルを取得し、これらのテーブルをソーステーブル記憶部６０７に格納する。ステップＳ１０２において、データ前処理部６０２は、ステップＳ１０１から入力されたテーブルを受け取る。まず、データ前処理部６０２は、各テーブルを集合のコレクションに分割する。テーブルの列は、集合として抽出される。次に、データ前処理部６０２は、文字列データを含む集合を実数データに変換する。なお、文字列データを実数データに変換する方法は広く知られており、ここではその詳細な説明を省略する。最後に、データ前処理部６０２は、ステップＳ１０３における今後の処理に備えて、ダーティデータをクリーニングし、データを正規化する。
ステップＳ１０３において、グループインデックス部６０３は、ステップＳ１０２で前処理された集合を受け取る。グループインデックス部６０３は、ステップＳ１０３において、各集合のグループのコレクションを含むグループ構造を生成する。グループ構造のグループは、集合に含まれるセルと類似度関数ｆとに応じて生成される。すなわち、グループインデックス部６０３は、分割された集合ごとに、類似度関数ｆを用いて、集合に含まれる類似セルのグループを生成する。
具体的には、以下のステップＳ１０３３の処理を、各集合および集合の各セルに対して行う（ステップＳ１０３１、Ｓ１０３２）。ステップＳ１０３３において、グループインデックス部６０３が、セル類似度の閾値Ｔｃｅｌｌの値とセル類似度関数ｆとに応じて、「小グループ」と名付けられたいくつかのグループを生成する。同じ小グループ内のセルは、Ｔｃｅｌｌよりも高い類似度値を持つので、すべてのセルは、セル類似度関数ｆで互いに「一致」する必要がある。
図３は、グループ生成時の処理の例を示す説明図である。図３に示すように、テーブルＴ１は集合（列）Ｓ１～Ｓ３に分割され、各集合に含まれるセルＣは、セル類似度関数ｆを用いてグループ化（グループＧ１～Ｇ９）される。図３に示す例では、各集合のグループ数は同じであるが、他の場合では、グループ数が異なっていてもよい。
また、ステップＳ１０３３において、グループインデックス部６０３は、セルをインデックス化するための「大グループ」を生成する。大グループは、小グループに対応して生成される。具体的には、グループインデックス部６０３は、小グループと同じ中心を持ち、小グループよりも広い範囲を持つ大グループを生成する。大グループの範囲は、中心との類似度がＴｃｅｌｌの１．５倍以下のすべてのセルをカバーすることができる。したがって、小グループ内のすべてのセルについて、大グループ内のセルとは一致してもよいが、大グループ外のセルとは一致してはならない。
ステップＳ１０２からの各集合に対して、グループインデックス部６０３は、小グループのコレクションと大グループのコレクションを生成し、これらのグループをグループ構造にインデックス化する。グループ構造は、集合を表し、グループ構造記憶部６０５にインデックス化される。
全ての集合のグループ構造を生成した後、ステップＳ１０４において、支配関係インデックス部６０４は、グループ間の支配関係を抽出して、それらを支配関係構造記憶部６０６にインデックス化する。なお、支配関係とは、各集合のグループに含まれるセル数の大小関係に基づいて定義される関係であり、セル数の多いグループを含む集合が、セル数の少ない同じグループを含む集合を支配する関係を示すものである。以下、支配関係インデックス部６０４による処理について具体的に説明する。
インデックス化された各グループ構造について（ステップＳ１０４１）、支配関係インデックス部６０４は、ステップＳ１０４２において、このグループ構造と他のグループ構造との間の支配関係を抽出する。なお、２つのグループ構造間の支配関係の定義は以下の通りである。
Figure 0007444245000006
｜ＧＡ．ｈｉ｜は、グループ構造ＧＡのグループｈｉのセル数である。ＤｏｍＬ（Ａ，Ｂ）は、集合Ａのセル数が集合Ｂのセル数よりも少ない小グループの集合である。ＤｏｍＳ（Ａ，Ｂ）は、集合Ａのセル数が集合Ｂのセル数よりも多い大グループの集合である。ＤｏｍＥ（Ａ，Ｂ）は、集合Ａと集合Ｂの両方で空の大グループの集合である。
ステップＳ１０４３において、支配関係インデックス部６０４が、グループ構造に対する支配関係を木構造または逆インデックス構造でインデックス化し、その支配関係を支配関係構造記憶部６０６に格納する。
図４は、支配関係の例を示す説明図である。図４の例では、支配関係を有向グラフで表わす。具体的には、図４に例示された円は候補集合を示し、矢印は支配関係を示す。
具体的には、支配関係インデックス部６０４は、小グループとの支配関係ＤｏｍＬ（Ａ，Ｂ）を小グループ支配関係として、支配関係構造記憶部６０６に記憶する。また、支配関係インデックス部６０４は、大グループとの支配関係ＤｏｍＳ（Ａ，Ｂ）を大グループ支配関係として支配関係構造記憶部６０６に記憶する。さらに、支配関係インデックス部６０４は、大グループとの支配関係ＤｏｍＥ（Ａ，Ｂ）を空グループ支配関係として支配関係構造記憶部６０６に記憶する。
以上のように、本実施形態によれば、グループインデックス部６０３は、類似度関数を用いてテーブルのすべての列をグループに分割し、列内の類似するセルを同じグループにインデックス化する。さらに、支配関係インデックス部６０４は、異なる列からグループ間の支配関係を抽出し、その支配関係をインデックス化する。したがって、膨大な数のテーブルをインデックス化して管理することができる。なお、インデックス化されたテーブルは、データインデックス部６００における挿入、削除、更新の操作で維持される。
実施形態２．
次に、本発明の第二の実施形態について説明する。本発明の第二の実施形態として、データ検索システムについて説明する。データ検索システムは、結合可能なテーブルを検索するシステムである。
図５は、本発明による実施形態のデータ検索システムの一実施形態の構成例を示すブロック図である。本実施形態のデータ検索システム１００は、データインデックス部６００と、データ検索部７００とを含む。データインデックス部６００は、第一の施形態と同様である。
データ検索部７００は、インデックス化されたグループ構造と支配関係とを利用して、入力されたクエリテーブルに対する結合可能なテーブルを効率的に検索する。なお、本実施形態の単一のデータ検索部７００は、データ検索システム１００として実現されてもよい。例えば、グループ構造および支配関係が既に生成されている場合、データ検索システム１００としてのデータ検索部７００は、これらの情報を外部記憶装置（図示せず）から取得して、後述する処理を行ってもよい。この場合、データ検索部７００は、データ検索装置と呼ぶことができる。
本実施形態のデータ検索部７００は、問合せ入力部７１０と、問合せ前処理部７２０と、データフィルタリング部７０１と、データ検証部７０２と、検索結果出力部７３０とを含む。
データフィルタリング部は、結合処理部７０１０と、プルーニング処理部７０１１と、候補選択部７０１２と、内部結果記憶部７０１３とを有する。
なお、問合せ入力部７１０は、入力されたクエリテーブルを取得し、類似度閾値Ｔｓｅｔを設定し、グループ構造記憶部６０５に記憶された類似セルのグループを入力してもよい。問合せ前処理部７２０は、入力されたクエリテーブルを集合に前処理する。データフィルタリング部７０１は、見かけ上結合可能なテーブルや結合不可能なテーブルをフィルタリングする。データ検証部７０２は、データフィルタリング部７０１でフィルタリングできなかったテーブルを検証する。検索結果出力部７３０は、検索された結合可能なテーブルを返信する。
結合処理部７０１０は、２つの集合が結合可能であるか、結合不可能であるかを定義する。プルーニング処理部７０１１は、候補テーブルをプルーニングする。候補選択部７０１２は、次に処理する適切な候補を選択する。内部結果記憶部７０１３は、後述するフィルタ処理時の内部結果を記憶する。
問合せ入力部７１０と、問合せ前処理部７２０と、データフィルタリング部７０１（より具体的には、結合処理部７０１０と、プルーニング処理部７０１１と、候補選択部７０１２）と、データ検証部７０２と、検索結果出力部７３０とは、プログラム（データ検索プログラム）に従って動作するコンピュータのＣＰＵによって実現される。なお、問合せ入力部７１０と、問合せ前処理部７２０と、データフィルタリング部７０１（より具体的には、結合処理部７０１０と、プルーニング処理部７０１１と、候補選択部７０１２）と、データ検証部７０２と、検索結果出力部７３０とは、それぞれが専用のハードウェアで実現されていてもよい。
また、内部結果記憶部７０１３は、例えば、磁気ディスク等により実現される。
以下、各部の内容を具体的に説明する。
図６は、データ検索部７００のデータ検索処理の例を示すフローチャートである。ステップＳ２０１において、問合せ入力部７１０は、クエリテーブルを取得する。ステップＳ２０２において、問合せ前処理部７２０は、ステップＳ２０１から入力されたテーブルを受け取る。まず、問合せ前処理部７２０は、各テーブルを集合のコレクションに分割する。テーブルの列は、集合として抽出される。次に、問合せ前処理部７２０は、文字列データを含む集合を実数データに変換する。問合せ前処理部７２０による変換方法は、第一の実施形態のデータ前処理部６０２による変換方法と同じである。最後に、問合せ前処理部７２０は、ステップＳ２０３において、今後の処理に備えて、ダーティデータをクリーニングし、データを正規化する。
入力されたクエリテーブルの各集合について（ステップＳ２０３１）、ステップＳ２０３２において、候補選択部７０１２は、支配関係構造記憶部６０６にしたがって、支配関係の最大数のコスト関数においてグリーディ法で、グループ構造記憶部６０５からグループ構造を持つインデックス化された集合の候補を選択する。すなわち、候補選択部７０１２は、支配関係で支配される集合が多い集合を検索候補として優先的に選択する。
ステップＳ２０３３において、結合処理部７０１０は、選択された集合Ｒが問合せ集合Ｑに結合可能であるか否かを判定する。具体的には、結合処理部７０１０は、集合類似度関数Ｆの値が設定された類似度の閾値Ｔｓｅｔを超えているか否かを確認することにより、結合可能性を判定する。
結合処理部７０１０は、グループ構造ＧＲに応じて、一致するセルの数の下限値を算出してもよい。具体的には、結合処理部７０１０は、クエリテーブルの集合Ｑｓの要素である各セルｑ（以下、第１セルと記載する場合がある）について、ｑをＧＸ内の対応するグループに対応付けようとする。これは、ｑをカバーできるグループがＧＲ内に存在するかどうかを調べることを意味する。
ｑがＧＲの要素であるグループｇに対応付けられる場合、ｇに含まれるセルの数（以下、第２セルと記載する場合がある）は、セルｑと集合Ｑとの間の一致数の下限値である。したがって、結合処理部７０１０は、ＱＳの要素であるすべてのセルｓの下限値を合計することにより、ＱＳとＲとの間の一致した組のセルの下限値を算出してもよい。
以上のように、結合処理部７０１０は、分割されたクエリテーブルの列に含まれる第１セルと、第１セルに類似するセルを含むグループに含まれる第２セルとの組の数（つまり、下限値）が、所定の閾値（つまり、設定された類似度の閾値Ｔｓｅｔ）を超える集合を含むソーステーブルを検索する。これにより、セルを１つずつ比較する場合に比べて、処理時間を短縮することができる。
図７は、一致した組の対のセルの下限を算出する処理の例を示す説明図である。図７に示す例では、集合ＱＳは、位置を示す集合とする。まず、結合処理部７０１０は、集合ＱＳのセルを、Ｘ１に対応するグループに関連付ける（すなわち、セルの類似度が設定された類似度の閾値Ｔｓｅｔ以下である）。図７に示す例では、グループＡには１つのセルが、グループＢには１つのセルが、グループＣには２つのセルが、グループＤには１つのセルがそれぞれ割り当てられているものとする。
次に、結合処理部７０１０は、ＱＳとＸ１との間で一致した組の対のセルの下限値を算出する。Ｘ１では、２つのセルがグループＡに分類され、２つのセルがグループＢに分類され、１つのセルがグループＣに分類されているものとする。このとき、結合処理部７０１０は、一致した組の対のセルの下限値を１＊２＋１＊２＋２＊１＝６と算出する。
結合処理部７０１０は、グループ構造ＧＲに応じて、一致したセルの数の上限を計算してもよい。具体的には、セルｑをＧＲの対応するグループにマッピングする際に、ｑは、マッピングされたグループに近いグループのセルも一致する可能性がある。したがって、これらの近いグループに含まれるセル数は、上限を形成することができる。そして、結合処理部７０１０は、ＱＳの要素であるすべてのセルｓの上限値を合計することにより、ＱＳとＲの間の一致した組の対のセルの上限を計算してもよい。
ステップＳ２０３３では、結合処理部７０１０でＱＳとＲの上限を計算する際に、ＱＳの要素であるｑのセルがＧＲの対応する任意のグループにマッピングできない場合、ｑがＲの任意のセルに一致できないことを意味する。結合処理部７０１０は、この種の一致しないセルの数をカウントしてもよい。この数を用いて、集合類似度関数Ｆに従って、ＱＳとＲが結合不可能であると判定することができる。
なお、ステップＳ２０３４において、結合処理部７０１０は、Ｔｓｅｔとの一致数の下限を確認することで、ＱＳとＲを結合可能と判定してもよい。結合処理部７０１０は、Ｔｓｅｔとの上限を確認することやＴｓｅｔと一致しないセルの数を確認することで、ＱＳとＲを結合不可能と判定してもよい。例えば、図７に示す処理では、Ｔｓｅｔが５に設定されているものとする。この場合、下限値はＴｓｅｔ以上である。そのため、結合処理部７０１０は、ＱＳとＸ１を結合可能と判定してもよい。
なお、Ｓ２０３４でＱＳとＲが接合可能または接合不可能と判定できない場合（Ｓ２０２４における「不明」）、結合処理部７０１０は、データ検証部７０２による今後の検証処理のために、それらを内部結果記憶部７０１３に記憶されている検証リストに追加してもよい。
一方、Ｓ２０３４でＱＳとＲが結合可能か否かを判定できた場合（Ｓ２０２４におけるＹＥＳ）、すなわち、現在の集合Ｒが結合可能か否かが判定された場合には、プルーニング処理部７０１１は、支配関係構造記憶部６０６に記憶された支配関係に従って、他の候補集合をさらにプルーニングを行う。
具体的には、Ｒが結合可能と判定された場合、プルーニング処理部７０１１は、Ｒの大きな支配関係を支配関係構造記憶部６０６から取得する。プルーニング処理部７０１１は、この大きな支配関係に含まれる全ての集合を結合可能と判定し、プルーニングを行う。Ｒが結合可能でないと判定された場合、プルーニング処理部７０１１は、支配関係構造記憶部６０６からＲの小さな支配関係を取得する。プルーニング処理部７０１１は、この小さな支配関係に含まれる全ての集合を、結合可能でなく、プルーニングされたものとして判定する。
さらに、ステップＳ２０３６において、ＱＳとＲが不一致のセルにより結合不可能と定義された場合、プルーニング処理部７０１１は、Ｒの空の支配関係を支配関係構造記憶部６０６から取得する。プルーニング処理部７０１１は、この空の支配関係に含まれる全ての集合を結合不可能と判断し、プルーニングを行う。
このようにして、プルーニング処理部７０１１は、支配関係によって支配されている列を抽出し、結合処理部７０１０は、抽出された列を検索候補から除外する。したがって、全体の検索を高速化することができる。
ステップＳ２０４では、データ検証部７０２は、内部結果記憶部７０１３の検証リストを検証する。データ検証部７０２は、下限または上限（組の数）を用いてソーステーブルを検証してもよい。例えば、データ検証部７０２は、検証リストから下限が閾値（所定の範囲内にある）に近い集合を候補として抽出し、その候補が結合可能か結合不可能かを検証してもよい。なお、検証方法は任意である。これにより、より多くの結合可能な集合を選択することが可能になる。
ステップＳ２０５において、検索結果出力部７３０は、ステップＳ２０３およびステップＳ２０４における結合可能なテーブルの結果をまとめて出力する。
以上のように、本実施形態によれば、問合せ入力部７１０は、各ソーステーブルの列ごとに生成された類似セルのグループを類似度関数ｆを用いて入力し、データフィルタリング部７０１（結合処理部７０１０）は、組の数が所定の閾値（設定された類似度の閾値Ｔｓｅｔ）を超える集合を含むソーステーブルを検索する。したがって、大規模なテーブルソースの実数データに対して、類似度結合により結合可能なテーブルを短い処理時間で検索することができる。
実施形態３．
次に、本発明の第三の実施形態について説明する。本発明の第三の実施形態として、データ可視化システムを説明する。データ可視化システムは、結合グラフを可視化する（例えば、表示する）システムである。結合グラフは、複数のテーブル間の結合可能な関係を表わすためのグラフ構造である。結合グラフにおいて、ノードはテーブルを表し、２つのテーブル間のエッジは、それらが結合可能であることを表す。結合グラフは、複数のテーブルのつながりを表わすもので、多くのデータ分析手法に利用されている。
図８は、本発明によるデータ可視化システムの一実施形態の構成例を示すブロック図である。本実施形態のデータ可視化システム２００は、データインデックス部６００と、グラフ生成部８００とを含む。データインデックス部６００は、第一の実施形態と同様である。
なお、本実施形態の単一のグラフ生成部８００は、データ可視化システム２００として実現されてもよい。例えば、グループ構造や支配関係が既に生成されている場合には、データ可視化システム２００としてのグラフ生成部８００は、これらの情報を外部記憶装置（図示せず）から取得して、後述する処理を行ってもよい。この場合、グラフ生成部８００は、グラフ生成装置と呼ぶことができる。
本実施形態による単一のグラフ生成部８００は、パラメータ入力部８１０と、データフィルタリング部７０１と、データ検証部７０２と、結合グラフ処理部８０１と、結合グラフ表示部８０２とを含む。データフィルタリング部７０１およびデータ検証部７０２は、第二の実施形態と同様である。
結合グラフ処理部８０１は、データ可視化システム２００の一部または全部のテーブルについて、結合グラフを生成する。結合グラフ表示部８０２は、結合グラフを表示する。
パラメータ入力部８１０と、データフィルタリング部７０１（より具体的には、結合処理部７０１０と、プルーニング処理部７０１１と、候補選択部７０１２）と、データ検証部７０２と、結合グラフ処理部８０１と、結合グラフ表示部８０２とは、プログラム（データ検索プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
以下、各部の内容を具体的に説明する。
図９は、グラフ生成部８００のデータ可視化処理の例を示すフローチャートである。ステップＳ３０１において、パラメータ入力部８１０は、設定された類似度の閾値Ｔｓｅｔと、結合グラフを可視化する条件を取得する。
各インデックス付きテーブルＲについて（ステップＳ３０２）、データフィルタリング部７０１およびデータ検証部７０２は、Ｒに対する結合可能なテーブルを検索する（ステップＳ３０３、ステップＳ３０４）。ステップＳ３０５において、結合グラフ処理部８０１は、一部または全部のインデックス付きテーブルの結合可能なテーブルの情報に従って、結合グラフを生成する。ステップＳ３０６において、結合グラフ表示部８０２は、結合グラフを出力し、結合グラフを表示する。
以上のように、本実施形態によれば、グラフ生成部８００は、データインデックス部６００が生成したグループを用いて、複数のテーブル間の結合可能な関係を表す結合グラフを可視化する。したがって、テーブルの結合グラフを効率的に生成し、ユーザの要求に応じて結合グラフを表示することが可能となる。
次に、本発明の概要を説明する。図１０は、本発明によるデータ検索システムの概要を示すブロック図である。クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索システム１０（例えば、データ検索システム１００）は、ソーステーブルのデータを管理するデータインデックス部８０（例えば、データインデックス部６００）と、クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索部９０（例えば、データ検索部７００）とを含む。
データインデックス部８０は、ソーステーブルを集合のコレクションに分割し、分割された集合ごとに、セルの類似度を計算する類似度関数（例えば、類似度関数ｆ）を用いて、その集合に含まれる類似セルのグループを生成するグループインデックス部８１（例えば、グループインデックス部６０３）を含む。
データ検索部９０は、分割されたクエリテーブルの集合に含まれる第１セルと、その第１セルに類似するセルを含む上記グループに含まれる第２セルとの組の数（例えば、下限）が所定の閾値（例えば、設定された類似度閾値Ｔｓｅｔ）を超える集合を含むソーステーブルを検索するデータフィルタリング部９１（例えば、データフィルタリング部７０１、結合処理部７０１０）を含む。
そのような構成により、大規模なソーステーブルから類似度結合により結合可能なテーブルを短い処理時間で検索することができる。
さらに、データインデックス部８０は、各集合のグループのそれぞれに含まれるセル数の大小関係に基づいて定義される関係であって、セル数が多いグループを含む集合が、セル数が少ない同じグループを含む集合を支配するという関係を示す支配関係を抽出する支配関係抽出部（例えば、支配関係インデックス部６０４）をさらに含み、データフィルタリング部９１は、支配関係によって支配されている集合がより多く存在する集合を検索候補として優先的に選択してもよい。
具体的には、データ検索部９０は、支配関係によって支配されている集合を抽出するプルーニング処理部（例えば、プルーニング処理部７０１１）をさらに含み、データフィルタリング部９１は、抽出された集合を検索候補から除外してもよい。
さらに、データ検索システム１０は、複数のテーブル間の結合可能な関係を表す結合グラフを可視化する可視化部（例えば、グラフ生成部８００）をさらに含んでいてもよい。
さらに、データ検索部９０は、第１セルと第２セルとの組の数を用いてソーステーブルを検証するデータ検証部（例えば、データ検証部７０２）をさらに含んでいてもよい。
さらに、データインデックス部８０は、文字列データを含む集合を実数データに変換するデータ前処理部（例えば、データ前処理部６０２）をさらに含んでいてもよい。
図１１は、本発明によるデータ検索装置の概要を示すブロック図である。クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索装置７０（例えば、データ検索部７００）であって、データ検索装置は、セルの類似度を計算する類似度関数を用いて、各ソーステーブルの列ごとに生成された類似セルのグループを入力する入力部７１（例えば、問合せ入力部７１０）と、分割されたクエリテーブルの集合に含まれる第１セルと、その第１セルに類似するセルを含むグループに含まれる第２セルとの組の数（例えば、下限）が所定の閾値（例えば、設定された類似度閾値Ｔｓｅｔ）を超える集合を含むソーステーブルを検索するデータフィルタリング部７２（例えば、データフィルタリング部７０１、結合処理部７０１０）とを含む。
そのような構成により、大規模なソーステーブルから類似度結合を有する結合可能なテーブルを短い処理時間で検索することができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索システムであって、
前記ソーステーブルのデータを管理するデータインデックス部と、
クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索部とを備え、
前記データインデックス部は、前記ソーステーブルを集合のコレクションに分割し、分割された集合ごとに、セルの類似度を計算する類似度関数を用いて、前記集合に含まれる類似セルのグループを生成するグループインデックス部を含み、
前記データ検索部は、分割されたクエリテーブルの集合に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える集合を含むソーステーブルを検索するデータフィルタリング部を含む
ことを特徴とするデータ検索システム。
（付記２）前記データインデックス部は、前記集合のグループのそれぞれに含まれるセル数の大小関係に基づいて定義される関係であって、セル数が多いグループを含む集合が、セル数が少ない同じグループを含む集合を支配するという関係を示す支配関係を抽出する支配関係抽出部をさらに含み、
前記データフィルタリング部は、前記支配関係によって支配されている集合がより多く存在する集合を検索候補として優先的に選択する
付記１記載のデータ検索システム。
（付記３）前記データ検索部は、前記支配関係によって支配されている集合を抽出するプルーニング処理部をさらに含み、
前記データフィルタリング部は、抽出された集合を前記検索候補から除外する
付記２記載のデータ検索システム。
（付記４）複数のテーブル間の結合可能な関係を表す結合グラフを可視化する可視化部をさらに備える
付記１から付記３のうちのいずれか１つに記載のデータ検索システム。
（付記５）前記データ検索部は、前記第１セルと前記第２セルとの組の数を用いて前記ソーステーブルを検証するデータ検証部をさらに含む
付記１から付記４のうちのいずれか１つに記載のデータ検索システム。
（付記６）前記データインデックス部は、文字列データを含む集合を実数データに変換するデータ前処理部をさらに含む
付記１から付記５のうちのいずれか１つに記載のデータ検索システム。
（付記７）クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索装置であって、
セルの類似度を計算する類似度関数を用いて、各ソーステーブルの列ごとに生成された類似セルのグループを入力する入力部と、
分割されたクエリテーブルの集合に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える集合を含むソーステーブルを検索するデータフィルタリング部とを含む
ことを特徴とするデータ検索装置。
（付記８）クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索方法であって、
前記ソーステーブルを集合のコレクションに分割し、分割された集合ごとに、セルの類似度を計算する類似度関数を用いて、前記集合に含まれる類似セルのグループを生成し、
分割されたクエリテーブルの集合に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える集合を含むソーステーブルを検索する
ことを特徴とするデータ検索方法。
（付記９）前記集合のグループのそれぞれに含まれるセル数の大小関係に基づいて定義される関係であって、セル数が多いグループを含む集合が、セル数が少ない同じグループを含む集合を支配するという関係を示す支配関係を抽出し、
前記支配関係によって支配されている集合がより多く存在する集合を検索候補として優先的に選択する
付記８に記載のデータ検索方法。
（付記１０）クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索方法であって、
セルの類似度を計算する類似度関数を用いて、各ソーステーブルの列ごとに生成された類似セルのグループを入力し、
分割されたクエリテーブルの集合に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える集合を含むソーステーブルを検索する
ことを特徴とするデータ検索方法。
（付記１１）クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索プログラムであって、
コンピュータに、
セルの類似度を計算する類似度関数を用いて、各ソーステーブルの列ごとに生成された類似セルのグループを入力する入力処理、および、
分割されたクエリテーブルの集合に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える集合を含むソーステーブルを検索するデータフィルタリング処理
を実行させるためのデータ検索プログラム。
１００ データ検索システム
２００ データ可視化システム
６００ データインデックス部
６０１ データ入力部
６０２ データ前処理部
６０３ グループインデックス部
６０４ 支配関係インデックス部
６０５ グループ構造記憶部
６０６ 支配関係構造記憶部
６０７ ソーステーブル記憶部
７００ データ検索部
７０１ データフィルタリング部
７０１０ 結合処理部
７０１１ プルーニング処理部
７０１２ 候補選択部
７０１３ 内部結果記憶部
７０２ データ検証部
７１０ 問合せ入力部
７２０ 問合せ前処理部
７３０ 検索結果出力部
８００ グラフ生成部
８０１ 結合グラフ処理部
８０２ 結合グラフ表示部
８１０ パラメータ入力部

Claims (10)

  1. クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索システムであって、
    前記ソーステーブルのデータを管理するデータインデックス部と、
    クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索部とを備え、
    前記データインデックス部は、前記ソーステーブルを列のコレクションに分割し、分割された列ごとに、セルの類似度を計算する類似度関数を用いて、前記列に含まれる類似セルのグループを生成するグループインデックス部を含み、
    前記データ検索部は、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索するデータフィルタリング部を含む
    ことを特徴とするデータ検索システム。
  2. 前記データインデックス部は、前記列のグループのそれぞれに含まれるセル数の大小関係に基づいて定義される関係であって、セル数が多いグループを含む列が、セル数が少ない対応するグループを含む列を支配するという関係を示す支配関係を抽出する支配関係抽出部をさらに含み、
    前記データフィルタリング部は、前記支配関係によって支配されている列をより多く含む列を検索候補のソーステーブルに含まれる列として優先的に選択する
    請求項１記載のデータ検索システム。
  3. 前記データ検索部は、前記支配関係によって支配されている列を抽出するプルーニング処理部をさらに含み、
    前記データフィルタリング部は、抽出された列が結合可能でないと判定された場合、抽出された列を前記検索候補のソーステーブルに含まれる列から除外する
    請求項２記載のデータ検索システム。
  4. 複数のテーブル間の結合可能な関係を表す結合グラフを可視化する可視化部をさらに備える
    請求項１から請求項３のうちのいずれか１項に記載のデータ検索システム。
  5. 前記データ検索部は、前記第１セルと前記第２セルとの組の数を用いて前記ソーステーブルを検証するデータ検証部をさらに含む
    請求項１から請求項４のうちのいずれか１項に記載のデータ検索システム。
  6. 前記データインデックス部は、文字列データを含む列を実数データに変換するデータ前処理部をさらに含む
    請求項１から請求項５のうちのいずれか１項に記載のデータ検索システム。
  7. クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索装置であって、
    セルの類似度を計算する類似度関数を用いて各ソーステーブルの列ごとに生成された類似セルのグループを入力する入力部と、
    クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索するデータフィルタリング部とを含む
    ことを特徴とするデータ検索装置。
  8. クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索方法であって、
    コンピュータが、前記ソーステーブルを列のコレクションに分割し、分割された列ごとに、セルの類似度を計算する類似度関数を用いて、前記列に含まれる類似セルのグループを生成し、
    前記コンピュータが、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索する
    ことを特徴とするデータ検索方法。
  9. クエリテーブルに対して結合可能なソーステーブルを検索するデータ検索方法であって、
    コンピュータが、セルの類似度を計算する類似度関数を用いて各ソーステーブルの列ごとに生成された類似セルのグループを入力し、
    前記コンピュータが、クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索する
    ことを特徴とするデータ検索方法。
  10. クエリテーブルに対して結合可能なソーステーブルをコンピュータに検索させるためのデータ検索プログラムであって、
    前記コンピュータに、
    セルの類似度を計算する類似度関数を用いて各ソーステーブルの列ごとに生成された類似セルのグループを入力する入力処理、および、
    クエリテーブルに対して結合可能なソーステーブルとして、分割されたクエリテーブルの列に含まれる第１セルと、当該第１セルに類似するセルを含む前記グループに含まれる第２セルとの組の数が所定の閾値を超える列を含むソーステーブルを検索するデータフィルタリング処理
    を実行させるためのデータ検索プログラム。
JP2022517451A 2019-10-08 2019-10-08 データ検索システム、装置、方法、および、プログラム Active JP7444245B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039653 WO2021070247A1 (en) 2019-10-08 2019-10-08 Data searching system, device, method and program

Publications (2)

Publication Number Publication Date
JP2022551230A JP2022551230A (ja) 2022-12-08
JP7444245B2 true JP7444245B2 (ja) 2024-03-06

Family

ID=75437357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517451A Active JP7444245B2 (ja) 2019-10-08 2019-10-08 データ検索システム、装置、方法、および、プログラム

Country Status (3)

Country Link
US (1) US20220342879A1 (ja)
JP (1) JP7444245B2 (ja)
WO (1) WO2021070247A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080183693A1 (en) 2007-01-30 2008-07-31 Microsoft Corporation Efficient exact set similarity joins
WO2016021726A1 (ja) 2014-08-08 2016-02-11 株式会社博報堂Ｄｙホールディングス 情報処理システム
JP2016038780A (ja) 2014-08-08 2016-03-22 株式会社博報堂Ｄｙホールディングス 情報処理システム、及び、プログラム。

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004002044A2 (en) * 2002-02-01 2003-12-31 John Fairweather A system for exchanging binary data
US9507824B2 (en) * 2014-08-22 2016-11-29 Attivio Inc. Automated creation of join graphs for unrelated data sets among relational databases
US9830383B2 (en) * 2015-12-17 2017-11-28 International Business Machines Corporation Decision table decomposition using semantic relations
US11461671B2 (en) * 2019-06-03 2022-10-04 Bank Of America Corporation Data quality tool

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080183693A1 (en) 2007-01-30 2008-07-31 Microsoft Corporation Efficient exact set similarity joins
WO2016021726A1 (ja) 2014-08-08 2016-02-11 株式会社博報堂Ｄｙホールディングス 情報処理システム
JP2016038780A (ja) 2014-08-08 2016-03-22 株式会社博報堂Ｄｙホールディングス 情報処理システム、及び、プログラム。
CN106687956A (zh) 2014-08-08 2017-05-17 株式会社博报堂Dy控股集团 信息处理系统
US20170235803A1 (en) 2014-08-08 2017-08-17 Hakuhodo Dy Holdings Inc. Information-processing system

Also Published As

Publication number Publication date
WO2021070247A1 (en) 2021-04-15
JP2022551230A (ja) 2022-12-08
US20220342879A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
CN108038183B (zh) 结构化实体收录方法、装置、服务器和存储介质
US10521427B2 (en) Managing data queries
Zhang et al. Bed-tree: an all-purpose index structure for string similarity search based on edit distance
WO2020143184A1 (zh) 知识融合方法、装置、计算机设备和存储介质
US9665620B2 (en) Managing data queries
CN106503223B (zh) 一种结合位置和关键词信息的在线房源搜索方法及装置
US20230139783A1 (en) Schema-adaptable data enrichment and retrieval
CN110321446B (zh) 相关数据推荐方法、装置、计算机设备及存储介质
US20170116268A1 (en) Extending relational algebra for data management
WO2020211466A1 (zh) 一种非冗余基因集聚类方法、系统及电子设备
CN109408578A (zh) 一种针对异构环境监测数据融合方法
JP2019040598A5 (ja)
JP2017045291A (ja) 類似画像検索システム
CN113220820B (zh) 基于图的高效sparql查询应答方法、装置和设备
WO2017065891A1 (en) Automated join detection
US20160179895A1 (en) Database joins using uncertain criteria
KR20220069229A (ko) 필드 간 유사도 분석을 이용한 이종 데이터 결합 방법
JP7444245B2 (ja) データ検索システム、装置、方法、および、プログラム
CN110389953B (zh) 基于压缩图的数据存储方法、存储介质、存储装置和服务器
US9959295B1 (en) S-expression based computation of lineage and change impact analysis
Bhagat et al. Sparx-Data Preprocessing Module
CN113641705A (zh) 一种基于计算引擎的营销处置规则引擎方法
JP6666312B2 (ja) 多次元データ管理システム及び多次元データ管理方法
Kaur et al. Sentimental analysis using various analytical tools from hadoop eco system
Zhukovaа et al. About the possibility of determining the prefix and suffix of a word by subwords of fixed length

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R151 Written notification of patent or utility model registration

Ref document number: 7444245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151