JP6655582B2 - データ統合支援システム及びデータ統合支援方法 - Google Patents

Description

本発明は、いわゆる名寄せ後のデータ同士を分析者の意図する適切な態様となるように統合するデータ統合支援システム及びデータ統合支援方法に関し、特に、そのような名寄せ後のデータ同士を統合の際に用いるルールの作成を支援するデータ統合支援システムに適用して好適なものである。

近年、企業内の多様なデータを分析し活用することにより経営課題を解決しようとする動きが拡大している。データ分析の際には、データ前処理に多大な工数を要することが多く、そのため分析の期間が長くなったり十分なデータを準備することができず、分析結果の品質低下を招くおそれがあった。例えば、問題の１つとしては、データのエンティティ間のリレーション（１対１、１対多）が、業務上または分析者が期待するリレーションと異なっており、その検出及び解消に工数が掛かることがあった。

上述のようにデータのエンティティ間のリレーションが期待とは異なる場合、分析者がそれに気付かずデータの結合及び集約を実施するとデータに誤りが生じ、分析結果の品質が低下してしまう。このような問題を解消するためには、分析者がデータを逐一確認しながらデータ上の矛盾を解消するルールを手動で設定する必要があるが（特許文献１参照）、このようなルールを設定するには特別なスキル及び時間を要する。

また、従来のシステムでは、第１及び第２のレコードを同定し、レコードマッチング基準を適用して第１及び第２の同定したレコードのデータ要素の内容を比較することにより共通性データを求める。レコード発生の最先日または第１及び第２の相対的内容に基づいて、第１及び第２のレコードのうちの一方を生き残りレコードとして選択している（特許文献２参照）。

特開２０１３−１３７７６３号公報 特表２００５−５０２１３２号公報

しかしながら、上述した従来のシステムにおいても、レコードを選択するためのルールは人手で規定する必要があり、データ前処理を効率良く実施することができなかった。

本発明は以上の点を考慮してなされたもので、業務上または分析者の期待に反して存在するデータ同士の矛盾を解消するためのルール作成を人手を介さず効率的に実施することができるデータ統合支援システム及びデータ統合支援方法を提案しようとするものである。

かかる課題を解決するため、本発明においては、複数のレコードデータのうち関連するデータ同士をルールに従って統合するデータ統合支援システムにおいて、前記複数のレコードデータを管理する複数のテーブルと、前記複数のテーブルのうちから選択した対象テーブル及び前記対象テーブルにおける特定キーの指定を受け付ける指定受付部と、前記指定受付部によって指定が受け付けられた前記対象テーブル及び前記特定キーに基づいて特定のルールを決定するルール決定部と、前記ルール決定部によって決定された前記特定のルールに従って前記複数のレコードデータ同士のうち一のレコードデータを選択するルール実行部と、前記ルール実行部によって選択された前記一のレコードデータを解析するデータ解析部と、前記データ解析部による前記一のレコードデータについての解析結果を表示する結果表示部と、を備えることを特徴とする。

また、本発明においては、複数のレコードデータのうち関連するデータ同士をルールに従って統合するデータ統合支援システムにおけるデータ統合支援方法において、前記データ統合支援システムが、前記複数のレコードデータを管理する複数のテーブルのうちから選択した対象テーブル及び前記対象テーブルにおける特定キーの指定を受け付ける指定受付ステップと、前記データ統合支援システムが、前記指定受付ステップにおいて指定が受け付けられた前記対象テーブル及び前記特定キーに基づいて特定のルールを決定するルール決定ステップと、前記データ統合支援システムが、前記ルール決定ステップにおいて決定された前記特定のルールに従って前記複数のレコードデータ同士のうち一のレコードデータを選択するルール実行ステップと、前記データ統合支援システムが、前記ルール実行ステップにおいて選択された前記一のレコードデータを解析するデータ解析部ステップと、前記データ統合支援システムが、前記一のレコードデータについての解析結果を表示する結果表示ステップと、を有することを特徴とする。

本発明によれば、業務上または分析者の期待に反して存在するデータ同士の矛盾を解消するためのルール作成を人手を介さず効率的に実施することができる。

本実施の形態によるデータ統合支援システムなどの概略構成の一例を示すブロック図である。 図１に示す顧客テーブルに格納されているデータの一例を示す図である。 図２に示す顧客テーブルに追加されたデータの一例を示す図である。 ルール作成支援処理の一例を示す図である。 選定ルールのカバレッジを算出する準備の一例を示す図である。 選定ルールのカバレッジを算出する準備の一例を示す図である。 選定ルールのカバレッジの算出例を示す図である。 図１に示す適用履歴テーブルに格納されたデータの一例を示す図である。 図８に示す適用履歴テーブルから参照された一部のレコードデータの一例を示す図である。 図９に示すレコードデータに基づいてスコアを与えた一例を示す図である。 カバレッジ及び適用履歴スコアで利用列がソートされた一例を示す図である。 選択条件の一例を示す図である。 条件選択に応じて表示された選定結果の一例を示す図である。

以下、図面について、本発明の一実施の形態について詳述する。

（１）本実施の形態によるデータ統合支援システムの構成例
図１は、本実施の形態によるデータ統合支援システム１０１の概略構成の一例を示す。本実施の形態では、いわゆる名寄せ後の結果をまとめる際に基準として使用すべきルールの作成支援に特徴がある。以下、具体的に説明する。

データ統合支援システム１０１は、図示しないネットワークを経由して、詳細は後述する顧客テーブル及び担当者テーブルを含む複数のテーブルを管理する対象データベース（以下「対象データＤＢ」という）１０３を有するストレージ装置１０２に接続されている。なお、データ統合支援システム１０１は、対象データＤＢ１０３を内蔵しており、ストレージ装置１０２を省略した構成であっても良い。

対象データＤＢ１０３は、いわゆるリレーショナル型のデータベースであり、これら複数のテーブルは、それぞれ、列項目ごとにデータを管理しており、全ての列項目に対応した複数のデータで構成されるレコードデータを管理している。

データ統合支援システム１０１は、指定受付部１、データ解析部２、ＤＢ接続部３、ルール決定部４、ルール実行部５及び結果表示部７を備え、さらに好ましくは、適用履歴テーブル６を備える。

ＤＢ接続部３は、いわゆるＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）言語などの問い合わせ言語による問い合わせ命令を受け取ると、この問い合わせの内容に応じて対象データＤＢ１０３との間においてレコードデータの新規追加、削除または更新を実施し、その結果を問い合わせ元に対して問い合わせ結果を応答する。

指定受付部１は、複数のテーブルのうち選択された対象テーブル及びこの対象テーブルにおける特定の列項目（以下「特定キー」ともいう）の指定を受け付ける。

ルール決定部４は、指定受付部１によって受け付けられた対象テーブル及び特定キーに基づいて特定のルールを決定する。本実施の形態において「決定」とは、当該特定のルールを新規に作成することのみならず、過去適用したルールの一部のルールを流用することをいう。ルール決定部４によるルールの決定方法の詳細については後述する。

ルール実行部５は、ルール決定部４によって決定された特定のルールに従って、ＤＢ接続部３を経由して問い合わせ命令を発行することにより、対象データＤＢ１０３のテーブルからレコードデータを検索する。これにより、レコードデータ同士のうちから一のレコードデータを選択することができる。

データ解析部２は、ルール実行部５によって選択された一のレコードデータを解析する。結果表示部７は、データ解析部２による一のレコードデータについての解析結果を表示する。この表示内容の詳細については後述する。

適用履歴テーブル６は、複数のデータに対して適用した過去のルール（後述する選定ルールＲｉに相当）を、当該過去のルールの適用回数に対応する適用頻度スコアＦｉに対応付けて管理している。

（２）データ統合支援システムによるデータ統合支援方法
データ統合支援システム１０１は以上のように構成されており、次にデータ統合支援システム１０１の動作例としてのデータ統合支援方法について説明する。なお、本実施の形態では、ルールの決定に際し、対象レコードデータ群から決定すれば良いが、ここでは、併せて、過去に適用したルールのうち流用可能なルールも採用しうる形態を説明する。

（２−１）データ上の矛盾の有無
図２及び図３は、それぞれ、上述した対象データＤＢ１０３において管理されている顧客テーブル１０４の各列項目に対応したレコードデータの一例を示す。顧客テーブル１０４は、その列項目として、複数の顧客を互いに識別するための顧客ＩＤ、氏名、住所、電話番号、性別、年齢、登録日、更新日、更新時刻及び無効フラグを有する。この顧客テーブル１０４におけるユニークキーは、全ての列項目のうち顧客ＩＤであるものとする。

本実施の形態において図２に示すレコードデータは、全てのレコードデータにおいてユニークキーである顧客ＩＤが重複していないため、業務上または分析者が期待するリレーションと異なっておらず、データ上特に解消すべき点はない（以下「データ上の矛盾がない状態」という）。

本実施の形態において図３に示すレコードデータは、全てのレコードデータのうちユニークキーである顧客ＩＤが「Ａ０００１」及び「Ａ０００３」において重複する２つのレコードデータが存在しており、この検出及び解消が必要である（以下「データ上の矛盾がある状態」という）。

これは、例えば、業務上または分析者の期待では１対１の関係にあるデータ同士がデータを扱うシステムやその運用または業務フローなどに応じて１対多の関係で対象データＤＢ１０３に保存される場合があるためである。

例えば、顧客情報を管理する顧客テーブルにおいて業務上は顧客とその住所とは１対１の関係にある筈であるが，以下のいずれかの場合には、１人の顧客に対し住所の異なるレコードデータが複数存在することが生じうる。
１）住所変更の処理をレコードデータの更新時ではなく、新規追加または古いレコードデータの無効化で処理する場合（例えば無効フラグの設定）
２）レコードの類似度に応じて確率的に名寄せを実施した場合

（２−２）データ上の矛盾がある状態の解消
そこで、本実施の形態では、次のように決定したルールを用いて、これらデータ上の矛盾がある状態を解消していく。

図４は、ルール決定処理の一例を示すフローチャートである。まず、指定受付部１は、対象テーブル及び特定キーの指定を受け付ける（ステップＳ１）。

ルール決定部４は、当該特定キーがユニークキーであるか否かを判定し（ステップＳ２）、当該特定キーがユニークキーでない場合には処理を終了する一方、当該特定キーがユニークキーである場合には次のようなステップＳ３を実行する。

このステップＳ３では、ルール決定部４が、特定キー以外の列項目を用いた選定ルールＲｉのカバレッジＣｉを各項目について算出する。

具体的には、ルール決定部４は、例えば図５及び図６に示す顧客テーブルにおいてユニークキー（顧客ＩＤ）が重複する一部のレコードデータについて、特定キー以外の列項目、例えば「電話番号」、「更新日」、「更新時刻」及び「無効フラグ」を用いて、図７に示すように、この選定ルールＲｉのカバレッジＣｉを各項目について算出する。

次にルール決定部４は、図８に示す適用履歴テーブル６から、選定ルールＲｉの適用頻度スコアＦｉ（図示の適用回数に相当）を取得する（ステップＳ４）。具体的には、ルール決定部４は、適用履歴テーブル６に対して、図９に示すように、テーブル名が「顧客テーブル」であり、かつ、キー列項目が「顧客ＩＤ」であるレコードを検索し、図９に示すように問い合わせ結果を得る。

さらにステップＳ４では、ルール決定部４が、これらのレコードのうち、テーブル、キー列項目または選定対象のいずれかが一致するルールを、適用履歴テーブル６から抽出し、選定ルール（使用列名、条件）ごとに適用回数から、図１０に示すように適用頻度スコアＦｉを算出する。この場合、ルール決定部４は、テーブル、キー列項目及び選定対象の全てが一致する履歴が存在するルールに高いスコアを付与している。

次にルール決定部４は、選定ルールＲｉの優先度Ｓｉを所定の関数ｆ（Ｃｉ，Ｆｉ）に従って算出する（ステップＳ５）。

次にルール決定部４は、選定ルールＲｉを優先度Ｓｉでソートし、このソート後の選定ルールＲｉを含む選定ルール候補表示画面を、結果表示部７に表示させる（ステップＳ６）。

なお、このようにソートする際、ルール決定部４は、結果表示部７に、カバレッジＣｉ及び適用履歴スコアＦｉの大小に応じて、図１１左側に示すように使用する列項目を左詰で表示させたり、図１１右側に示すように未使用の列項目をマスクするよう表示するようにしても良い。

さらにルール決定部４は、上述した選定ルール候補表示画面に、図１２に示すように「最大」及び「最少」という選択条件が選択可能とする選択条件画面を重ねて、結果表示部７に表示させ、分析者に選択条件を選択させるようにしても良い。このように選択された場合、結果表示部７には、図１３に示すように、例えば「更新日」を使用列項目とするとともに「最大」を選択条件とした選定ルールの候補群を提示する選定ルール候補表示画面が表示される。

分析者は、このように選定ルール候補表示画面に表された選定ルール群のうちから所望の選定ルールＲｉを選択する操作を行うことにより、データ上の矛盾がある状態のレコードデータである顧客ＩＤが「Ａ０００１」である２つのレコードデータのうちからより適切な１つのレコード、及び、顧客ＩＤが「Ａ０００３」である２つのレコードデータのうちからより適切な１つのレコードを選択し、その後データ後処理として実施されるデータ分析に使用する。

以上のように本実施の形態によれば、今後拡大することが見込まれるデータ活用の際に、業務上または分析者の期待に反して存在するデータ同士の矛盾を解消するためのルール決定を人手を介さず効率的に実施することができるため、上述したデータ後処理としてのデータ分析を実施する前に完了されているべきデータ前処理の工数を削減することができる。また、ルール決定が人手によらないため、作成者の熟練度が影響せず、ルールを均質化することができる。

（３）その他の実施形態
上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、各種プログラムの処理をシーケンシャルに説明したが、特にこれにこだわるものではない。従って、処理結果に矛盾が生じない限り、処理の順序を入れ替え又は並行動作するように構成しても良い。また、上記実施形態における各処理ブロックを含むプログラムは、例えばコンピュータが読み取り可能な非一時的記憶媒体に格納されている形態であっても良い。

本発明は、いわゆる名寄せ後のデータ同士を分析者の意図する適切な態様となるように統合するデータ統合支援システム及びデータ統合支援方法に広く適用することができる。

１……指定受付部、２……データ解析部、３……ＤＢ接続部、４……ルール決定部、５……ルール実行部、６……適用履歴テーブル、７……結果表示部、１０１……データ統合支援システム、１０２……ストレージ装置、１０３……対象データＤＢ。

Claims (12)

1. 複数のレコードデータのうち関連するデータ同士をルールに従って統合するデータ統合支援システムにおいて、
   前記複数のレコードデータを管理する複数のテーブルと、
   前記複数のテーブルのうちから選択した対象テーブル及び前記対象テーブルにおける特定キーの指定を受け付ける指定受付部と、
   前記指定受付部によって指定が受け付けられた前記対象テーブル及び前記特定キーに基づいて特定のルールを決定するルール決定部と、
   前記ルール決定部によって決定された前記特定のルールに従って前記複数のレコードデータ同士のうち一のレコードデータを選択するルール実行部と、
   前記ルール実行部によって選択された前記一のレコードデータを解析するデータ解析部と、
   前記データ解析部による前記一のレコードデータについての解析結果を表示する結果表示部と、
   を備えることを特徴とするデータ統合支援システム。
2. 前記ルール決定部は、
   前記対象テーブルにおける前記特定キー以外の列項目を用いた選定ルールのカバレッジを各列項目について算出し、該カバレッジに基づいて前記選定ルールから前記特定のルールを決定することを特徴とする請求項１に記載のデータ統合支援システム。
3. 前記複数のレコードデータに対して適用された過去のルールを管理する適用履歴テーブルを備え、
   前記ルール決定部は、
   前記適用履歴テーブルにおいて管理されている前記過去のルールのうちから前記一のレコードデータに適用可能なルールを検索することを特徴とする請求項１に記載のデータ統合支援システム。
4. 前記複数のレコードデータに対して適用された過去のルールを管理する適用履歴テーブルを備え、
   前記ルール決定部は、
   前記適用履歴テーブルにおいて管理されている前記過去のルールのうちから前記一のレコードデータに適用可能なルールを検索し、
   前記結果表示部は、
   前記ルールの候補を提示するための選定ルール候補表示画面を表示するとともに、前記対象テーブルにおける列項目を用いた前記選定ルールのカバレッジ及び適用履歴スコアを併せて表示することを特徴とする請求項２に記載のデータ統合支援システム。
5. 前記結果表示部は、
   前記選定ルール候補表示画面に、選択条件を入力するための選択条件画面を重ねて表示する請求項４に記載のデータ統合支援システム。
6. 前記結果表示部は、
   前記選定ルール候補表示画面において、前記対象テーブルの列項目のうち未使用の列項目をマスクして表示することを特徴とする請求項４に記載のデータ統合支援システム。
7. 複数のレコードデータのうち関連するデータ同士をルールに従って統合するデータ統合支援システムにおけるデータ統合支援方法において、
   前記データ統合支援システムが、前記複数のレコードデータを管理する複数のテーブルのうちから選択した対象テーブル及び前記対象テーブルにおける特定キーの指定を受け付ける指定受付ステップと、
   前記データ統合支援システムが、前記指定受付ステップにおいて指定が受け付けられた前記対象テーブル及び前記特定キーに基づいて特定のルールを決定するルール決定ステップと、
   前記データ統合支援システムが、前記ルール決定ステップにおいて決定された前記特定のルールに従って前記複数のレコードデータ同士のうち一のレコードデータを選択するルール実行ステップと、
   前記データ統合支援システムが、前記ルール実行ステップにおいて選択された前記一のレコードデータを解析するデータ解析部ステップと、
   前記データ統合支援システムが、前記一のレコードデータについての解析結果を表示する結果表示ステップと、
   を有することを特徴とするデータ統合支援方法。
8. 前記ルール決定ステップでは、
   前記データ統合支援システムが、前記対象テーブルにおける前記特定キー以外の列項目を用いた選定ルールのカバレッジを各列項目について算出し、該カバレッジに基づいて前記選定ルールから前記特定のルールを決定することを特徴とする請求項７に記載のデータ統合支援方法。
9. 前記ルール決定ステップでは、
   前記データ統合支援システムが、前記複数のレコードデータに対して適用された過去のルールを管理する適用履歴テーブルにおいて管理されている前記過去のルールのうちから前記一のレコードデータに適用可能なルールを検索することを特徴とする請求項７に記載のデータ統合支援方法。
10. 前記ルール決定ステップでは、
    前記データ統合支援システムが、前記複数のレコードデータに対して適用された過去のルールを管理する適用履歴テーブルにおいて管理されている前記過去のルールのうちから前記一のレコードデータに適用可能なルールを検索し、
    前記結果表示ステップは、
    前記データ統合支援システムが、前記ルールの候補を提示するための選定ルール候補表示画面を表示するとともに、前記対象テーブルにおける列項目を用いた前記選定ルールのカバレッジ及び適用履歴スコアを併せて表示することを特徴とする請求項８に記載のデータ統合支援方法。
11. 前記結果表示ステップは、
    前記データ統合支援システムが、前記選定ルール候補表示画面に、選択条件を入力するための選択条件画面を重ねて表示する請求項１０に記載のデータ統合支援方法。
12. 前記結果表示ステップは、
    前記データ統合支援システムが、前記選定ルール候補表示画面において、前記対象テーブルの列項目のうち未使用の列項目をマスクして表示することを特徴とする請求項１０に記載のデータ統合支援方法。

Images