JP7435750B2 - データパターンの分類方法および分類システム - Google Patents

Description

本発明は、データベースの１つの欄（カラム）に入力されている情報の種類がカラム内で統一されていない場合に、データベース内の情報から正確な規則の候補を絞り込むデータパターンの分類方法および分類システムに関する。

通常のデータベース（以下「ＤＢ」）には、１つのデータに関する情報が専用のカラムに入力されている。一方で、備考欄などのように、入力すべき事柄が明確に定まっていないカラムには、様々な種類の情報が入力されることがある。このような備考欄を持つＤＢを、別のＤＢと統合する際、ＤＢ間で共通する情報が、この備考欄に格納されている場合には、適切な統合を行なうことができない可能性を生じる。

以下、具体例を用いて説明する。

表１は、備考欄に規則的な文字列の重複があるＤＢの例を示す。備考欄には、(1)住所と(2)電話番号のいずれかが入力されており、(1)住所の場合は「都道府県」「市町村」「番地」の欄にある情報が共通している。ただし、「ＩＤ：２」のデータの備考欄には「都道府県」が入力されていないように、住所の表記がカラム内で統一されていない。

表２は、建築物に関するＤＢの例である。
表１にあるＤＢと表２にあるＤＢとを統合する場合、住所がトリガとなる共通項目であるが、表１には住所に該当する欄がない上に、一部のデータは電話番号が入力されているために、表１の学校名や電話番号と表２の建物情報とを紐付けることができない。

このような課題に対して従来では、予め規則を登録しておくことにより、入力された文字列がどの規則に従っているのかを判別する技術が提案されている（例えば、特許文献１、２）。

日本国特開２０１６－１３６３４１号公報 日本国特開２０１４－２１９８３３号公報

表１では、備考欄に入力されている情報の種類が複数（住所あるいは電話番号）あり、各備考欄の入力はいずれかの情報を表している。表１の「ＩＤ：１」、「ＩＤ：２」の備考欄では住所の情報が入力されているが、「ＩＤ：１」の備考欄では都道府県名から、「ＩＤ：２」では市町村名から、それぞれ住所が入力されているように、情報の表し方が統一されていない。これは、ヒューマンエラーによるもの、住所の入力の仕方が明文化されていないこと等の原因が考えられる。

このように、備考欄に入力される情報が明文化されていない場合には、特許文献１および特許文献２に記載されるような従来技術では対応することができない。

本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、複数のデータベースの統合時に、データベース間で共通する情報を持つカラムの発見を容易にすることが可能なデータパターンの分類方法および分類システムを提供することにある。

本発明の一態様は、情報の種類が複数存在する混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複があるデータベースを対象としたデータパターンの分類システムにより実行される方法であって、前記データパターンの分類システムの抽出部により、前記混合カラムの入力値と文字列上の重複がある欄をパターンと称して、前記混合カラムが存在しているデータベースにおいて、前記混合カラムの前記パターンが変化するタイミングを用いた発見的な第１の手法と、尤度検定による統計手法を用いた第２の手法とのいずれかにより、前記混合カラムに入力される情報の種類を変更する分岐カラムを抽出することと、前記データパターンの分類システムの分類部により、前記抽出部により抽出した分岐カラムに基づいて前記混合カラムから得られる前記パターンを、当該パターンが表す情報によってグループ化し、前記混合カラムに格納している情報が何種類あるのかを取得することと、を備える。

本発明の一態様によれば、複数のデータベースの統合時にデータベース間で共通する情報を持つカラムの発見を容易にすることが可能となる。

以下、本発明をデータパターンの分類方法に適用した場合の一実施形態について説明する。

［概要］
まず本実施形態の概要について説明する。
表１における備考欄のように、欄内に入力される情報の種類が複数あるカラムを、本書では混合カラムと称する。本実施形態で取扱うＤＢは、混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複があるものを対象とし、混合カラムの入力値と文字列上の重複のある欄との組み合わせをパターンと称する。

混合カラムから得られるパターンで備考欄の入力値をグループ化するべく、単にパターンが同じ入力値を同じ情報を表すグループとして取扱うものとすると、必要以上のグループが作成される虞を生じる。

本実施形態では、混合カラムから得られるパターンを、パターンが表す情報によってグループ化する。表１の例では、ＩＤ：１、ＩＤ：２の備考欄から得られるパターンが異なるが、どちらも住所に関する情報が入力されているので、同じグループに纏められる。

ここで本実施形態では、以下に分岐カラムと称する存在を想定する。すなわち、分岐カラムとは、混合カラムが存在しているＤＢにおいて、表１の「分」欄のように、ある文字列Ｘ（例えば「住」）が分岐カラムに入力されていれば、備考欄には規則Ａ（住所に関する情報を備考欄に入力する）に従った入力が、別の文字列Ｙ（例えば「電」）が分岐カラムに入力されていれば備考欄には規則Ｂ（電話番号に関する情報を備考欄に入力する）に従った入力がされる、といったように、入力される文字列によって備考欄の入力値の情報を変更するカラムを指すものとする。したがって、分岐カラムの入力値の種類は、混合カラムの情報の種類と一致する。

分岐カラムを発見する方法として、
Ａ)混合カラムのパターンが変化するタイミングを用いたヒューリスティック（発見的）な方法と、
Ｂ)尤度検定による統計手法を用いた方法、
の２通りを用いるものとする。

前述したように分岐カラムを発見することで、パターンがグループ化され、混合カラムに格納している情報が何種類あるかが明らかになる。混合カラムを各グループで分ければ、混合カラムが情報の種類ごとに分かれたことになるので、ＤＢの統合時にＤＢ間で共通する情報をもつカラムを容易に発見できる。

加えて、一つのグループに属するパターンの中から代表となるパターンを抽出する技術と組み合わせれば、パターン間に優劣を付けることができ、各入力値を最優のパターンにしたがって統一することが可能になる。

［方法手順］
以下、データパターンの分類方法の詳細な手順について説明する。

なお前提として、混合カラムに該当する欄は既知であるものとする。ＤＢに格納された各データを、ｄ_ｉ(ｉ∈｛１，２，…，ｎ｝)(ｎ：格納データの総数)と表記し、混合カラムが空欄でないもののデータの集合をＤとする。

各ｄ_ｉには、混合カラムを除いて、ｉ番目のデータに関する情報がリスト化されているものとする。
例えば、表１のＤＢでは、ｄ_ｉ＝［「Ａ大学」「東京都」「港区」「1-11-1」「5678」］が得られる。
このとき、集合Ｄの要素であるデータｄ_ｊに対応する混合カラムをａ_ｊとする。
以下、文字列str1、str2について、共通する文字の集合を str1∩str2 で表記する。

＜ステップ０＞(前処理：パターン抽出)
混合カラム以外に入力された情報の中で、ａ_ｊと共通する文字列を含むもののインデックスをすべて抽出する。すなわち、ａ_ｊ∩ｄ_ｊ[ｘ]≠φ(ｘ≠ｙ)となるようなインデックスｘを見つける。ここでφは空集合を表す。

ただし、インデックスｘを見つけるに際しては、以下の条件i)～iii)をすべて満たすものとする。すなわち、
i) 共通している文字列の長さが文字列ｄ_ｊ[ｘ]の長さの半分以上であること。ただし、数字または記号(：；－＋＠等)が共通している場合、共通文字列の長さは２以上またはｄ_ｊ[ｘ]に数字と記号以外の文字が含まれている必要があるものとする。
ii) 共通している文字列は文字列ｄ_ｊ[ｘ]の先頭の文字を削除したもの、あるいは末尾の文字を削除したものと一致すること。例えば、ｄ_ｊ[ｘ]＝「福島郡山」であった場合、ｄ_ｊ[ｙ]と共通している文字列が「福島」や「郡山」であれば条件ii)を満たすが、「福山」は条件ii)を満たさない。

iii) 異なるインデックスの要素間で共通する文字列が重複してはならないこと。例えば、ａ_ｊ＝「福島郡山」であった場合、ｄ_ｊ[ｘ]＝「福島」、ｄ_ｊ[ｚ]＝「郡山」であれば条件iii)を満たすが、ｄ_ｊ[ｘ]＝「福島」、ｄ_ｊ[ｚ]＝「福島郡山」では条件iii)を満たさない。

抽出されるインデックスが複数ある場合、前述した如くその組み合わせをパターンと称する。すべてのｄ_ｊ∈Ｄに対してパターンを抽出する。パターンの集合をＰと表記し、ｉ番目のパターンをｐ_ｉ∈Ｐと表記する。各パターンにはインデックスが格納されている。例えばｐ_ｉ＝[1,4,6]ならば、１番目、４番目、６番目の欄に入力された文字列と共通部分を持つことを表すものとする。こうした前処理を実行することで、以下のグループ分けに係る処理工程を効率的に実施できる。

まず、手法Ａ)ヒューリスティック（発見的）な方法について説明する。
＜ステップ１Ａ＞
前記ステップ０を実行してパターンを抽出する。

＜ステップ２Ａ＞
抽出したパターンの総数を|Ｐ|とする。次の２条件に従うカラムを選出する。すなわち、
(1)カラムに入力されている文字列の種類が|Ｐ|種類以下であること。
(2)カラムには抽出したパターンのいずれの要素もないこと。

＜ステップ３Ａ＞
選出された各カラムに対して、次の値ｓを計算する。すなわち、
ｓ:＝(error_c/ｃ)＋(error_f/f)
(ただし、上下で隣り合うデータを比較した時に、
ｃ:混合カラムの入力パターンが変化した回数、
error_c:混合カラムの入力パターンが変化してもカラムの入力が変化しなかった回数、
ｆ:混合カラムの入力パターンが一定であった回数、
error_f:混合カラムの入力パターンが変化しなくともカラムの入力が変化した回数。)
これは、分岐カラムの条件として、入力文字列が変化したときに混合カラムのパターンも同時に変化し、且つ文字列が変化しないならばパターンも変化しない、ということがあることから、前記の条件を破った回数とその割合を表している。

＜ステップ４Ａ＞
ｓが最小となるようなカラムを選択する。選択された各カラムの名前をｈ_ｊ(ｊ∈｛1,2,…｝)とし、ｈ_ｊからなる集合をＨとする。このとき、混合カラムのパターンがｐ_ｊのデータで、ｈ_ｊに入力されている文字列の中で最頻のものをｍ_ｉとする。

ただし、次の条件「ｍ_ｉの出現回数がパターンｐ_ｉのデータ数の過半数を超えること」を満たすことが必要であるものとし、満たされない場合にはｈ_ｊが分岐カラムにはならないものとして、集合Ｈから排除する。
各パターンｐ_ｉ(ｉ∈｛1,2,…,|Ｐ|｝)に対してｍ_ｉが定まるならば、カラムｈ_ｊを分岐カラムとする。

＜ステップ５Ａ＞
分岐カラムｈ_ｊに入力されている文字列の種類数が、パターンの総数|Ｐ|よりも小さい場合、パターンをグループ化する。具体的には、同一のｍ_ｉを持つ複数のパターンを、同一の情報を表すパターンとしてグループ化する。グループ化されたパターンの中で、代表となるパターンを選出する。

次に手法Ｂ）尤度による統計的方法について説明する。
＜ステップ１Ｂ＞
前記ステップ０を実行してパターンを抽出する。

＜ステップ２Ｂ＞
抽出したパターンの総数を|Ｐ|とする。次の２条件に従うカラムを選出する。すなわち、
(1)カラムに入力されている文字列の種類が|Ｐ|種類以下であること。
(2)カラムには抽出したパターンのいずれの要素もないこと。

＜ステップ３Ｂ＞
選出されたカラムの集合をＨとする。集合Ｈの各カラムｈ_ｊに対し、混合カラムに入力されたパターンがｐ_ｉのデータで、ｈ_ｊに入力されている文字列の中で最頻のものを選択し、それをｍ_ｊｉとする。ただし、ｍ_ｊｉの候補が複数ある場合、すなわち最頻値をとる文字列が複数ある場合には、ｈ_ｊが分岐カラムにはならないものとして、集合Ｈから排除する。

＜ステップ４Ｂ＞
集合Ｈのカラムｈ_ｊについて、各ｐ_ｉ、ｍ_ｊｉに対して以下の表３の二次元集計表の各ｘ_ｋｌに該当する数値をデータから取得する。ここで、
ｘ_ｋｌ：パターンｐ_ｋにおいてｍ_ｊｉが入力されているデータの個数
である。ただし、パターンｐ_ｉにおいてｍ_ｊｋ＝ｍ_ｊｌを満たすようなｋ、ｌ(ｋ≠ｌ、ｋ≠ｉ、ｌ≠ｉ)が存在するとき、
ｘ_ｉｋ＝ｘ_ｉｌ＝Ｍ/2
(ただし、Ｍはｍ_ｊｋ（またはｍ_ｊｌ）が入力されているデータの総数。)
を入力し、均等になるようにする。

このデータに対してカイ（χ）二乗検定を用いることで、「各パターンｐ_ｉに従うことと、ｍ_ｊｉが入力されていることが同時に起こるのは偶然である」という仮説を検定する。期待度数は、以下の表４

に示すようになる。この表４の期待度数表により、検定統計量χ_ｉ ^２を次式に従って求める。すなわち、

前述した作業を各ｈ_ｉに対して実行する。

算出した検定統計量χ_ｉ ^２を検定量の自由度(|Ｐ|－１)^２でのｐ値へ変換し、有意水準αよりも大きければ仮説を棄却し、ｈ_ｉを分岐カラムとして出力する。ｈ_ｉが複数存在する場合には、ｐ値が最大となるものを分岐カラムとする。

＜ステップ５Ｂ＞
分岐カラムｈ_ｊに入力されている文字列の種類数が、パターンの総数|Ｐ|よりも小さい場合、パターンをグループ化する。具体的には、同一のｍ_ｉを持つ複数のパターンを同一の情報を表すパターンとしてグループ化する。そして、グループ化されたパターンの中で代表となるパターンを選出する。

［実施例］
以下、前述したデータパターンの分類方法の手順に基づいた具体的な実施例について説明する。

表５は、入力規則のあるＤＢの例を示す。ここで備考欄には(1)住所と(2)電話番号のいずれかが入力されており、(1)住所である場合は「都道府県」「市町村」「番地」の欄にある情報が共通している。

＜ステップ０＞
備考欄と共通する文字列を含むような欄の組み合わせを抽出すると、次の表６のようになる。

ここで、「ＩＤ」が共通項にないのは、共通する文字が数字１文字分であることが条件i)に反するためである。表６により、パターンは４種類存在し、
ｐ_１＝[都道府県、市町村、番地]
ｐ_２＝[電話番号]
ｐ_３＝[市町村、番地]
ｐ_４＝[都道府県、番地]
となる。

手法Ａ)ヒューリスティック（発見的）な方法
＜ステップ１Ａ＞
前記ステップ０を実行してパターンを抽出する。

＜ステップ２Ａ＞
次の２条件を満たすカラムを選出する。
(1)カラムに入力されている文字列の種類が４種類以下であること。
(2)カラムは抽出したパターンのいずれの要素でもないこと。
これらを満たすカラムは「位」と「分」となる。カラム「ＩＤ」「学校名」はいずれも１０種類以上の文字列が入力されているために条件(1)を満たさない。

＜ステップ３Ａ＞
カラム「位」に対して、
ｃ＝６（ＩＤが１から２、２から３、３から４、６から７、８から９、９から１０になるときにパターンが変化している）、
error_ｃ＝６（前記のいずれのタイミングでも入力文字が変化していない）
ｆ＝３（ＩＤが４から５、５から６、７から８になるときパターンが変化しなかった）、
error_f＝１（ＩＤが５から６のタイミングでパターンが変化している）
であるので、
ｓ:＝(error_c/ｃ)＋(error_f/f)＝1＋(1/3)≒1.333
が得られる。

一方、カラム「分」に対して、
ｃ＝６（ＩＤが１から２、２から３、３から４、６から７、８から９、９から１０になるときにパターンが変化している）、
error_ｃ＝２（ＩＤが１から２、９から１０になるとき入力文字が変化しなかった）
ｆ＝３（ＩＤが４から５、５から６、７から８になるときパターンが変化しなかった）、
error_f＝０（前記のタイミングでパターンが変化しなかった）
であるので、
ｓ:＝(error_c/ｃ)＋(error_f/f)＝(2/6)＋０≒0.333
が得られる。

＜ステップ４Ａ＞
ｓの値が小さいのがカラム「分」の方であった。このとき備考欄のパターンがｐ_ｉのデータで、カラム「分」に入力されている文字列の中で最頻のものは、
ｐ_１:ｍ_１＝住(５データ中に５回)
ｐ_２:ｍ_２＝電(３データ中に３回)
ｐ_３:ｍ_３＝住(１データ中に１回)
ｐ_４:ｍ_４＝住(１データ中に１回)
であった。これにより、４種のパターンが、ｐ_１、ｐ_２、ｐ_３とｐ_４とに分類される。

＜ステップ５Ａ＞
カラム「分」に入力される文字列の種類は２つなので、パターンが２種となるようにグループ化する。ここでは、最もデータ内で出現回数の多かったパターンを代表とし、残りのパターンは誤入力によって生成されたものと見なす。

ｍ_ｉ＝「住」となるパターンの中でデータでの出現頻度が最大となるのはパターンｐ_１の５回である。よってパターンｐ_１が代表パターンであり、同じ情報を表しているものとしてグループ化する。

手法Ｂ)尤度による統計的方法
＜ステップ１Ｂ＞
前記ステップ０を実行してパターンを抽出する。

＜ステップ２Ｂ＞
次の２条件を満たすカラムを選出する。
(1)カラムに入力されている文字列の種類が４種類以下であること。
(2)カラムは抽出したパターンのいずれの要素でもないこと。
これらを満たすカラムは「位」と「分」となる。カラム「ＩＤ」「学校名」はいずれも１０種類以上の文字列が入力されているために条件(1)を満たさない。

＜ステップ３Ｂ＞
ｈ_１：「位」、ｈ_２：「分」とする。パターンがｐ_ｉ(ｉ＝1,2,3,4)に対して、ｍ_ｊｉ(ｊ＝1,2)は下記の表７のようになる。

＜ステップ４Ｂ＞
各カラムｈ_ｊについて二次元集計表を表８、表９のように作成する。

この表８において、ｍ_１１:ｐ_２とｍ_１４:ｐ_２で1/2と入力されたのは、パターンｐ_２において文字列Ｓが入力されたデータ数１に対し、ｍ_１１とｍ_１４が同一であるためである。

各ｈ_ｊに対して期待度数の表１０、表１１を作成する。

表８及び表１０により、ｈ_１に対するカイ二乗検定量χ_１ ^２は、
χ_１ ^２≒18.23
表９及び表１１により、ｈ_２に対するカイ二乗検定量χ_２ ^２は、
χ_２ ^２＝31
となる。

ここでは有意水準α＝0.01とした。自由度９における上側有意確率0.01の値は21.7であるので、ｈ_１における仮説は成立する一方で、ｈ_２では棄却されて分岐カラムとなる。

なお、本実施例のようにサンプルデータが小さい場合、カイ二乗検定よりフィッシャー検定の方が適切であるが、実際に技術を適用する際にはデータ数は十分大きいものとして、ここでもカイ二乗検定を使用するものとする。

＜ステップ５Ｂ＞
ｈ_２のカラム「分」に入力される文字列の種類は２つなので、パターンが２種になるようにグループ化する。ここでは、最もデータ内で出現回数の多かったパターンを代表とし、残りのパターンは誤入力によって生成されたものと見なす。

すなわち、ｍ_２ｉ＝「住」となるパターンの中で、データでの出現頻度が最大なのはパターンｐ_１の５回である。よって、パターンｐ_１が代表パターンであり、他のパターンｐ_３、ｐ_４はパターンｐ_１と同じ情報を表しているものとしてグループ化する。

以上、手法Ａ)ヒューリスティック（発見的）な方法と、手法Ｂ)尤度による統計的方法とにより、混合カラムから得られるパターンを、パターンが表す情報によってグループ化することができる。

［実施形態の効果］
以上に詳述した如く本実施形態によれば、複数のデータベースの統合時にデータベース間で共通する情報を持つカラムの発見を容易にすることが可能となる。

なお本発明の方法は、複数のデータベースを統合するコンピュータシステムによっても実現でき、方法手順を実現するプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能となる。

その他、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

Claims (4)

1. 情報の種類が複数存在する混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複があるデータベースを対象としたデータパターンの分類システムにより実行される方法であって、
   前記データパターンの分類システムの抽出部により、前記混合カラムの入力値と文字列上の重複がある欄をパターンと称して、前記混合カラムが存在しているデータベースにおいて、前記混合カラムの前記パターンが変化するタイミングを用いた発見的な第１の手法と、尤度検定による統計手法を用いた第２の手法とのいずれかにより、前記混合カラムに入力される情報の種類を変更する分岐カラムを抽出することと、
   前記データパターンの分類システムの分類部により、前記抽出部により抽出した分岐カラムに基づいて前記混合カラムから得られる前記パターンを、当該パターンが表す情報によってグループ化し、前記混合カラムに格納している情報が何種類あるのかを取得することと、
   を備えるデータパターンの分類方法。
2. 前記抽出部により前記分岐カラムを抽出することに先立って、前記データパターンの分類システムの前処理部により、前記混合カラムと共通する文字列を含む欄のインデックスをすべて抽出することをさらに備える、
   請求項１に記載のデータパターンの分類方法。
3. 前記分類部は、一つのグループに属するパターンの中から代表となるパターンを選出してパターン間に優劣を付与し、各入力値を代表としたパターンにしたがって統一した上でグループ化する、
   請求項１に記載のデータパターンの分類方法。
4. 情報の種類が複数存在する混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複があるデータベースを対象としたデータパターンの分類システムであって、
   前記混合カラムの入力値と文字列上の重複がある欄をパターンと称して、前記混合カラムが存在しているデータベースにおいて、前記混合カラムの前記パターンが変化するタイミングを用いた発見的な第１の手法と、尤度検定による統計手法を用いた第２の手法とのいずれかにより、前記混合カラムに入力される情報の種類を変更する分岐カラムを抽出する抽出手段と、
   抽出した分岐カラムに基づいて前記混合カラムから得られる前記パターンを、当該パターンが表す情報によってグループ化し、前記混合カラムに格納している情報が何種類あるのかを取得する分類手段と、
   を備えるデータパターンの分類システム。