JP7211297B2 - 訂正支援プログラム、訂正支援方法、および情報処理装置 - Google Patents

Description

本発明は、訂正支援プログラム、訂正支援方法、および情報処理装置に関する。

データマーケットと呼ばれるデータの利活用の場が提供されている。データマーケットでは、データの利用者と提供者が、データを取引する。データマーケットでは、様々なシステムやデバイスから入力されたデータが取引されている。例えば、リレーショナルデータベース（RDB：Relational Database）は、多くのシステムで利用されており、テーブルデータはデータマーケットで流通する基本的なデータ形式の一つである。そして、こうしたデータには、複数のフィールドが対応づけられたレコードが登録されている。

データに含まれるフィールドには、例えば、名前、住所、電話番号、アイテム名、作業名といった人手により入力が行われるデータが登録されることがある。そして、人手により入力が行われる場合、入力ミスが発生することがある。

これに関し、誤入力の訂正に関連する技術が知られている（例えば、特許文献１から特許文献３）。

特開平４－２４５３１９号公報 特開２０１３－２０６００３号公報 特開平４－７１０６４号公報

上述のように、人手により入力が行われたデータには、入力ミスに起因する誤ったデータが含まれることがある。データに誤りが含まれている場合、利用者が、提供者から提供されるデータを、既存のデータに外部結合して利活用しようとしても、結合相手が見つからないレコードが生じてしまうことがある。この様な場合に、一律的な方法で結合できなかったレコードのデータをクレンジングしようとしても、提供者がデータの入力に用いるデバイスの種類は多種多様であり得、入力デバイスによって入力ミスの発生の仕方が異なるため、難しいことがある。

１つの側面では、本発明は、データクレンジングの精度を向上させることを目的とする。

本発明の一つの態様の訂正支援プログラムは、それぞれに複数のフィールドが対応づけられたレコードが登録されている第１のデータおよび第２のデータを、所定のフィールドで外部結合し、第１のデータに登録されている第１のレコードのフィールドの文字列と、第２のデータのうちで結合相手の見つからなかった第２の未結合レコードのフィールドの文字列との間の距離を、異なる複数の種別の入力デバイスごとのキー配列に基づいて決定し、複数の種別の入力デバイスごとのキー配列に基づき決定した距離に基づいて、複数の種別のうちから第２のデータの入力に用いられた入力デバイスの種別を判定し、第２のデータの入力に用いられた入力デバイスとして判定された種別の入力デバイスのキー配列に基づき決定した距離に基づいて、第１のレコードと第２の未結合レコードとを対応づける、処理を、情報処理装置に実行させる。

データクレンジングの精度を向上させることができる。

例示的なデータの外部結合を示す図である。 レーベンシュタイン距離を用いた例示的な対応づけを示す図である。 例示的なデータの利活用が行われるシステムを示す図である。 実施形態に係るサーバのブロック構成を例示する図である。 例示的なキーボードのキー配列を示す図である。 例示的なトグル入力のテンキーのキー配列を示す図である。 実施形態に係るキーボードとトグル入力のテンキーとによる距離の算出について説明する図である。 入力デバイスの種別の判定を例示する図である。 実施形態に係るクレンジング候補の提示を例示する図である。 データマーケットのデータの信頼性に基づくランク付けを例示する図である。 実施形態に係るデータの結合候補の提示処理の動作フローを例示する図である。 種別がQWERTY配列のキーボードの入力デバイス情報を例示する図である。 種別がトグル入力のテンキーの入力デバイス情報を例示する図である。 その他の入力デバイスを例示する図である。 実施形態に係るサーバを実現するための情報処理装置のハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

上述のように、データベースなどのデータへの入力が人手で行われることがあり、入力の際に入力ミスが発生することがある。入力ミスと推定されるデータの入力が検知された場合に、正しい入力内容への訂正を促すオートコンプリート機能およびサジェスト機能などが知られているが、こうした誤入力を抑制する技術を用いたとしても、全ての誤入力を抑制することは難しい。そのため、入力ミスにより誤ったデータを含むデータが存在している。そして、入力ミスによる誤ったデータを訂正するために、データクレンジングが行われることがある。なお、データクレンジングとは、例えば、データベースに保存されているデータの中から、重複や誤記、表記の揺れなどを探し出し、削除や修正、正規化などを行い、データの品質を高める処理のことである。

以下、例示的な入力の誤りを含むデータのクレンジングについて説明する。例えば、ユーザは、データＹを持っているとする。そして、ユーザは、新たにデータＸをデータマーケットで購入してデータＸをデータＹに結合したいと望んでいるとする。

図１は、例示的なデータの外部結合を示す図である。図１（ａ）に示すように、データＸとデータＹとでは、フィールド：ｉｄの列で同じ種別のデータを格納しており、フィールド：ｉｄの値を用いて、データＸとデータＹとを対応づけて結合することが可能である。図１（ａ）は、データにエラーを含まない場合の例である。この場合、図１（ａ）に示すようにフィールド：ｉｄの値を用いて、データＸをデータＹに結合することで、データＹに含まれるフィールド：名前と、データＸに含まれるフィールド：ｄａｔａ、およびフィールド：種類の情報と対応づけることができる。

しかしながら、データＸのフィールド：ｉｄの列にエラーが含まれている場合、エラーを含むデータは、ｉｄが一致しないため、対応づけられない未結合のレコードが発生することになる。図１（ｂ）は、データＸのフィールド：ｉｄに、入力エラーが含まれる場合を例示しており、太字で示すデータにはエラーが含まれているものとする。この場合に、データＸとデータＹとをｉｄで結合しようとしても、図１（ｂ）に示すように、エラーを含むｉｄは、データＹと対応づけられないため、上手く結合されず、ｎｕｌｌを含む未結合のレコードが生じてしまう。

この場合に、データＸの未結合のレコードと、データＹとの未結合のレコードとの間で、対応づかなかったレコードのｉｄに記載される文字列間の距離を測ることで、未結合のレコードのうちから対応するレコードを特定することが考えられる。なお、データＹのデータは、ユーザが既に利活用しているものであり、一例では正しいデータが登録されていると仮定することができる。

図２は、レーベンシュタイン距離を用いた例示的な対応づけを示す図である。図２（ａ）には、図１（ｂ）で述べた外部結合で、対応する結合相手が見つからなかったnullを含む未結合のレコードが示されている。そして、図２（ｂ）では、縦軸にデータＸ由来の未結合のレコードのｉｄを列挙しており、横軸にデータＹ由来の未結合のレコードのｉｄを列挙しており、それぞれのｉｄの文字列間でレーベンシュタイン距離が計算されている。レーベンシュタイン距離は、例えば、二つの文字列がどの程度異なっているかを示す距離の一種である。レーベンシュタイン距離は、編集距離とも呼ばれることがある。レーベンシュタイン距離は、例えば、１文字の挿入、削除、置換によって、二つの文字列の一方の文字列を他方の文字列に変形するのにかかる手順の最小回数として定義される。

この場合に、例えば、データＸの「７００＃９」は、データＹの「７００９８」と最も距離が短く、図２（ｃ）に示すように、レーベンシュタイン距離を用いて、データＸの「７００＃９」をデータＹの「７００９８」と１対１で対応づけることができる。しかしながら、例えば、データＸの「２００ａ２」には、レーベンシュタイン距離が最小の値：２の候補として「２００２１」と「５００５２」との２つがある。

この場合に、例えば、データＸの「２００ａ２」では種類：野菜に対して、データＹの「２００２１」の名前「トマト」と「５００５２」の「牛肉」とが対応づいている。そのため、ユーザが確認すれば、野菜であるデータＹの「２００２１」の名前「トマト」が正しい対応づけであると推定することができる。しかしながら、この場合、ユーザが１つずつデータを見て判断を行うことになり、ユーザの作業負担が増加してしまう。

また、データＸの「４００４２」には、レーベンシュタイン距離が最小の値：２の候補として「３００４１」と「５００５２」とがある。この場合に、例えば、データＸの「４００４２」には種類：肉に、データＹの「３００４１」の「豚肉」と「５００５２」の「牛肉」とが対応づいている。そのため、距離が等しく２であり、また、データの内容を見ても「豚肉」と「牛肉」とはいずれも種類：肉に該当するため、ユーザはどちらが正しいかを判定することができない。

このように、レーベンシュタイン距離などの文字列の編集にかかる距離を比較しても、入力ミスを含むレコードの対応づけに十分な情報が得られないことがある。

また、提供者がデータの入力に用いる入力デバイスは、例えば、キーボード、スマートフォンのタッチパネル、携帯電話機のボタンなど多種多様であり得、入力デバイスによって、誤入力の発生の仕方も異なる。そのため、一律的な方法でデータをクレンジングしようとしても、難しいことがある。例えば、データの誤入力は、ユーザがキー配列において近いキーを誤って押してしまうことで起こることがある。そのため、例えば、データの入力がキーボードで行われたと仮定して、キー配列におけるキーの近さに基づいてデータ入力の誤りを訂正したとする。この場合、データがキーボード以外の入力デバイスによって入力されていると、データを正しく訂正できないことがある。そのため、データのクレンジング精度を向上させる技術の提供が望まれている。

以下で述べる実施形態では、入力に用いられる複数の異なる種別の入力デバイスを想定し、それぞれの種別の入力デバイスごとに、その入力デバイスのキー配列と、入力にかかる操作数とに基づいて、距離を推定する。続いて、入力デバイスの種別ごとの得られた距離に基づいて、そのデータの入力に用いられた入力デバイスの種別を判定する。そして、実施形態では、判定された入力デバイスの種別に基づいて、入力ミスのあったデータのクレンジングを支援する。このように、入力デバイスの種別を特定し、特定した入力デバイスの種別に応じたデータのクレンジングを実行することで、正しくデータを訂正することが可能である。以下、実施形態を更に詳細に説明する。

図３は、例示的なデータの利活用が行われるシステム３００を示す図である。システム３００は、例えば、サーバ３０１、および端末３０２を含む。サーバ３０１は、例えば、データマーケットを提供するサーバコンピュータであってよい。端末３０２は、例えば、データマーケットにデータを提供する提供者の端末３０２と、データマーケットのデータを利用する利用者の端末３０２とを含んでよい。サーバ３０１と、端末３０２とは、例えば、ネットワーク３０５を介して接続されている。

図４は、実施形態に係るサーバ３０１のブロック構成を例示する図である。サーバ３０１は、例えば、制御部４０１、記憶部４０２、および通信部４０３を含む。制御部４０１は、例えば結合部４１１、決定部４１２、判定部４１３、処理部４１４などとして動作する。記憶部４０２は、例えば、データマーケットで取り扱われるデータ、および後述する入力デバイス情報などの情報を記憶している。通信部４０３は、制御部４０１の指示に従って、端末３０２などの他の装置と通信する。これらの各部の詳細および記憶部４０２に格納されている情報の詳細については後述する。

続いて、入力に用いられる複数の種別の入力デバイスとして、キーボードと、トグル入力のテンキーとを例に実施形態に係るデータの結合処理を説明する。

図５は、例示的なキーボードのキー配列を示す図である。なお、図５では、QWERTY配列のキーボードが例示されている。

また、図６は、例示的なトグル入力のテンキーのキー配列が例示されている。トグル入力は、例えば、テンキーにて文字入力を行う方法の一種であり、キーに割り当てられている複数の文字を、キーの入力回数によって選択することで、文字の入力が実行される。

図７は、実施形態に係るキーボードと、トグル入力のテンキーとによる距離の算出について説明する図である。図７には、図１（ｂ）で述べた外部結合で、結合相手が見つからずnullを含む未結合のレコードが登録されたデータ７００が示されている。そして、実施形態では制御部４０１は、データＸの未結合のレコードと、データＹの未結合のレコードとの間の距離を、入力デバイスの種別ごとに、キー配列と入力操作の回数とに基づいて決定する。一例では、制御部４０１は、以下のように距離を決定してよい。

まず、キー配列に基づく距離の特定について述べる。例えば、比較対象の２つの文字列の間で、第１の文字が、第２の文字に置き換わっていたとする。この場合に、制御部４０１は、第１の文字の入力に用いられる第１のキーと、第２の文字の入力に用いられる第２のキーとの間のキー配列上での距離を取得する。キー配列上での距離は、一例では、キー配列上での第１のキーから第２のキーまでの移動で経由するキーの数のうち最小の数であってよい。

続いて、入力操作の回数に基づく距離の特定について述べる。制御部４０１は、例えば、比較対象の２つの文字列のそれぞれの入力にかかる入力操作の回数の差分の大きさを、入力操作の回数に基づく距離として用いてよい。一例として、上述のように、例えば、比較対象の２つの文字列の間で、第１の文字が、第２の文字に置き換わっていたとする。そして、第１の文字の入力には第１のキーが用いられ、また、第２の文字の入力には第２のキーが用いられるとする。この場合に、制御部４０１は、第１のキーを用いて入力デバイスを何回操作すれば第１の文字が入力されるかを表す第１の入力操作の回数を取得する。また、制御部４０１は、第２のキーを用いて入力デバイスを何回操作すれば第２の文字が入力されるかを表す第２の入力操作の回数を取得する。そして、制御部４０１は、第１の入力操作の回数と第２の入力操作の回数との差分の大きさを用いて距離を特定してよい。

そして、制御部４０１は、得られたキー配列上での距離と、入力操作の回数に基づく距離とを用いて、比較対象の２つの文字列の間の距離を特定する。例えば、制御部４０１は、キー配列上での距離と、入力操作の回数に基づく距離とを足し合わせて比較対象の２つの文字列の間の距離としてよい。

以下、距離の算出の例を説明する。図７の左側では、入力デバイスをキーボードと仮定した場合の距離の算出が例示されている。例えば、図７のデータ７００において、データＸの「２００ａ１」とデータＹの「２００２１」とを比較した場合、「ａ」と「２」とが置き換わっている。ここで、QWERTY配列のキーボードでは、「ａ」の入力に用いるキーと、「２」の入力に用いるキーとの間には、キー「ｑ」または「ｗ」が挟まっており、「ａ」から「２」までのキーの移動ではキーを２つ経由する。そのため、制御部４０１は、キー配列上での距離を“２”と判定してよい。

また、例えば、QWERTY配列のキーボードでは、文字「ａ」は「ａ」のキーを押すだけで入力できるため、入力操作回数は“１”であってよい。同様に、QWERTY配列のキーボードでは、文字「２」は「２」のキーを押すだけで入力できるため、こちらも入力操作回数は“１”であってよい。そのため、QWERTY配列のキーボードでの「ａ」と「２」との入力操作回数の距離は、１－１＝０で“０”と算出することができる。

従って、入力デバイスの種別をQWERTY配列のキーボードと仮定すると、データＸの「２００ａ１」とデータＹの「２００２１」との距離は、キー配列上での距離“２”と、入力操作回数の距離“０”とを可算して“２”と求めることができる。

また、データ７００において、例えば、データＸの「７００９８」とデータＹの「７００＃９」とでは、「９」と「＃」が置き換わっており、また、「８」と「９」が置き換わっている。ここで、QWERTY配列のキーボード上での「９」の入力に用いるキーから「＃」の入力に用いるキーまでの移動では、「４」、「５」、「６」、「７」、「８」のキーを経由し、キーの６つ分の距離が離れている。そのため、制御部４０１は、「９」から「＃」までのキー配列上での距離を“６”と判定してよい。また、QWERTY配列のキーボード上での「８」の入力に用いるキーと「９」の入力に用いるキーとは、隣り合っているため、制御部４０１は、キー配列上での距離を“１”と判定してよい。

また、例えば、QWERTY配列のキーボードでは、文字「９」は「９」のキーを押すだけで入力できるため、入力操作回数は“１”であってよい。一方、QWERTY配列のキーボードでの文字「＃」の入力では、shiftキーで修飾した状態で「３」のキーを押して入力を行うため、「＃」の入力操作回数は“２”であってよい。そのため、入力操作回数の距離は、２－１＝１で“１”と算出することができる。一方、QWERTY配列のキーボードでは、文字「８」および文字「９」は、どちらもキーを押すだけで入力できるため、入力操作回数の距離は、１－１＝０で“０”と算出することができる。

従って、例えば、「７００９８」と「７００＃９」との距離は、「９」から「＃」までのキー配列上での距離“６”と、「８」と「９」とのキー配列上での距離“１”に、入力操作回数の距離“１”を足し合わせ、６＋１＋１＝８で“８”と算出することができる。なお、QWERTY配列のキーボードでは、大文字（例えば、「Ａ」など）の入力や、「＃」などの一部の記号の入力にshiftキーによる修飾が行われる。このように、入力の際に他のキーの修飾が行われる場合、制御部４０１は、入力操作回数に、修飾キーの操作回数（例えば、１回など）を可算してよい。

続いて、入力デバイスがトグル入力のテンキーであると仮定した場合の距離の算出について説明する。図７の右側は、入力デバイスがトグル入力のテンキーであると仮定した場合の距離の算出を例示している。

上述のように、図７のデータ７００において、データＸの「２００ａ１」とデータＹの「２００２１」とを比較した場合、「ａ」と「２」とが置き換わっている。ここで、トグル入力のテンキーでは、「ａ」の入力に用いるキーと、「２」の入力に用いるキーとは同じであるため、制御部４０１は、キー配列上での距離を“０”と判定してよい。

また、例えば、トグル入力のテンキーでは、文字「２」は、テンキーの「２」を１度押せば入力できるため、入力操作回数は“１”であってよい。一方、トグル入力のテンキーでは、文字「ａ」は、テンキーの「２」を２度押して入力するため、入力操作回数は“２”となる。そのため、トグル入力のテンキーでの「ａ」と「２」との入力操作回数の距離は、２－１＝１で“１”と算出することができる。

従って、入力デバイスの種別を、トグル入力のテンキーと仮定してデータＸの「２００ａ１」とデータＹの「２００２１」との距離を求めた場合、その距離は、キー配列上での距離“０”と、入力操作回数の距離“１”とを可算して“１”と求めることができる。

また、図７のデータ７００において、例えば、データＸの「７００９８」とデータＹの「７００＃９」とでは、「９」と「＃」が置き換わっており、また、「８」と「９」が置き換わっている。ここで、トグル入力のテンキーでは「９」の入力に用いるキーと、「＃」の入力に用いるキーとは、隣り合っているため、制御部４０１は、「９」から「＃」までのキー配列上での距離を“１”と判定してよい。

また、例えば、トグル入力のテンキーでは、文字「９」は、テンキーの「９」を１度押せば入力できるため、入力操作回数は“１”であってよい。一方、トグル入力のテンキーでは、文字「＃」もテンキーの「＃」を１度押せば入力できるため、入力操作回数は“１”となる。そのため、トグル入力のテンキーでの「９」と「＃」との入力操作回数の距離は、１－１＝０で“０”と算出することができる。

従って、トグル入力のテンキーでの「９」と「＃」との間の距離は、キー配列上での距離を“１”に入力操作回数の距離“０”を可算して、“１”と求めることができる。

また、トグル入力のテンキーでは「９」の入力に用いるキーと、「８」の入力に用いるキーとは、隣り合っているため、制御部４０１は、「９」から「８」までのキー配列上での距離を“１”と判定してよい。

また、例えば、トグル入力のテンキーでは、文字「９」は、テンキーの「９」を１度押せば入力できるため、入力操作回数は“１”であってよい。一方、トグル入力のテンキーでは、文字「８」もテンキーの「８」を１度押せば入力できるため、入力操作回数は“１”となる。そのため、トグル入力のテンキーでの「９」と「８」との入力操作回数の距離は、１－１＝０で“０”と算出することができる。

従って、データＸの「７００９８」とデータＹの「７００＃９」との間の距離は、トグル入力のテンキーでの「９」と「＃」との間の距離“１”と、トグル入力のテンキーでの「９」と「８」との間の距離“１”とを可算して、“２”と求めることができる。

例えば、以上のようにして、入力デバイスの種別ごとに、文字列間の距離を見積もることができる。そして、制御部４０１は、以上のように、入力デバイスのそれぞれの種別を仮定して求めた距離に基づいて、入力デバイスの種別を推定する。例えば、制御部４０１は、入力デバイスのそれぞれの種別ごとに計算した最小距離の分布に基づいて、入力デバイスの種別を判定してよい。

図８は、入力デバイスの種別の判定を例示する図である。図８（ａ）には、キーボードで算出された文字列間の距離のテーブルが示されている。ここで、データＸのそれぞれのレコードでの最小の距離は、以下である。
「２００ａ１」と「２００２１」との距離：２
「３００ｇ１」と「３００４１」との距離：３
「４００４２」と「３００４１」（または、「５００５２」）との距離：２
「７００＃９」と「７００９８」との距離：８

この最小距離の分布を表したグラフが図８（ａ）の下段に示されており、キーボードでは、最小距離の値：２が２回、最小距離の値：３および８がそれぞれ１回ずつ検出されている。

また、図８（ｂ）には、トグル入力のテンキーで算出された文字列間の距離のテーブルが示されている。そして、データＸのそれぞれのレコードでの最小の距離は、以下である。
「２００ａ１」と「２００２１」との距離：１
「３００ｇ１」と「３００４１」との距離：１
「４００４２」と「５００５２」とでは距離：２
「７００＃９」と「７００９８」とでは距離：２

この最小距離の分布を表したグラフが図８（ｂ）の下段に示されており、トグル入力のテンキーでは、最小距離の値：１が２回、および最小距離の値：２が２回検出されている。

ここで、データＸの入力に用いられた入力デバイスで距離が求められた場合、文字列間の距離は、全体的に似通った値を示す可能性が高く、分散は小さくなることが推定される。そのため、制御部４０１は、例えば、最小距離の頻度の分布において分散の小さい入力デバイスを、文字列の入力に用いられた入力デバイスとして判定してよい。また、データＸの入力に用いられた入力デバイスで距離が求められた場合、文字列間の距離は、全体的に小さな値に抑えられることが推定される。そのため、制御部４０１は、例えば、最小距離の頻度の分布において、最小距離が全体的に小さい入力デバイスを、文字列の入力に用いられた入力デバイスとして判定してよい。一例では、制御部４０１は、最小距離の頻度の分布において、最小距離を代表する平均値または中央値などの代表値を特定してよい。そして、制御部４０１は、代表値が所定の閾値以下であるなどの所定の条件を満たして小さい値を示す入力デバイスを、文字列の入力に用いられた入力デバイスとして判定してよい。更には、制御部４０１は、これらの分散と代表値の条件とを組み合わせて入力デバイスを判定してもよい。一例では、制御部４０１は、例えば、最小距離の平均値または中央値などの代表値が所定の閾値以下である入力デバイスのうちから、最小距離の分散が最小の入力デバイスを文字列の入力に用いられた入力デバイスとして判定してもよい。

例えば、図８の例では、キーボードよりも、トグル入力のテンキーの方が、最小距離の分散も平均値も小さいため、制御部４０１は、データＸの入力に用いられた入力デバイスをキーボードではなく、トグル入力のテンキーと判定してよい。そして、制御部４０１は、判定された種別の入力デバイスについて求めたデータ間の距離に基づいて、クレンジング候補を決定してよい。

図９は、実施形態に係るクレンジング候補の提示を例示する図である。図９（ａ）に示すように、制御部４０１は、入力デバイスの種別ごとに算出した距離を用いて、最小の距離となる文字列間での距離の分布から、入力デバイスを判定する。そして、図９（ｂ）に示すように、制御部４０１は、判定した入力デバイスの文字列間の距離に基づいて、文字列を対応づける。例えば、制御部４０１は、図９（ｃ）に示すように、文字列間の距離が最小である文字列同士を対応づけてクレンジング候補としてよい。

なお、データＹのデータは、ユーザが既に利活用しているものであり、一例では誤りを含んでいないものと仮定することができる。一方、データＸは、例えば、データマーケットから入手するデータであり、誤りを含まれると仮定することができる。そのため、制御部４０１は、例えば、最小の距離を有するペアとして特定されたデータＸの文字列を、それと対応するデータＹの文字列に自動で修正してよい。なお、別の実施形態では、対応づけたペアを候補として表示装置の表示画面などに表示して、ユーザに訂正の実行の有無を選択させてもよい。

また、以上の実施形態で述べた文字列間の最小距離の分散、および最小距離の代表値は、データマーケットに登録されている複数のデータの信頼性の評価にも用いることができる。

例えば、制御部４０１が、データマーケットに登録されているデータのうちで、結合対象のフィールドを含むデータを抽出したとする。続いて、制御部４０１は、抽出されたデータと、所持しているデータとを、結合対象のフィールドのデータを用いて外部結合する。更に、実施形態では、制御部４０１は、結合できなかった未結合のレコードについては、入力デバイスの種別ごとにキー配列と、入力操作の回数とに基づいて文字列間で距離を求める。そして、制御部４０１は、得られた距離が最小となる文字列間での最小距離の分散や最小距離の代表値に基づいてデータマーケットのデータの入力に用いられた入力デバイスの種別を判定する。この場合に、制御部４０１は、判定した種別の入力デバイスでの最小距離の分散や最小距離の代表値に基づいて、データマーケットのデータの信頼性を評価してもよい。例えば、判定した種別の入力デバイスでの最小距離の分散、および最小距離の代表値が小さいほど、判定された入力デバイスでユーザが入力操作を行った場合に、正しいデータの入力に近い操作で入力を行っていると推定することができる。そのため、制御部４０１は、例えば、判定した種別の入力デバイスでの最小距離の分散、および最小距離の代表値の少なくとも一方が小さいほど、データの信頼度を高く評価してよい。

図１０は、データマーケットのデータの信頼性に基づくランク付けを例示する図である。図１０（ａ）では、データマーケットに登録されているデータのうちで、結合対象のフィールドを含むデータの一覧が示されている。データの並び順は、一例では、データの信頼度に応じて並べられていてよい。データの信頼度は、判定した種別の入力デバイスでの最小距離の分散、および最小距離の代表値の少なくとも一方が小さいほど高く評価されてよく、データの一覧では、評価が高いほど上位に表示されるようにデータは並べ替えられてよい。

また、例えば、ユーザがデータの一覧のうちからデータを選択した場合、制御部４０１は、図１０（ｂ）の表示画面を表示してよい。図１０（ｂ）には、例えば、図９（ｃ）で例示したクレンジングのためのデータの対応づけを示すテーブルが示されている。ユーザは、表示画面に表示されたテーブルを参照することで、クレンジングのためのデータの対応づけが正しいかなどを確認することができる。

続いて、図１１を参照して、実施形態に係るデータの結合候補の提示処理を説明する。図１１は、実施形態に係るデータの結合候補の提示処理の動作フローを例示する図である。サーバ３０１の制御部４０１は、例えば、利用者の端末３０２からのアクセスを受けると、図１１の動作フローを開始してよい。

ステップ１１０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ１１０１と表記する）において制御部４０１は、利用者からのデータＹの入力を受け付ける。

Ｓ１１０２において、制御部４０１は、利用者からのデータＹと結合可能なデータをデータマーケットに登録されているデータのうちから検索する。例えば、制御部４０１は、データＹの外部結合に用いる所定のフィールドと対応するフィールドを含むデータを、データマーケットのデータのうちから検索してよい。そして、検索の結果、例えば、データＹと結合可能なデータＸがｉ個見つかったものとする。

続く、Ｓ１１０３からＳ１１１１までの処理は、見つかったデータＸごとに実行される繰り返し処理である。Ｓ１１０３において制御部４０１は、見つかったｉ個のデータＸのうちから未選択のデータＸを１つ選択する。

Ｓ１１０４において制御部４０１は、選択されたデータＸと、データＹとの外部結合を実行する。例えば、制御部４０１は、データＸとデータＹとの間で共通した内容を含む所定のフィールドの値に基づいて、２つのデータを外部結合してよい。

続く、Ｓ１１０５からＳ１１０８までの処理は、異なる複数の種別の入力デバイスの種別ごとに実行される繰り返し処理である。Ｓ１１０５において制御部４０１は、予め設定されている異なる複数の種別の入力デバイスのうちから未選択の種別を１つ選択する。

Ｓ１１０６において制御部４０１は、選択された種別の入力デバイスのキー配列の情報と、入力操作の回数の情報とに基づいて、外部結合で結合できなかったデータＸの未結合のレコードと、データＹのレコードとの所定のフィールドの文字列間の距離を計算する。なお、距離の計算に用いるデータＹのレコードは、全てのレコードであってもよいし、未結合レコードを対象としてもよい。

Ｓ１１０７において制御部４０１は、外部結合で結合できなかったデータＸの未結合のレコードのそれぞれについて、距離が最小となるデータＹのレコードを特定し、その距離を、データＸの未結合のレコードと対応する最小距離として特定する。最小距離の特定は、例えば、図７を参照して上述したように実行されてよい。

Ｓ１１０８において制御部４０１は、全ての種別の入力デバイスを選択し終わっているか否かを判定する。Ｓ１１０８において全ての種別の入力デバイスを選択し終わっていない場合、フローはＳ１１０５に戻り、未選択の種別の入力デバイスを選択して処理を繰り返す。一方、Ｓ１１０８において全ての種別の入力デバイスを選択し終わっている場合、フローはＳ１１０９に進む。

Ｓ１１０９において制御部４０１は、データＸの未結合のレコードごとに特定した最小距離の分布を、入力デバイスの種別ごとに解析し、その結果に基づいて、選択したデータＸの入力に用いられた入力デバイスの種別を判定する。入力デバイスの種別の判定は、例えば、図８を参照して述べたように、最小距離の分散や代表値に基づいて実行することができる。

Ｓ１１１０において制御部４０１は、判定した入力デバイスの種別において計算された最小距離に基づいて、データＸの未結合のレコードに対して結合するデータＹのレコードを、クレンジングのペアとして決定する。制御部４０１は、例えば、最小距離のペアを、クレンジングのペアとして決定してよい。なお、クレンジング候補のペアの決定は、これに限定されるものではなく、その他の手法で決定されてもよい。例えば、別の実施形態では、制御部４０１は、距離の短い方から所定の数のペアを、クレンジング候補のペアとして決定してもよいし、所定の距離以下のペアをクレンジング候補のペアとして決定してもよい。

Ｓ１１１１において制御部４０１は、結合可能な全てのデータＸを選択し終わっているか否かを判定する。Ｓ１１１１において結合可能な全てのデータＸを選択し終わっていない場合、フローはＳ１１０３に戻り、未選択のデータＸを選択して処理を繰り返す。一方、Ｓ１１１１において結合可能な全てのデータＸを選択し終わっている場合、フローはＳ１１１２に進む。

Ｓ１１１２において制御部４０１は、結合可能なデータＸの情報を利用者の端末３０２に提示し、本動作フローは終了する。端末３０２は、例えば、結合可能なデータＸの情報を受信すると、備えた表示装置に図１０（ａ）に例示する情報などを表示装置の表示画面に表示させてよい。なお、制御部４０１は、例えば、図１０（ａ）の説明で上述したように、結合可能なデータＸについて求めた最小距離の分散や代表値に基づいて、データＸをランク付けしてよい。また、制御部４０１は、例えば、結合可能なデータＸを利用者の端末３０２に提示する際に、図１０（ｂ）に示すように、クレンジングのペアの情報を利用者に提示してもよい。

以上の図１１の動作フローによれば、制御部４０１は、入力デバイスのキー配列と操作入力の回数とに基づいて、結合に用いるフィールドの文字列間の距離を取得し、その分散や代表値に基づいて入力デバイスの種別を判定することができる。このように、入力デバイスごとの入力操作に関する情報を用いてフィールドの文字列間の距離を評価するため、単純な文字列の比較により算出される距離よりも、高い精度でクレンジングのペアを特定することが可能である。

なお、実施形態では記憶部４０２は、例えば、異なる複数の種別の入力デバイスごとに、キー配列の情報と、入力操作の回数の情報とを含む入力デバイス情報を記憶していてよい。

図１２は、種別がQWERTY配列のキーボードの入力デバイス情報を例示する図である。図１２（ａ）には、QWERTY配列のキーボードのキー配列が示されており、また、図１２（ｂ）には、QWERTY配列のキーボードでの文字の入力にかかる操作回数の情報が示されている。

また、図１３は、種別がトグル入力のテンキーの入力デバイス情報を例示する図である。図１３（ａ）には、トグル入力のテンキーのキー配列が示されており、また、図１３（ｂ）には、トグル入力のテンキーでの文字の入力にかかる操作回数の情報が示されている。

そして、実施形態では、例えば、以上に例示する入力デバイス情報が記憶部４０２に記憶されていてよい。しかしながら、実施形態に係る入力デバイス情報はこれに限定されるものではない。入力デバイス情報は、上述のキー配列における２つのキーの間の距離および入力操作回数の距離を特定可能であれば、その他の形式であってもよい。

以上で述べたように、実施形態によれば、入力デバイスのキー配列に基づいて文字列間の距離を求めるため、単純に文字列の比較を行う場合よりも、差が生じ易くなり、クレンジングのペアの特定精度を向上させることができる。また同様に、実施形態によれば、入力デバイスの入力操作の回数に基づいて文字列間の距離を求めるため、単純に文字列の比較を行う場合よりも、差が生じ易くなり、クレンジングのペアの特定精度を向上させることができる。

また、実施形態によれば、複数の種別の入力デバイスについて求めた距離を用いて、入力デバイスの種別を判定し、判定された入力デバイスで求めた距離を用いてクレンジングのペアを特定する。そのため、データクレンジングの精度を向上させることができる。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、上述の図１１の処理では、データマーケットから結合可能な複数のデータＸを抽出し、それぞれに処理を実行する例が示されている。しかしながら、実施形態はこれに限定されるものではない。例えば、別の実施形態では、図１１のＳ１１０２からＳ１１０３とＳ１１１１からＳ１１１２の処理は省略されてもよい。この場合、制御部４０１は、Ｓ１１０４においてユーザが指定した所定のデータＹとの外部結合を実行してもよい。

また、例えば、上述の実施形態では、QWERTY配列のキーボードおよびトグル入力のテンキーを入力デバイスの例として用いているが、実施形態で利用可能な入力デバイスの種別はこれらに限定されるものではない。例えば、別の実施形態では、Dvorak配列などのその他のキー配列を有するキーボードであってもよいし、または、テンキーも図１４に示すように、電卓型のテンキー配列であっても、電話型のテンキー配列であってもよい。また、入力操作の回数についても、フリック入力などその他の入力方式について入力操作の回数が算出されてもよい。

また、上述の実施形態では、キー配列における距離および入力操作の回数の距離との２つを用いて、文字列間の距離を決定する例を述べたが、実施形態はこれに限定されるものではない。別の実施形態では、制御部４０１は、キー配列における距離および入力操作の回数の距離のいずれか一方を用いて文字列間の距離を特定してもよい。その場合には、記憶部４０２にも、キー配列の情報、および入力操作の回数についての情報のうちで、距離の算出に用いる一方が記憶されていればよい。

なお、上述の実施形態において、例えば、Ｓ１１０４の処理では制御部４０１は、結合部４１１として動作する。また、例えば、Ｓ１１０６の処理では制御部４０１は、決定部４１２として動作する。例えば、Ｓ１１０９の処理では制御部４０１は、判定部４１３として動作する。例えば、Ｓ１１１０の処理では制御部４０１は、処理部４１４として動作する。

図１５は、実施形態に係るサーバ３０１を実現するためのコンピュータなどの情報処理装置１５００のハードウェア構成を例示する図である。図１５の情報処理装置１５００のハードウェア構成は、例えば、プロセッサ１５０１、メモリ１５０２、記憶装置１５０３、読取装置１５０４、通信インタフェース１５０６、および入出力インタフェース１５０７を備える。なお、プロセッサ１５０１、メモリ１５０２、記憶装置１５０３、読取装置１５０４、通信インタフェース１５０６、入出力インタフェース１５０７は、例えば、バス１５０８を介して互いに接続されている。

プロセッサ１５０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１５０１は、例えば、メモリ１５０２を利用して上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部４０１の一部または全部の機能を提供する。例えば、サーバ３０１のプロセッサ１５０１は、記憶装置１５０３に格納されているプログラムを読み出して実行することで、結合部４１１、決定部４１２、判定部４１３、および処理部４１４として動作する。

メモリ１５０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１５０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

読取装置１５０４は、プロセッサ１５０１の指示に従って着脱可能記憶媒体１５０５にアクセスする。着脱可能記憶媒体１５０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ－ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

例えば、上述のサーバ３０１の記憶部４０２は、メモリ１５０２、記憶装置１５０３、および着脱可能記憶媒体１５０５を含んでよい。サーバ３０１の記憶装置１５０３には、例えば、例えば、データマーケットで取り扱われるデータ、および入力デバイス情報が記憶されていてよい。

通信インタフェース１５０６は、例えば、プロセッサ１５０１の指示に従ってネットワークを介してデータを送受信する。通信インタフェース１５０６は、上述の通信部４０３の一例である。入出力インタフェース１５０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。

実施形態に係る各プログラムは、例えば、下記の形態でサーバ３０１に提供される。
（１）記憶装置１５０３に予めインストールされている。
（２）着脱可能記憶媒体１５０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、上述の実施形態ではサーバ３０１が、図１１の動作フローを実行する例を述べたが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、利用者または提供者の端末３０２などのその他の情報処理装置が、図１１の動作フローの全部または一部の処理を実行してもよい。

また、図１５を参照して述べた情報処理装置１５００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の機能部の一部または全部の機能がＦＰＧＡおよびＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除してまたは置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

３００ ：システム
３０１ ：サーバ
３０２ ：端末
３０５ ：ネットワーク
４０１ ：制御部
４０２ ：記憶部
４０３ ：通信部
４１１ ：結合部
４１２ ：決定部
４１３ ：判定部
４１４ ：処理部
１５００ ：情報処理装置
１５０１ ：プロセッサ
１５０２ ：メモリ
１５０３ ：記憶装置
１５０４ ：読取装置
１５０５ ：着脱可能記憶媒体
１５０６ ：通信インタフェース
１５０７ ：入出力インタフェース
１５０８ ：バス

Claims (6)

1. それぞれに複数のフィールドが対応づけられたレコードが登録されている第１のデータおよび第２のデータを、所定のフィールドで外部結合し、
   前記第１のデータに登録されている第１のレコードの前記フィールドの文字列と、前記第２のデータのうちで結合相手の見つからなかった第２の未結合レコードの前記フィールドの文字列との間の距離を、異なる複数の種別の入力デバイスごとのキー配列に基づいて決定し、
   前記複数の種別の入力デバイスごとのキー配列に基づき決定した前記距離に基づいて、前記複数の種別のうちから前記第２のデータの入力に用いられた入力デバイスの種別を判定し、
   前記第２のデータの入力に用いられた入力デバイスとして判定された種別の入力デバイスのキー配列に基づき決定した前記距離に基づいて、前記第１のレコードと前記第２の未結合レコードとを対応づける、
   処理を、情報処理装置に実行させる訂正支援プログラム。
2. 前記決定する処理は、前記複数の種別の入力デバイスごとに、前記第１のレコードの前記フィールドの文字列の入力にかかる入力操作の回数と、前記第２の未結合レコードの前記フィールドの文字列の入力にかかる入力操作の回数との差を示す値に更に基づいて前記距離を決定する、請求項１に記載の訂正支援プログラム。
3. 前記判定する処理は、前記第１のレコードのそれぞれについて前記距離が最小となる第２の未結合レコードを特定し、特定した第２の未結合レコードとの最小の距離の分布に基づいて、前記複数の種別の入力デバイスのうちから前記第２のデータの入力に用いられた入力デバイスの種別を判定する、請求項１または２に記載の訂正支援プログラム。
4. 前記判定する処理は、更に、前記複数の種別の入力デバイスのうちから、前記第１のレコードのそれぞれについて特定された第２の未結合レコードとの最小の距離を代表する代表値が所定の条件を満たして小さい種別の入力デバイスを特定し、特定した種別の入力デバイスのうちから、前記最小の距離の分布に基づいて、前記第２のデータの入力に用いられた入力デバイスの種別を判定する、請求項３に記載の訂正支援プログラム。
5. それぞれに複数のフィールドが対応づけられたレコードが登録されている第１のデータおよび第２のデータを、所定のフィールドで外部結合し、
   前記第１のデータに登録されている第１のレコードの前記フィールドの文字列と、前記第２のデータのうちで結合相手の見つからなかった第２の未結合レコードの前記フィールドの文字列との間の距離を、異なる複数の種別の入力デバイスごとのキー配列に基づいて決定し、
   前記複数の種別の入力デバイスごとのキー配列に基づき決定した前記距離に基づいて、前記複数の種別のうちから前記第２のデータの入力に用いられた入力デバイスの種別を判定し、
   前記第２のデータの入力に用いられた入力デバイスとして判定された種別の入力デバイスの前記キー配列に基づき決定された前記距離に基づいて、前記第１のレコードと前記第２の未結合レコードとを対応づける、
   ことを含む、情報処理装置が実行する訂正支援方法。
6. それぞれに複数のフィールドが対応づけられたレコードが登録されている第１のデータおよび第２のデータを、所定のフィールドで外部結合する結合部と、
   前記第１のデータに登録されている第１のレコードの前記フィールドの文字列と、前記第２のデータのうちで結合相手の見つからなかった第２の未結合レコードの前記フィールドの文字列との間の距離を、異なる複数の種別の入力デバイスごとのキー配列に基づいて決定する決定部と、
   前記複数の種別の入力デバイスごとのキー配列に基づき決定した前記距離に基づいて、前記複数の種別のうちから前記第２のデータの入力に用いられた入力デバイスの種別を判定する判定部と、
   前記判定部で判定された種別の入力デバイスの前記キー配列に基づいて決定された前記距離に基づいて、前記第１のレコードと前記第２の未結合レコードとを対応づける処理部と、
   を含む、情報処理装置。

Images