JP5347459B2 - 同一性判定システム、同一性判定方法及び同一性判定プログラム - Google Patents

Description

本発明は、同一性判定システム、方法及びプログラムに関し、特に、テキスト組から同一性判定のための手がかり情報を抽出する同一性判定システム、方法及びプログラムに関する。

同一性判定とは、与えられたテキスト組が同一内容を示すか否かを求める問題である。同一性判定は、例えば、データベースの重複エントリ削除や、情報検索、文書クラスタリングに利用できる。

与えられたテキスト組は、同一内容を示すものであっても、様々な表記が存在する場合がある。そのため、同一内容を示すテキスト組は、文字列が完全に一致するとは限らない。そこで、同一性判定は、通常、与えられたテキスト組で共通する文字または単語を求め、それらの割合等によりテキスト組の類似度を計算し、類似度があらかじめ定めた閾値以上であれば同一と判断する。しかし、文字または単語が多く共通することとテキスト組が同一であることの間には一定の相関はあるものの、必ずしも一致しない。これは、同一であるか否かは対象データや利用目的に大きく依存するため、一律な尺度では限界があることを意味する。

この問題に対して、非特許文献１のように既に同一内容を示すことが明らかになっているテキスト組（以下、同一テキスト組）から変換操作の重みを求め、それらを類似度計算に反映する仕組みが提案されている。ここでは、一方の文字列を他方の文字列に変換するために必要な変換操作の重みからテキスト組の類似度を求める。ここで、変換操作とは置換と省略（削除及び挿入）を表し、各変換操作に対する重みは確率で与えられる。変換に必要となる変換操作の確率の積が類似度となる。この確率は、同一テキスト組の集合における着目する変換操作の起こりやすさにより定められる。すなわち、当該確率は、同一テキスト組の集合における着目する変換操作の発生割合により定められる。具体的には、与えられた同一テキスト組の集合において、全ての変換操作の総出現回数をＡ、着目する変換操作の出現回数をＢとしたとき、着目する変換操作の確率はＢ／Ａとなる。

ここで、非特許文献１は、同一性判定のために必要となる４種類の手がかり情報が存在することを示唆していると考えられる。
（１） 省略の変換操作の確率が高い
→ 省略可能語：その語を省略してもテキストの内容が変わらない
（２） 省略の変換操作の確率が低い
→ 省略不能語：その語を省略するとテキストの内容が変更する
（３） 置換の変換操作の確率が高い
→ 置換可能語：その語を置換してもテキストの内容が変わらない
（４） 置換の変換操作の確率が低い
→ 置換不能語：その語を置換するとテキストの内容が変更する

また、特許文献１には、文書構造によらず入力文書から箇条書きを生成することができる文章処理装置、方法及びプログラムに関する技術が開示されている。特許文献１に記載の技術によれば、所定の不要語削除ルールに従って、抽出文から文の意味の本質と関係の薄い語を削除することができる。

また、特許文献２には、制御タグの動作定義を容易にし、編集操作性及び柔軟性の高いテキスト処理装置に関する技術が開示されている。特に、特許文献２に記載のテキスト処理装置は、制御タグ変換表における第１制御タグと第２制御タグとの対応付けを編集する変換表編集手段を備えるものである。

また、特許文献３には、音声認識の誤りの修正負担を軽減する音声認識装置に関する技術が開示されている。特許文献３に記載の技術は、音声認識された単語について、手がかり語に対する単語の認識候補を抽出するものである。

また、特許文献４には、辞書容量の増大等を伴うことなく、異なる表記で記述される同一の語句を含む日本語文書を的確に処理できる日本語文書処理装置に関する技術が開示されている。特に、特許文献４に記載の日本語文書処理装置は、日本語文書のテキスト中から単語を抽出する単語抽出部と、単語を作る文字種を特定する構成字種判定部と、単語の音を解析する発音解析部と、異表記の単語セットを抽出する単語リスト生成部と、文字種間の置換可能性を判定する置換可能性判定部と、音解析の結果に基づいて前記異表記の単語セットの同一性を判定する発音同一性判定部とを備えるものである。
Mikhail Bilenko and Raymond J. Mooney, Adaptive Duplicate Detection Using Learnable String Similarity Measures, Proceedings of the Ninth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD-2003), Washington DC, pp.39-48, August, 2003. 特開２００３−０６７３６８号公報 特開２００４−３２５６９２号公報 特開２００７−２５６８３６号公報 特開平０８−０６９４６７号公報

上述した非特許文献１では、与えられるテキスト組が少ないと、テキスト組から抽出される手がかり語の精度が低くなるという問題点がある。その理由は、非特許文献１では、同一テキスト組を重みの算出に利用し、非同一内容を示すことが明らかになったテキスト組（以下、非同一テキスト組）を用いないからである。以下、具体例を用いてこの問題を説明する。

例えば、図４は、同一又は非同一と予め判定されたテキスト組の例を示す図である。図４において、テキスト組ａ、ｂ、ｃ及びｄは、２つのテキストを組み合わせたテキスト組である。また、各テキストは、「／」により単語ごとに区切られている。テキスト組ａ及びｃは、非同一テキスト組であると予め判定されている。また、テキスト組ｂ及びｄは、同一テキスト組であると予め判定されている。

また、図５は、図４に示すテキスト組から同定された変換操作セットの例を示す図である。図５において、変換操作セットａ１は、テキスト組ａにおける変換操作セットである。同様に、変換操作セットｂ１はテキスト組ｂ、変換操作セットｃ１はテキスト組ｃ並びに変換操作セットｄ１及びｄ２はテキスト組ｄにおける変換操作セットである。

ここで、テキスト組ａは、変換操作セットａ１に含まれる「（株）」及び「ソフトウェア」の省略操作を行うと、異なる内容の文字列に変換されることを示す。この時、テキスト組ａにおいては、「ソフトウェア」の省略操作が、テキスト組ａが非同一と判定されることに強く関係していることが直観的にわかる。すなわち、テキスト組ａにおける「ソフトウェア」は、省略不能語と言える。非特許文献１では、この省略操作が同一テキスト組で発生しないことから導ける。しかし、その結果が信頼性を持つためには膨大な同一テキスト組が必要となる。与えられる同一テキスト組が少ないうちは、全体的に確率の低い変換操作が多くなる。そのため、真に省略不能語である場合と、同一テキスト組が少ないために確率が低く割り当てられているだけで実際には省略不能語ではない場合とを区別できない。

この問題に対する単純な改良として、変換操作の確率を同一テキスト組と非同一テキスト組の双方から求める方法が考えられる。具体的には、与えられた同一又は非同一テキスト組の集合において、着目する変換操作の総出現回数をＡ、着目する変換操作の同一テキスト組での出現回数をＢとしたときの着目する変換操作の出現確率をＢ／Ａで求める。しかし、この改良でも依然として、与えられるテキスト組が少ないと、テキスト組から抽出される手がかり語の精度が低くなる。その理由は、テキスト組から複数の変換操作又は変換操作セットが同定される場合に、曖昧性が存在し得る複数の変換操作又は変換操作セットを含めて一律に手がかり語を抽出してしまうためである。

例えば、「（株）」の省略操作が、同一テキスト組である変換操作セットｂ１に存在する。この省略操作「（株）」は、直観的には、省略可能語であるとわかる。しかしながら、このとき、着目する変換操作を省略操作「（株）」とした場合の出現確率は０．５となり、「（株）」は省略可能語とならない。「(株)」の省略操作は非同一テキスト組ａの変換操作セットａ１にも出現するからである。無論、与えられるテキスト組が多くなり、かつ、「(株)」の省略操作が同一テキスト組で多く出現すれば、確率は１に近くなり省略可能語として抽出できる可能性はあるが、少なくとも与えられるテキスト組が少ないうちは、このような問題が発生し得る。

また、テキスト組ｄは、変換操作セットｄ１又はｄ２のいずれかの変換操作の組み合わせを行うことにより、双方のテキストが同一な文字列へ変換されることを示す。具体的には、同一テキスト組であるテキスト組ｄは、変換操作セットｄ１により「工業」が省略され、「ソフト」が「ソフトウェア」へ置換されることで、同一の文字列に変換される。一方で、テキスト組ｄは、変換操作セットｄ２により「ソフトウェア」が省略され、「ソフト」が「工業」へ置換されることで、同一の文字列に変換される。しかしながら、このとき、着目する変換操作を省略操作「ソフトウェア」とした場合の出現確率は０．５となり、「ソフトウェア」は省略不能語とならない。「ソフトウェア」の省略操作は非同一テキスト組ａの変換操作セットａ１にも出現するからである。無論、与えられるテキスト組が多くなり、かつ、「ソフトウェア」の省略操作が非同一テキスト組で多く出現すれば、確率は０に近くなり省略不能語として抽出できる可能性はあるが、少なくとも与えられるテキスト組が少ないうちは、このような問題が発生し得る。

本発明は、このような問題点を解決するためになされたものであり、同一性判定に用いる手がかり情報を精度よく抽出することができる同一性判定システム、方法及びプログラムを提供することを目的とする。

本発明の第１の態様にかかる同一性判定システムは、２つのテキストデータの内容が同一又は非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定手段と、前記変換操作同定手段により同定された変換操作セットの数及び変換操作の数を判定し、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作セットから前記手がかり情報を抽出する手がかり情報抽出手段と、を備える。

本発明の第２の態様にかかる同一性判定システムは、２つのテキストデータの内容が同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定手段と、前記変換操作同定手段により同定された変換操作セットの数を判定し、当該変換操作セットの数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットの数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出手段と、を備える。

本発明の第３の態様にかかる同一性判定システムは、２つのテキストデータの内容が非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定手段と、前記変換操作同定手段により同定された変換操作セットの数及び変換操作の数を判定し、当該変換操作セットに含まれる変換操作の数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットに含まれる変換操作の数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出手段と、を備える。

本発明の第４の態様にかかる同一性判定方法は、２つのテキストデータの内容が同一又は非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定ステップと、前記変換操作同定ステップにより同定された変換操作セットの数及び変換操作の数を判定し、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作セットから前記手がかり情報を抽出する手がかり情報抽出ステップと、を有する。

本発明の第５の態様にかかる同一性判定方法は、２つのテキストデータの内容が同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定ステップと、前記変換操作同定ステップにより同定された変換操作セットの数を判定し、当該変換操作セットの数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットの数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出ステップと、を有する。

本発明の第６の態様にかかる同一性判定方法は、２つのテキストデータの内容が非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定ステップと、前記変換操作同定ステップにより同定された変換操作セットの数及び変換操作の数を判定し、当該変換操作セットに含まれる変換操作の数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットに含まれる変換操作の数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出ステップと、を有する。

本発明の第７の態様にかかる同一性判定プログラムは、２つのテキストデータの内容が同一又は非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定処理と、前記変換操作同定処理により同定された変換操作セットの数及び変換操作の数を判定し、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作セットから前記手がかり情報を抽出する手がかり情報抽出処理と、を含む同一性判定処理をコンピュータに実行させる。

本発明の第８の態様にかかる同一性判定プログラムは、２つのテキストデータの内容が同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定処理と、前記変換操作同定処理により同定された変換操作セットの数を判定し、当該変換操作セットの数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットの数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出処理と、を含む同一性判定処理をコンピュータに実行させる。

本発明の第９の態様にかかる同一性判定プログラムは、２つのテキストデータの内容が非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定処理と、前記変換操作同定処理により同定された変換操作セットの数及び変換操作の数を判定し、当該変換操作セットに含まれる変換操作の数が１つである場合、当該変換操作セットに基づきテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットに含まれる変換操作の数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出処理と、を含む同一性判定処理をコンピュータに実行させる。

本発明によれば、同一性判定に用いる手がかり情報を精度よく抽出することができる同一性判定システム、方法及びプログラムを提供することができる。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる同一性判定システム１００の構成を示すブロック図である。同一性判定システム１００は、変換操作同定手段１１と、手がかり情報抽出手段１２とを備える。

変換操作同定手段１１は、テキスト組３１について変換操作セット３２を同定する。そして、変換操作同定手段１１は、テキスト組３１についての変換操作セット３２の内、変換操作の数が最少となるものを同定する。ここで、テキスト組３１は、２つのテキストデータの内容が同一又は非同一と予め判定された少なくとも１組のテキスト組である。例えば、テキスト組３１は、同一又は非同一と判定されたことを示す識別情報を含むものであってもよい。

また、変換操作セット３２は、一方のテキストデータを他方のテキストデータに一致させるための変換操作の集合である。ここで、変換操作とは、文字若しくは単語の置換操作若しくは省略操作のいずれかを表す。尚、省略操作とは、一方のテキストデータにおける削除操作又は他方のテキストデータにおける挿入操作を表す。

手がかり情報抽出手段１２は、変換操作セット３２及び変換操作セット３２に含まれる変換操作の数を判定する。そして、手がかり情報抽出手段１２は、同一と予め判定されたテキスト組３１における変換操作セット３２の数が１つである場合、変換操作セット３２に基づき手がかり情報３３を抽出する。また、手がかり情報抽出手段１２は、非同一と予め判定されたテキスト組３１における変換操作セット３２に含まれる変換操作の数が１つである場合、変換操作セット３２に基づき手がかり情報３３を抽出する。

ここで、手がかり情報３３は、テキスト組の同一又は非同一の判定に用いる情報である。例えば、テキスト組３１が同一と予め判定されたテキスト組である同一テキスト組の場合は、省略操作を省略可能語とし、置換操作を置換可能語とする。また、テキスト組３１が非同一と予め判定された非同一テキスト組の場合は、省略の編集操作を省略不能語とし、置換の編集操作を置換不能語とする。

図２は、本発明の実施の形態１にかかる同一性判定方法の流れを示すフローチャート図である。以下では、図４乃至図６を例として当該同一性判定方法を説明する。

まず、変換操作同定手段１１は、テキスト組の変換操作セットを同定する（Ｓ１１）。例えば、変換操作同定手段１１は、図４に示すテキスト組ａ、ｂ、ｃ及びｄをテキスト組３１として入力する。ここで、図４は、同一又は非同一と予め判定されたテキスト組３１の一例を示す図である。そして、変換操作同定手段１１は、各テキスト組について、変換操作の数が最少となるように図５に示す変換操作セット３２を同定する。図５は、図４に示すテキスト組３１から変換操作同定手段１１により同定された変換操作セット３２の一例である。

図２に戻り、続いて、手がかり情報抽出手段１２は、手がかり情報抽出処理を実行する（Ｓ１２）。ここで、図３に示すフローチャート図を用いて、本発明の実施の形態１にかかる手がかり情報抽出処理の詳細な流れを説明する。また、図６は、本発明の実施の形態１により抽出された手がかり情報３３の例を示す図である。

図３において、まず、手がかり情報抽出手段１２は、変換操作セットの数及び変換操作の数を判定する（Ｓ１２１）。例えば、手がかり情報抽出手段１２は、テキスト組ａの変換操作セットの数が１つであり、変換操作の数が２つであると判定する。同様に、手がかり情報抽出手段１２は、テキスト組ｂ、ｃ及びｄについても変換操作セットの数及び変換操作の数を判定する。

次に、手がかり情報抽出手段１２は、テキスト組３１を参照し、テキスト組３１が同一テキスト組であるか否かを判定する（Ｓ１２２）。例えば、手がかり情報抽出手段１２は、テキスト組ｂ及びｄが同一テキスト組であると判定し、テキスト組ａ及びｃが非同一テキスト組であると判定する。尚、手がかり情報抽出手段１２は、非同一であると判定する必要はない。例えば、手がかり情報抽出手段１２は、同一テキスト組でないと判定した場合に、当該テキスト組が非同一であるとしてもよい。尚、ステップＳ１２２の処理は、これに限定されない。すなわち、テキスト組ａ、ｂ、ｃ及びｄは、同一又は非同一と予め判定されたものであるため、ステップＳ１２２は必須ではなく、その場合、変換操作同定手段１１により予め同一又は非同一の場合として処理を分岐させても構わない。

ステップＳ１２２において、同一テキスト組であると判定された場合、手がかり情報抽出手段１２は、テキスト組３１における変換操作セット３２が１つであるか否かを判定する（Ｓ１２３）。例えば、手がかり情報抽出手段１２は、同一テキスト組であるテキスト組ｂについて、ステップＳ１２１の判定結果に基づき、変換操作セット３２が１つであると判定する。同様に、手がかり情報抽出手段１２は、テキスト組ｄについて、変換操作セット３２が１つでないと判定する。

ステップＳ１２３において、変換操作セット３２が１つであると判定された場合、手がかり情報抽出手段１２は、変換操作セット３２から手がかり情報３３を抽出する（Ｓ１２４）。例えば、手がかり情報抽出手段１２は変換操作セットｂ１から手がかり情報３３を抽出する。

これにより、同一性判定システム１００は、同一テキスト組であり変換操作セットが１つであるという、変換操作セットに曖昧性の存在しない場合を対象とすることができ、抽出される手がかり情報の精度を高めることができる。

その後、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。また、ステップＳ１２３において、変換操作セット３２が１つでないと判定された場合も、同様に、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。

図６に示すように同一テキスト組であるテキスト組ｄには、変換操作セットｄ１及びｄ２という２つの変換操作セットが存在する。そして、変換操作セットｄ１及びｄ２のそれぞれには、２つの変換操作が存在する。つまり、変換操作セットｄ１又はｄ２には、曖昧性が存在する。そのため、手がかり情報抽出手段１２は、テキスト組ｄから手がかり情報３３を抽出しない。

ステップＳ１２２において、同一テキスト組でないと判定された場合、又は、非同一テキスト組であると判定された場合、手がかり情報抽出手段１２は、テキスト組３１における変換操作セット３２に含まれる変換操作が１つであるか否かを判定する（Ｓ１２５）。例えば、手がかり情報抽出手段１２は、非同一テキスト組であるテキスト組ｃについて、ステップＳ１２１の判定結果に基づき、変換操作が１つであると判定する。同様に、手がかり情報抽出手段１２は、テキスト組ａについて、変換操作が１つでないと判定する。

ステップＳ１２５において、変換操作セット３２に含まれる変換操作が１つであると判定された場合、手がかり情報抽出手段１２は、変換操作セット３２から手がかり情報３３を抽出する（Ｓ１２４）。例えば、手がかり情報抽出手段１２は変換操作セットｃ１から手がかり情報３３を抽出する。

これにより、同一性判定システム１００は、非同一テキスト組であり変換操作セが１つであるという、変換操作に曖昧性の存在しない場合を対象とすることができ、抽出される手がかり情報の精度を高めることができる。

その後、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。また、ステップＳ１２５において、変換操作セット３２に含まれる変換操作が１つでないと判定された場合も、同様に、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。

図６に示すように非同一テキスト組であるテキスト組ａには、変換操作セットａ１という１つの変換操作セットが存在する。そして、変換操作セットａ１には、２つの変換操作が存在する。つまり、変換操作セットａ２には、曖昧性が存在する。そのため、手がかり情報抽出手段１２は、テキスト組ａから手がかり情報３３を抽出しない。

以上のことから、本発明の実施の形態１にかかる同一性判定システム１００は、同一テキスト組と非同一テキスト組の双方を用いて、同一性判定に用いる手がかり情報を正確に抽出できる。その理由は、変換操作に曖昧性が存在しないテキスト組から手がかり情報を抽出するためである。言い換えれば、本発明の実施の形態１にかかる同一性判定システム１００は、変換操作に曖昧性が存在するテキスト組から手がかり情報を抽出しない。そのため、本発明の実施の形態１により、同一性判定に用いる手がかり情報を精度よく抽出することができる。

ここで、手がかり情報抽出手段１２は、ステップＳ１２４において、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として手がかり情報３３を抽出することが望ましい。また、手がかり情報抽出手段１２は、ステップＳ１２６において、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として手がかり情報３３を抽出することが望ましい。

例えば、図６では、手がかり情報３３は、省略可能語「（株）」及び置換不能語「工業−ソフト」となる。これにより、同一テキスト組の場合は、省略可能語又は置換可能語としての同一情報とし、非同一テキスト組の場合は、省略不能語又は置換不能語としての非同一情報とすることで、手掛かり情報３３を同一判定においてより効果的なものとすることができる。

＜発明の実施の形態２＞
本発明の実施の形態２にかかる同一性判定システムは、同一テキスト組から手がかり情報を抽出するものである。尚、本発明の実施の形態２にかかる同一性判定システムの構成を示すブロック図は、図１と同様であるため、詳細な説明を省略する。以下では、本発明の実施の形態１との違いを中心に説明する。

本発明の実施の形態２にかかる変換操作同定手段１１は、テキスト組３１について変換操作セット３２を同定する。そして、変換操作同定手段１１は、テキスト組３１についての変換操作セット３２の内、変換操作の数が最少となるものを同定する。このとき、テキスト組３１は、２つのテキストデータの内容が同一と予め判定された少なくとも１組のテキスト組である。

尚、本発明の実施の形態２にかかる変換操作セット３２及び変換操作は、本発明の実施の形態１と同等であるため説明を省略する。

また、本発明の実施の形態２にかかる手がかり情報抽出手段１２は、変換操作セット３２の数を判定する。そして、手がかり情報抽出手段１２は、変換操作セット３２の数が１つである場合、変換操作セット３２に基づきテキスト組の同一又は非同一の判定に用いる手がかり情報３３を抽出する。また、手がかり情報抽出手段１２は、変換操作セット３２が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない。ここで、手がかり情報３３は、テキスト組が同一であるか否かの判定に用いる情報である。

本発明の実施の形態２にかかる同一性判定方法の流れは、図２のフローチャート図と同等であるため、図示を省略する。以下では、本発明の実施の形態１との違いについて説明する。

ステップＳ１１において、変換操作同定手段１１は、同一テキスト組のみを入力とし、各テキスト組について、変換操作の数が最少となるように変換操作セット３２を同定する。例えば、変換操作同定手段１１は、図４のテキスト組ｂ及びｄを入力し、図５の変換操作セットｂ１、ｄ１及びｄ２を出力する。

続いて、ステップＳ１２の手がかり情報抽出処理の詳細を図７に示す。図７は、本発明の実施の形態２にかかる手がかり情報抽出処理の流れを示すフローチャート図である。

まず、手がかり情報抽出手段１２は、変換操作セットの数を判定する（Ｓ１２１ａ）。例えば、手がかり情報抽出手段１２は、テキスト組ｂの変換操作セットの数が１つであり、テキスト組ｄの変換操作セットの数が複数であると判定する。

次に、手がかり情報抽出手段１２は、テキスト組３１における変換操作セット３２が１つであるか否かを判定する（Ｓ１２３）。ステップＳ１２３において、変換操作セット３２が１つであると判定された場合、手がかり情報抽出手段１２は、変換操作セット３２から手がかり情報３３を抽出する（Ｓ１２４）。例えば、手がかり情報抽出手段１２は変換操作セットｂ１から手がかり情報３３を抽出する。

その後、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。また、ステップＳ１２３において、変換操作セット３２が１つでないと判定された場合も、同様に、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。

このように、本発明の実施の形態２では、同一テキスト組であり変換操作セットが１つであるという、変換操作セットに曖昧性の存在しない場合を対象とすることができる。そのため、変換操作セットｂ１、ｄ１及びｄ２の全てから一律に手がかり情報を抽出する場合に比べて、同一性判定に用いる手がかり情報を精度よく抽出することができる。

ここで、手がかり情報抽出手段１２は、ステップＳ１２４において、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として手がかり情報３３を抽出することが望ましい。例えば、図６では、手がかり情報３３は、省略可能語「（株）」となる。これにより、同一テキスト組から省略可能語又は置換可能語としての同一情報を抽出し、手掛かり情報３３を同一判定においてより効果的なものとすることができる。

＜発明の実施の形態３＞
本発明の実施の形態３にかかる同一性判定システムは、非同一テキスト組から手がかり情報を抽出するものである。尚、本発明の実施の形態３にかかる同一性判定システムの構成を示すブロック図は、図１と同様であるため、詳細な説明を省略する。以下では、本発明の実施の形態１との違いを中心に説明する。

本発明の実施の形態３にかかる変換操作同定手段１１は、テキスト組３１について変換操作セット３２を同定する。そして、変換操作同定手段１１は、テキスト組３１についての変換操作セット３２の内、変換操作の数が最少となるものを同定する。このとき、テキスト組３１は、２つのテキストデータの内容が非同一と予め判定された少なくとも１組のテキスト組である。

尚、本発明の実施の形態３にかかる変換操作セット３２及び変換操作は、本発明の実施の形態１と同等であるため説明を省略する。

また、本発明の実施の形態３にかかる手がかり情報抽出手段１２は、変換操作セット３２及び変換操作セット３２に含まれる変換操作の数を判定する。そして、手がかり情報抽出手段１２は、変換操作セット３２に含まれる変換操作の数が１つである場合、変換操作セット３２に基づき手がかり情報３３を抽出する。また、手がかり情報抽出手段１２は、変換操作セット３２に含まれる変換操作が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない。ここで、手がかり情報３３は、テキスト組が非同一であるか否かの判定に用いる情報である。

本発明の実施の形態３にかかる同一性判定方法の流れは、図２のフローチャート図と同等であるため、図示を省略する。以下では、本発明の実施の形態１との違いについて説明する。

ステップＳ１１において、変換操作同定手段１１は、非同一テキスト組のみを入力とし、各テキスト組について、変換操作の数が最少となるように変換操作セット３２を同定する。例えば、変換操作同定手段１１は、図４のテキスト組ａ及びｃを入力し、図５の変換操作セットａ１及びｃ１を出力する。

続いて、ステップＳ１２の手がかり情報抽出処理の詳細を図８に示す。図８は、本発明の実施の形態３にかかる手がかり情報抽出処理の流れを示すフローチャート図である。

まず、手がかり情報抽出手段１２は、変換操作セットの数及び変換操作の数を判定する（Ｓ１２１）。例えば、手がかり情報抽出手段１２は、テキスト組ａの変換操作セットの数が１つであり、変換操作の数が２つであると判定する。また、手がかり情報抽出手段１２は、テキスト組ｃの変換操作セットの数が１つであり、変換操作の数が１つであると判定する。

次に、手がかり情報抽出手段１２は、テキスト組３１における変換操作セット３２に含まれる変換操作が１つであるか否かを判定する（Ｓ１２５）。ステップＳ１２５において、変換操作セット３２に含まれる変換操作が１つであると判定された場合、手がかり情報抽出手段１２は、変換操作セット３２から手がかり情報３３を抽出する（Ｓ１２４）。例えば、手がかり情報抽出手段１２は変換操作セットｃ１から手がかり情報３３を抽出する。

その後、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。また、ステップＳ１２５において、変換操作セット３２に含まれる変換操作が１つでないと判定された場合も、同様に、手がかり情報抽出手段１２は、当該手がかり情報抽出処理を終了する。

このように、本発明の実施の形態３では、非同一テキスト組であり変換操作セットに含まれる変換操作が１つであるという、変換操作に曖昧性の存在しない場合を対象とすることができる。そのため、変換操作セットａ１及びｃ１の全てから一律に手がかり情報を抽出する場合に比べて、同一性判定に用いる手がかり情報を精度よく抽出することができる。

ここで、手がかり情報抽出手段１２は、ステップＳ１２６において、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として手がかり情報３３を抽出することが望ましい。例えば、図６では、手がかり情報３３は、置換不能語「工業−ソフト」となる。これにより、非同一テキスト組から省略不能語又は置換不能語としての非同一情報を抽出し、手掛かり情報３３を非同一判定においてより効果的なものとすることができる。

＜発明の実施の形態４＞
本発明の実施の形態４にかかる同一性判定システム１０１は、本発明の実施の形態１にかかる同一性判定システム１００の具体例である。図９は、本発明の実施の形態４にかかる同一性判定システム１０１の構成を示すブロック図である。同一性判定システム１０１は、プログラム制御により動作するデータ処理装置１と、情報を記憶する記憶装置２とを備える。尚、記憶装置２は、データ処理装置１に内蔵されたものであってもよい。

記憶装置２は、テキスト組３１を格納するテキスト組記憶部２１と、手がかり情報３３を格納する手がかり情報記憶部２２とを含む。記憶装置２は、ハードディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置でもよいし、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置であってもよい。また、テキスト組３１は、少なくとも１組の同一テキスト組又は非同一テキスト組が含まれていればよい。

データ処理装置１は、変換操作同定手段１１と、手がかり情報抽出手段１２とを備える。変換操作同定手段１１は、テキスト組記憶部２１からテキスト組３１を入力し、変換操作同定処理を行うことにより変換操作セット３２を生成し、手がかり情報抽出手段１２へ変換操作セット３２を出力する。変換操作同定手段１１の処理の詳細は、後述する。

また、手がかり情報抽出手段１２は、変換操作同定手段１１からの変換操作セット３２を入力し、本発明の実施の形態１に示した手がかり情報抽出処理を行うことにより手がかり情報３３を抽出し、手がかり情報記憶部２２へ手がかり情報３３を格納する。尚、手がかり情報抽出手段１２は、本発明の実施の形態１における機能と同等であるため、詳細な説明を省略する。

データ処理装置１は、例えば、汎用的なコンピュータシステムであってもよい。その場合、データ処理装置１は、図示しない構成として、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び不揮発性記憶装置である記憶装置並びにユーザとの入出力インタフェースを備える。入出力インタフェースは、例えば、マウス、キーボード等の入力装置と、ディスプレイ等の画面の出力装置により構成される。また、当該記憶装置には、ＯＳ（Operating System）及び手がかり情報抽出処理を含む同一性判定処理を行うための同一性判定プログラムが格納されている。同一性判定システム１０１は、ＣＰＵによりＯＳ及び同一性判定プログラムを読み込まれることで、同一性判定処理を実行する。

図１０は、本発明の実施の形態４にかかる変換操作同定手段１１においてテキスト組の最少の変換操作セットを求める変換操作同定処理の概念を示す図である。ここでは、「ＡＢＣ」というテキストデータ４１と、「Ｂ」というテキストデータ４２という２つのテキストデータにおける変換操作同定処理を例とする。「Ａ」「Ｂ」「Ｃ」は文字または単語を表す。

まず、変換操作同定手段１１は、図１０（i）に示すように、横軸と縦軸にテキストデータ４１及び４２を並べた表を作成する。尚、テキストデータ４１及び４２は、横軸と縦軸が入れ替わったものでも構わない。ここでは、当該表において左上のセルから右下のセルにまでの移動距離が変換操作の数とする。

当該表における移動方法は、図１０（ii）のように右／下／右下の３通りがある。そして、右への移動を削除操作、下への移動を挿入操作、右下への移動を置換操作と表す。この時、同じ文字間または同じ単語間の置換操作の移動距離を０とする。したがって、最少の変換操作セットを求めることは、当該表における左上のセルから右下のセルまでの移動距離が最小となる移動パスを求めることと同値である。

ここで、最も単純な変換操作同定処理の方法は、左上のセルから右下のセルまでの全ての移動パスを求めた後、移動距離が最小となる移動パスを求めることである。しかしながら、最も単純な変換操作同定処理の方法では、効率が悪い。

そこで、動的計画法を用いた場合を説明する。具体的には、左上のセルから右下のセルまで横方向に順番に各セルまでの移動距離の最小値を計算する。例えば、図１０（iii）の「？」のセルまでの移動距離の最小値を求める。「？」のセルには、その左側のセルから移動することで到達できる。したがって、「？」のセルまでの移動距離の最小値は、左側のセルの最小値＋１＝１である。ここで、どのセルから移動したかを示すパスは記録する。

また、別の例として、図１０（iv）の「？」のセルまでの移動距離の最小値を求める。「？」のセルには、その左側、上側又は左上側のいずれかのセルから移動することで到達できる。左側のセルの最小値は１、上側のセルの最小値は１及び左上側のセルの最小値は０である。そのため、「？」のセルへの移動距離は全て１である。したがって、「？」のセルまでの移動距離の最小値は、左上側のセルの最小値＋１＝１である。

そして、図１０（v）が最終形となる。右下のセルの値が最小となる移動距離であり、右下のセルに到達できるパスが、移動距離が最小となる移動パスとなる。

この移動パスからテキスト組の最少の変換操作セットは、削除操作「Ａ」と削除操作「Ｂ」であることがわかる。但し、同一文字または同一単語の置換操作は変換操作セットに加えない。また、横方向のテキストと縦方向のテキストを入れ替えると、変換操作セットにおいても削除操作と挿入操作が入れ替わることになる。したがって、削除操作と挿入操作は実質的に同一の変換操作なので、共に、上述した省略操作と呼ぶことができる。

尚、本発明の実施の形態４では、単語単位で変換操作セットを求め、そこから手がかり語を抽出する方法を説明したが、文字単位に対しても適用可能である。また、削除操作と挿入操作は実質的に同一操作なので、削除操作の代わりに挿入操作としても、削除可能語の代わりに挿入可能語としても、削除不能語の代わりに挿入不能語としても良い。ここで、削除可能語とは、その語を挿入してもテキストの内容が変化しない語を示し、削除不能語とは、その語を挿入するとテキストの内容が変化する語を示す。また、挿入可能語とは、その語を挿入してもテキストの内容が変化しない語を示し、挿入不能語とは、その語を挿入するとテキストの内容が変化する語を示す。つまり、削除可能語及び挿入可能語は、省略可能語であり、削除不能語及び挿入不能語は、省略不能語である。

ここで、変換操作同定手段１１は、テキスト組３１について、最少となる変換操作セットが複数存在する場合、当該変換操作セットにおける変換操作を含む文字数又は単語数が最少となる変換操作セットを選択するようにしても良い。このような変換操作セットが尤もらしい可能性が高いからである。例えば、図１１は、最少となる変換操作セットが複数存在する場合における変換操作同定処理の概念を示す図である。ここでは、「ＢＣ」というテキストデータ４３と、「ＡＢ」というテキストデータ４４という２つのテキストデータにおける変換操作同定処理を例とする。

図１１では、最少の変換操作セットは２つ存在する。最少の変換操作セットの１つ目は、置換操作「Ａ−Ｂ」と置換操作「Ｂ−Ｃ」である。また、最少の変換操作セットの２つ目は、挿入操作「Ａ」と削除操作「Ｃ」である。この時、１つ目の変換操作セットにおける変換操作が必要となる文字数または単語数は、テキストデータ４３の「Ｂ」と「Ｃ」、テキストデータ４４の「Ａ」と「Ｂ］であることから４である。一方、２つ目の変換操作セットにおける変換操作が必要となる文字数または単語数は、テキストデータ４３の「Ｃ」、テキストデータ４４の「Ａ」であることから２である。したがって、ここでは、変換操作同定手段１１は、２つ目の変換操作セットを選択する。

このように、本発明の実施の形態４では、最少となる変換操作セットが複数存在する場合、当該変換操作セットにおける変換操作を含む文字数又は単語数が最少となる変換操作セットを選択する。これにより、より曖昧性の低い変換操作セットを選択することができ、抽出される手がかり情報の精度を高めることができる。

＜発明の実施の形態５＞
本発明の実施の形態５は、本発明の実施の形態４の変形例である。本発明の実施の形態５では、既に明らかになった手がかり情報を、変換セットと照合し、含まれる場合に所定の削除を行うものである。これにより、本発明の実施の形態４に比べ、より多くの手がかり語を抽出することができる。

本発明の実施の形態５にかかる同一性判定システム１０２は、本発明の実施の形態４にかかる同一性判定システム１０１に変換操作削除手段１３を加えたものである。図１２は、本発明の実施の形態５にかかる同一性判定システム１０２の構成を示すブロック図である。尚、図１２に記載された構成要素の内、図９と同様のものについては、同一の符号を付して詳細な説明を省略する。以下では、本発明の実施の形態４との違いを中心に説明する。

同一性判定システム１０２は、データ処理装置１ａと、記憶装置２とを備える。尚、記憶装置２は、本発明の実施の形態４と同様のものであるため、説明を省略する。データ処理装置１ａは、変換操作同定手段１１と、変換操作削除手段１３と、手がかり情報抽出手段１２とを備える。

変換操作同定手段１１は、本発明の実施の形態４と同様の機能である。但し、本発明の実施の形態５にかかる変換操作同定手段１１は、変換操作セット３２を変換操作削除手段１３へ出力する。

変換操作削除手段１３は、変換操作同定手段１１により同定された変換操作セット３２に含まれる変換操作が手がかり情報記憶部２２から入力される手がかり情報３３と一致する場合に、少なくとも当該変換操作を削除する。そして、変換操作削除手段１３は、削除した変換操作セット３２ａを手がかり情報抽出手段１２へ出力する。ここで、手がかり情報記憶部２２から入力される手がかり情報３３は、予め、手がかり情報抽出手段１２により任意の変換操作セット３２から抽出された手がかり情報３３であってもよい。または、任意の手段で明らかになった手がかり情報であってもよい。

手がかり情報抽出手段１２は、変換操作削除手段１３により削除された変換操作セット３２ａに基づき、手がかり情報３３を抽出し、手がかり情報記憶部２２へ格納する。

このような構成を採用することにより、本発明の実施の形態４の効果に加え、多くの手がかり情報を抽出できる。その理由は、一旦抽出した手がかり情報を同一又は非同一テキスト組に適用し、新たな手がかり情報を抽出可能にするためである。

また、変換操作削除手段１３は、変換操作同定手段１１により同定された変換操作セット３２に含まれる変換操作が所定の同一情報と一致する場合に、当該変換操作を削除することが望ましい。例えば、変換操作削除手段１３は、同一テキスト組又は非同一テキスト組における変換操作セット３２に含まれる変換操作が同一情報である省略可能語又は置換可能語である場合に変換操作セット３２に含まれる変換操作のみを削除する。この時、テキスト組に複数の変換操作セットが含まれており、テキスト組に含まれる変換操作を削除した結果、その内の一つの変換操作セットの変換操作が全て削除された場合は、そのテキスト組に含まれる他の変換操作セットも全て削除する。

これにより、当該同一情報を含めた複数の変換操作又は変換操作セットがあるために手がかり情報抽出手段１２の処理対象外となったテキスト組３１について、既知の変換操作を除くことで、新たに手がかり情報抽出手段１２の処理対象となる場合がある。そのため、抽出される手がかり情報の精度を保ちつつ、より多くの手がかり情報を抽出することができる。

また、変換操作削除手段１３は、同一と予め判定されたテキスト組３１における変換操作セット３２に含まれる変換操作が所定の非同一情報と一致する場合に、当該変換操作セットを削除するようにするとよい。例えば、変換操作削除手段１３は、同一テキスト組における変換操作セット３２に含まれる変換操作が、非同一情報である省略不能語又は置換不能語である場合に変換操作セット３２ごと削除する。

手がかり情報抽出手段１２は、同一テキスト組において複数の変換操作セットがある場合、処理対象外とする。そこで、当該複数の変換操作セットの内、既に明らかになった手がかり情報に一致する変換操作を含む変換操作セットについて、当該変換操作セットごと削除する。これにより、同一テキスト組において変換操作セットが１つになり、新たに手がかり情報抽出手段１２の処理対象となる場合がある。そのため、抽出される手がかり情報の精度を保ちつつ、より多くの手がかり情報を抽出することができる。

図１３は、本発明の実施の形態５にかかる手がかり情報抽出処理の流れを示すフローチャート図である。また、図１４は、本発明の実施の形態５にかかる手がかり情報抽出処理の例を示す図である。以下では、図４のテキスト組ａ、ｂ、ｃ及びｄがテキスト組３１として入力された場合について、適宜、図１３及び図１４を用いて説明する。前提として、予め図１４（i）に示す手がかり情報３３である省略可能語「（株）」及び置換不能語「工業−ソフト」が手がかり情報記憶部２２に格納済みであるものとする。手がかり情報３３は、例えば、本発明の実施の形態４にかかる手がかり情報抽出処理により、抽出されたものであってもよい。または、経験的に選択された手がかり情報であってもよい。

図１３では、まず、変換操作同定手段１１は、テキスト組の変換操作セットを同定する（Ｓ１１）。ここでは、図５の変換操作セットａ１、ｂ１、ｃ１、ｄ１及びｄ２が同定される。

次に、変換操作削除手段１３は、変換操作を削除する（Ｓ１３）。具体的には、まず、変換操作削除手段１３は、変換操作同定手段１１からの変換操作セット３２として変換操作セットａ１、ｂ１、ｃ１、ｄ１及びｄ２を入力する。併せて、変換操作削除手段１３は、手がかり情報記憶部２２から手がかり情報３３として省略可能語「（株）」及び置換不能語「工業-ソフト」を入力する。そして、変換操作削除手段１３は、変換操作セット３２と手がかり情報３３とを照合し、含まれる場合に所定の削除を行う。ここでは、図１４（ii）に示すように、変換操作削除手段１３は、省略可能語「（株）」に基づき、変換操作セットａ１及びｂ１に含まれる省略操作「（株）」を削除する。また、図１４（ii）に示すように、変換操作削除手段１３は、置換不能語「工業-ソフト」に基づき、同一テキスト組であるテキスト組ｄにおける変換操作セットｄ２に置換操作「工業−ソフト」が含まれるため、変換操作セットｄ２ごと削除する。このように、変換操作削除手段１３は、図１４（iii）に示すような削除後の変換操作セット３２ａを生成する。そして、変換操作削除手段１３は、変換操作セット３２ａを手がかり情報抽出手段１２へ出力する。

その後、手がかり情報抽出手段１２は、変換操作セット３２ａについて手がかり情報抽出処理を行う（Ｓ１２）。ここでは、手がかり情報抽出手段１２は、非同一テキスト組であるテキスト組ａにおける変換操作セットａ２に含まれる変換操作が１つとなったために、新たに処理対象とする。また、同様に、手がかり情報抽出手段１２は、同一テキスト組であるテキスト組ｄにおける変換操作セットｄ２が削除され、変換操作セットｄ１の１つとなったために、新たに処理対象とする。そして、図１４（iv）に示すように、手がかり情報抽出手段１２は、省略不能語「ソフトウェア」、省略可能語「工業」及び置換可能語「ソフト−ソフトウェア」を新たに抽出し、手がかり情報記憶部２２に格納する。尚、このとき、手がかり情報抽出手段１２は、既に手がかり情報記憶部２２に格納されている置換不能語「工業-ソフト」を変換操作セットｃ１から抽出し、手がかり情報記憶部２２へ上書きしても構わない。尚、ステップＳ１２の詳細は、図３と同様であればよいため詳細な説明を省略する。

これにより、本発明の実施の形態４よりも多くの手がかり情報を抽出できる。その理由は、一旦、本発明の実施の形態４により手がかり情報を抽出した後、それらの手がかり情報を再度、同じテキスト組に適用することにより、新たな手がかり情報が抽出可能になるためである。

＜発明の実施の形態６＞
本発明の実施の形態６は、本発明の実施の形態４の変形例である。本発明の実施の形態６では、既に明らかになった手がかり情報を、同一又は非同一と予め判定されていないテキスト組について適用し、同一性判定を行うものである。これにより、精度の高い手がかり情報を用いて、同一又は非同一が明らかでないテキスト組について精度の高い同一判定を行うことができる。

本発明の実施の形態６にかかる同一性判定システム１０３は、本発明の実施の形態４にかかる同一性判定システム１０１に同一性判定手段１４を加えたものである。図１５は、本発明の実施の形態６にかかる同一性判定システムの構成を示すブロック図である。また、図１２に記載された構成要素の内、図９と同様のものについては、同一の符号を付して詳細な説明を省略する。但し、図１５において、手がかり情報抽出手段１２、テキスト組記憶部２１の図示は省略している。以下では、本発明の実施の形態４との違いを中心に説明する。

同一性判定システム１０３は、データ処理装置１ｂと、記憶装置２ａと、入力手段３と、出力手段４とを備える。記憶装置２ａに含まれる手がかり情報記憶部２２は、予め手がかり情報抽出手段１２により抽出された手がかり情報３３を格納する。尚、記憶装置２ａのその他の構成は、本発明の実施の形態４にかかる記憶装置２と同様のものであるため、説明を省略する。

入力手段３は、テキスト組３１ａをデータ処理装置１ｂへ入力する入力装置である。入力手段３は、例えば、キーボード等であってもよい。また、テキスト組３１ａは、同一又は非同一と予め判定されていない少なくとも１組のテキスト組である判定対象テキスト組である。つまり、テキスト組３１ａは、テキスト組３１と同様のテキスト組であるが、予め同一又は非同一と判定された情報が含まれていない。

出力手段４は、データ処理装置１ｂから同一性判定結果３４を受け付けて出力する出力装置である。出力手段４は、例えば、ディスプレイ等の表示装置であってもよい。また、同一性判定結果３４は、同一又は非同一であることを示す情報である。

データ処理装置１ｂは、変換操作同定手段１１ａと、同一性判定手段１４とを備える。尚、データ処理装置１ｂは、手がかり情報抽出手段１２の図示は省略している。変換操作同定手段１１ａは、入力手段３からテキスト組３１ａを入力し、変換操作同定処理を行うことにより変換操作セット３２ｂを生成し、同一性判定手段１４へ変換操作セット３２ｂを出力する。尚、変換操作同定手段１１ａの処理は、入力データがテキスト組３１ａに置き換わったことを除き、変換操作同定手段１１と同様であるため、詳細な説明を省略する。

同一性判定手段１４は、テキスト組３１ａにおける変換操作同定手段１１ａにより同定された変換操作セット３２ｂに手がかり情報抽出手段１２により抽出された手がかり情報３３を照合して、テキスト組３１ａが同一又は非同一と判定する。そして、同一性判定手段１４は、同一性判定結果３４を出力手段４へ出力する。

このように、本発明の実施の形態６により、同一又は非同一が明らかでないテキスト組の同一性を、精度の高い手がかり情報を用いて判定できる。

また、同一性判定手段１４は、テキスト組３１ａにおける変換操作セット３２ｂに含まれる変換操作セットが一つであり、当該変換操作セットに少なくとも非同一情報を含む場合に、テキスト組３１ａを非同一と判定することが望ましい。これにより、少なくとも非同一であるテキスト組を判定することができる。

さらにまた、同一性判定手段１４は、テキスト組３１ａにおける変換操作セット３２ｂに含まれる変換操作セットの一つについて、当該変換操作セットに含まれる変換操作の全てが同一情報に一致する場合に、同一と判定する。これにより、同一であるテキスト組をより確実に判定することができる。

図１６は、本発明の実施の形態６にかかる同一性判定処理の流れを示すフローチャート図である。また、図１７は、本発明の実施の形態６にかかる同一性判定処理の例を示す図である。以下では、図１７（i）に示すテキスト組ｅ及びｆがテキスト組３１ａとして入力された場合について、適宜、図１６及び図１７を用いて説明する。前提として、予め図１７（ii）に示す手がかり情報３３である省略可能語「（株）」、置換不能語「工業−ソフト」、省略不能語「ソフトウェア」、省略可能語「工業」及び置換可能語「ソフト−ソフトウェア」が手がかり情報記憶部２２に格納済みであるものとする。手がかり情報３３は、例えば、本発明の実施の形態４又は５にかかる手がかり情報抽出処理により、抽出されたものであってもよい。または、経験的に選択された手がかり情報であってもよい。

図１６では、まず、変換操作同定手段１１ａは、テキスト組の変換操作セットを同定する（Ｓ１１ａ）。具体的には、変換操作同定手段１１ａは、入力手段３からテキスト組３１ａとしてテキスト組ｅ及びｆを入力する。そして、変換操作同定手段１１ａは、変換操作セット３２ｂとして図１７（iii）で示す変換操作セットｅ１及びｆ１を同定する。その後、変換操作同定手段１１ａは、変換操作セット３２ｂを同一性判定手段１４へ出力する。

次に、同一性判定手段１４は、テキスト組の同一性を判定する（Ｓ１４）。具体的には、まず、同一性判定手段１４は、変換操作同定手段１１ａからの変換操作セット３２ｂとして変換操作セットｅ１及びｆ１を入力する。併せて、同一性判定手段１４は、手がかり情報記憶部２２から手がかり情報３３として省略可能語「（株）」、置換不能語「工業−ソフト」、省略不能語「ソフトウェア」、省略可能語「工業」及び置換可能語「ソフト−ソフトウェア」を入力する。そして、同一性判定手段１４は、変換操作セット３２ｂに手がかり情報３３を照合して、テキスト組３１ａが同一又は非同一と判定する。ここでは、同一性判定手段１４は、テキスト組ｅにおける変換操作セットｅ１に含まれる変換操作セットが１つであり少なくとも非同一情報である省略不能語「ソフトウェア」を含むため、テキスト組ｅを非同一と判定する。また、同一性判定手段１４は、テキスト組ｆにおける変換操作セットｆ１に含まれる変換操作の全てである省略操作「工業」が同一情報である省略可能語「工業」に一致するため、テキスト組ｆを同一と判定する。最後に、同一性判定手段１４は、同一性判定結果３４を出力手段４へ出力する。

このように、本発明の実施の形態６により、精度の高い手がかり情報を用いて、同一又は非同一が明らかでないテキスト組について精度の高い同一判定を行うことができる。

尚、本発明の実施の形態６にかかる同一性判定システム１０３は、変換操作同定手段１１ａと同一性判定手段１４の間に、同一情報削除手段をさらに加えても構わない。同一情報削除手段は、テキスト組３１ａにおける変換操作セット３２ｂに含まれる変換操作が、手がかり情報抽出手段１２により抽出された同一情報と一致する場合に、当該変換操作を削除するものである。その場合、同一性判定手段１４は、前記同一情報削除手段により削除された変換操作セットに変換操作が存在しない場合に、同一と判定する。これにより、より精度の高い同一性判定を行うことができる。

例えば、図１７（iii）の場合、同一情報削除手段は、テキスト組ｅにおける変換操作セットｅ１に含まれる省略操作「（株）」が、同一情報である省略可能語「（株）」と一致するため、変換操作セットｅ１から省略操作「（株）」を削除する。そのため、削除後の変換操作セットｅ１には、省略操作「ソフトウェア」が残る。また、同一情報削除手段は、テキスト組ｆにおける変換操作セットｆ１に含まれる省略操作「工業」が、同一情報である省略可能語「工業」と一致するため、変換操作セットｆ１から省略操作「工業」を削除する。そのため、削除後の変換操作セットｆ１には、省略操作及び置換操作が存在しない。このとき、同一性判定手段１４は、削除後の変換操作セットｅ１に含まれる変換操作の全てである省略操作「ソフトウェア」が、非同一情報である省略不能語「ソフトウェア」と一致するため、上述した場合と同様に非同一と判定する。また、同一性判定手段１４は、削除後の変換操作セットｆ１に変換操作が存在しないため、同一と判定する。

これにより、同一情報を含む複数の変換操作又は変換操作セットがあるために、同一性判定手段１４により明確に判定できない場合であっても、同一情報削除手段により同一情報と一致する変換操作を削除することにより、新たに同一性判定手段１４により明確に判定できることになる。そのため、さらに精度の高い同一判定を行うことができる。

＜その他の発明の実施の形態＞
尚、本発明により抽出された手がかり情報は、データベースの重複エントリ削除や、情報検索、文書クラスタリングといった同一性判定に利用できる。

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

本発明の実施の形態１にかかる同一性判定システムの構成を示すブロック図である。 本発明の実施の形態１にかかる同一性判定方法の流れを示すフローチャート図である。 本発明の実施の形態１にかかる手がかり情報抽出処理の流れを示すフローチャート図である。 同一又は非同一と予め判定されたテキスト組の例を示す図である 変換操作セットの例を示す図である。 本発明の実施の形態１により抽出された手がかり情報の例を示す図である。 本発明の実施の形態２にかかる手がかり情報抽出処理の流れを示すフローチャート図である。 本発明の実施の形態３にかかる手がかり情報抽出処理の流れを示すフローチャート図である。 本発明の実施の形態４にかかる同一性判定システムの構成を示すブロック図である。 本発明の実施の形態４にかかる変換操作同定処理の概念を示す図である。 本発明の実施の形態４にかかる変換操作同定処理の概念を示す図である。 本発明の実施の形態５にかかる同一性判定システムの構成を示すブロック図である。 本発明の実施の形態５にかかる手がかり情報抽出処理の流れを示すフローチャート図である。 本発明の実施の形態５にかかる手がかり情報抽出処理の例を示す図である。 本発明の実施の形態６にかかる同一性判定システムの構成を示すブロック図である。 本発明の実施の形態６にかかる同一性判定処理の流れを示すフローチャート図である。 本発明の実施の形態６にかかる同一性判定処理の例を示す図である。

符号の説明

１００ 同一性判定システム
１０１ 同一性判定システム
１０２ 同一性判定システム
１０３ 同一性判定システム
１ データ処理装置
１ａ データ処理装置
１ｂ データ処理装置
１１ 変換操作同定手段
１１ａ 変換操作同定手段
１２ 手がかり情報抽出手段
１３ 変換操作削除手段
１４ 同一性判定手段
２ 記憶装置
２ａ 記憶装置
２１ テキスト組記憶部
２２ 手がかり情報記憶部
３ 入力手段
３１ テキスト組
３１ａ テキスト組
３２ 変換操作セット
３２ａ 変換操作セット
３２ｂ 変換操作セット
３３ 手がかり情報
３４ 同一性判定結果
４ 出力手段
４１ テキストデータ
４２ テキストデータ
４３ テキストデータ
４４ テキストデータ
ａ テキスト組
ａ１ 変換操作セット
ａ２ 変換操作セット
ｂ テキスト組
ｂ１ 変換操作セット
ｂ２ 変換操作セット
ｃ テキスト組
ｃ１ 変換操作セット
ｄ テキスト組
ｄ１ 変換操作セット
ｄ２ 変換操作セット
ｅ テキスト組
ｅ１ 変換操作セット
ｆ テキスト組
ｆ１ 変換操作セット

Claims (42)

1. ２つのテキストデータの内容が同一又は非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定手段と、
   前記変換操作同定手段により同定された変換操作セットの数及び変換操作の数を判定し、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作セットから前記手がかり情報を抽出する手がかり情報抽出手段と、
   を備える同一性判定システム。
2. 前記変換操作同定手段により同定された変換操作セットに含まれる変換操作が所定の前記手がかり情報と一致する場合に、少なくとも当該変換操作を削除する変換操作削除手段をさらに備え、
   前記手がかり情報抽出手段は、前記変換操作削除手段により削除された変換操作セットから前記手がかり情報を抽出する、
   ことを特徴とする請求項１に記載の同一性判定システム。
3. 前記変換操作同定手段は、同一又は非同一と予め判定されていない少なくとも１組のテキスト組である判定対象テキスト組について、前記変換操作セットを同定し、
   前記判定対象テキスト組における前記変換操作同定手段により同定された変換操作セットに前記手がかり情報抽出手段により抽出された手がかり情報を照合して、当該判定対象テキスト組が同一又は非同一と判定する同一性判定手段をさらに備える、
   ことを特徴とする請求項１又は２に記載の同一性判定システム。
4. 前記手がかり情報抽出手段は、
   前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として前記手がかり情報を抽出し、
   前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として前記手がかり情報を抽出する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の同一性判定システム。
5. 前記変換操作削除手段は、前記変換操作同定手段により同定された変換操作セットに含まれる変換操作が当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報と一致する場合に、当該変換操作を削除する、
   ことを特徴とする請求項２に記載の同一性判定システム。
6. 前記変換操作削除手段は、前記同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作が当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報と一致する場合に、当該変換操作セットを削除する、
   ことを特徴とする請求項２又は５に記載の同一性判定システム。
7. 前記同一性判定手段は、前記判定対象テキスト組における変換操作セットが一つであり、当該変換操作セットに少なくとも当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報を含む場合に、当該判定対象テキスト組を非同一と判定する、
   ことを特徴とする請求項３に記載の同一性判定システム。
8. 前記同一性判定手段は、前記判定対象テキスト組に含まれる変換操作セットの一つについて、当該変換操作セットに含まれる変換操作の全てが当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報に一致する場合に、同一と判定する、
   ことを特徴とする請求項３又は７に記載の同一性判定システム。
9. 前記判定対象テキスト組における変換操作セットに含まれる変換操作が、前記手がかり情報抽出手段により抽出された前記手がかり情報のうち当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報と一致する場合に、当該変換操作を削除する同一情報削除手段をさらに備え、
   前記同一性判定手段は、前記同一情報削除手段により削除された変換操作セットに変換操作が存在しない場合に、同一と判定する、
   ことを特徴とする請求項３又は７のいずれか１項に記載の同一性判定システム。
10. 前記変換操作同定手段は、前記テキスト組について、最少となる前記変換操作セットが複数存在する場合、当該変換操作セットにおける変換操作を含む文字数又は単語数が最少となる変換操作セットを選択する、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の同一性判定システム。
11. ２つのテキストデータの内容が同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定手段と、
    前記変換操作同定手段により同定された変換操作セットの数を判定し、当該変換操作セットの数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットの数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出手段と、
    を備える同一性判定システム。
12. 前記手がかり情報抽出手段は、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項１１に記載の同一性判定システム。
13. ２つのテキストデータの内容が非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定手段と、
    前記変換操作同定手段により同定された変換操作セットの数及び変換操作の数を判定し、当該変換操作セットに含まれる変換操作の数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットに含まれる変換操作の数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出手段と、
    を備える同一性判定システム。
14. 前記手がかり情報抽出手段は、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項１３に記載の同一性判定システム。
15. ２つのテキストデータの内容が同一又は非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定ステップと、
    前記変換操作同定ステップにより同定された変換操作セットの数及び変換操作の数を判定し、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作セットから前記手がかり情報を抽出する手がかり情報抽出ステップと、
    を有する、コンピュータが実行する同一性判定方法。
16. 前記変換操作同定ステップにより同定された変換操作セットに含まれる変換操作が所定の前記手がかり情報と一致する場合に、少なくとも当該変換操作を削除する変換操作削除ステップをさらに有し、
    前記手がかり情報抽出ステップは、前記変換操作削除ステップにより削除された変換操作セットから前記手がかり情報を抽出する、
    ことを特徴とする請求項１５に記載のコンピュータが実行する同一性判定方法。
17. 前記変換操作同定ステップは、同一又は非同一と予め判定されていない少なくとも１組のテキスト組である判定対象テキスト組について、前記変換操作セットを同定し、
    前記判定対象テキスト組における前記変換操作同定ステップにより同定された変換操作セットに前記手がかり情報抽出ステップにより抽出された手がかり情報を照合して、当該判定対象テキスト組が同一又は非同一と判定する同一性判定ステップをさらに有する、
    ことを特徴とする請求項１５又は１６に記載のコンピュータが実行する同一性判定方法。
18. 前記手がかり情報抽出ステップは、
    前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として前記手がかり情報を抽出し、
    前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項１５乃至１７のいずれか１項に記載のコンピュータが実行する同一性判定方法。
19. 前記変換操作削除ステップは、前記変換操作同定ステップにより同定された変換操作セットに含まれる変換操作が当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報と一致する場合に、当該変換操作を削除する、
    ことを特徴とする請求項１６に記載のコンピュータが実行する同一性判定方法。
20. 前記変換操作削除ステップは、前記同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作が当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報と一致する場合に、当該変換操作セットを削除する、
    ことを特徴とする請求項１６又は１９に記載のコンピュータが実行する同一性判定方法。
21. 前記同一性判定ステップは、前記判定対象テキスト組における変換操作セットが一つであり、当該変換操作セットに少なくとも当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報を含む場合に、当該判定対象テキスト組を非同一と判定する、
    ことを特徴とする請求項１７に記載のコンピュータが実行する同一性判定方法。
22. 前記同一性判定ステップは、前記判定対象テキスト組に含まれる変換操作セットの一つについて、当該変換操作セットに含まれる変換操作の全てが当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報に一致する場合に、同一と判定する、
    ことを特徴とする請求項１７又は２１に記載のコンピュータが実行する同一性判定方法。
23. 前記判定対象テキスト組における変換操作セットに含まれる変換操作が、前記手がかり情報抽出ステップにより抽出された前記手がかり情報のうち当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報と一致する場合に、当該変換操作を削除する同一情報削除ステップをさらに有し、
    前記同一性判定ステップは、前記同一情報削除ステップにより削除された変換操作セットに変換操作が存在しない場合に、同一と判定する、
    ことを特徴とする請求項１７又は２１に記載のコンピュータが実行する同一性判定方法。
24. 前記変換操作同定ステップは、前記テキスト組について、最少となる前記変換操作セットが複数存在する場合、当該変換操作セットにおける変換操作を含む文字数又は単語数が最少となる変換操作セットを選択する、
    ことを特徴とする請求項１５乃至２３のいずれか１項に記載のコンピュータが実行する同一性判定方法。
25. ２つのテキストデータの内容が同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定ステップと、
    前記変換操作同定ステップにより同定された変換操作セットの数を判定し、当該変換操作セットの数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットの数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出ステップと、
    を有する、コンピュータが実行する同一性判定方法。
26. 前記手がかり情報抽出ステップは、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項２５に記載のコンピュータが実行する同一性判定方法。
27. ２つのテキストデータの内容が非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定ステップと、
    前記変換操作同定ステップにより同定された変換操作セットの数及び変換操作の数を判定し、当該変換操作セットに含まれる変換操作の数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットに含まれる変換操作の数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出ステップと、
    を有する、コンピュータが実行する同一性判定方法。
28. 前記手がかり情報抽出ステップは、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項２７に記載のコンピュータが実行する同一性判定方法。
29. ２つのテキストデータの内容が同一又は非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定処理と、
    前記変換操作同定処理により同定された変換操作セットの数及び変換操作の数を判定し、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作セットから前記手がかり情報を抽出する手がかり情報抽出処理と、
    を含む同一性判定処理をコンピュータに実行させる同一性判定プログラム。
30. 前記変換操作同定処理により同定された変換操作セットに含まれる変換操作が所定の前記手がかり情報と一致する場合に、少なくとも当該変換操作を削除する変換操作削除処理をさらに含み、
    前記手がかり情報抽出処理は、前記変換操作削除処理により削除された変換操作セットから前記手がかり情報を抽出する、
    ことを特徴とする請求項２９に記載の同一性判定プログラム。
31. 前記変換操作同定処理は、同一又は非同一と予め判定されていない少なくとも１組のテキスト組である判定対象テキスト組について、前記変換操作セットを同定し、
    前記判定対象テキスト組における前記変換操作同定処理により同定された変換操作セットに前記手がかり情報抽出処理により抽出された手がかり情報を照合して、当該判定対象テキスト組が同一又は非同一と判定する同一性判定処理をさらに含む、
    ことを特徴とする請求項２９又は３０に記載の同一性判定プログラム。
32. 前記手がかり情報抽出処理は、
    前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として前記手がかり情報を抽出し、
    前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項２９乃至３１のいずれか１項に記載の同一性判定プログラム。
33. 前記変換操作削除処理は、前記変換操作同定処理により同定された変換操作セットに含まれる変換操作が当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報と一致する場合に、当該変換操作を削除する、
    ことを特徴とする請求項３０に記載の同一性判定プログラム。
34. 前記変換操作削除処理は、前記同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作が当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報と一致する場合に、当該変換操作セットを削除する、
    ことを特徴とする請求項３０又は３３に記載の同一性判定プログラム。
35. 前記同一性判定処理は、前記判定対象テキスト組における変換操作セットが一つであり、当該変換操作セットに少なくとも当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報を含む場合に、当該判定対象テキスト組を非同一と判定する、
    ことを特徴とする請求項３１に記載の同一性判定プログラム。
36. 前記同一性判定処理は、前記判定対象テキスト組に含まれる変換操作セットの一つについて、当該変換操作セットに含まれる変換操作の全てが当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報に一致する場合に、同一と判定する、
    ことを特徴とする請求項３１又は３５に記載の同一性判定プログラム。
37. 前記判定対象テキスト組における変換操作セットに含まれる変換操作が、前記手がかり情報抽出処理により抽出された前記手がかり情報のうち当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報と一致する場合に、当該変換操作を削除する同一情報削除処理をさらに含み、
    前記同一性判定処理は、前記同一情報削除処理により削除された変換操作セットに変換操作が存在しない場合に、同一と判定する、
    ことを特徴とする請求項３１又は３５に記載の同一性判定プログラム。
38. ２つのテキストデータの内容が同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定処理と、
    前記変換操作同定処理により同定された変換操作セットの数を判定し、当該変換操作セットの数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットの数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出処理と、
    を含む同一性判定処理をコンピュータに実行させる同一性判定プログラム。
39. 前記手がかり情報抽出処理は、前記同一と予め判定されたテキスト組における変換操作セットの数が１つである場合は、当該変換操作によらなくとも当該テキスト組における２つのテキストデータの内容が同一であることを示す情報である同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項３８に記載の同一性判定プログラム。
40. ２つのテキストデータの内容が非同一と予め判定された少なくとも１組のテキスト組について、一方のテキストデータを他方のテキストデータに一致させるための変換操作の数が最少となる変換操作の集合である変換操作セットを同定する変換操作同定処理と、
    前記変換操作同定処理により同定された変換操作セットの数及び変換操作の数を判定し、当該変換操作セットに含まれる変換操作の数が１つである場合、当該変換操作セットからテキスト組の同一又は非同一の判定に用いる手がかり情報を抽出し、当該変換操作セットに含まれる変換操作の数が複数である場合、当該変換操作セットからは前記手がかり情報を抽出しない、手がかり情報抽出処理と、
    を含む同一性判定処理をコンピュータに実行させる同一性判定プログラム。
41. 前記手がかり情報抽出処理は、前記非同一と予め判定されたテキスト組における変換操作セットに含まれる変換操作の数が１つである場合は、当該変換操作によらなければ当該テキスト組における２つのテキストデータの内容が非同一であることを示す情報である非同一情報として前記手がかり情報を抽出する、
    ことを特徴とする請求項４０に記載の同一性判定プログラム。
42. 前記変換操作同定手段は、前記判定対象テキスト組について、最少となる前記変換操作セットが複数存在する場合、当該変換操作セットにおける変換操作を含む文字数又は単語数が最少となる変換操作セットを選択する、
    ことを特徴とする請求項３、請求項３に従属する請求項４、及び請求項７乃至９のいずれか１項に記載の同一性判定システム。

Images