JP4231261B2 - 同一性判定装置 - Google Patents
同一性判定装置 Download PDFInfo
- Publication number
- JP4231261B2 JP4231261B2 JP2002267274A JP2002267274A JP4231261B2 JP 4231261 B2 JP4231261 B2 JP 4231261B2 JP 2002267274 A JP2002267274 A JP 2002267274A JP 2002267274 A JP2002267274 A JP 2002267274A JP 4231261 B2 JP4231261 B2 JP 4231261B2
- Authority
- JP
- Japan
- Prior art keywords
- identifier
- document data
- data
- document
- identity determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99932—Access augmentation or optimizing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、表記は異なるが同一の意味を持つ文書データに対し、同一の識別子を生成する方法、その識別子を用いて同一性を判定する方法、生成された識別子を送信する方法と、識別子生成装置、同一性判定装置および識別子送信装置に関する。
【０００２】
【従来の技術】
XMLの普及に伴い、インターネットを代表とする広域ネットワーク上にあるさまざまなサービスの動的な接続を実現するアーキテクチャであるWebサービスが注目を浴びている。
【０００３】
Webサービスでは、XML技術をネットワークプロトコル、サービスのインターフェース記述やコンテンツの管理などに利用することが考えられるが、XML文書は、タグによる記述を採用しているためファイルサイズが既存のHTTPのメッセージと比較して非常に大きくなる。そのため、ネットワークの負荷や、端末・サーバでの処理時間が長くなるといった問題がある。そこで、ネットワークの負荷軽減や処理の簡略化のために、XML文書から一意に生成される識別子にもとづいた処理を考える。
【０００４】
識別子生成方法としては、XML文書を文字の羅列としてとらえ、一方向関数によって得られる結果値を識別子として生成している（例えば特許文献１を参照のこと）。しかし、XMLの仕様では、XML文書の記述を簡単化するため、空白がいくつあっても関係ない、クローズタグの省略形が存在する、コメントを記述することが可能、型の定義に沿っていればどのように記述してもかまわないなどといった、XML文書の記述者による表記の揺らぎによってXML処理に影響がおよばないよう柔軟に対応している。 また、RDFの仕様では、文書データの構成要素がどのような順番にならんで記述されていても、文書データ全体としては同一の意味として取り扱うことが可能となっている。また、RDF仕様に従って定義されているCC/PPの仕様では、もともと定義してあるデフォルトデータをURIで指し示し、それに対する更新差分を記述することで、更新部分以外のデータの記述を省略が可能となっている。そのため、上述した従来の技術では、本来同一の意味をもったXML文書、RDF文書であったとしても、表記のゆらぎや型の違い、構成要素の並んでいる順番の違い、デフォルトデータおよび差分データによって記述されているなど、文字の羅列として文書を見ると異なった文書となる場合が十分に考えられる。すなわち、XML文書、RDF文書から一方向関数などをもちいて識別子を生成することを考えると、同一の意味を持った文書であっても同一の識別子が生成されるとは限らない。
【０００５】
【特許文献１】
特開２００１−２８２１０５号公報
【非特許文献１】
ISO/IEC 15938 Part 1 Systems Binary format-BiM
【０００６】
【発明が解決しようとする課題】
本発明は、以上の問題を解決すべくなされたものであり、XML文書またはRDF文書が本来同一の意味を持った文書である場合、同一の識別子を生成する識別子生成方法、また、その識別子を用いて複数の文書データの同一性を判定する同一性判定方法、また、その識別子を送信する識別子送信方法と、それらの方法を実現可能な、識別子生成装置、同一性判定装置、及び識別子送信装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る識別子生成方法（識別子生成装置）は、文書データに対し、表記のゆらぎを正す規範化処理をほどこす規範化処理ステップ（規範化処理手段）と、規範化処理ステップにおいて規範化処理が行われた文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する識別子生成ステップ（識別子生成手段）と、を有することを特徴とする。
【０００８】
上記識別子生成方法（識別子生成装置）において、規範化処理ステップ（規範化処理手段）は、型の定義が記述されている文書データのクラス定義ファイルを用いて、文書データに記述されている値をクラス定義ファイルによって定義された型に従って、表記の型を統一する型統一化処理ステップ（型統一化処理手段）を有する、ことを特徴としても良い。
【０００９】
上記識別子生成方法（識別子生成装置）は、型統一化処理ステップにおいて（型統一化処理手段によって）、文書データのクラス定義ファイルに記述されている数値データの型定義にしたがって、文書データに記述されている数値データの精度を統一する、ことを特徴としても良い。
【００１０】
上記識別子生成方法（識別子生成装置）において、規範化処理ステップ（規範化処理手段）は、第１の部分データと第２の部分データとを所定の変換規則にしたがって文書データに変換する文書データ生成ステップ（文書データ生成手段）を有する、ことを特徴としても良い。
【００１１】
本発明に係る同一性判定装置は、対象となるＸＭＬ文書またはＲＤＦ文書の文書データを取得する対象文書データ取得手段と、取得された上記文書データに対し、冗長な空白の削除、及びクローズタグ省略の解除を含み、その仕様がゆるす表記のゆらぎを正す規範化処理をほどこす規範化処理手段と、規範化処理手段によって規範化処理が行われた文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を、文字の羅列から識別子を生成する所定の関数によって生成する識別子生成手段と、生成された識別子を文書データとともにキャッシュに格納する識別子格納手段と、識別子生成手段によって生成された識別子に基づいて、一の文書データと他の文書データとで一致する部分があるか判定する同一性判定手段と、を備えるとともに、規範化処理手段によって規範化処理を行う前に、文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する第２の識別子生成手段をさらに備え、第２の識別子生成手段によって生成された識別子に基づいて一の文書データと他の文書データとの同一性を判定し、同一でないと判定された場合に規範化処理手段は文書データの規範化処理を行う、ことを特徴とする。
【００１２】
上記同一性判定方法（同一性判定装置）において、規範化処理ステップ（規範化処理手段）は、型の定義が記述されている文書データのクラス定義ファイルを用いて、文書データに記述されている値をクラス定義ファイルによって定義された型に従って、表記の型を統一する型統一化処理ステップ（型統一化処理手段）を有する、ことを特徴としても良い。
【００１３】
上記同一性判定方法（同一性判定装置）は、型統一化処理ステップにおいて（手段によって）、文書データのクラス定義ファイルに記述されている数値データの型定義にしたがって、文書データに記述されている数値データの精度を統一する、ことを特徴としても良い。
【００１４】
上記同一性判定方法（同一性判定装置）において、規範化処理ステップ（規範化処理手段）は、第１の部分データと第２の部分データとを所定の変換規則にしたがって文書データに変換する文書データ生成ステップ（文書データ生成手段）を有する、ことを特徴としても良い。
【００１５】
上記同一性判定方法は、識別子生成ステップにて生成された識別子を、文書データもしくは文書データに所定の処理を行った結果に関連付けてあらかじめキャッシュに格納する識別子格納ステップをさらに備え、同一性判定ステップは、識別子生成ステップにて生成された、同一性判定の対象となる文書データの識別子に基づいてキャッシュ内を検索し、その識別子と同じ識別子が存在する場合は同一の文書データが存在すると判定し、識別子と同じ識別子が存在しない場合は同一の文書データが存在しないと判定する、ことを特徴としても良い。
【００１６】
上記同一性判定装置は、識別子生成手段によって生成された識別子を、文書データもしくは文書データに所定の処理を行った結果に関連付けてあらかじめ格納したキャッシュをさらに備え、同一性判定手段は、識別子生成手段によって生成された、同一性判定の対象となる文書データの識別子に基づいてキャッシュ内を検索し、その識別子と同じ識別子が存在する場合は同一の文書データが存在すると判定し、識別子と同じ識別子が存在しない場合は同一の文書データが存在しないと判定する、ことを特徴としても良い。
【００１７】
上記同一性判定方法は、規範化処理ステップの前に、文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する第２の識別子生成ステップをさらに備え、第２の識別子生成ステップにおいて生成された識別子に基づいて一の文書データと他の文書データとの同一性を判定し、同一と判定された場合は次の処理ステップの処理をせずに終了し、同一でないと判定された場合は規範化処理ステップに処理を移行する、ことを特徴としても良い。
【００１８】
上記同一性判定装置は、規範化処理手段によって規範化処理を行う前に、文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する第２の識別子生成手段をさらに備え、第２の識別子生成手段によって生成された識別子に基づいて一の文書データと他の文書データとの同一性を判定し、同一でないと判定された場合に規範化処理手段は文書データの規範化処理を行う、ことを特徴としても良い。
【００１９】
また、本発明に係る同一性判定方法（同一性判定装置）は、文書データのエンコードデータ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する識別子生成ステップ（識別子生成手段）と、識別子生成ステップにおいて（識別子生成手段によって）生成された識別子に基づいて、一の文書データと他の文書データとで一致する部分があるか判定する同一性判定ステップ（同一性判定手段）と、を有することを特徴とする。
【００２０】
上記同一性判定方法（同一性判定装置）は、同一性判定ステップにおいて（同一性判定手段によって）文書データが同一であると判定された場合は、文書データのエンコードデータをデコードする処理をスキップする命令を出力する、ことを特徴としても良い。
【００２１】
本発明に係る識別子送信方法（識別子送信装置）は、文書データに対し、表記のゆらぎを正す規範化処理をほどこす規範化処理ステップ（規範化処理手段）と、規範化処理ステップにおいて（規範化処理手段によって）規範化処理が行われた文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する識別子生成ステップ（識別子生成手段）と、識別子生成ステップにおいて（識別子生成手段によって）生成された識別子を送信する識別子送信ステップ（識別子送信手段）と、を有することを特徴とする。
【００２２】
上記識別子送信方法（識別子送信装置）において、識別子送信ステップ（識別子送信手段）は、文書データ全体もしくはその一部を識別子によって置き換えたデータを生成する送信データ生成ステップ（送信データ生成手段）を有する、ことを特徴としても良い。
【００２３】
上記識別子送信方法（識別子送信装置）において、送信データ生成ステップ（送信データ生成手段）は、文書データに含まれる部分データを一意に特定する識別子と、部分データと文書データとの差分データと、によって記述した送信データを生成する、ことを特徴としても良い。
（作用）
【００２４】
上記した課題を解決するために、本発明は、XML文書またはRDF文書の識別子を生成する前に、表記のゆらぎを回復する規範化処理を行う。XML-Canonicalizationに代表される規範化処理は、冗長な空白の削除、クローズタグ省略の解除など、XMLの仕様がゆるす表記のゆらぎを回復する処理である。規範化処理によって、同一の意味をもつXML文書またはRDF文書は同一の表記の文書となり、一方向関数に代表される文字の羅列から識別子を生成する関数によって、同一の識別子を生成することができる。
【００２５】
また、本発明は、XML文書またはRDF文書のクラス定義ファイルを参照し、XML文書、RDF文書内に記述されているデータの型を統一化する。型の統一化処理によって、Double型やFloat型数字の精度などが統一化され、規範化処理同様、同一の意味をもつXML文書またはRDF文書は同一の表記の文書となり、一方向関数に代表される文字の羅列から識別子を生成する関数によって、同一の識別子を生成することができる。
【００２６】
また、本発明は、CC/PP仕様であるデフォルトデータおよび差分データから文書データを記述できるように、複数の部分データを参照することで本来の文書データの意味を表す文書データに対し、部分データを取得し、ある変換規則に従ってその部分データを変換し、本来の文書データを生成してから識別子を生成する。識別子生成前に本来の文書データを生成することにより、同一の意味を持つXML文書、RDF文書は同一の表記の文書となり、一方向関数に代表される文字の羅列から識別子を生成する関数によって、同一の識別子を生成することができる。
【００２７】
なお、本発明は、文書データの構成要素の順序を所定の規則にしたがって並べ替える処理を行った後に識別子を生成してもよい。
なお、本発明は、上述の識別子生成前の処理をそれぞれ備えることで、同一の意味をもつXML文書、RDF文書に対して同一の識別子を生成してもよい。
【００２８】
また、本発明は、上述の生成手法によって生成される識別子を用いて、複数のXML文書またはRDF文書の同一性を判定することができる。なお、本発明に係る同一性判定方法（同一性判定装置）では、同一性判定ステップ（同一性判定手段）は、一の文書データと他の文書データとで一致する部分があるか判定する。すなわち、１）一の文書データの一部と他の文書データの一部が同一であるか、２）一の文書データと他の文書データの一部が同一であるか、３）一の文書データの一部と他の文書データが同一であるか、４）一の文書データと他の文書データが同一であるか、の判定を行うことができる。
【００２９】
また、本発明は、規範化処理、型の統一化処理を段階的に配置し、それぞれの処理後に識別子を生成し、同一性を判定する。各同一性判定処理において同一と判定された場合は、次の段階に移行せずそのまま終了することで、同一性判定の処理時間を軽減できる。
【００３０】
また、本発明は、XMLをエンコードしたデータ全体もしくはその一部から一意に生成した識別子をもちいることで、XMLの同一性を判定することができる。XMLのエンコードによって、同一の意味を持つ表記をあらかじめコード変換規則によって一意に定められたコードに割り当てるため（非特許文献１を参照のこと）、エンコードデータは、表記のゆれが正された状態になっている。すなわち、同一の意味を持つXML文書が同一のエンコードデータとして生成されるため、エンコードデータを文字の羅列として一方向関数などによって識別子を生成することによって、同一の意味をもつXML文書に対する同一性判定が可能となる。
【００３１】
本発明によれば、同一の意味をもつ複数のXML文書、RDF文書、またはその部分を同定することが可能となり、端末やサーバにおいて、過去に処理がされたXML文書、RDF文書またはその部分の処理が簡略化でき、処理時間を軽減することが可能となる。また、本発明によれば、XML文書、RDF文書またはその部分に対し一意に識別子を生成することができ、文書のデータ圧縮として利用できる。さらに同定することと同様に、端末やサーバにおけるXML文書、RDF文書の処理が簡略化できる。
【００３２】
【発明の実施の形態】
[第１実施形態]
本発明の第１実施形態について以下に図面を参照しつつ説明する。図１は、本実施形態に係る識別子生成方法の動作を示すフロー図である。
【００３３】
同図のとおり、識別子生成方法は、識別子生成対象である文書データを取得する対象文書データ取得ステップS101、対象文書データの表記のゆらぎを正す規範化処理ステップS102、対象文書データ全体または選択した範囲から一意な識別子を生成する識別子生成ステップS103からなる。
【００３４】
図１１は、入力された文書データの例としてXML文書の場合を示した図である。同図のとおり、入力された文書データは、無駄な空白や、クローズタグの省略形が用いられている。作成者による表記のゆれによって、生成される識別子が異ならないように、識別子生成の前に規範化を行う必要がある。
【００３５】
図１２は、図１１で示した文書データに対し、XML-Canonicalizationの仕様にしたがって規範化をおこなったものの例である。同図のとおり、規範化処理後の文書データは、無駄な空白の削除、クローズタグの挿入がされ、作成者による表記のゆれがなくなっている。同図に示した文書データをもとに、識別子を生成する。
【００３６】
識別子生成ステップS103では、規範化処理後の文書データ全体または選択した範囲から、一意な識別子を生成する。たとえば、ハッシュ関数などの一方向関数をもちい、ハッシュ値を識別子として生成する。ただし、識別子生成の関数は一方向関数である必要ななく、一意な識別子が生成できる関数であればよい。
【００３７】
図２は、規範化処理ステップS102において、対象文書データのクラス定義ファイルを確認し、型の統一化をする型の統一化処理ステップS201を付加した識別子生成方法の動作を示すフロー図である。
【００３８】
図３は、型の統一化処理ステップS201の動作の詳細を示すフロー図である。同図のとおり、型の統一化処理は、対象文書データのクラス定義ファイルを取得するステップS301、クラス定義ファイルをもとに、対象文書データに記述されているすべてのデータの型を確認するデータ型確認ステップS302および対象文書データをクラス定義ファイルにしたがって変換をする文書データ変換ステップS303からなる。
【００３９】
文書データ変換ステップS303は、データ型確認ステップS302において、クラス定義ファイルに記述されているデータタイプのとおりにデータを変換する。図１４（ａ）及び図１４（ｂ）は対象文書データ変換前の文書データを示す図、図１４（ｃ）はクラス定義ファイルの例を示す図である。同図のとおり、クラス定義ファイルには、<ElementType name=“value” dt:type=“double”/>と記述されており、valueの要素値の型がdouble型であることがわかる。また、図１４（ａ）に示す文書データ１および図１４（ｂ）に示す文書データ２には、それぞれdouble型である、12．0、 12．00がvalueの要素値として記述してあることがわかる。どちらも型定義に沿った記述がなされているが、文字の羅列としてみた場合は異なる。
【００４０】
図１５（ａ）及び図１５（ｂ）は、対象文書データ変換後の文書データの例である。同図のとおり、double型で定義されているvalueの要素値の精度をdouble精度と同等にすることで、図１４（ａ）及び図１４（ｂ）で示した文書データ１、文書データ２のvalue要素値12．0、12．00が等しくなり、型が統一化され、文字の羅列としてみた場合としても等しくなる。
【００４１】
図４は、対象文書データがデフォルトデータおよび更新差分データからなりたっている場合、規範化処理ステップS１０２において、デフォルトデータおよび更新差分データから本来の文書データを生成する文書データ生成ステップS401を付加した識別子生成方法の動作を示すフロー図である。
【００４２】
図１８（ａ）は、デフォルトデータの例を示す図である。同図のとおり、デフォルトとして以下のとおり定義されている（第１０、１１行参照）。
<up:role>guest</up:role>
<up:age>16</up:age>
【００４３】
図１８（ｂ）は、対象文書データとしてRDF文書の例を示す図である。同図のとおり、RDF文書は2重定義がされており、デフォルトデータのURI（<ccpp:defaults rdf:resource=“UserProfileDefault"></ccpp:defaults>）と更新差分データ(<up:role>vip</up:role>)が記述されている（第１２、１３行参照）。このRDF文書は、文書データ生成ステップS401において、本来の文書データに変換される。図１９は、文書データ生成ステップS401によって変換された後の文書データである。同図は、更新差分データをデフォルトデータに上書きした場合を示す。同図のとおり、デフォルトデータのURIからデフォルトデータを取得し、更新差分データによって上書きされ、<up:role>guest</up:role>が<up:role>vip</up:role>と変換されており（第１２行参照）、本来の文書データとなっている。
【００４４】
図２６は、本実施形態に係る識別子生成方法をもちいて、対象文書データをその識別子とともにキャッシュに格納し、あとで識別子をもちいて対象文書データをキャッシュより取得することが可能な文書データ格納取得装置２７００の構成を示すブロック図である。同図のとおり、文書データ格納取得装置２７００は、対象文書データを取得する対象文書データ取得部２７０１、本実施形態に係る識別子生成方法が実装された識別子生成部２７０２、生成された識別子を対象文書データとともにキャッシュ２７０４に格納する識別子格納部２７０３、キャッシュ２７０４から取得したい文書データの識別子を取得する識別子取得部２７０５、識別子をもちいてキャッシュから文書データを取得する文書データ取得部２７０６からなる。
【００４５】
図１３は、識別子格納部２７０３によってキャッシュ２７０４に格納された文書データ識別子および文書データURIの例である。同図のように、入力された文書データを、識別子をもちいて管理することが可能となる。また、キャッシュにすでに格納されている識別子を格納しようとする際には、格納せずに文書データを廃棄することも可能となる。
【００４６】
なお、図１、２、４で示す規範化処理ステップS102において、文書データ内の構成要素の順序を所定の規則にしたがって変更してもよい。例えば、図２１のような複数の構成要素からなる文書データが入力された場合、<rdf:Description rdf:about="xxxx">のxxxxの部分がアルファベット順に整列するように構成要素の順序を並べ替える。図２７は、構成要素の順序をアルファベット順に並べ替えた文書データである。RDFの仕様によれば、文書データ内の構成要素がどのような順序でならんでいても文書データ全体でみれば同一の意味としてみなすことが可能である。すなわち、同一の意味をもつ文書データであっても、構成要素の順序が異なる場合が考えられる。そこで、構成要素の順序を、所定の規則にしたがって変更したのちに、識別子を生成することで、構成要素の順序は異なるが同一の意味をもつ文書データに対して、同一の識別子を生成することが可能となる。
【００４７】
[第２実施形態]
本発明の第２実施形態について以下に図面を参照しつつ説明する。図５は、本実施形態に係る同一性判定方法の動作を示すフロー図である。
【００４８】
同図のとおり、同一性判定方法は、同一性判定対象である文書データを取得する対象文書データ取得ステップS501、対象文書データの表記のゆらぎを正す規範化処理ステップS502、対象文書データ全体または選択した範囲から一意な識別子を生成する識別子生成ステップS503、および、識別子生成ステップS503で生成された識別子をもとに複数の文書データの同一性を判定する同一性判定ステップS504からなる。
【００４９】
規範化処理前の文書データおよび規範化処理後の文書データの例を図１１、図１２に示す。同図のとおり、規範化処理によって表記のゆらぎが回復される。
【００５０】
図６は、規範化処理ステップS502において、対象文書データのクラス定義ファイルを確認し、型の統一化をする型の統一化処理ステップS601を付加した同一性判定方法の動作を示すフロー図である。
【００５１】
図３は型の統一化処理ステップS601の動作の詳細を示すフロー図である。動作の詳細は第１実施形態と同じである。
【００５２】
図１４（ａ）及び図１４（ｂ）は型の統一化処理前の文書データ１、文書データ２をそれぞれ示す図、図１４（ｃ）はクラス定義ファイルの例を示す図、図１５（ａ）及び図１５（ｂ）は型の統一化処理後の文書データ１、文書データ２の例をそれぞれ示す図である。同図のとおり、表記の異なっていたvalueの値が型の統一化ステップS601によって同一の表記となる。
【００５３】
図７は、対象文書データがデフォルトデータおよび更新差分データからなりたっている場合、規範化処理ステップS５０２において、デフォルトデータおよび更新差分データから本来の文書データを生成する文書データ生成ステップS７０１を付加した同一性判定方法の動作を示すフロー図である。
【００５４】
図１８（ａ）及び図１８（ｂ）は、デフォルトデータおよび対象文書データの例、図１９は文書データ生成ステップS701によって生成される変換後の文書データの例である。動作の詳細は第１実施形態と同じである。
【００５５】
図８は、同一性判定ステップS５０４の動作の詳細を示したフロー図である。同図のとおり、同一性判定ステップS504は、同一性を判定する対象文書データから生成された識別子を取得する識別子取得ステップS８０１、識別子をキャッシュに格納する識別子格納ステップS８０３、キャッシュから当該識別子を検索し、検索成功の場合は同一の文書データが存在していると判断し、検索失敗の場合は同一の文書データが存在していないと判断する同一性判定ステップS８０２からなる。キャッシュに当該識別子が存在していない場合は、識別子を識別子格納ステップS８０３にわたし、当該識別子をキャッシュに格納する。
【００５６】
図１０は、本実施形態に係る同一性判定方法によって、入力される文書データがすでに処理されているかどうかを判定する同一性判定装置１１０１の構成を示すブロック図である。同図のとおり、同一性判定装置１１０１は対象文書データを取得する対象文書データ取得部１１０２、対象文書データから識別子を生成する識別子生成部１１０３、生成された識別子とキャッシュ１１１０をもちいて、すでに処理されているかどうかを判定する同一性判定部１１０８および、同一性判定部によってすでに処理されていないことが判定された場合は、次回の同一性判定のために識別子をキャッシュ１１１０に格納する識別子格納部１１０９からなる。また、識別子生成部１１０３は、デフォルトデータおよび更新差分データから本来の文書データを生成する文書データ生成部１１０４、表記のゆらぎを回復する規範化処理を行う規範化処理部１１０５、クラス定義ファイルをもちいて、データの型統一化処理を行う型統一化処理部１１０６と、対象文書データから一意に識別子を生成する識別子生成処理部１１０７からなる。
【００５７】
図１６は、本実施形態に係る同一性判定方法をもちいることによって、すでに処理がされた文書データが入力された場合は、文書データの項書き換え処理をスキップする項書き換え処理装置の構成を示したブロック図である。同図のとおり、本実施形態に係る同一性判定方法が実装された同一性判定部１７０１、項書き換え規則文書にしたがって文書データの項書き換えをおこなう項書き換え部１７０２、項書き換え部１７０２にて生成された変換後の文書データを同一性判定部１７０１にて生成される文書データの識別子とともに格納してある変換後文書データキャッシュ１７０３からなる。
【００５８】
同一性判定部１７０１は、文書データが入力されると、識別子を生成する。生成された識別子と変換後文書データキャッシュ１７０３をもちいて、すでに項書き換えが行われたことのある文書データかどうかを判定する。すでに項書き換えが行われたことのある文書データである場合は、項書き換え部１７０２の処理をスキップし、変換後文書データキャッシュ内に存在している当該識別子で取得できる変換後の文書データを出力する。本発明によって一般的に処理時間のかかる項書き換え処理をスキップすることが可能となるため高速な処理が可能となる。
【００５９】
[第3実施形態]
本発明の第３実施形態について以下に図面を参照しつつ説明する。図９は、本実施形態に係る同一性判定方法の動作を示すフロー図である。
【００６０】
同図のとおり、同一性判定方法は、同一性判定対象である文書データのエンコードデータを取得するエンコードデータ取得ステップS901、取得したエンコードデータ全体もしくはその一部から識別子を生成する識別子生成ステップS902、および識別子生成ステップS902で生成された識別子をもとに複数の文書データの同一性を判定する同一性判定ステップS903からなる。
【００６１】
XMLのエンコードによって、同一の意味を持つ表記は、あらかじめコード変換規則によって一意に定められたコードに割り当てられるため、エンコードデータは、表記のゆれが正された状態になっている。すなわち、同一の意味を持つXML文書が同一のエンコードデータとして生成されるため、エンコードデータを文字の羅列として一方向関数などによって識別子を生成することによって、同一の意味をもつXML文書に対する同一性判定が可能となる。
【００６２】
図２５は、同一の意味を持つが、文字の羅列としてみた場合異なる文書である文書データ１、文書データ２に対して、バイトコード表に従ってエンコードをほどこすことで、同一のエンコードデータが生成されることを示した図である。同図のとおり、改行が挿入されているだけで、同一の意味を持つ文書データ１、文書データ２に対し、エンコードをほどこすと、同一のエンコードデータが得られる。このエンコードデータをもとに識別子を生成することによって、同一の意味をもつ文書データに対して同一の識別子を生成することが可能となる。
【００６３】
図１６において、入力する文書データとして、XML文書をデータ圧縮したエンコードデータを入力とする。エンコードデータが入力された場合、処理をするにはデコードすることが必須となるが、本実施形態に係る同一性判定方法をもちいることで、エンコードデータの状態のまま同一性判定が可能となるため、すでに処理がすんでいる文書データに冠してはデコード処理もスキップすることが可能となる。
【００６４】
[第４実施形態]
本発明の第４実施形態について以下に図面を参照しつつ説明する。図１７は、本実施形態に係る識別子送信方法の動作を示すフロー図である。
【００６５】
同図のとおり、識別子送信方法は、対象となる文書データを取得する対象文書データ取得ステップS１８０１、対象文書データに対して、規範化処理、型の統一化処理などを行い、文書データ全体もしくはその一部の識別子を生成する識別子生成ステップＳ１８０２、文書データ全体もしくはその一部を生成された識別子と置き換える識別子置換処理ステップS１８０３、識別子で代替される文書データまたはその一部をデフォルトとし、それとの差分データを文書データに付加する差分データ付加ステップS１８０４、以上の処理によって生成された文書データを送信する送信ステップS１８０５からなる。
【００６６】
図２０は、本実施形態に係る識別子送信方法を用いて、識別子つき文書データを送信する識別送信装置２１０１の構成を示したブロック図である。同図のとおり、識別子送信装置２１０１は、対象文書データを取得する対象文書データ取得部１１０２、規範化処理、型統一処理などを行い、識別子を生成する識別子生成部１１０３及び対象文書に対し、識別子付加処理を行って送信する識別子送信部２１０２から構成される。
【００６７】
識別子送信部２１０２は、文書データ全体もしくはその一部を識別子生成部１１０３によって生成された識別子と置き換える識別子置換処理部２１０３、識別子で代替される文書データ又はその一部をデフォルトとし、それとの差分データを文書データに付加する差分データ付加部２１０４、及び以上の処理によって生成された文書データを送信する送信部２１０５から構成される。
【００６８】
図２１は、対象文書データの例である。同図のとおり対象文書データは、<ccpp:component>…</ccpp:component>という構成要素が３つ記述されている。対象文書データは、識別子生成ステップS１８０２において、それぞれの構成要素について識別子が生成される。
【００６９】
図２２は、本実施形態に係る識別子送信方法によって送信される文書データの例として、図２１に示した文書データの一部の記述（構成要素１、構成要素２）を識別子に置き換え、さらに、追加データとして構成要素３を記述した部分識別子つき文書データの例である。同図のとおり、構成要素１、構成要素２が、識別子におきかわることで、文書データ全体のデータ量が削減できる。
【００７０】
図２３は、本実施形態に係る識別子送信方法によって送信される部分識別子つき文書データをもちいたサービスシステム例を示した図である。同図のとおり、サービスシステムは、本実施形態に係る識別子送信方法によって送信される部分識別子つき文書データを送信する端末２４００と、部分識別子つき文書データを受信し、部分識別子を本来の構成要素に展開して本来の文書データを生成し送信するプロキシ２４０１および、文書データを受信し、サービスを行うサーバ２４０２から構成される。プロキシ２４０１は、部分識別子と本来の構成要素とが関連付けられて格納されたデータベース２４０３と接続されている。端末２４００からは、本来サーバに送信するべき文書データのうち、すでにプロキシを介して送信したことのある構成要素を識別子に置き換えて送信することが可能となるため、ネットワーク負荷のかからない文書データ送信方法として用いることが可能となる。
【００７１】
[第５実施形態]
本発明の第５実施形態について以下に図面を参照しつつ説明する。図２４は、本実施形態に係る段階的同一性判定方法の動作を示すフロー図である。
【００７２】
同図のとおり、段階的同一性判定方法は、入力された文書データからそのまま識別子生成し、同一性の判定をする第1判定ステップS2501、規範化処理を行ってから識別子を生成し、同一性の判定をする第2判定ステップS2502、クラス定義ファイルをもちいて型の統一化を行ってから識別子を生成し、同一性を判定する第３判定ステップS2503、および判定結果を出力する結果出力ステップS２５０４からなる。
【００７３】
第1判定ステップS2501で同一と認められなかった場合は、第２判定ステップS２５０２に処理をうつす。第2判定ステップS2502においても、第１判定ステップS2501と同様、同一と認められなかった場合は、第３判定ステップS2503に処理をうつす。第1判定ステップS2501、第２判定ステップS2502とも、同一と認められた場合は、次以降の処理をせずに結果出力ステップS2504において判定結果を出力する。第3判定ステップは、同一性の判定を行った結果を結果出力ステップS2504にわたし、判定結果を出力する。
【００７４】
【発明の効果】
本発明によれば、同一の意味を持つ文書データ、またはその一部に対して、同一の識別子を生成することが可能となるため、同一の意味をもつ文書データを同定することが可能となる。
【００７５】
また、本発明によれば端末やサーバにおいて、過去に処理がされた文書データが入力された場合は、同一性判定方法によって処理をスキップすることが可能となり、処理時間を軽減することができる。
【００７６】
また、本発明によれば、文書データをエンコードデータの状態のまま同一性を判定することが可能となるため、端末やサーバにおけるデコード処理もふくめた処理のスキップが可能となり、処理時間を軽減することが可能となる。
【００７７】
また、本発明によれば、同一の意味をもつ文書データ全体もしくはその一部から生成した識別子を文書データ全体もしくはその一部とおきかえた文書データを生成することが可能となるため、文書データのデータ量を削減することが可能となり、たとえば文書データを送信する際に、すでに送信済みであった部分を識別子に置き換えて送信することで、ネットワーク負荷を軽減することが可能となる。
【図面の簡単な説明】
【図１】実施形態に係る識別子生成方法の動作を示すフロー図である。
【図２】実施形態に係る識別子生成方法の動作を示すフロー図である。
【図３】型の統一化処理ステップS201の動作の詳細を示すフロー図である
【図４】実施形態に係る識別子生成方法の動作を示すフロー図である。
【図５】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図６】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図７】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図８】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図９】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図１０】実施形態に係る同一性判定装置の構成を示すブロック図である。
【図１１】入力された文書データの例としてXML文書の場合を示した図である。
【図１２】図１１で示した文書データに対し、XML-Canonicalizationの仕様にしたがって規範化をおこなったものの例を示す図である。
【図１３】キャッシュに格納された文書データ識別子および文書データURIの例を示す図である。
【図１４】（ａ）及び（ｂ）は対象文書データ変換前の文書データを示す図、（ｃ）はクラス定義ファイルの例を示す図である。
【図１５】（ａ）及び（ｂ）は、対象文書データ変換後の文書データの例を示す図である。
【図１６】項書き換え処理装置の構成を示すブロック図である。
【図１７】実施形態に係る識別子送信方法の動作を示すフロー図である。
【図１８】（ａ）はデフォルトデータの例を示す図、（ｂ）は、対象文書データとしてRDF文書の例を示す図である。
【図１９】文書データ生成ステップS401によって変換された後の文書データである。
【図２０】実施形態に係る識別送信装置の構成を示すブロック図である。
【図２１】複数の構成要素からなる文書データの例を示す図である。
【図２２】本実施形態に係る識別子送信方法によって送信される文書データの例を示す図である。
【図２３】実施形態に係る識別子送信方法によって送信される部分識別子つき文書データをもちいたサービスシステム例を示す図である。
【図２４】実施形態に係る段階的同一性判定方法の動作を示すフロー図である。
【図２５】エンコードデータについて説明する図である。
【図２６】文書データ格納取得装置の構成を示すブロック図である。
【図２７】構成要素の順序をアルファベット順に並べ替えた文書データを示す図である。
【符号の説明】
１１０１…同一性判定装置、１１０２…対象文書データ取得部１１０３…識別子生成部、１１０８…同一性判定部、１１０９…識別子格納部、１１１０…キャッシュ、１７０１…同一性判定部、１７０２…項書き換え部、１７０３…変換後文書データキャッシュ、２１０１…識別子送信装置、２１０２…識別子送信部、２１０３…識別子置換処理部、２１０４…差分データ付加部、２４００…端末、２４０１…プロキシ、２４０２…サーバ、２４０３…データベース、２７００…文書データ格納取得装置、２７０１…対象文書データ取得部、２７０２…識別子生成部、２７０３…識別子格納部、２７０４…キャッシュ、２７０５…識別子取得部、２７０６…文書データ取得部。
【発明の属する技術分野】
本発明は、表記は異なるが同一の意味を持つ文書データに対し、同一の識別子を生成する方法、その識別子を用いて同一性を判定する方法、生成された識別子を送信する方法と、識別子生成装置、同一性判定装置および識別子送信装置に関する。
【０００２】
【従来の技術】
XMLの普及に伴い、インターネットを代表とする広域ネットワーク上にあるさまざまなサービスの動的な接続を実現するアーキテクチャであるWebサービスが注目を浴びている。
【０００３】
Webサービスでは、XML技術をネットワークプロトコル、サービスのインターフェース記述やコンテンツの管理などに利用することが考えられるが、XML文書は、タグによる記述を採用しているためファイルサイズが既存のHTTPのメッセージと比較して非常に大きくなる。そのため、ネットワークの負荷や、端末・サーバでの処理時間が長くなるといった問題がある。そこで、ネットワークの負荷軽減や処理の簡略化のために、XML文書から一意に生成される識別子にもとづいた処理を考える。
【０００４】
識別子生成方法としては、XML文書を文字の羅列としてとらえ、一方向関数によって得られる結果値を識別子として生成している（例えば特許文献１を参照のこと）。しかし、XMLの仕様では、XML文書の記述を簡単化するため、空白がいくつあっても関係ない、クローズタグの省略形が存在する、コメントを記述することが可能、型の定義に沿っていればどのように記述してもかまわないなどといった、XML文書の記述者による表記の揺らぎによってXML処理に影響がおよばないよう柔軟に対応している。 また、RDFの仕様では、文書データの構成要素がどのような順番にならんで記述されていても、文書データ全体としては同一の意味として取り扱うことが可能となっている。また、RDF仕様に従って定義されているCC/PPの仕様では、もともと定義してあるデフォルトデータをURIで指し示し、それに対する更新差分を記述することで、更新部分以外のデータの記述を省略が可能となっている。そのため、上述した従来の技術では、本来同一の意味をもったXML文書、RDF文書であったとしても、表記のゆらぎや型の違い、構成要素の並んでいる順番の違い、デフォルトデータおよび差分データによって記述されているなど、文字の羅列として文書を見ると異なった文書となる場合が十分に考えられる。すなわち、XML文書、RDF文書から一方向関数などをもちいて識別子を生成することを考えると、同一の意味を持った文書であっても同一の識別子が生成されるとは限らない。
【０００５】
【特許文献１】
特開２００１−２８２１０５号公報
【非特許文献１】
ISO/IEC 15938 Part 1 Systems Binary format-BiM
【０００６】
【発明が解決しようとする課題】
本発明は、以上の問題を解決すべくなされたものであり、XML文書またはRDF文書が本来同一の意味を持った文書である場合、同一の識別子を生成する識別子生成方法、また、その識別子を用いて複数の文書データの同一性を判定する同一性判定方法、また、その識別子を送信する識別子送信方法と、それらの方法を実現可能な、識別子生成装置、同一性判定装置、及び識別子送信装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る識別子生成方法（識別子生成装置）は、文書データに対し、表記のゆらぎを正す規範化処理をほどこす規範化処理ステップ（規範化処理手段）と、規範化処理ステップにおいて規範化処理が行われた文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する識別子生成ステップ（識別子生成手段）と、を有することを特徴とする。
【０００８】
上記識別子生成方法（識別子生成装置）において、規範化処理ステップ（規範化処理手段）は、型の定義が記述されている文書データのクラス定義ファイルを用いて、文書データに記述されている値をクラス定義ファイルによって定義された型に従って、表記の型を統一する型統一化処理ステップ（型統一化処理手段）を有する、ことを特徴としても良い。
【０００９】
上記識別子生成方法（識別子生成装置）は、型統一化処理ステップにおいて（型統一化処理手段によって）、文書データのクラス定義ファイルに記述されている数値データの型定義にしたがって、文書データに記述されている数値データの精度を統一する、ことを特徴としても良い。
【００１０】
上記識別子生成方法（識別子生成装置）において、規範化処理ステップ（規範化処理手段）は、第１の部分データと第２の部分データとを所定の変換規則にしたがって文書データに変換する文書データ生成ステップ（文書データ生成手段）を有する、ことを特徴としても良い。
【００１１】
本発明に係る同一性判定装置は、対象となるＸＭＬ文書またはＲＤＦ文書の文書データを取得する対象文書データ取得手段と、取得された上記文書データに対し、冗長な空白の削除、及びクローズタグ省略の解除を含み、その仕様がゆるす表記のゆらぎを正す規範化処理をほどこす規範化処理手段と、規範化処理手段によって規範化処理が行われた文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を、文字の羅列から識別子を生成する所定の関数によって生成する識別子生成手段と、生成された識別子を文書データとともにキャッシュに格納する識別子格納手段と、識別子生成手段によって生成された識別子に基づいて、一の文書データと他の文書データとで一致する部分があるか判定する同一性判定手段と、を備えるとともに、規範化処理手段によって規範化処理を行う前に、文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する第２の識別子生成手段をさらに備え、第２の識別子生成手段によって生成された識別子に基づいて一の文書データと他の文書データとの同一性を判定し、同一でないと判定された場合に規範化処理手段は文書データの規範化処理を行う、ことを特徴とする。
【００１２】
上記同一性判定方法（同一性判定装置）において、規範化処理ステップ（規範化処理手段）は、型の定義が記述されている文書データのクラス定義ファイルを用いて、文書データに記述されている値をクラス定義ファイルによって定義された型に従って、表記の型を統一する型統一化処理ステップ（型統一化処理手段）を有する、ことを特徴としても良い。
【００１３】
上記同一性判定方法（同一性判定装置）は、型統一化処理ステップにおいて（手段によって）、文書データのクラス定義ファイルに記述されている数値データの型定義にしたがって、文書データに記述されている数値データの精度を統一する、ことを特徴としても良い。
【００１４】
上記同一性判定方法（同一性判定装置）において、規範化処理ステップ（規範化処理手段）は、第１の部分データと第２の部分データとを所定の変換規則にしたがって文書データに変換する文書データ生成ステップ（文書データ生成手段）を有する、ことを特徴としても良い。
【００１５】
上記同一性判定方法は、識別子生成ステップにて生成された識別子を、文書データもしくは文書データに所定の処理を行った結果に関連付けてあらかじめキャッシュに格納する識別子格納ステップをさらに備え、同一性判定ステップは、識別子生成ステップにて生成された、同一性判定の対象となる文書データの識別子に基づいてキャッシュ内を検索し、その識別子と同じ識別子が存在する場合は同一の文書データが存在すると判定し、識別子と同じ識別子が存在しない場合は同一の文書データが存在しないと判定する、ことを特徴としても良い。
【００１６】
上記同一性判定装置は、識別子生成手段によって生成された識別子を、文書データもしくは文書データに所定の処理を行った結果に関連付けてあらかじめ格納したキャッシュをさらに備え、同一性判定手段は、識別子生成手段によって生成された、同一性判定の対象となる文書データの識別子に基づいてキャッシュ内を検索し、その識別子と同じ識別子が存在する場合は同一の文書データが存在すると判定し、識別子と同じ識別子が存在しない場合は同一の文書データが存在しないと判定する、ことを特徴としても良い。
【００１７】
上記同一性判定方法は、規範化処理ステップの前に、文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する第２の識別子生成ステップをさらに備え、第２の識別子生成ステップにおいて生成された識別子に基づいて一の文書データと他の文書データとの同一性を判定し、同一と判定された場合は次の処理ステップの処理をせずに終了し、同一でないと判定された場合は規範化処理ステップに処理を移行する、ことを特徴としても良い。
【００１８】
上記同一性判定装置は、規範化処理手段によって規範化処理を行う前に、文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する第２の識別子生成手段をさらに備え、第２の識別子生成手段によって生成された識別子に基づいて一の文書データと他の文書データとの同一性を判定し、同一でないと判定された場合に規範化処理手段は文書データの規範化処理を行う、ことを特徴としても良い。
【００１９】
また、本発明に係る同一性判定方法（同一性判定装置）は、文書データのエンコードデータ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する識別子生成ステップ（識別子生成手段）と、識別子生成ステップにおいて（識別子生成手段によって）生成された識別子に基づいて、一の文書データと他の文書データとで一致する部分があるか判定する同一性判定ステップ（同一性判定手段）と、を有することを特徴とする。
【００２０】
上記同一性判定方法（同一性判定装置）は、同一性判定ステップにおいて（同一性判定手段によって）文書データが同一であると判定された場合は、文書データのエンコードデータをデコードする処理をスキップする命令を出力する、ことを特徴としても良い。
【００２１】
本発明に係る識別子送信方法（識別子送信装置）は、文書データに対し、表記のゆらぎを正す規範化処理をほどこす規範化処理ステップ（規範化処理手段）と、規範化処理ステップにおいて（規範化処理手段によって）規範化処理が行われた文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する識別子生成ステップ（識別子生成手段）と、識別子生成ステップにおいて（識別子生成手段によって）生成された識別子を送信する識別子送信ステップ（識別子送信手段）と、を有することを特徴とする。
【００２２】
上記識別子送信方法（識別子送信装置）において、識別子送信ステップ（識別子送信手段）は、文書データ全体もしくはその一部を識別子によって置き換えたデータを生成する送信データ生成ステップ（送信データ生成手段）を有する、ことを特徴としても良い。
【００２３】
上記識別子送信方法（識別子送信装置）において、送信データ生成ステップ（送信データ生成手段）は、文書データに含まれる部分データを一意に特定する識別子と、部分データと文書データとの差分データと、によって記述した送信データを生成する、ことを特徴としても良い。
（作用）
【００２４】
上記した課題を解決するために、本発明は、XML文書またはRDF文書の識別子を生成する前に、表記のゆらぎを回復する規範化処理を行う。XML-Canonicalizationに代表される規範化処理は、冗長な空白の削除、クローズタグ省略の解除など、XMLの仕様がゆるす表記のゆらぎを回復する処理である。規範化処理によって、同一の意味をもつXML文書またはRDF文書は同一の表記の文書となり、一方向関数に代表される文字の羅列から識別子を生成する関数によって、同一の識別子を生成することができる。
【００２５】
また、本発明は、XML文書またはRDF文書のクラス定義ファイルを参照し、XML文書、RDF文書内に記述されているデータの型を統一化する。型の統一化処理によって、Double型やFloat型数字の精度などが統一化され、規範化処理同様、同一の意味をもつXML文書またはRDF文書は同一の表記の文書となり、一方向関数に代表される文字の羅列から識別子を生成する関数によって、同一の識別子を生成することができる。
【００２６】
また、本発明は、CC/PP仕様であるデフォルトデータおよび差分データから文書データを記述できるように、複数の部分データを参照することで本来の文書データの意味を表す文書データに対し、部分データを取得し、ある変換規則に従ってその部分データを変換し、本来の文書データを生成してから識別子を生成する。識別子生成前に本来の文書データを生成することにより、同一の意味を持つXML文書、RDF文書は同一の表記の文書となり、一方向関数に代表される文字の羅列から識別子を生成する関数によって、同一の識別子を生成することができる。
【００２７】
なお、本発明は、文書データの構成要素の順序を所定の規則にしたがって並べ替える処理を行った後に識別子を生成してもよい。
なお、本発明は、上述の識別子生成前の処理をそれぞれ備えることで、同一の意味をもつXML文書、RDF文書に対して同一の識別子を生成してもよい。
【００２８】
また、本発明は、上述の生成手法によって生成される識別子を用いて、複数のXML文書またはRDF文書の同一性を判定することができる。なお、本発明に係る同一性判定方法（同一性判定装置）では、同一性判定ステップ（同一性判定手段）は、一の文書データと他の文書データとで一致する部分があるか判定する。すなわち、１）一の文書データの一部と他の文書データの一部が同一であるか、２）一の文書データと他の文書データの一部が同一であるか、３）一の文書データの一部と他の文書データが同一であるか、４）一の文書データと他の文書データが同一であるか、の判定を行うことができる。
【００２９】
また、本発明は、規範化処理、型の統一化処理を段階的に配置し、それぞれの処理後に識別子を生成し、同一性を判定する。各同一性判定処理において同一と判定された場合は、次の段階に移行せずそのまま終了することで、同一性判定の処理時間を軽減できる。
【００３０】
また、本発明は、XMLをエンコードしたデータ全体もしくはその一部から一意に生成した識別子をもちいることで、XMLの同一性を判定することができる。XMLのエンコードによって、同一の意味を持つ表記をあらかじめコード変換規則によって一意に定められたコードに割り当てるため（非特許文献１を参照のこと）、エンコードデータは、表記のゆれが正された状態になっている。すなわち、同一の意味を持つXML文書が同一のエンコードデータとして生成されるため、エンコードデータを文字の羅列として一方向関数などによって識別子を生成することによって、同一の意味をもつXML文書に対する同一性判定が可能となる。
【００３１】
本発明によれば、同一の意味をもつ複数のXML文書、RDF文書、またはその部分を同定することが可能となり、端末やサーバにおいて、過去に処理がされたXML文書、RDF文書またはその部分の処理が簡略化でき、処理時間を軽減することが可能となる。また、本発明によれば、XML文書、RDF文書またはその部分に対し一意に識別子を生成することができ、文書のデータ圧縮として利用できる。さらに同定することと同様に、端末やサーバにおけるXML文書、RDF文書の処理が簡略化できる。
【００３２】
【発明の実施の形態】
[第１実施形態]
本発明の第１実施形態について以下に図面を参照しつつ説明する。図１は、本実施形態に係る識別子生成方法の動作を示すフロー図である。
【００３３】
同図のとおり、識別子生成方法は、識別子生成対象である文書データを取得する対象文書データ取得ステップS101、対象文書データの表記のゆらぎを正す規範化処理ステップS102、対象文書データ全体または選択した範囲から一意な識別子を生成する識別子生成ステップS103からなる。
【００３４】
図１１は、入力された文書データの例としてXML文書の場合を示した図である。同図のとおり、入力された文書データは、無駄な空白や、クローズタグの省略形が用いられている。作成者による表記のゆれによって、生成される識別子が異ならないように、識別子生成の前に規範化を行う必要がある。
【００３５】
図１２は、図１１で示した文書データに対し、XML-Canonicalizationの仕様にしたがって規範化をおこなったものの例である。同図のとおり、規範化処理後の文書データは、無駄な空白の削除、クローズタグの挿入がされ、作成者による表記のゆれがなくなっている。同図に示した文書データをもとに、識別子を生成する。
【００３６】
識別子生成ステップS103では、規範化処理後の文書データ全体または選択した範囲から、一意な識別子を生成する。たとえば、ハッシュ関数などの一方向関数をもちい、ハッシュ値を識別子として生成する。ただし、識別子生成の関数は一方向関数である必要ななく、一意な識別子が生成できる関数であればよい。
【００３７】
図２は、規範化処理ステップS102において、対象文書データのクラス定義ファイルを確認し、型の統一化をする型の統一化処理ステップS201を付加した識別子生成方法の動作を示すフロー図である。
【００３８】
図３は、型の統一化処理ステップS201の動作の詳細を示すフロー図である。同図のとおり、型の統一化処理は、対象文書データのクラス定義ファイルを取得するステップS301、クラス定義ファイルをもとに、対象文書データに記述されているすべてのデータの型を確認するデータ型確認ステップS302および対象文書データをクラス定義ファイルにしたがって変換をする文書データ変換ステップS303からなる。
【００３９】
文書データ変換ステップS303は、データ型確認ステップS302において、クラス定義ファイルに記述されているデータタイプのとおりにデータを変換する。図１４（ａ）及び図１４（ｂ）は対象文書データ変換前の文書データを示す図、図１４（ｃ）はクラス定義ファイルの例を示す図である。同図のとおり、クラス定義ファイルには、<ElementType name=“value” dt:type=“double”/>と記述されており、valueの要素値の型がdouble型であることがわかる。また、図１４（ａ）に示す文書データ１および図１４（ｂ）に示す文書データ２には、それぞれdouble型である、12．0、 12．00がvalueの要素値として記述してあることがわかる。どちらも型定義に沿った記述がなされているが、文字の羅列としてみた場合は異なる。
【００４０】
図１５（ａ）及び図１５（ｂ）は、対象文書データ変換後の文書データの例である。同図のとおり、double型で定義されているvalueの要素値の精度をdouble精度と同等にすることで、図１４（ａ）及び図１４（ｂ）で示した文書データ１、文書データ２のvalue要素値12．0、12．00が等しくなり、型が統一化され、文字の羅列としてみた場合としても等しくなる。
【００４１】
図４は、対象文書データがデフォルトデータおよび更新差分データからなりたっている場合、規範化処理ステップS１０２において、デフォルトデータおよび更新差分データから本来の文書データを生成する文書データ生成ステップS401を付加した識別子生成方法の動作を示すフロー図である。
【００４２】
図１８（ａ）は、デフォルトデータの例を示す図である。同図のとおり、デフォルトとして以下のとおり定義されている（第１０、１１行参照）。
<up:role>guest</up:role>
<up:age>16</up:age>
【００４３】
図１８（ｂ）は、対象文書データとしてRDF文書の例を示す図である。同図のとおり、RDF文書は2重定義がされており、デフォルトデータのURI（<ccpp:defaults rdf:resource=“UserProfileDefault"></ccpp:defaults>）と更新差分データ(<up:role>vip</up:role>)が記述されている（第１２、１３行参照）。このRDF文書は、文書データ生成ステップS401において、本来の文書データに変換される。図１９は、文書データ生成ステップS401によって変換された後の文書データである。同図は、更新差分データをデフォルトデータに上書きした場合を示す。同図のとおり、デフォルトデータのURIからデフォルトデータを取得し、更新差分データによって上書きされ、<up:role>guest</up:role>が<up:role>vip</up:role>と変換されており（第１２行参照）、本来の文書データとなっている。
【００４４】
図２６は、本実施形態に係る識別子生成方法をもちいて、対象文書データをその識別子とともにキャッシュに格納し、あとで識別子をもちいて対象文書データをキャッシュより取得することが可能な文書データ格納取得装置２７００の構成を示すブロック図である。同図のとおり、文書データ格納取得装置２７００は、対象文書データを取得する対象文書データ取得部２７０１、本実施形態に係る識別子生成方法が実装された識別子生成部２７０２、生成された識別子を対象文書データとともにキャッシュ２７０４に格納する識別子格納部２７０３、キャッシュ２７０４から取得したい文書データの識別子を取得する識別子取得部２７０５、識別子をもちいてキャッシュから文書データを取得する文書データ取得部２７０６からなる。
【００４５】
図１３は、識別子格納部２７０３によってキャッシュ２７０４に格納された文書データ識別子および文書データURIの例である。同図のように、入力された文書データを、識別子をもちいて管理することが可能となる。また、キャッシュにすでに格納されている識別子を格納しようとする際には、格納せずに文書データを廃棄することも可能となる。
【００４６】
なお、図１、２、４で示す規範化処理ステップS102において、文書データ内の構成要素の順序を所定の規則にしたがって変更してもよい。例えば、図２１のような複数の構成要素からなる文書データが入力された場合、<rdf:Description rdf:about="xxxx">のxxxxの部分がアルファベット順に整列するように構成要素の順序を並べ替える。図２７は、構成要素の順序をアルファベット順に並べ替えた文書データである。RDFの仕様によれば、文書データ内の構成要素がどのような順序でならんでいても文書データ全体でみれば同一の意味としてみなすことが可能である。すなわち、同一の意味をもつ文書データであっても、構成要素の順序が異なる場合が考えられる。そこで、構成要素の順序を、所定の規則にしたがって変更したのちに、識別子を生成することで、構成要素の順序は異なるが同一の意味をもつ文書データに対して、同一の識別子を生成することが可能となる。
【００４７】
[第２実施形態]
本発明の第２実施形態について以下に図面を参照しつつ説明する。図５は、本実施形態に係る同一性判定方法の動作を示すフロー図である。
【００４８】
同図のとおり、同一性判定方法は、同一性判定対象である文書データを取得する対象文書データ取得ステップS501、対象文書データの表記のゆらぎを正す規範化処理ステップS502、対象文書データ全体または選択した範囲から一意な識別子を生成する識別子生成ステップS503、および、識別子生成ステップS503で生成された識別子をもとに複数の文書データの同一性を判定する同一性判定ステップS504からなる。
【００４９】
規範化処理前の文書データおよび規範化処理後の文書データの例を図１１、図１２に示す。同図のとおり、規範化処理によって表記のゆらぎが回復される。
【００５０】
図６は、規範化処理ステップS502において、対象文書データのクラス定義ファイルを確認し、型の統一化をする型の統一化処理ステップS601を付加した同一性判定方法の動作を示すフロー図である。
【００５１】
図３は型の統一化処理ステップS601の動作の詳細を示すフロー図である。動作の詳細は第１実施形態と同じである。
【００５２】
図１４（ａ）及び図１４（ｂ）は型の統一化処理前の文書データ１、文書データ２をそれぞれ示す図、図１４（ｃ）はクラス定義ファイルの例を示す図、図１５（ａ）及び図１５（ｂ）は型の統一化処理後の文書データ１、文書データ２の例をそれぞれ示す図である。同図のとおり、表記の異なっていたvalueの値が型の統一化ステップS601によって同一の表記となる。
【００５３】
図７は、対象文書データがデフォルトデータおよび更新差分データからなりたっている場合、規範化処理ステップS５０２において、デフォルトデータおよび更新差分データから本来の文書データを生成する文書データ生成ステップS７０１を付加した同一性判定方法の動作を示すフロー図である。
【００５４】
図１８（ａ）及び図１８（ｂ）は、デフォルトデータおよび対象文書データの例、図１９は文書データ生成ステップS701によって生成される変換後の文書データの例である。動作の詳細は第１実施形態と同じである。
【００５５】
図８は、同一性判定ステップS５０４の動作の詳細を示したフロー図である。同図のとおり、同一性判定ステップS504は、同一性を判定する対象文書データから生成された識別子を取得する識別子取得ステップS８０１、識別子をキャッシュに格納する識別子格納ステップS８０３、キャッシュから当該識別子を検索し、検索成功の場合は同一の文書データが存在していると判断し、検索失敗の場合は同一の文書データが存在していないと判断する同一性判定ステップS８０２からなる。キャッシュに当該識別子が存在していない場合は、識別子を識別子格納ステップS８０３にわたし、当該識別子をキャッシュに格納する。
【００５６】
図１０は、本実施形態に係る同一性判定方法によって、入力される文書データがすでに処理されているかどうかを判定する同一性判定装置１１０１の構成を示すブロック図である。同図のとおり、同一性判定装置１１０１は対象文書データを取得する対象文書データ取得部１１０２、対象文書データから識別子を生成する識別子生成部１１０３、生成された識別子とキャッシュ１１１０をもちいて、すでに処理されているかどうかを判定する同一性判定部１１０８および、同一性判定部によってすでに処理されていないことが判定された場合は、次回の同一性判定のために識別子をキャッシュ１１１０に格納する識別子格納部１１０９からなる。また、識別子生成部１１０３は、デフォルトデータおよび更新差分データから本来の文書データを生成する文書データ生成部１１０４、表記のゆらぎを回復する規範化処理を行う規範化処理部１１０５、クラス定義ファイルをもちいて、データの型統一化処理を行う型統一化処理部１１０６と、対象文書データから一意に識別子を生成する識別子生成処理部１１０７からなる。
【００５７】
図１６は、本実施形態に係る同一性判定方法をもちいることによって、すでに処理がされた文書データが入力された場合は、文書データの項書き換え処理をスキップする項書き換え処理装置の構成を示したブロック図である。同図のとおり、本実施形態に係る同一性判定方法が実装された同一性判定部１７０１、項書き換え規則文書にしたがって文書データの項書き換えをおこなう項書き換え部１７０２、項書き換え部１７０２にて生成された変換後の文書データを同一性判定部１７０１にて生成される文書データの識別子とともに格納してある変換後文書データキャッシュ１７０３からなる。
【００５８】
同一性判定部１７０１は、文書データが入力されると、識別子を生成する。生成された識別子と変換後文書データキャッシュ１７０３をもちいて、すでに項書き換えが行われたことのある文書データかどうかを判定する。すでに項書き換えが行われたことのある文書データである場合は、項書き換え部１７０２の処理をスキップし、変換後文書データキャッシュ内に存在している当該識別子で取得できる変換後の文書データを出力する。本発明によって一般的に処理時間のかかる項書き換え処理をスキップすることが可能となるため高速な処理が可能となる。
【００５９】
[第3実施形態]
本発明の第３実施形態について以下に図面を参照しつつ説明する。図９は、本実施形態に係る同一性判定方法の動作を示すフロー図である。
【００６０】
同図のとおり、同一性判定方法は、同一性判定対象である文書データのエンコードデータを取得するエンコードデータ取得ステップS901、取得したエンコードデータ全体もしくはその一部から識別子を生成する識別子生成ステップS902、および識別子生成ステップS902で生成された識別子をもとに複数の文書データの同一性を判定する同一性判定ステップS903からなる。
【００６１】
XMLのエンコードによって、同一の意味を持つ表記は、あらかじめコード変換規則によって一意に定められたコードに割り当てられるため、エンコードデータは、表記のゆれが正された状態になっている。すなわち、同一の意味を持つXML文書が同一のエンコードデータとして生成されるため、エンコードデータを文字の羅列として一方向関数などによって識別子を生成することによって、同一の意味をもつXML文書に対する同一性判定が可能となる。
【００６２】
図２５は、同一の意味を持つが、文字の羅列としてみた場合異なる文書である文書データ１、文書データ２に対して、バイトコード表に従ってエンコードをほどこすことで、同一のエンコードデータが生成されることを示した図である。同図のとおり、改行が挿入されているだけで、同一の意味を持つ文書データ１、文書データ２に対し、エンコードをほどこすと、同一のエンコードデータが得られる。このエンコードデータをもとに識別子を生成することによって、同一の意味をもつ文書データに対して同一の識別子を生成することが可能となる。
【００６３】
図１６において、入力する文書データとして、XML文書をデータ圧縮したエンコードデータを入力とする。エンコードデータが入力された場合、処理をするにはデコードすることが必須となるが、本実施形態に係る同一性判定方法をもちいることで、エンコードデータの状態のまま同一性判定が可能となるため、すでに処理がすんでいる文書データに冠してはデコード処理もスキップすることが可能となる。
【００６４】
[第４実施形態]
本発明の第４実施形態について以下に図面を参照しつつ説明する。図１７は、本実施形態に係る識別子送信方法の動作を示すフロー図である。
【００６５】
同図のとおり、識別子送信方法は、対象となる文書データを取得する対象文書データ取得ステップS１８０１、対象文書データに対して、規範化処理、型の統一化処理などを行い、文書データ全体もしくはその一部の識別子を生成する識別子生成ステップＳ１８０２、文書データ全体もしくはその一部を生成された識別子と置き換える識別子置換処理ステップS１８０３、識別子で代替される文書データまたはその一部をデフォルトとし、それとの差分データを文書データに付加する差分データ付加ステップS１８０４、以上の処理によって生成された文書データを送信する送信ステップS１８０５からなる。
【００６６】
図２０は、本実施形態に係る識別子送信方法を用いて、識別子つき文書データを送信する識別送信装置２１０１の構成を示したブロック図である。同図のとおり、識別子送信装置２１０１は、対象文書データを取得する対象文書データ取得部１１０２、規範化処理、型統一処理などを行い、識別子を生成する識別子生成部１１０３及び対象文書に対し、識別子付加処理を行って送信する識別子送信部２１０２から構成される。
【００６７】
識別子送信部２１０２は、文書データ全体もしくはその一部を識別子生成部１１０３によって生成された識別子と置き換える識別子置換処理部２１０３、識別子で代替される文書データ又はその一部をデフォルトとし、それとの差分データを文書データに付加する差分データ付加部２１０４、及び以上の処理によって生成された文書データを送信する送信部２１０５から構成される。
【００６８】
図２１は、対象文書データの例である。同図のとおり対象文書データは、<ccpp:component>…</ccpp:component>という構成要素が３つ記述されている。対象文書データは、識別子生成ステップS１８０２において、それぞれの構成要素について識別子が生成される。
【００６９】
図２２は、本実施形態に係る識別子送信方法によって送信される文書データの例として、図２１に示した文書データの一部の記述（構成要素１、構成要素２）を識別子に置き換え、さらに、追加データとして構成要素３を記述した部分識別子つき文書データの例である。同図のとおり、構成要素１、構成要素２が、識別子におきかわることで、文書データ全体のデータ量が削減できる。
【００７０】
図２３は、本実施形態に係る識別子送信方法によって送信される部分識別子つき文書データをもちいたサービスシステム例を示した図である。同図のとおり、サービスシステムは、本実施形態に係る識別子送信方法によって送信される部分識別子つき文書データを送信する端末２４００と、部分識別子つき文書データを受信し、部分識別子を本来の構成要素に展開して本来の文書データを生成し送信するプロキシ２４０１および、文書データを受信し、サービスを行うサーバ２４０２から構成される。プロキシ２４０１は、部分識別子と本来の構成要素とが関連付けられて格納されたデータベース２４０３と接続されている。端末２４００からは、本来サーバに送信するべき文書データのうち、すでにプロキシを介して送信したことのある構成要素を識別子に置き換えて送信することが可能となるため、ネットワーク負荷のかからない文書データ送信方法として用いることが可能となる。
【００７１】
[第５実施形態]
本発明の第５実施形態について以下に図面を参照しつつ説明する。図２４は、本実施形態に係る段階的同一性判定方法の動作を示すフロー図である。
【００７２】
同図のとおり、段階的同一性判定方法は、入力された文書データからそのまま識別子生成し、同一性の判定をする第1判定ステップS2501、規範化処理を行ってから識別子を生成し、同一性の判定をする第2判定ステップS2502、クラス定義ファイルをもちいて型の統一化を行ってから識別子を生成し、同一性を判定する第３判定ステップS2503、および判定結果を出力する結果出力ステップS２５０４からなる。
【００７３】
第1判定ステップS2501で同一と認められなかった場合は、第２判定ステップS２５０２に処理をうつす。第2判定ステップS2502においても、第１判定ステップS2501と同様、同一と認められなかった場合は、第３判定ステップS2503に処理をうつす。第1判定ステップS2501、第２判定ステップS2502とも、同一と認められた場合は、次以降の処理をせずに結果出力ステップS2504において判定結果を出力する。第3判定ステップは、同一性の判定を行った結果を結果出力ステップS2504にわたし、判定結果を出力する。
【００７４】
【発明の効果】
本発明によれば、同一の意味を持つ文書データ、またはその一部に対して、同一の識別子を生成することが可能となるため、同一の意味をもつ文書データを同定することが可能となる。
【００７５】
また、本発明によれば端末やサーバにおいて、過去に処理がされた文書データが入力された場合は、同一性判定方法によって処理をスキップすることが可能となり、処理時間を軽減することができる。
【００７６】
また、本発明によれば、文書データをエンコードデータの状態のまま同一性を判定することが可能となるため、端末やサーバにおけるデコード処理もふくめた処理のスキップが可能となり、処理時間を軽減することが可能となる。
【００７７】
また、本発明によれば、同一の意味をもつ文書データ全体もしくはその一部から生成した識別子を文書データ全体もしくはその一部とおきかえた文書データを生成することが可能となるため、文書データのデータ量を削減することが可能となり、たとえば文書データを送信する際に、すでに送信済みであった部分を識別子に置き換えて送信することで、ネットワーク負荷を軽減することが可能となる。
【図面の簡単な説明】
【図１】実施形態に係る識別子生成方法の動作を示すフロー図である。
【図２】実施形態に係る識別子生成方法の動作を示すフロー図である。
【図３】型の統一化処理ステップS201の動作の詳細を示すフロー図である
【図４】実施形態に係る識別子生成方法の動作を示すフロー図である。
【図５】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図６】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図７】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図８】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図９】実施形態に係る同一性判定方法の動作を示すフロー図である。
【図１０】実施形態に係る同一性判定装置の構成を示すブロック図である。
【図１１】入力された文書データの例としてXML文書の場合を示した図である。
【図１２】図１１で示した文書データに対し、XML-Canonicalizationの仕様にしたがって規範化をおこなったものの例を示す図である。
【図１３】キャッシュに格納された文書データ識別子および文書データURIの例を示す図である。
【図１４】（ａ）及び（ｂ）は対象文書データ変換前の文書データを示す図、（ｃ）はクラス定義ファイルの例を示す図である。
【図１５】（ａ）及び（ｂ）は、対象文書データ変換後の文書データの例を示す図である。
【図１６】項書き換え処理装置の構成を示すブロック図である。
【図１７】実施形態に係る識別子送信方法の動作を示すフロー図である。
【図１８】（ａ）はデフォルトデータの例を示す図、（ｂ）は、対象文書データとしてRDF文書の例を示す図である。
【図１９】文書データ生成ステップS401によって変換された後の文書データである。
【図２０】実施形態に係る識別送信装置の構成を示すブロック図である。
【図２１】複数の構成要素からなる文書データの例を示す図である。
【図２２】本実施形態に係る識別子送信方法によって送信される文書データの例を示す図である。
【図２３】実施形態に係る識別子送信方法によって送信される部分識別子つき文書データをもちいたサービスシステム例を示す図である。
【図２４】実施形態に係る段階的同一性判定方法の動作を示すフロー図である。
【図２５】エンコードデータについて説明する図である。
【図２６】文書データ格納取得装置の構成を示すブロック図である。
【図２７】構成要素の順序をアルファベット順に並べ替えた文書データを示す図である。
【符号の説明】
１１０１…同一性判定装置、１１０２…対象文書データ取得部１１０３…識別子生成部、１１０８…同一性判定部、１１０９…識別子格納部、１１１０…キャッシュ、１７０１…同一性判定部、１７０２…項書き換え部、１７０３…変換後文書データキャッシュ、２１０１…識別子送信装置、２１０２…識別子送信部、２１０３…識別子置換処理部、２１０４…差分データ付加部、２４００…端末、２４０１…プロキシ、２４０２…サーバ、２４０３…データベース、２７００…文書データ格納取得装置、２７０１…対象文書データ取得部、２７０２…識別子生成部、２７０３…識別子格納部、２７０４…キャッシュ、２７０５…識別子取得部、２７０６…文書データ取得部。
Claims (8)
- 対象となるＸＭＬ文書またはＲＤＦ文書の文書データを取得する対象文書データ取得手段と、
取得された前記文書データに対し、冗長な空白の削除、及びクローズタグ省略の解除を含み、その仕様がゆるす表記のゆらぎを正す規範化処理をほどこす規範化処理手段と、
前記規範化処理手段によって規範化処理が行われた前記文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を、文字の羅列から識別子を生成する所定の関数によって生成する識別子生成手段と、
生成された前記識別子を前記文書データとともにキャッシュに格納する識別子格納手段と、
前記識別子生成手段によって生成された識別子に基づいて、一の文書データと他の文書データとで一致する部分があるか判定する同一性判定手段と、
を備えるとともに、
前記規範化処理手段によって規範化処理を行う前に、前記文書データ全体もしくはその一部に基づいて、当該文書データもしくはその一部を一意に特定する識別子を生成する第２の識別子生成手段をさらに備え、
前記第２の識別子生成手段によって生成された識別子に基づいて一の文書データと他の文書データとの同一性を判定し、同一でないと判定された場合に前記規範化処理手段は文書データの規範化処理を行う、
ことを特徴とする同一性判定装置。 - 前記規範化処理手段は、型の定義が記述されている前記文書データのクラス定義ファイルを用いて、前記文書データに記述されている値を前記クラス定義ファイルによって定義された型に従って、表記の型を統一する型統一化処理手段を有する、
ことを特徴とする請求項１に記載の同一性判定装置。 - 前記型統一化処理手段は、前記文書データのクラス定義ファイルに記述されている数値データの型定義にしたがって、前記文書データに記述されている数値データの精度を統一する、
ことを特徴とする請求項２に記載の同一性判定装置。 - 前記規範化処理手段は、第１の部分データと第２の部分データとを所定の変換規則にしたがって文書データに変換する文書データ生成手段を有する、
ことを特徴とする請求項１〜３のいずれか１項に記載の同一性判定装置。 - 前記識別子生成手段によって生成された識別子を、前記文書データもしくは前記文書データに所定の処理を行った結果に関連付けてあらかじめ格納したキャッシュをさらに備え、
前記同一性判定手段は、
前記識別子生成手段によって生成された、同一性判定の対象となる文書データの識別子に基づいて前記キャッシュ内を検索し、前記識別子と同じ識別子が存在する場合は同一の文書データが存在すると判定し、前記識別子と同じ識別子が存在しない場合は同一の文書データが存在しないと判定する、
ことを特徴とする請求項１〜４のいずれか１項に記載の同一性判定装置。 - 前記識別子生成手段によって生成された識別子を送信する識別子送信手段をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の同一性判定装置。
- 前記識別子送信手段は、前記文書データ全体もしくはその一部を前記識別子によって置き換えたデータを生成する送信データ生成手段を有する、
ことを特徴とする請求項６に記載の同一性判定装置。 - 前記送信データ生成手段は、前記文書データに含まれる部分データを一意に特定する識別子と、前記部分データと文書データとの差分データと、によって記述した送信データを生成する、
ことを特徴とする請求項７に記載の同一性判定装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002267274A JP4231261B2 (ja) | 2002-09-12 | 2002-09-12 | 同一性判定装置 |
| US10/659,308 US7200585B2 (en) | 2002-09-12 | 2003-09-11 | Identifier generating method, identity determining method, identifier transmitting method, identifier generating apparatus, identity determining apparatus, and identifier transmitting apparatus |
| EP03020776A EP1398712B1 (en) | 2002-09-12 | 2003-09-12 | Methods and apparata for generation, determination and transmission of identifiers |
| CNA031581382A CN1494018A (zh) | 2002-09-12 | 2003-09-12 | 识别符生成、发送方法和装置同一性判定方法和装置 |
| DE60330099T DE60330099D1 (de) | 2002-09-12 | 2003-09-12 | Verfahren und Anordnungen zur Herstellung, Feststellung und Übertragung von Identifikatoren |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002267274A JP4231261B2 (ja) | 2002-09-12 | 2002-09-12 | 同一性判定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004102926A JP2004102926A (ja) | 2004-04-02 |
| JP4231261B2 true JP4231261B2 (ja) | 2009-02-25 |
Family
ID=31884799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002267274A Expired - Fee Related JP4231261B2 (ja) | 2002-09-12 | 2002-09-12 | 同一性判定装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7200585B2 (ja) |
| EP (1) | EP1398712B1 (ja) |
| JP (1) | JP4231261B2 (ja) |
| CN (1) | CN1494018A (ja) |
| DE (1) | DE60330099D1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4218590B2 (ja) * | 2004-05-26 | 2009-02-04 | ソニー株式会社 | 画像処理システム、情報処理装置および方法、画像処理装置および方法、記録媒体、並びにプログラム |
| GB2416049B (en) * | 2004-07-10 | 2010-04-28 | Hewlett Packard Development Co | Document delivery |
| DE102004043269A1 (de) * | 2004-09-07 | 2006-03-23 | Siemens Ag | Verfahren zur Codierung eines XML-basierten Dokuments |
| JP4667024B2 (ja) * | 2004-12-03 | 2011-04-06 | 株式会社日立製作所 | 文書データ同一性検証装置及び方法、並びに文書データ同一性検証プログラム |
| US7860841B2 (en) * | 2005-09-09 | 2010-12-28 | Sap Ag | Method and apparatus to support mass changes to business objects in an integrated computer system |
| US7552151B2 (en) * | 2006-02-06 | 2009-06-23 | International Business Machines Corporation | System, method and program product for adding, updating and removing RDF statements stored on a server |
| US7519599B2 (en) * | 2006-06-12 | 2009-04-14 | International Business Machines Corporation | System and method for scalable distribution of semantic web updates |
| US8392174B2 (en) * | 2006-08-07 | 2013-03-05 | International Characters, Inc. | Method and apparatus for lexical analysis using parallel bit streams |
| US8832822B2 (en) * | 2007-01-19 | 2014-09-09 | Kryptiq Corporation | Smart identifiers |
| US7778982B2 (en) * | 2007-09-20 | 2010-08-17 | Baker Allen F | System for processing and using electronic documents |
| US20090083612A1 (en) * | 2007-09-20 | 2009-03-26 | Baker Allen F | Method for processing electronic documents |
| US8090731B2 (en) * | 2007-10-29 | 2012-01-03 | Oracle International Corporation | Document fidelity with binary XML storage |
| JP5134989B2 (ja) * | 2008-01-31 | 2013-01-30 | 株式会社東芝 | サーバ、データ転送方法及びプログラム |
| JP5626554B2 (ja) * | 2009-03-11 | 2014-11-19 | 日本電気株式会社 | 同一性判定装置、同一性判定方法、及び同一性判定用プログラム |
| US10331658B2 (en) * | 2011-06-03 | 2019-06-25 | Gdial Inc. | Systems and methods for atomizing and individuating data as data quanta |
| CN104142923A (zh) * | 2013-05-06 | 2014-11-12 | 佳能株式会社 | 用于获取以及分享网页的部分内容的方法和设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6249844B1 (en) * | 1998-11-13 | 2001-06-19 | International Business Machines Corporation | Identifying, processing and caching object fragments in a web environment |
| US6539396B1 (en) * | 1999-08-31 | 2003-03-25 | Accenture Llp | Multi-object identifier system and method for information service pattern environment |
| JP2001282105A (ja) | 2000-03-27 | 2001-10-12 | Internatl Business Mach Corp <Ibm> | 電子コンテンツの証明方法、システムおよびプログラムが記録された媒体 |
-
2002
- 2002-09-12 JP JP2002267274A patent/JP4231261B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-11 US US10/659,308 patent/US7200585B2/en not_active Expired - Fee Related
- 2003-09-12 CN CNA031581382A patent/CN1494018A/zh active Pending
- 2003-09-12 EP EP03020776A patent/EP1398712B1/en not_active Expired - Fee Related
- 2003-09-12 DE DE60330099T patent/DE60330099D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7200585B2 (en) | 2007-04-03 |
| CN1494018A (zh) | 2004-05-05 |
| JP2004102926A (ja) | 2004-04-02 |
| EP1398712B1 (en) | 2009-11-18 |
| EP1398712A2 (en) | 2004-03-17 |
| US20040122851A1 (en) | 2004-06-24 |
| DE60330099D1 (de) | 2009-12-31 |
| EP1398712A3 (en) | 2005-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4231261B2 (ja) | 同一性判定装置 | |
| RU2419846C2 (ru) | Кодирование данных языка разметки | |
| US10630614B2 (en) | Opaque message parsing | |
| JP4373721B2 (ja) | マークアップ言語文書を符号化するための方法およびシステム | |
| US7886224B2 (en) | System and method for transforming tabular form date into structured document | |
| US8024291B2 (en) | Message generator | |
| KR20100059901A (ko) | 두 번의 패스를 통한 텍스트 스트링의 해시 추출 | |
| US20090222419A1 (en) | Succinct index structure for xml | |
| US11070231B2 (en) | Reducing storage of blockchain metadata via dictionary-style compression | |
| US11003635B2 (en) | Database scheme for storing generic data | |
| CN101271390A (zh) | 修改xml数据结构的软件、系统和方法 | |
| CN111046041B (zh) | 数据处理方法和装置、存储介质及处理器 | |
| CN106649676A (zh) | 一种基于hdfs存储文件的去重方法及装置 | |
| CN111291235A (zh) | 一种基于时序数据库的元数据存储方法及装置 | |
| US20140297692A1 (en) | Encoder, encoding method, and program | |
| CN109241498B (zh) | Xml文件处理方法、设备和存储介质 | |
| US10546136B2 (en) | Data processor, data management system, data processing method, and computer program product | |
| CN109614442B (zh) | 数据同步的数据表维护方法、装置、存储介质和电子设备 | |
| US20150088958A1 (en) | Information Processing System and Distributed Processing Method | |
| US20160366209A1 (en) | Transmission of hierarchical data files based on content selection | |
| JP2008243077A (ja) | 構造化文書管理装置、方法及びシステム | |
| US10311137B2 (en) | Grammar generation for augmented datatypes for efficient extensible markup language interchange | |
| GB2510198A (en) | Method and device for encoding a header in a message using an indexing table | |
| CN108984713B (zh) | 一种xml文件处理方法及装置 | |
| CN111241191A (zh) | 一种数据库的同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050411 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080812 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081205 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |