JP3685660B2 - 対訳情報収集装置 - Google Patents
対訳情報収集装置 Download PDFInfo
- Publication number
- JP3685660B2 JP3685660B2 JP25867599A JP25867599A JP3685660B2 JP 3685660 B2 JP3685660 B2 JP 3685660B2 JP 25867599 A JP25867599 A JP 25867599A JP 25867599 A JP25867599 A JP 25867599A JP 3685660 B2 JP3685660 B2 JP 3685660B2
- Authority
- JP
- Japan
- Prior art keywords
- page
- bilingual
- pair
- candidate
- pages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介してＷＷＷ（World Wide Web）上のデータ中から同一内容を複数の言語で記述したページを対訳情報として収集する対訳情報収集装置に関する。
【０００２】
【従来の技術】
ＷＷＷ上には、同一内容を複数の言語で提供しているページが存在しているが、このような同一内容のページを異なる言語で記述したページ（以下、対訳ページと呼ぶ。）を探し出す技術として以下の文献に記載されるものがある。
【０００３】
文献１「情報処理学会研究報告 自然言語処理128-18 1998.11.6 名称；World Wide Webからの対訳データの自動収集」
文献１には、ＷＷＷ上から対訳データを収集するために、ＷＷＷ上のテキスト情報の中から対訳候補ページを探し出し、さらに、対訳候補ページ同士を一文単位で対応付けることで対訳データを作成するシステムが記載されている。
【０００４】
このシステムでは、対訳ページはそれぞれ同じドメイン内に存在することを利用して、ＷＷＷ上のあるページに対して、そのページからリンクが存在するページを対訳候補ページとして収集し、その対訳候補ページが本当に対訳ページかどうかを詳細に調べる。
【０００５】
すなわち、内容Ａの日本語のページをＡｊ、英語のページをＡｅとすると、Ａｊ中にＡｅへのリンクの記述があり、かつ、Ａｅ中にＡｊへのリンクの記述がある場合についてのみ、ＡｊとＡｅが対訳ページである可能性があると判断して対訳候補ページとする。そして、対訳候補ページに対して本当に対訳ページであるかを一文単位の対応付けを行うことでより詳細に調べる。
【０００６】
【発明が解決しようとする課題】
しかしながら、文献１に記載された従来技術では対訳候補ページの収集を、あるページから直接リンクが張られ、かつ、リンク先が同一ドメインであるページに限定しているため、あるページから直接リンクが張られていない場合は対訳ページを探し出すことができないという問題点があった。
【０００７】
具体的には、リンクが張られている日本語のページＡｊと英語のページＡｅがあり、さらにＡｊからリンクが張られている日本語のページＢｊと、Ａｅからリンクが張られている英語のページＢｅがある場合において、ＢｊとＢｅの中にお互いに対するリンクが記載されていない場合は、たとえＢｊとＢｅが対訳ページであっても、ＢｊとＢｅを対訳ページであると判断することができない。
【０００８】
実際のインターネットにおいて複数の情報を記述する場合は、目次のページを記述して、その目次中の各項目に対応したページを複数のページ（HTML文書）によって表現することが多い。このように複数ページで示された情報を対訳で公開するきは、目次のページにだけ別言語へのリンクが張られることが一般的である。したがって、上記のように直接リンクが張られているページのみを対象としたシステムでは、直接リンクが張られていない各項目のページを対訳ページとして収集することができない。
【０００９】
従来技術に記載されているシステムの拡張として、「あるページにリンクが張られているページだけでなく、さらにそのページからリンクの張られているページまでを対訳ページの候補対象として、対訳ページかどうかを調べる」とすることが容易に考えられる。しかしながら、このような単純な拡張では、対訳ページの候補対象の数は、従来技術のシステムの２乗になってしまい探索範囲の増大を招く。さらに、もう一段拡張すると対訳ページの候補対象の数は３乗になってしまう。
【００１０】
このような点から、本発明はＷＷＷ上に今後さらに増大するであろう対訳ページをより効率的に収集することができる対訳情報収集装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
係る課題を解決するため、本発明の第１の発明は、同一内容の文書を異なる言語で記述した対訳ページを収集する検索開始点を入力する検索始点入力手段と、検索開始点のページとこの検索開始点から距離１離れたページのペアを対訳ページ候補のペアとして生成する中心対訳ページ候補生成手段と、中心対訳ページ候補生成手段が生成した対訳ページ候補のペアを格納する中心対訳ページ候補蓄積手段と、中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアに対して対訳ページ度を数値化し、この数値と予め設定した閾値を比較してこの対訳ページ候補のペアが対訳ページであるかどうかを判断する中心対訳ページ決定手段と、中心対訳ページ決定手段が対訳ページであると判断した対訳ページのペアを格納する中心対訳ページ蓄積手段と、中心対訳ページ蓄積手段に格納された対訳ページに対し、対訳ページのペアのうち一方の対訳ページからリンクをたどり距離１〜ｍ離れたページと他方の対訳ページからリンクをたどり距離１〜ｍ離れたページをすべて抽出し、この抽出の際に起点とした対訳ページからの距離が同一であるページで、かつ、該一方の対訳ページを利用して抽出されたページと該他方の対訳ページを利用して抽出されたページ同士をすべて組合せて対訳ページ候補のペアを生成する対訳ページ候補生成手段と、対訳ページ候補生成手段が生成した対訳ページ候補のペアを格納する対訳ページ候補蓄積手段と、対訳ページ候補蓄積手段に格納された対訳ページ候補のペアに対して対訳ページ度を数値化し、この数値と予め設定した閾値を比較してこの対訳ページ候補のペアが対訳ページであるかどうかを判断する対訳ページ決定手段と、対訳ページ決定手段が対訳ページであると判断した対訳ページのペアを格納する対訳ページ蓄積手段と、中心対訳ページ蓄積手段と対訳ページ蓄積手段に格納された対訳ページのペアを出力する対訳ページ出力手段とを有することを特徴とする。
【００１４】
第２の発明は、対訳データに関するものであり、中心対訳ページ蓄積手段と対訳ページ蓄積手段に格納された対訳ページのペアに基づいて対訳データを生成する対訳データ生成手段と、対訳データ生成手段が生成した対訳データを格納する対訳データ格納手段と、対訳データ格納手段に格納された対訳データを出力する対訳データ出力手段を有することを特徴とする。
【００１５】
第３の発明は、非対訳ページに関するものであり、対訳ページではないと判断した対訳ページ候補のペアを非対訳ページのペアとして蓄積する非対訳ページ蓄積手段をさらに有し、中心対訳ページ決定手段は、中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアが非対訳ページ蓄積手段に蓄積された非対訳ページのペアと一致する場合は、この対訳ページ候補のペアを非対訳ページであると判断し、対訳ページ決定手段は、対訳ページ候補蓄積手段に格納された対訳ページ候補のペアが非対訳ページ蓄積手段に蓄積された非対訳ページのペアと一致する場合は、この対訳ページ候補のペアを非対訳ページであると判断することを特徴とする。
【００１６】
第４の発明は、非対訳ページに関するものであり、対訳ページではないと判断した対訳ページ候補のペアを非対訳ページのペアとして、この非対訳ページのペアのページ名称とページ内容を示す値を蓄積する非対訳ページ蓄積手段をさらに有し、中心対訳ページ決定手段は、中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアのページ名称が非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ名称と一致するかを判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、一致しない場合は対訳ページ候補のペアのページ内容を示す値を求め、非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ内容を示す値と一致するかを再度判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、対訳ページ決定手段は、対訳ページ候補蓄積手段に格納された対訳ページ候補のペアのページ名称が非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ名称と一致するかを判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、一致しない場合は対訳ページ候補のペアのページ内容を示す値を求め、非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ内容を示す値と一致するかを再度判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定することを特徴とする。
【００１７】
【発明の実施の形態】
（本発明の特徴）
対訳ページとなるページのペアは、それぞれに直接リンクが張られているか、あるいは、そのペアを結ぶリンクの経路の中心に、直接リンクが張られた別の対訳ページのペアが存在することが多いという性質がある。
本発明はこの性質を利用することで、対訳ページ候補の探索範囲を狭めようとするものである。
【００１８】
ここで、リンクの経路の中心を例を用いて説明する。
例えば、ページＡとページＤが直接リンクされていないが、ページＡはページＢ、ページＢはページＣ、ページＣはページＤとリンクが張られている場合において、ページＡとページＤのリンクの経路の中心とはページＢとページＣの間のリンクを指す。
【００１９】
以下、本発明の実施形態に係る対訳情報収集装置について、図面を用いて詳細に説明する。
【００２０】
（Ａ）第１の実施形態の構成
図１は、本発明の対訳情報収集装置の第１の実施形態を示すブロック構成図であり、ワークステーションやパソコン等の情報処理装置上で実現されるものである。
【００２１】
図１において、第１の実施形態の対訳情報収集装置は、探索始点入力手段１１と、対訳ページ候補生成手段１２と、対訳ページ候補蓄積手段１３と、対訳ページ決定手段１４と、対訳ページ蓄積手段１５と、対訳ページ出力手段１６を有する。
【００２２】
探索始点入力手段１１は、対訳ページの探索を開始する始点（ページ）を入力するものであり、例えばキーボード等から構成される。探索開始点は、ＵＲＬ（Uniform Resource Locator）等で示すことができる。
【００２３】
対訳ページ候補生成手段１２は、探索始点入力手段１１から入力された探索開始点から距離ｎでたどることができる対訳ページ候補のペアを生成するものである。
【００２４】
ここで、ページ間の距離について説明する。例えば、ある２つのページの距離が１であるとは、少なくとも一方のページからもう一方のページに直接リンクが張られていることを意味する。「ページＡ、ページＢ、ページＣ」の３つのページがあり、「ページＡとページＢ」が距離１、「ページＢとページＣ」が距離１で直接リンクが張られていて、「ページＡとページＣ」が直接リンクが張られていない場合は、「ページＡとページＣ」との距離は２である。２つのページが２つ以上の経路でリンクが張られている場合は、最小の距離をその２つのページの距離とする。
【００２５】
具体的に、対訳ページ候補生成手段１２が生成する距離１の対訳ページ候補のペアは、探索開始点から距離１のページと探索開始点とのペアである。距離３の対訳ページ候補のペアは、探索開始点から距離１のページで、かつ、対訳ページではないページと、探索開始点の対訳ページから距離１のページで、かつ、探索開始点でないページとの組み合わせである。
【００２６】
距離３の対訳ページ候補のペアとなるページを図２を用いて説明する。図２はＷＷＷデータのリンク例であり、「ページＡはページＢ、ページＣ、ページＤ」と直接リンクが張られており、それぞれ距離１である。さらに、「ページＤはページＥ、ページＦ、ページＡ」と直接リンクが張られており、それぞれ距離１である。
【００２７】
ここで、「ページＡとページＤ」は対訳ページであり、探索開始点をページＡとする。距離３の対訳ページ候補のペアは、探索開始点のページＡから距離１であり、かつ、対訳ページではない「ページＢ、ページＣ」と、対訳であるページＤから距離１であり、かつ、探索開始点ではない「ページＥ、ページＦ」との組み合わせである「ページＢとページＥ」「ページＢとページＦ」「ページＣとページＥ」「ページＣとページＦ」となる。
【００２８】
対訳ページ候補蓄積手段１３は、対訳ページ候補生成手段１２が生成した対訳ページ候補のペアを格納するものであり、ページ名称のペアからなる。対訳ページ候補蓄積手段１３は、対訳ページのペアから対訳ページ候補を探索する距離ｍに応じて複数の対訳ページ候補蓄積手段を有する。例えば、対訳ページのペアから距離２までを対訳ページの探索範囲とした場合は、対訳ページ候補蓄積手段１３は、ペア間の距離が距離１、距離３、距離５の対訳ページ候補蓄積手段を有する。
【００２９】
ここで、ペア間の距離ｚは、ｚ＝２×ｍ＋１（ｍ：対訳ページからの距離）で求めることができ、対訳ページ候補はペア間の距離に対応した対訳ページ候補蓄積手段１３に蓄積する。
【００３０】
ここでは、距離１対訳ページ候補蓄積手段１３１と距離３対訳ページ候補蓄積手段１３２を有するものとする。
【００３１】
距離１対訳ページ候補蓄積手段１３１は、対訳ページ候補生成手段１２が生成した探索開始点から距離１で到達することができるページを距離１の対訳ページ候補として蓄積するものである。
【００３２】
距離３対訳ページ候補蓄積手段１３２は、距離１の対訳ページのペアに基づいて対訳ページ候補生成手段１２が生成した距離３の対訳ページ候補を蓄積するものである。
【００３３】
対訳ページ決定手段１４は、対訳ページ候補蓄積手段１３に格納された対訳ページ候補のペアが対訳ページかどうかを決定するものである。対訳ページかどうかの判断は、従来技術を用いることができる。
【００３４】
例えば、文献１の従来技術を用いた場合は、２つのページの文対応付けを行い対訳ページらしさを数値化する。その後、あらかじめ設定した適当な閾値を用いて、その閾値よりも対訳ページらしさが高いページについては対訳ページと判断する。さらに、対訳ページ決定手段１４で行った２つのページ文対応付け結果を記憶手段（図示せず）に格納する。
【００３５】
対訳ページ蓄積手段１５は、対訳ページ決定手段１４が対訳ページと決定した対訳ページのペアを蓄積するものであり、ページ名称のペアからなる。対訳ページ候補蓄積手段１３と同様に、対訳ページのペアから対訳ページ候補を探索する距離ｍに応じて複数の対訳ページ蓄積手段を有し、対訳ページ候補蓄積手段１３が有する各候補蓄積手段と対応している。
【００３６】
ここでは、距離１対訳ページ蓄積手段１５１と距離３対訳ページ蓄積手段１５２を有する。距離１対訳ページ蓄積手段１５１と距離３対訳ページ蓄積手段１５２は、それぞれ距離１対訳ページ候補蓄積手段１３１と距離３対訳ページ候補蓄積手段１３２に対応している。
【００３７】
距離１対訳ページ蓄積手段１５１は、距離１対訳ページ候補蓄積手段１３１に蓄積された距離１の対訳ページ候補の中から、対訳ページ決定手段１４によって対訳ページと決定した対訳ページのペアを蓄積する。
【００３８】
距離３対訳ページ蓄積手段１５２は、距離３対訳ページ候補蓄積手段１３２に蓄積された距離３の対訳ページ候補の中から、対訳ページ決定手段１４によって対訳ページと決定した対訳ページのペアを蓄積する。
【００３９】
対訳ページ出力手段１６は、対訳ページ蓄積手段１５に蓄積された対訳ページのペアを出力するものである。ここでは、距離１対訳ページ蓄積手段１５１と距離３対訳ページ蓄積手段１５２に蓄積された対訳ページのペアを出力する。
【００４０】
（Ａ−１）第１の実施形態の動作
図３は、本発明の対訳情報収集装置の第１実施形態の動作を示すフローチャートである。
【００４１】
ここで、対訳ページのペアから対訳ページ候補を探索する最大距離をＭとする。また、探索する最大距離Ｍはあらかじめ設定するものとする。
【００４２】
まず、探索始点入力手段１１から探索開始点を入力する（ステップ１１）。
【００４３】
対訳ページ候補生成手段１２が、探索開始点から距離１のページを抽出し、探索開始点のページとペアにしたのち、距離１の対訳ページ候補として距離１対訳ページ候補蓄積手段１３１に格納する（ステップ１２）。
【００４４】
次に、対訳ページ決定手段１４が、ステップ１２で距離１対訳ページ候補蓄積手段１３１に蓄積された距離１の対訳ページ候補のペアが、本当に対訳ページであるかどうかを判断する（ステップ１３）。ステップ１３で対訳ページであると判断した距離１の対訳ページのペアを、距離１対訳ページ蓄積手段１５１に蓄積する（ステップ１４）。
【００４５】
次に、距離１対訳ページ蓄積手段１５１に距離１の対訳ページが存在するかどうかを判断し、距離１の対訳ページが存在する場合はステップ１６へ進み、距離１の対訳ページが存在しない場合はステップ２２へ進む（ステップ１５）。
【００４６】
距離１の対訳ページが存在すると判断されたステップ１６では、対訳ページからの距離を示す変数ｍを初期値１に設定する（ステップ１６）。
【００４７】
次に、対訳ページ候補生成手段１２は、距離１対訳ページ蓄積手段１５１に蓄積された距離１の対訳ページのペアに基づいて対訳ページの候補を生成する。まず、ペアの片方のページから距離ｍ離れたページで、かつ、途中または終点に距離１の対訳ページのもう片方のペアを含まないページを、それぞれのペアから抽出する。次に、距離１の対訳ページのそれぞれのペアから抽出したページを組み合わせて距離ｚ（ｚ＝２×ｍ＋１）の対訳ページ候補を生成し、距離ｚの対訳ページ候補蓄積手段に格納する（ステップ１７）。
【００４８】
次に、対訳ページ決定手段１４が、ステップ１７で距離ｚの対訳ページ候補蓄積手段に格納された距離ｚの対訳ページ候補のペアが、本当に対訳であるかどうかを判断する（ステップ１８）。ステップ１８で対訳ページであると判断した距離ｚの対訳ページのペアを、距離ｚの対訳ページ蓄積手段に格納する（ステップ１９）。
【００４９】
次に、対訳ページのペアからの距離を示す変数ｍが探索する最大距離Ｍより小さいかを調べる。ｍがＭより小さい場合は、ステップ２１に進み、ｍがＭ以上の場合はステップ２２に進む（ステップ２０）。
【００５０】
ステップ２１ではｍを１増分したのちステップ１７に進む（ステップ２１）。ステップ２２では、対訳ページ出力手段１６が対訳ページ蓄積手段１５に蓄積された対訳ぺージのペアを出力し、処理を終了する（ステップ２２）。
【００５１】
次に、図２に示すＷＷＷデータのリンク例を用いて、具体的に処理の流れを説明する。
【００５２】
ここでは、対訳ページのペアから対訳ページ候補を探索する最大距離Ｍを２とする。したがって、対訳ページ候補蓄積手段１３は、距離１と距離３と距離５の対訳ページ候補蓄積手段を有し、対訳ページ蓄積手段１５は、距離１と距離３と距離５の対訳ページ蓄積手段を有するものとする。
【００５３】
まず、探索開始点のURLを入力する。図２のページＡを探索開始点とし、ページＡのURL（http://www.sample.aa/index/html）を入力する（ステップ１１）。
【００５４】
次に、探索開始点のページＡから距離１のページである「ページＢ、ページＣ、ページＤ」を抽出し、それぞれ探索開始点のページＡとペアにして距離１対訳ページ候補蓄積手段１３１に格納する。図４に、距離１対訳ページ候補蓄積手段１３１に格納された距離１対訳ページ候補を示す（ステップ１２）。
【００５５】
次に、距離１対訳ページ候補蓄積手段１３１に格納された「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」が対訳ページであるかを判断する。ここでは、「ページＡとページＤ」のペアが対訳ページと判断され、距離１の対訳ページとして距離１対訳ページ蓄積手段１５１に格納する（ステップ１３、１４）。
【００５６】
ステップ１５は、距離１対訳ページ蓄積手段１５１に距離１の対訳ページが存在するかどうかを判断する。ここでは、「ページＡとページＤ」のペアが存在するため、ステップ１６に進み、変数ｍを初期値１に設定する（ステップ１５、１６）。
【００５７】
次に、距離１対訳ページ蓄積手段１５１に蓄積された距離１の対訳ページ「ページＡとページＤ」のペアに基づいて対訳ページの候補を生成する。まず、「ページＡ」から距離ｍ＝１離れたページで、かつ、途中または終点に距離１の対訳ページのペア「ページＤ」を含まないページ「ページＢ、ページＣ」と、「ページＤ」から距離ｍ＝１離れたページで、かつ、途中または終点に距離１の対訳ページのペア「ページＡ」を含まないページ「ページＥ、ページＦ」を抽出する。
【００５８】
抽出した各ページを組み合わせた「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」を距離３対訳ページ候補として、距離３対訳ページ候補蓄積手段１３２に格納する。図５に、距離３対訳ページ候補蓄積手段１３２に格納された距離３対訳ページ候補を示す（ステップ１７）。
【００５９】
次に、距離３対訳ページ候補蓄積手段１３２に格納された「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」が対訳ページであるかを判断する。ここでは、「ページＢとページＥ、ページＣとページＦ」のペアが対訳ページと判断され、距離３の対訳ページとして距離３対訳ページ蓄積手段１５１に格納する（ステップ１８、１９）。
【００６０】
次に、変数ｍ＝１と探索する最大距離Ｍ＝２を比較する。Ｍ＞ｍのため、ステップ２１に進みｍを１増分したのち、ステップ１７に処理を進める（ステップ２０、２１）。
【００６１】
ステップ１７は、距離１の対訳ページ「ページＡとページＤ」のそれぞれから距離ｍ＝２離れたページを抽出するが、図２のデータは距離ｍ＝２離れたページを有していない。したがって、ステップ１８、１９と処理をせずに進み、ステップ２０でｍ＝２と探索する最大距離Ｍ＝２を比較する。ここでは、Ｍ＞ｍであるためステップ２２に進む（ステップ２０）。
【００６２】
ステップ２２では、距離１対訳ページ蓄積手段１５１に格納された「ページＡとページＤ」と、距離３対訳ページ蓄積手段１５２に格納された「ページＢとページＥ、ページＣとページＦ」が出力される。図６に、出力される対訳ページを示す（ステップ２２）。
【００６３】
（Ｂ）第２の実施形態の構成
図７は、本発明の対訳情報収集装置の第２の実施形態を示すブロック構成図である。第２の実施形態において第１の実施形態を示すブロックには同一の番号を付与し、第２の実施形態において第１の実施形態と異なるブロックについてのみ詳細に説明する。
【００６４】
図７において、第１の実施形態と異なる構成は、対訳データ生成手段２１と、対訳データ蓄積手段２２と、対訳データ出力手段２３である。
【００６５】
対訳データ生成手段２１は、対訳ページ決定手段１４で対訳ページと判断された対訳ページのペアに対し、対訳ページを決定する際に作成した文対応結果を利用し、一文単位の対応付けを行ない対訳データを生成するものである。
【００６６】
対応付けを行った一文対が同一言語にもかかわらず異なる単語によって記述されている場合や、他の文対とは異なる言語で記述されている場合は、対訳データとして生成しない。対応付けを行った一文対が同一言語で記述されている例としては、図２のページＡとページＤにおける「English」と「Japanese」のような対訳ページ間のリンクを示す場合がある。一文対が他の文対とは異なる言語で記述されている例としては、図２のページＤの「Japanese」が「日本語」となっている場合がある。
【００６７】
対訳データ生成手段２１は上記の例の場合、「English」と「Japanese」という対訳データや、「English」と「日本語」という対訳データを生成しない。対訳データの生成方法は、例えば文献１に記載された方法を用いることができる。
【００６８】
対訳データ蓄積手段２２は、対訳データ生成手段２１が対訳ページと判断した対訳ページのペアについて生成した対訳データを格納するものである。対訳ページ候補蓄積手段１３と同様に、対訳ページのペアから対訳ページ候補を探索する距離ｍに応じて複数の対訳データ蓄積手段を有し、対訳ページ候補蓄積手段１３が有する各候補蓄積手段と対応している。
【００６９】
ここでは、距離１対訳データ蓄積手段２２１と距離３対訳データ蓄積手段２２２を有する。距離１対訳データ蓄積手段２２１と距離３対訳データ蓄積手段２２２は、それぞれ距離１対訳ページ候補蓄積手段１３１と距離３対訳ページ候補蓄積手段１３２に対応している。
【００７０】
距離１対訳データ蓄積手段２２１は、距離１対訳ページ蓄積手段１５１に蓄積されている対訳ページ決定手段１４によって対訳ページと決定した対訳ページのペアについて対訳データ生成手段２１が生成した対訳データを蓄積する。
【００７１】
距離３対訳データ蓄積手段２２２は、距離３対訳ページ候補蓄積手段１３２に蓄積された距離３の対訳ページ候補の中から、対訳ページ決定手段１４によって対訳ページと決定したページのペアについて対訳データ生成手段２１が生成した対訳データを蓄積する。
【００７２】
対訳データ出力手段２３は、対訳データ蓄積手段２２に蓄積された対訳データを出力するものである。ここでは、距離１対訳データ蓄積手段２２１と距離３対訳データ蓄積手段２２２に蓄積された対訳ページを出力する。
【００７３】
（Ｂ−１）第２の実施形態の動作
図８は、本発明の対訳情報収集装置の第２実施形態の動作を示すフローチャートである。第１の実施形態の動作を示す図３のフローチャートと同様のステップには同一の番号を付与し、第２の実施形態において、第１の実施形態と異なる対訳データ生成手段２１に係るステップ２３、２５と、対訳データ蓄積手段２２に係る２４、２６について詳細に説明する。
【００７４】
ステップ２３では、対訳データ生成手段２１が、距離１対訳ページ蓄積手段１５１に格納された対訳ページであると決定されたペアに対し、対訳ページを決定する際に作成した文対応結果を利用して対訳データを作成する（ステップ２３）。
【００７５】
ステップ２４では、ステップ２３で生成した距離１の対訳データを、距離１対訳データ蓄積手段２２１に格納する。図９に距離１対訳データ蓄積手段２２１に格納された対訳データを示す。図２のページＡとページＤに記載されている[English]と［Japanese］は同一言語で記述されているため対訳データとはしない（ステップ２４）。
【００７６】
ステップ２５では、ステップ１８で対訳ページであると判断した距離ｚの対訳ページのペアに対して対訳データを生成する（ステップ２５）。
【００７７】
ステップ２６では、ステップ２５で生成した距離ｚの対訳データを、距離ｚの対訳データ蓄積手段２２２に格納する（ステップ２６）。
【００７８】
次に、図２に示すＷＷＷデータのリンク例を用いて、具体的に処理の流れを説明する。
【００７９】
第１の実施形態に示す動作に基づくと、ステップ１４において、距離１の対訳ページとして距離１対訳ページ蓄積手段１５１に格納されるのは「ページＡとページＤ」である。
【００８０】
したがって、ステップ２３では、距離１対訳ページ蓄積手段１５１に格納された「ページＡとページＤ」に対して対訳データを生成し、ステップ２４では、ステップ２３で生成した対訳データを距離１対訳データ蓄積手段２２１に格納する（ステップ２３、２４）。
【００８１】
また、第１の実施形態に示す動作に基づくと、ステップ１８において対訳ページであると判断されるのは「ページＢとページＥ、ページＣとページＦ」である。
【００８２】
したがって、ステップ２５では、ステップ１８で対訳ページと判断した「ページＢとページＥ、ページＣとページＦ」に対して対訳データを生成し、ステップ２６では、ステップ２５で生成した対訳データを距離３対訳データ蓄積手段２２２に格納する（ステップ２５、２６）。
【００８３】
（Ｃ）第３の実施形態の構成
図１０は、本発明の対訳情報収集装置の第３の実施形態を示すブロック構成図である。第３の実施形態において第１の実施形態を示すブロックには同一の番号を付与し、第３の実施形態において第１の実施形態と異なるブロックについてのみ詳細に説明する。
【００８４】
第３の実施形態は第１の実施形態を適用して、複数の探索開始点から対訳ページを見つけるといった応用を行う際に適するものである。
また、全く同じ内容のページが別のＵＲＬを有することもあるので、そのような場合にも対応可能である。
【００８５】
図１０において、第１の実施形態と異なる構成は、対訳ページ決定手段３１と、非対訳ページ蓄積手段３２である。
【００８６】
対訳ページ決定手段３１は、対訳ページ候補蓄積手段１３に蓄積された対訳ページ候補のペアが、対訳ページであるかの判断をする最初の処理として、非対訳ページ蓄積手段３２に、対訳ページ候補のペアと同じ名称のページが格納されているかどうかを調べる。非対訳ページ蓄積手段３２に対訳ページ候補のペアと同じ名称のページが格納されている場合は、即座に非対訳ページである判断する。
【００８７】
また、非対訳ページ蓄積手段３２に対訳ページ候補のペアと同じ名称のページが格納されていない場合は、対訳ページ候補の内容が有するハッシュ値をそれぞれの対訳ページ候補に対して求める。ハッシュ値は一例として、インターネットで頻繁に使用されているＭＤ５などが使用できる。求めた対訳ページ候補のハッシュ値と非対訳ページ蓄積手段３２に格納された非対訳ページのハッシュ値とを比較して、同一ページのペアであるかを判断する。
【００８８】
ハッシュ値が同一である場合は、非対訳ページ蓄積手段３２に格納されたハッシュ値が等しい非対訳ページのペアと対訳ページ候補のペアとの内容が等しいかどうかを調べ、内容が等しい場合は同一ページのペアであるとして非対訳ページと判断する。内容が等しいかの判断方法は、例えば、２つのページの先頭からｎ文字づつ等しい文字であるかを調べる方法がある。ｎ＝１で３００文字のページの場合は、３００回の文字比較を行い内容が等しいペアであるかを判断する。
【００８９】
また、ハッシュ値や内容が異なる場合は、第１の実施形態と同様にして詳細に対訳ページであるかどうかを判断する。詳細な判断をした後、非対訳ページと判断した対訳ページ候補は、非対訳ページ蓄積手段３２に蓄積する。
【００９０】
非対訳ページ蓄積手段３２は、対訳ページ決定手段３１が対訳ページでないと判断した対訳ページ候補のペアを蓄積するものであり、ページ名称とハッシュ値からなる。
【００９１】
（Ｃ−１）第３の実施形態の動作
図１１は、本発明の対訳情報収集装置の第３実施形態の動作を示すフローチャートである。第１の実施形態の動作を示す図３のフローチャートと同様のステップには同一の番号を付与し、第３の実施形態において、第１の実施形態と異なる対訳ページ決定手段３１に係るステップ３１、３３と、非対訳ページ蓄積手段３２に係るステップ３２、３４について詳細に説明する。
【００９２】
図１２に、対訳ページ決定手段３１の処理（ステップ３１、３３）を示す。
まず、対訳ページ決定手段３１は、対訳ページ候補蓄積手段１３に蓄積された対訳ページ候補のペアと同じ名称のページが、非対訳ページ蓄積手段３２に格納されているかどうかを判断する。格納されている場合はステップ３３６に進み、格納されていない場合はステップ３３２に進む(ステップ３３１）。
【００９３】
ステップ３３２では、対訳ページ候補のペアの内容のハッシュ値を計算する（ステップ３３２）。
【００９４】
次に、ステップ３３２で計算したハッシュ値と等しいハッシュ値を有するページのペアが非対訳ページ蓄積手段３２に存在するかどうかを判断し、存在する場合はステップ３３４に進み、存在しない場合はステップ３３５に進む（ステップ３３３）。
【００９５】
ステップ３３４では、ステップ３３３でハッシュ値が等しいと判断されたページのペアと対訳ページ候補のペアとの内容が等しいかどうかを比較する（ステップ３３４）。内容が等しい場合はステップ３３６に進み、内容が異なる場合はステップ３３５に進む（ステップ３３４）。
【００９６】
ステップ３３５は、対訳ページ候補のペアに対して、第１の実施形態と同様に、詳細に対訳ページであるかを調べる（ステップ３３５）。ステップ３３６は、対訳ページ候補のペアは、対訳ページでないと判断する（ステップ３３６）。
【００９７】
ステップ３２、３４では、ステップ３１、３３において、対訳ページでないと判断した対訳ページ候補のペアのページ名称とハッシュ値のペアを非対訳ページ蓄積手段３２に蓄積する（ステップ３２、３４）。
【００９８】
次に、図２に示すＷＷＷデータのリンク例を用いて、具体的に処理の流れを説明する。図２に示すページＢ、ページＣ、ページＥ、ページＦはそれぞれ別の名称としてページＫ、ページＯ、ページＨ、ページＧを有しているとする。また、同一内容を示すページのハッシュ値は等しく、同一内容ではないページのハッシュ値は異なるものとする。
【００９９】
第１の実施形態の動作に基づくと、ステップ１２において距離１の対訳ページ候補となる対訳ページ候補のペアは、図４に示す「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」である。
【０１００】
図１２のステップ３３１では、まず、距離１対訳ページ候補蓄積手段１３１に蓄積された対訳ページ候補のペア「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」と同一名称のページが、非対訳ページ蓄積手段３２に格納されているかどうかを判断する。
【０１０１】
図１３に非対訳ページ蓄積手段３２を示す。同一名称の対訳ページ候補のペアが無いためステップ３３２に進み、ステップ３３２は対訳ページ候補のペア「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」のハッシュ値をそれぞれ求める（ステップ３３１、３３２）。
【０１０２】
次に、求めたハッシュ値と等しいハッシュ値を有する非対訳ページのペアが非対訳ページ蓄積手段３２に存在するかどうかを判断する。ここでは、一致するページが存在しないのでステップ３３５に進み、詳細に対訳ページであるかどうかを調べ、「ページＡとページＤ」が対訳ページであると判断する。（ステップ３３３、３３５）。
【０１０３】
ステップ３２では、ステップ３１で対訳ページでないと判断された、「ページＡとページＢ、ページＡとページＣ」を非対訳ページ蓄積手段３２に蓄積する（ステップ３２）。
【０１０４】
また、第１の実施形態の動作に基づくと、ステップ１７において距離３対訳ページ候補として、距離３対訳ページ候補蓄積手段１３２に格納されるのは「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」である。
【０１０５】
したがって、ステップ３３１では、距離３対訳ページ候補蓄積手段１３２に蓄積された「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」と同一名称のページが、非対訳ページ蓄積手段３２に格納されているかどうかを判断する。通常、すべての距離３対訳ページ候補に対して処理を行うが、ここでは、「ページＢとページＦ」の処理について説明する。
【０１０６】
まず、ステップ３３１では、非対訳ページ蓄積手段３２には同一名称の対訳ページ候補のペアが無いためステップ３３２に進み、ステップ３３２は対訳ページ候補のペア「ページＢとページＦ」のハッシュ値をそれぞれ求める。ここでページＢのハッシュ値は「３Ｅ４Ｆ５７」でページＦのハッシュ値は「２Ｅ１Ｆ５１」であるとする（ステップ３３１、３３２）。
【０１０７】
次に、求めたハッシュ値と等しいハッシュ値を有する非対訳ページのペアが非対訳ページ蓄積手段３２に存在するかどうかを判断する。ここでは、図１３に示す「ページＫとページＧ」のハッシュ値が「ページＢとページＦ」のハッシュ値とそれぞれ一致するため、ステップ３３４に進む（ステップ３３３）。
【０１０８】
ステップ３３４では、ハッシュ値が一致した「ページＫとページＧ」の内容が「ページＢとページＦ」の内容と一致しているかを調べる。この場合は、「ページＫとページＢ」の内容と「ページＧとページＦ」の内容がそれぞれ一致するかを判断する（ステップ３３４）。ここでは、ページ内容がそれぞれ一致するため、ステップ３３６に進み、「ページＢとページＦ」が対訳ページでないと判断する（ステップ３３６）。
【０１０９】
すべての距離３対訳ページ候補に対して対してステップ３３１から３３６の処理を行うと、非対訳ページと判断されるのは「ページＢとページＦ、ページＣとページＥ」となり、「ページＢとページＥ、ページＣとページＦ」は対訳ページであると判断される。
【０１１０】
ステップ３４では、ステップ３１で対訳ページで判断された、「ページＢとページＦ、ページＣとページＥ」を非対訳ページ蓄積手段３２に蓄積する（ステップ３４）。
【０１１１】
（Ｄ）他の実施の形態
（Ｄ−１）第３の実施形態において、非対訳ページ蓄積手段３２は非対訳ページのペアを蓄積する際はページ名称のみを蓄積する構成でもよい。図１４に、ページ名称のみからなる非対訳ページ蓄積手段３２を示す。この場合は、対訳ページ決定手段３１は対訳ページ候補のハッシュ値を求める必要はなく、以下の処理を行う。
まず、対訳ページ決定手段３１は、非対訳ページ蓄積手段３２に、対訳ページ候補のペアと同じ名称のページが格納されているかどうかを調べ、同じ名称のページが格納されている場合は、即座に非対訳ページと判断する。非対訳ページ蓄積手段３２に格納されいていない場合は第１の実施形態と同様にして詳細に対訳ページであるかどうかを判断する。詳細な判断をした後、非対訳ページと判断した対訳ページ候補は、非対訳ページ蓄積手段３２に蓄積する。
【０１１２】
（Ｄ−２）対訳ページ候補蓄積手段１３、対訳ページ蓄積手段１５、対訳データ蓄積手段２２、非対訳ページ蓄積手段３２にページのペアを格納する方法としては、それぞれのペアのページを一意に特定できるＵＲＬのような名前であってもよい。
【０１１３】
（Ｄ−３）対訳ページ決定手段１４、３１において対訳ページであるかの判断は、文献１の技術に限るものではない。例えば、２つのページのタグ数をカウントしてカウント数が一致した場合に対訳ページと判断する。また、タグの出現順位に基づいて対訳ページと判断する等、様々な方法を適用することができる。このように対訳ページ決定手段１４、３１において文対応を作成しない場合は、文対応結果を記憶する記憶手段は必要ない。
【０１１４】
（Ｄ−４）対訳データ生成手段２１は、必要な対訳データを生成する手段であって文単位の対訳データを生成することに限るものではない。例えば、表の中の単語のみを対訳データとして生成する場合がある。
【０１１５】
また、対訳ページ決定手段１４、３１においてタグが挿入された文が対応付けられた場合は、タグを除去した対訳データを出力するものとする。例として「This is <Italic>a book </Italis>」と「これは<Italic>本 </Italis>です」が対応付けられた場合はタグを除去した「This is a book 」と「これは本です」が対訳データとして出力される。
【０１１６】
また、対訳ページ決定手段１４、３１において、文対応結果を作成しない場合であって文単位の対訳データが必要な場合は、対訳データ生成手段２１において文単位の対応付けを行う構成にしても良い。
【０１１７】
（Ｄ−５）上記（Ｄ−３）と（Ｄ−４）に記載した通り、対訳ページ決定手段１４、３１と対訳データ生成手段２１は様々な方法を適用することができるため、両手段を適宜組み合わせて構成することが可能である。
【０１１８】
【発明の効果】
以上に説明したとおり、本発明の第１の実施形態では、対訳ページとなるページのペアは、それぞれに直接リンクが張られているか、あるいは、そのペアを結ぶリンクの経路の中心に、直接リンクが張られた別の対訳ページのペアが存在することが多いという性質を利用することで、対訳ページ間の距離が１より離れているページ同士が対訳ページのペアであるかどうかを調べる探索範囲を適切に絞り込むことができる。
【０１１９】
また、第２の実施形態では、対訳データを生成する際に、対訳ページ決定手段１４が対訳ページ候補のペアが対訳ページであるかどうかを判断するときに作成する対訳ページ候補の文対応結果を利用することで、対訳ページ出力手段１６が出力した対訳ページに基き一括して対訳データを生成する場合と比較して生成効率が向上する。
【０１２０】
また、第３の実施形態では、一度非対訳ページであると判断した非対訳ページのペアを非対訳ページ蓄積手段３２に蓄積することで、複数の探索始点から対訳ページを収集するような場合において、再度対訳ページ候補が対訳ページであるかどうかを詳細に判断する必要がなくなり処理速度を向上することができる。
【０１２１】
さらに、非対訳ページ蓄積手段３２が非対訳ページの名称とその非対訳ページの内容を示すハッシュ値を蓄積し、対訳ページのペアに対して計算したハッシュ値と非対訳ページ蓄積手段３２に蓄積されているハッシュ値を比較することで、同一内容のページを複数の名称で表現している場合においても再度対訳ページであるかどうかを詳細に判断する必要がなくなる。
【図面の簡単な説明】
【図１】本発明の対訳情報収集装置の第１の実施形態を示すブロック図である。
【図２】ＷＷＷデータのリンク例を示す図である。
【図３】本発明の対訳情報収集装置の第１の実施形態の動作を示すフローチャートである。
【図４】距離１対訳ページ候補蓄積手段の例を示す図である。
【図５】距離３対訳ページ候補蓄積手段の例を示す図である。
【図６】対訳ページの出力例を示す図である。
【図７】本発明の対訳情報収集装置の第２の実施形態を示すブロック図である。
【図８】本発明の対訳情報収集装置の第２の実施形態の動作を示すフローチャートである。
【図９】対訳データの出力例を示す図である。
【図１０】本発明の対訳情報収集装置の第３の実施形態を示すブロック図である。
【図１１】本発明の対訳情報収集装置の第３の実施形態の動作を示すフローチャートである。
【図１２】図１１のステップ３１およびステップ３３の動作を示すフローチャートである。
【図１３】非対訳ページ蓄積手段の例を示す図（１）である。
【図１４】非対訳ページ蓄積手段の例を示す図（２）である。
【符号の説明】
１１・・探索始点入力手段、１２・・対訳ページ候補生成手段、１３・・対訳ページ候補蓄積手段、１３１・・距離１対訳ページ候補蓄積手段、１３２・・距離３対訳ページ候補蓄積手段、１４、３１・・対訳ページ決定手段、１５・・対訳ページ蓄積手段、１５１・・距離１対訳ページ蓄積手段、１５２・・距離３対訳ページ蓄積手段、１６・・対約ページ出力手段、２１・・対訳データ生成手段、２２・・対訳データ蓄積手段、２２１・・距離１対訳データ蓄積手段、２２２・・距離３対訳データ蓄積手段、２３・・対訳データ出力手段、３２・・非対訳ページ蓄積手段。
【発明の属する技術分野】
本発明は、ネットワークを介してＷＷＷ（World Wide Web）上のデータ中から同一内容を複数の言語で記述したページを対訳情報として収集する対訳情報収集装置に関する。
【０００２】
【従来の技術】
ＷＷＷ上には、同一内容を複数の言語で提供しているページが存在しているが、このような同一内容のページを異なる言語で記述したページ（以下、対訳ページと呼ぶ。）を探し出す技術として以下の文献に記載されるものがある。
【０００３】
文献１「情報処理学会研究報告 自然言語処理128-18 1998.11.6 名称；World Wide Webからの対訳データの自動収集」
文献１には、ＷＷＷ上から対訳データを収集するために、ＷＷＷ上のテキスト情報の中から対訳候補ページを探し出し、さらに、対訳候補ページ同士を一文単位で対応付けることで対訳データを作成するシステムが記載されている。
【０００４】
このシステムでは、対訳ページはそれぞれ同じドメイン内に存在することを利用して、ＷＷＷ上のあるページに対して、そのページからリンクが存在するページを対訳候補ページとして収集し、その対訳候補ページが本当に対訳ページかどうかを詳細に調べる。
【０００５】
すなわち、内容Ａの日本語のページをＡｊ、英語のページをＡｅとすると、Ａｊ中にＡｅへのリンクの記述があり、かつ、Ａｅ中にＡｊへのリンクの記述がある場合についてのみ、ＡｊとＡｅが対訳ページである可能性があると判断して対訳候補ページとする。そして、対訳候補ページに対して本当に対訳ページであるかを一文単位の対応付けを行うことでより詳細に調べる。
【０００６】
【発明が解決しようとする課題】
しかしながら、文献１に記載された従来技術では対訳候補ページの収集を、あるページから直接リンクが張られ、かつ、リンク先が同一ドメインであるページに限定しているため、あるページから直接リンクが張られていない場合は対訳ページを探し出すことができないという問題点があった。
【０００７】
具体的には、リンクが張られている日本語のページＡｊと英語のページＡｅがあり、さらにＡｊからリンクが張られている日本語のページＢｊと、Ａｅからリンクが張られている英語のページＢｅがある場合において、ＢｊとＢｅの中にお互いに対するリンクが記載されていない場合は、たとえＢｊとＢｅが対訳ページであっても、ＢｊとＢｅを対訳ページであると判断することができない。
【０００８】
実際のインターネットにおいて複数の情報を記述する場合は、目次のページを記述して、その目次中の各項目に対応したページを複数のページ（HTML文書）によって表現することが多い。このように複数ページで示された情報を対訳で公開するきは、目次のページにだけ別言語へのリンクが張られることが一般的である。したがって、上記のように直接リンクが張られているページのみを対象としたシステムでは、直接リンクが張られていない各項目のページを対訳ページとして収集することができない。
【０００９】
従来技術に記載されているシステムの拡張として、「あるページにリンクが張られているページだけでなく、さらにそのページからリンクの張られているページまでを対訳ページの候補対象として、対訳ページかどうかを調べる」とすることが容易に考えられる。しかしながら、このような単純な拡張では、対訳ページの候補対象の数は、従来技術のシステムの２乗になってしまい探索範囲の増大を招く。さらに、もう一段拡張すると対訳ページの候補対象の数は３乗になってしまう。
【００１０】
このような点から、本発明はＷＷＷ上に今後さらに増大するであろう対訳ページをより効率的に収集することができる対訳情報収集装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
係る課題を解決するため、本発明の第１の発明は、同一内容の文書を異なる言語で記述した対訳ページを収集する検索開始点を入力する検索始点入力手段と、検索開始点のページとこの検索開始点から距離１離れたページのペアを対訳ページ候補のペアとして生成する中心対訳ページ候補生成手段と、中心対訳ページ候補生成手段が生成した対訳ページ候補のペアを格納する中心対訳ページ候補蓄積手段と、中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアに対して対訳ページ度を数値化し、この数値と予め設定した閾値を比較してこの対訳ページ候補のペアが対訳ページであるかどうかを判断する中心対訳ページ決定手段と、中心対訳ページ決定手段が対訳ページであると判断した対訳ページのペアを格納する中心対訳ページ蓄積手段と、中心対訳ページ蓄積手段に格納された対訳ページに対し、対訳ページのペアのうち一方の対訳ページからリンクをたどり距離１〜ｍ離れたページと他方の対訳ページからリンクをたどり距離１〜ｍ離れたページをすべて抽出し、この抽出の際に起点とした対訳ページからの距離が同一であるページで、かつ、該一方の対訳ページを利用して抽出されたページと該他方の対訳ページを利用して抽出されたページ同士をすべて組合せて対訳ページ候補のペアを生成する対訳ページ候補生成手段と、対訳ページ候補生成手段が生成した対訳ページ候補のペアを格納する対訳ページ候補蓄積手段と、対訳ページ候補蓄積手段に格納された対訳ページ候補のペアに対して対訳ページ度を数値化し、この数値と予め設定した閾値を比較してこの対訳ページ候補のペアが対訳ページであるかどうかを判断する対訳ページ決定手段と、対訳ページ決定手段が対訳ページであると判断した対訳ページのペアを格納する対訳ページ蓄積手段と、中心対訳ページ蓄積手段と対訳ページ蓄積手段に格納された対訳ページのペアを出力する対訳ページ出力手段とを有することを特徴とする。
【００１４】
第２の発明は、対訳データに関するものであり、中心対訳ページ蓄積手段と対訳ページ蓄積手段に格納された対訳ページのペアに基づいて対訳データを生成する対訳データ生成手段と、対訳データ生成手段が生成した対訳データを格納する対訳データ格納手段と、対訳データ格納手段に格納された対訳データを出力する対訳データ出力手段を有することを特徴とする。
【００１５】
第３の発明は、非対訳ページに関するものであり、対訳ページではないと判断した対訳ページ候補のペアを非対訳ページのペアとして蓄積する非対訳ページ蓄積手段をさらに有し、中心対訳ページ決定手段は、中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアが非対訳ページ蓄積手段に蓄積された非対訳ページのペアと一致する場合は、この対訳ページ候補のペアを非対訳ページであると判断し、対訳ページ決定手段は、対訳ページ候補蓄積手段に格納された対訳ページ候補のペアが非対訳ページ蓄積手段に蓄積された非対訳ページのペアと一致する場合は、この対訳ページ候補のペアを非対訳ページであると判断することを特徴とする。
【００１６】
第４の発明は、非対訳ページに関するものであり、対訳ページではないと判断した対訳ページ候補のペアを非対訳ページのペアとして、この非対訳ページのペアのページ名称とページ内容を示す値を蓄積する非対訳ページ蓄積手段をさらに有し、中心対訳ページ決定手段は、中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアのページ名称が非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ名称と一致するかを判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、一致しない場合は対訳ページ候補のペアのページ内容を示す値を求め、非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ内容を示す値と一致するかを再度判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、対訳ページ決定手段は、対訳ページ候補蓄積手段に格納された対訳ページ候補のペアのページ名称が非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ名称と一致するかを判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、一致しない場合は対訳ページ候補のペアのページ内容を示す値を求め、非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ内容を示す値と一致するかを再度判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定することを特徴とする。
【００１７】
【発明の実施の形態】
（本発明の特徴）
対訳ページとなるページのペアは、それぞれに直接リンクが張られているか、あるいは、そのペアを結ぶリンクの経路の中心に、直接リンクが張られた別の対訳ページのペアが存在することが多いという性質がある。
本発明はこの性質を利用することで、対訳ページ候補の探索範囲を狭めようとするものである。
【００１８】
ここで、リンクの経路の中心を例を用いて説明する。
例えば、ページＡとページＤが直接リンクされていないが、ページＡはページＢ、ページＢはページＣ、ページＣはページＤとリンクが張られている場合において、ページＡとページＤのリンクの経路の中心とはページＢとページＣの間のリンクを指す。
【００１９】
以下、本発明の実施形態に係る対訳情報収集装置について、図面を用いて詳細に説明する。
【００２０】
（Ａ）第１の実施形態の構成
図１は、本発明の対訳情報収集装置の第１の実施形態を示すブロック構成図であり、ワークステーションやパソコン等の情報処理装置上で実現されるものである。
【００２１】
図１において、第１の実施形態の対訳情報収集装置は、探索始点入力手段１１と、対訳ページ候補生成手段１２と、対訳ページ候補蓄積手段１３と、対訳ページ決定手段１４と、対訳ページ蓄積手段１５と、対訳ページ出力手段１６を有する。
【００２２】
探索始点入力手段１１は、対訳ページの探索を開始する始点（ページ）を入力するものであり、例えばキーボード等から構成される。探索開始点は、ＵＲＬ（Uniform Resource Locator）等で示すことができる。
【００２３】
対訳ページ候補生成手段１２は、探索始点入力手段１１から入力された探索開始点から距離ｎでたどることができる対訳ページ候補のペアを生成するものである。
【００２４】
ここで、ページ間の距離について説明する。例えば、ある２つのページの距離が１であるとは、少なくとも一方のページからもう一方のページに直接リンクが張られていることを意味する。「ページＡ、ページＢ、ページＣ」の３つのページがあり、「ページＡとページＢ」が距離１、「ページＢとページＣ」が距離１で直接リンクが張られていて、「ページＡとページＣ」が直接リンクが張られていない場合は、「ページＡとページＣ」との距離は２である。２つのページが２つ以上の経路でリンクが張られている場合は、最小の距離をその２つのページの距離とする。
【００２５】
具体的に、対訳ページ候補生成手段１２が生成する距離１の対訳ページ候補のペアは、探索開始点から距離１のページと探索開始点とのペアである。距離３の対訳ページ候補のペアは、探索開始点から距離１のページで、かつ、対訳ページではないページと、探索開始点の対訳ページから距離１のページで、かつ、探索開始点でないページとの組み合わせである。
【００２６】
距離３の対訳ページ候補のペアとなるページを図２を用いて説明する。図２はＷＷＷデータのリンク例であり、「ページＡはページＢ、ページＣ、ページＤ」と直接リンクが張られており、それぞれ距離１である。さらに、「ページＤはページＥ、ページＦ、ページＡ」と直接リンクが張られており、それぞれ距離１である。
【００２７】
ここで、「ページＡとページＤ」は対訳ページであり、探索開始点をページＡとする。距離３の対訳ページ候補のペアは、探索開始点のページＡから距離１であり、かつ、対訳ページではない「ページＢ、ページＣ」と、対訳であるページＤから距離１であり、かつ、探索開始点ではない「ページＥ、ページＦ」との組み合わせである「ページＢとページＥ」「ページＢとページＦ」「ページＣとページＥ」「ページＣとページＦ」となる。
【００２８】
対訳ページ候補蓄積手段１３は、対訳ページ候補生成手段１２が生成した対訳ページ候補のペアを格納するものであり、ページ名称のペアからなる。対訳ページ候補蓄積手段１３は、対訳ページのペアから対訳ページ候補を探索する距離ｍに応じて複数の対訳ページ候補蓄積手段を有する。例えば、対訳ページのペアから距離２までを対訳ページの探索範囲とした場合は、対訳ページ候補蓄積手段１３は、ペア間の距離が距離１、距離３、距離５の対訳ページ候補蓄積手段を有する。
【００２９】
ここで、ペア間の距離ｚは、ｚ＝２×ｍ＋１（ｍ：対訳ページからの距離）で求めることができ、対訳ページ候補はペア間の距離に対応した対訳ページ候補蓄積手段１３に蓄積する。
【００３０】
ここでは、距離１対訳ページ候補蓄積手段１３１と距離３対訳ページ候補蓄積手段１３２を有するものとする。
【００３１】
距離１対訳ページ候補蓄積手段１３１は、対訳ページ候補生成手段１２が生成した探索開始点から距離１で到達することができるページを距離１の対訳ページ候補として蓄積するものである。
【００３２】
距離３対訳ページ候補蓄積手段１３２は、距離１の対訳ページのペアに基づいて対訳ページ候補生成手段１２が生成した距離３の対訳ページ候補を蓄積するものである。
【００３３】
対訳ページ決定手段１４は、対訳ページ候補蓄積手段１３に格納された対訳ページ候補のペアが対訳ページかどうかを決定するものである。対訳ページかどうかの判断は、従来技術を用いることができる。
【００３４】
例えば、文献１の従来技術を用いた場合は、２つのページの文対応付けを行い対訳ページらしさを数値化する。その後、あらかじめ設定した適当な閾値を用いて、その閾値よりも対訳ページらしさが高いページについては対訳ページと判断する。さらに、対訳ページ決定手段１４で行った２つのページ文対応付け結果を記憶手段（図示せず）に格納する。
【００３５】
対訳ページ蓄積手段１５は、対訳ページ決定手段１４が対訳ページと決定した対訳ページのペアを蓄積するものであり、ページ名称のペアからなる。対訳ページ候補蓄積手段１３と同様に、対訳ページのペアから対訳ページ候補を探索する距離ｍに応じて複数の対訳ページ蓄積手段を有し、対訳ページ候補蓄積手段１３が有する各候補蓄積手段と対応している。
【００３６】
ここでは、距離１対訳ページ蓄積手段１５１と距離３対訳ページ蓄積手段１５２を有する。距離１対訳ページ蓄積手段１５１と距離３対訳ページ蓄積手段１５２は、それぞれ距離１対訳ページ候補蓄積手段１３１と距離３対訳ページ候補蓄積手段１３２に対応している。
【００３７】
距離１対訳ページ蓄積手段１５１は、距離１対訳ページ候補蓄積手段１３１に蓄積された距離１の対訳ページ候補の中から、対訳ページ決定手段１４によって対訳ページと決定した対訳ページのペアを蓄積する。
【００３８】
距離３対訳ページ蓄積手段１５２は、距離３対訳ページ候補蓄積手段１３２に蓄積された距離３の対訳ページ候補の中から、対訳ページ決定手段１４によって対訳ページと決定した対訳ページのペアを蓄積する。
【００３９】
対訳ページ出力手段１６は、対訳ページ蓄積手段１５に蓄積された対訳ページのペアを出力するものである。ここでは、距離１対訳ページ蓄積手段１５１と距離３対訳ページ蓄積手段１５２に蓄積された対訳ページのペアを出力する。
【００４０】
（Ａ−１）第１の実施形態の動作
図３は、本発明の対訳情報収集装置の第１実施形態の動作を示すフローチャートである。
【００４１】
ここで、対訳ページのペアから対訳ページ候補を探索する最大距離をＭとする。また、探索する最大距離Ｍはあらかじめ設定するものとする。
【００４２】
まず、探索始点入力手段１１から探索開始点を入力する（ステップ１１）。
【００４３】
対訳ページ候補生成手段１２が、探索開始点から距離１のページを抽出し、探索開始点のページとペアにしたのち、距離１の対訳ページ候補として距離１対訳ページ候補蓄積手段１３１に格納する（ステップ１２）。
【００４４】
次に、対訳ページ決定手段１４が、ステップ１２で距離１対訳ページ候補蓄積手段１３１に蓄積された距離１の対訳ページ候補のペアが、本当に対訳ページであるかどうかを判断する（ステップ１３）。ステップ１３で対訳ページであると判断した距離１の対訳ページのペアを、距離１対訳ページ蓄積手段１５１に蓄積する（ステップ１４）。
【００４５】
次に、距離１対訳ページ蓄積手段１５１に距離１の対訳ページが存在するかどうかを判断し、距離１の対訳ページが存在する場合はステップ１６へ進み、距離１の対訳ページが存在しない場合はステップ２２へ進む（ステップ１５）。
【００４６】
距離１の対訳ページが存在すると判断されたステップ１６では、対訳ページからの距離を示す変数ｍを初期値１に設定する（ステップ１６）。
【００４７】
次に、対訳ページ候補生成手段１２は、距離１対訳ページ蓄積手段１５１に蓄積された距離１の対訳ページのペアに基づいて対訳ページの候補を生成する。まず、ペアの片方のページから距離ｍ離れたページで、かつ、途中または終点に距離１の対訳ページのもう片方のペアを含まないページを、それぞれのペアから抽出する。次に、距離１の対訳ページのそれぞれのペアから抽出したページを組み合わせて距離ｚ（ｚ＝２×ｍ＋１）の対訳ページ候補を生成し、距離ｚの対訳ページ候補蓄積手段に格納する（ステップ１７）。
【００４８】
次に、対訳ページ決定手段１４が、ステップ１７で距離ｚの対訳ページ候補蓄積手段に格納された距離ｚの対訳ページ候補のペアが、本当に対訳であるかどうかを判断する（ステップ１８）。ステップ１８で対訳ページであると判断した距離ｚの対訳ページのペアを、距離ｚの対訳ページ蓄積手段に格納する（ステップ１９）。
【００４９】
次に、対訳ページのペアからの距離を示す変数ｍが探索する最大距離Ｍより小さいかを調べる。ｍがＭより小さい場合は、ステップ２１に進み、ｍがＭ以上の場合はステップ２２に進む（ステップ２０）。
【００５０】
ステップ２１ではｍを１増分したのちステップ１７に進む（ステップ２１）。ステップ２２では、対訳ページ出力手段１６が対訳ページ蓄積手段１５に蓄積された対訳ぺージのペアを出力し、処理を終了する（ステップ２２）。
【００５１】
次に、図２に示すＷＷＷデータのリンク例を用いて、具体的に処理の流れを説明する。
【００５２】
ここでは、対訳ページのペアから対訳ページ候補を探索する最大距離Ｍを２とする。したがって、対訳ページ候補蓄積手段１３は、距離１と距離３と距離５の対訳ページ候補蓄積手段を有し、対訳ページ蓄積手段１５は、距離１と距離３と距離５の対訳ページ蓄積手段を有するものとする。
【００５３】
まず、探索開始点のURLを入力する。図２のページＡを探索開始点とし、ページＡのURL（http://www.sample.aa/index/html）を入力する（ステップ１１）。
【００５４】
次に、探索開始点のページＡから距離１のページである「ページＢ、ページＣ、ページＤ」を抽出し、それぞれ探索開始点のページＡとペアにして距離１対訳ページ候補蓄積手段１３１に格納する。図４に、距離１対訳ページ候補蓄積手段１３１に格納された距離１対訳ページ候補を示す（ステップ１２）。
【００５５】
次に、距離１対訳ページ候補蓄積手段１３１に格納された「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」が対訳ページであるかを判断する。ここでは、「ページＡとページＤ」のペアが対訳ページと判断され、距離１の対訳ページとして距離１対訳ページ蓄積手段１５１に格納する（ステップ１３、１４）。
【００５６】
ステップ１５は、距離１対訳ページ蓄積手段１５１に距離１の対訳ページが存在するかどうかを判断する。ここでは、「ページＡとページＤ」のペアが存在するため、ステップ１６に進み、変数ｍを初期値１に設定する（ステップ１５、１６）。
【００５７】
次に、距離１対訳ページ蓄積手段１５１に蓄積された距離１の対訳ページ「ページＡとページＤ」のペアに基づいて対訳ページの候補を生成する。まず、「ページＡ」から距離ｍ＝１離れたページで、かつ、途中または終点に距離１の対訳ページのペア「ページＤ」を含まないページ「ページＢ、ページＣ」と、「ページＤ」から距離ｍ＝１離れたページで、かつ、途中または終点に距離１の対訳ページのペア「ページＡ」を含まないページ「ページＥ、ページＦ」を抽出する。
【００５８】
抽出した各ページを組み合わせた「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」を距離３対訳ページ候補として、距離３対訳ページ候補蓄積手段１３２に格納する。図５に、距離３対訳ページ候補蓄積手段１３２に格納された距離３対訳ページ候補を示す（ステップ１７）。
【００５９】
次に、距離３対訳ページ候補蓄積手段１３２に格納された「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」が対訳ページであるかを判断する。ここでは、「ページＢとページＥ、ページＣとページＦ」のペアが対訳ページと判断され、距離３の対訳ページとして距離３対訳ページ蓄積手段１５１に格納する（ステップ１８、１９）。
【００６０】
次に、変数ｍ＝１と探索する最大距離Ｍ＝２を比較する。Ｍ＞ｍのため、ステップ２１に進みｍを１増分したのち、ステップ１７に処理を進める（ステップ２０、２１）。
【００６１】
ステップ１７は、距離１の対訳ページ「ページＡとページＤ」のそれぞれから距離ｍ＝２離れたページを抽出するが、図２のデータは距離ｍ＝２離れたページを有していない。したがって、ステップ１８、１９と処理をせずに進み、ステップ２０でｍ＝２と探索する最大距離Ｍ＝２を比較する。ここでは、Ｍ＞ｍであるためステップ２２に進む（ステップ２０）。
【００６２】
ステップ２２では、距離１対訳ページ蓄積手段１５１に格納された「ページＡとページＤ」と、距離３対訳ページ蓄積手段１５２に格納された「ページＢとページＥ、ページＣとページＦ」が出力される。図６に、出力される対訳ページを示す（ステップ２２）。
【００６３】
（Ｂ）第２の実施形態の構成
図７は、本発明の対訳情報収集装置の第２の実施形態を示すブロック構成図である。第２の実施形態において第１の実施形態を示すブロックには同一の番号を付与し、第２の実施形態において第１の実施形態と異なるブロックについてのみ詳細に説明する。
【００６４】
図７において、第１の実施形態と異なる構成は、対訳データ生成手段２１と、対訳データ蓄積手段２２と、対訳データ出力手段２３である。
【００６５】
対訳データ生成手段２１は、対訳ページ決定手段１４で対訳ページと判断された対訳ページのペアに対し、対訳ページを決定する際に作成した文対応結果を利用し、一文単位の対応付けを行ない対訳データを生成するものである。
【００６６】
対応付けを行った一文対が同一言語にもかかわらず異なる単語によって記述されている場合や、他の文対とは異なる言語で記述されている場合は、対訳データとして生成しない。対応付けを行った一文対が同一言語で記述されている例としては、図２のページＡとページＤにおける「English」と「Japanese」のような対訳ページ間のリンクを示す場合がある。一文対が他の文対とは異なる言語で記述されている例としては、図２のページＤの「Japanese」が「日本語」となっている場合がある。
【００６７】
対訳データ生成手段２１は上記の例の場合、「English」と「Japanese」という対訳データや、「English」と「日本語」という対訳データを生成しない。対訳データの生成方法は、例えば文献１に記載された方法を用いることができる。
【００６８】
対訳データ蓄積手段２２は、対訳データ生成手段２１が対訳ページと判断した対訳ページのペアについて生成した対訳データを格納するものである。対訳ページ候補蓄積手段１３と同様に、対訳ページのペアから対訳ページ候補を探索する距離ｍに応じて複数の対訳データ蓄積手段を有し、対訳ページ候補蓄積手段１３が有する各候補蓄積手段と対応している。
【００６９】
ここでは、距離１対訳データ蓄積手段２２１と距離３対訳データ蓄積手段２２２を有する。距離１対訳データ蓄積手段２２１と距離３対訳データ蓄積手段２２２は、それぞれ距離１対訳ページ候補蓄積手段１３１と距離３対訳ページ候補蓄積手段１３２に対応している。
【００７０】
距離１対訳データ蓄積手段２２１は、距離１対訳ページ蓄積手段１５１に蓄積されている対訳ページ決定手段１４によって対訳ページと決定した対訳ページのペアについて対訳データ生成手段２１が生成した対訳データを蓄積する。
【００７１】
距離３対訳データ蓄積手段２２２は、距離３対訳ページ候補蓄積手段１３２に蓄積された距離３の対訳ページ候補の中から、対訳ページ決定手段１４によって対訳ページと決定したページのペアについて対訳データ生成手段２１が生成した対訳データを蓄積する。
【００７２】
対訳データ出力手段２３は、対訳データ蓄積手段２２に蓄積された対訳データを出力するものである。ここでは、距離１対訳データ蓄積手段２２１と距離３対訳データ蓄積手段２２２に蓄積された対訳ページを出力する。
【００７３】
（Ｂ−１）第２の実施形態の動作
図８は、本発明の対訳情報収集装置の第２実施形態の動作を示すフローチャートである。第１の実施形態の動作を示す図３のフローチャートと同様のステップには同一の番号を付与し、第２の実施形態において、第１の実施形態と異なる対訳データ生成手段２１に係るステップ２３、２５と、対訳データ蓄積手段２２に係る２４、２６について詳細に説明する。
【００７４】
ステップ２３では、対訳データ生成手段２１が、距離１対訳ページ蓄積手段１５１に格納された対訳ページであると決定されたペアに対し、対訳ページを決定する際に作成した文対応結果を利用して対訳データを作成する（ステップ２３）。
【００７５】
ステップ２４では、ステップ２３で生成した距離１の対訳データを、距離１対訳データ蓄積手段２２１に格納する。図９に距離１対訳データ蓄積手段２２１に格納された対訳データを示す。図２のページＡとページＤに記載されている[English]と［Japanese］は同一言語で記述されているため対訳データとはしない（ステップ２４）。
【００７６】
ステップ２５では、ステップ１８で対訳ページであると判断した距離ｚの対訳ページのペアに対して対訳データを生成する（ステップ２５）。
【００７７】
ステップ２６では、ステップ２５で生成した距離ｚの対訳データを、距離ｚの対訳データ蓄積手段２２２に格納する（ステップ２６）。
【００７８】
次に、図２に示すＷＷＷデータのリンク例を用いて、具体的に処理の流れを説明する。
【００７９】
第１の実施形態に示す動作に基づくと、ステップ１４において、距離１の対訳ページとして距離１対訳ページ蓄積手段１５１に格納されるのは「ページＡとページＤ」である。
【００８０】
したがって、ステップ２３では、距離１対訳ページ蓄積手段１５１に格納された「ページＡとページＤ」に対して対訳データを生成し、ステップ２４では、ステップ２３で生成した対訳データを距離１対訳データ蓄積手段２２１に格納する（ステップ２３、２４）。
【００８１】
また、第１の実施形態に示す動作に基づくと、ステップ１８において対訳ページであると判断されるのは「ページＢとページＥ、ページＣとページＦ」である。
【００８２】
したがって、ステップ２５では、ステップ１８で対訳ページと判断した「ページＢとページＥ、ページＣとページＦ」に対して対訳データを生成し、ステップ２６では、ステップ２５で生成した対訳データを距離３対訳データ蓄積手段２２２に格納する（ステップ２５、２６）。
【００８３】
（Ｃ）第３の実施形態の構成
図１０は、本発明の対訳情報収集装置の第３の実施形態を示すブロック構成図である。第３の実施形態において第１の実施形態を示すブロックには同一の番号を付与し、第３の実施形態において第１の実施形態と異なるブロックについてのみ詳細に説明する。
【００８４】
第３の実施形態は第１の実施形態を適用して、複数の探索開始点から対訳ページを見つけるといった応用を行う際に適するものである。
また、全く同じ内容のページが別のＵＲＬを有することもあるので、そのような場合にも対応可能である。
【００８５】
図１０において、第１の実施形態と異なる構成は、対訳ページ決定手段３１と、非対訳ページ蓄積手段３２である。
【００８６】
対訳ページ決定手段３１は、対訳ページ候補蓄積手段１３に蓄積された対訳ページ候補のペアが、対訳ページであるかの判断をする最初の処理として、非対訳ページ蓄積手段３２に、対訳ページ候補のペアと同じ名称のページが格納されているかどうかを調べる。非対訳ページ蓄積手段３２に対訳ページ候補のペアと同じ名称のページが格納されている場合は、即座に非対訳ページである判断する。
【００８７】
また、非対訳ページ蓄積手段３２に対訳ページ候補のペアと同じ名称のページが格納されていない場合は、対訳ページ候補の内容が有するハッシュ値をそれぞれの対訳ページ候補に対して求める。ハッシュ値は一例として、インターネットで頻繁に使用されているＭＤ５などが使用できる。求めた対訳ページ候補のハッシュ値と非対訳ページ蓄積手段３２に格納された非対訳ページのハッシュ値とを比較して、同一ページのペアであるかを判断する。
【００８８】
ハッシュ値が同一である場合は、非対訳ページ蓄積手段３２に格納されたハッシュ値が等しい非対訳ページのペアと対訳ページ候補のペアとの内容が等しいかどうかを調べ、内容が等しい場合は同一ページのペアであるとして非対訳ページと判断する。内容が等しいかの判断方法は、例えば、２つのページの先頭からｎ文字づつ等しい文字であるかを調べる方法がある。ｎ＝１で３００文字のページの場合は、３００回の文字比較を行い内容が等しいペアであるかを判断する。
【００８９】
また、ハッシュ値や内容が異なる場合は、第１の実施形態と同様にして詳細に対訳ページであるかどうかを判断する。詳細な判断をした後、非対訳ページと判断した対訳ページ候補は、非対訳ページ蓄積手段３２に蓄積する。
【００９０】
非対訳ページ蓄積手段３２は、対訳ページ決定手段３１が対訳ページでないと判断した対訳ページ候補のペアを蓄積するものであり、ページ名称とハッシュ値からなる。
【００９１】
（Ｃ−１）第３の実施形態の動作
図１１は、本発明の対訳情報収集装置の第３実施形態の動作を示すフローチャートである。第１の実施形態の動作を示す図３のフローチャートと同様のステップには同一の番号を付与し、第３の実施形態において、第１の実施形態と異なる対訳ページ決定手段３１に係るステップ３１、３３と、非対訳ページ蓄積手段３２に係るステップ３２、３４について詳細に説明する。
【００９２】
図１２に、対訳ページ決定手段３１の処理（ステップ３１、３３）を示す。
まず、対訳ページ決定手段３１は、対訳ページ候補蓄積手段１３に蓄積された対訳ページ候補のペアと同じ名称のページが、非対訳ページ蓄積手段３２に格納されているかどうかを判断する。格納されている場合はステップ３３６に進み、格納されていない場合はステップ３３２に進む(ステップ３３１）。
【００９３】
ステップ３３２では、対訳ページ候補のペアの内容のハッシュ値を計算する（ステップ３３２）。
【００９４】
次に、ステップ３３２で計算したハッシュ値と等しいハッシュ値を有するページのペアが非対訳ページ蓄積手段３２に存在するかどうかを判断し、存在する場合はステップ３３４に進み、存在しない場合はステップ３３５に進む（ステップ３３３）。
【００９５】
ステップ３３４では、ステップ３３３でハッシュ値が等しいと判断されたページのペアと対訳ページ候補のペアとの内容が等しいかどうかを比較する（ステップ３３４）。内容が等しい場合はステップ３３６に進み、内容が異なる場合はステップ３３５に進む（ステップ３３４）。
【００９６】
ステップ３３５は、対訳ページ候補のペアに対して、第１の実施形態と同様に、詳細に対訳ページであるかを調べる（ステップ３３５）。ステップ３３６は、対訳ページ候補のペアは、対訳ページでないと判断する（ステップ３３６）。
【００９７】
ステップ３２、３４では、ステップ３１、３３において、対訳ページでないと判断した対訳ページ候補のペアのページ名称とハッシュ値のペアを非対訳ページ蓄積手段３２に蓄積する（ステップ３２、３４）。
【００９８】
次に、図２に示すＷＷＷデータのリンク例を用いて、具体的に処理の流れを説明する。図２に示すページＢ、ページＣ、ページＥ、ページＦはそれぞれ別の名称としてページＫ、ページＯ、ページＨ、ページＧを有しているとする。また、同一内容を示すページのハッシュ値は等しく、同一内容ではないページのハッシュ値は異なるものとする。
【００９９】
第１の実施形態の動作に基づくと、ステップ１２において距離１の対訳ページ候補となる対訳ページ候補のペアは、図４に示す「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」である。
【０１００】
図１２のステップ３３１では、まず、距離１対訳ページ候補蓄積手段１３１に蓄積された対訳ページ候補のペア「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」と同一名称のページが、非対訳ページ蓄積手段３２に格納されているかどうかを判断する。
【０１０１】
図１３に非対訳ページ蓄積手段３２を示す。同一名称の対訳ページ候補のペアが無いためステップ３３２に進み、ステップ３３２は対訳ページ候補のペア「ページＡとページＢ、ページＡとページＣ、ページＡとページＤ」のハッシュ値をそれぞれ求める（ステップ３３１、３３２）。
【０１０２】
次に、求めたハッシュ値と等しいハッシュ値を有する非対訳ページのペアが非対訳ページ蓄積手段３２に存在するかどうかを判断する。ここでは、一致するページが存在しないのでステップ３３５に進み、詳細に対訳ページであるかどうかを調べ、「ページＡとページＤ」が対訳ページであると判断する。（ステップ３３３、３３５）。
【０１０３】
ステップ３２では、ステップ３１で対訳ページでないと判断された、「ページＡとページＢ、ページＡとページＣ」を非対訳ページ蓄積手段３２に蓄積する（ステップ３２）。
【０１０４】
また、第１の実施形態の動作に基づくと、ステップ１７において距離３対訳ページ候補として、距離３対訳ページ候補蓄積手段１３２に格納されるのは「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」である。
【０１０５】
したがって、ステップ３３１では、距離３対訳ページ候補蓄積手段１３２に蓄積された「ページＢとページＥ、ページＢとページＦ、ページＣとページＥ、ページＣとページＦ」と同一名称のページが、非対訳ページ蓄積手段３２に格納されているかどうかを判断する。通常、すべての距離３対訳ページ候補に対して処理を行うが、ここでは、「ページＢとページＦ」の処理について説明する。
【０１０６】
まず、ステップ３３１では、非対訳ページ蓄積手段３２には同一名称の対訳ページ候補のペアが無いためステップ３３２に進み、ステップ３３２は対訳ページ候補のペア「ページＢとページＦ」のハッシュ値をそれぞれ求める。ここでページＢのハッシュ値は「３Ｅ４Ｆ５７」でページＦのハッシュ値は「２Ｅ１Ｆ５１」であるとする（ステップ３３１、３３２）。
【０１０７】
次に、求めたハッシュ値と等しいハッシュ値を有する非対訳ページのペアが非対訳ページ蓄積手段３２に存在するかどうかを判断する。ここでは、図１３に示す「ページＫとページＧ」のハッシュ値が「ページＢとページＦ」のハッシュ値とそれぞれ一致するため、ステップ３３４に進む（ステップ３３３）。
【０１０８】
ステップ３３４では、ハッシュ値が一致した「ページＫとページＧ」の内容が「ページＢとページＦ」の内容と一致しているかを調べる。この場合は、「ページＫとページＢ」の内容と「ページＧとページＦ」の内容がそれぞれ一致するかを判断する（ステップ３３４）。ここでは、ページ内容がそれぞれ一致するため、ステップ３３６に進み、「ページＢとページＦ」が対訳ページでないと判断する（ステップ３３６）。
【０１０９】
すべての距離３対訳ページ候補に対して対してステップ３３１から３３６の処理を行うと、非対訳ページと判断されるのは「ページＢとページＦ、ページＣとページＥ」となり、「ページＢとページＥ、ページＣとページＦ」は対訳ページであると判断される。
【０１１０】
ステップ３４では、ステップ３１で対訳ページで判断された、「ページＢとページＦ、ページＣとページＥ」を非対訳ページ蓄積手段３２に蓄積する（ステップ３４）。
【０１１１】
（Ｄ）他の実施の形態
（Ｄ−１）第３の実施形態において、非対訳ページ蓄積手段３２は非対訳ページのペアを蓄積する際はページ名称のみを蓄積する構成でもよい。図１４に、ページ名称のみからなる非対訳ページ蓄積手段３２を示す。この場合は、対訳ページ決定手段３１は対訳ページ候補のハッシュ値を求める必要はなく、以下の処理を行う。
まず、対訳ページ決定手段３１は、非対訳ページ蓄積手段３２に、対訳ページ候補のペアと同じ名称のページが格納されているかどうかを調べ、同じ名称のページが格納されている場合は、即座に非対訳ページと判断する。非対訳ページ蓄積手段３２に格納されいていない場合は第１の実施形態と同様にして詳細に対訳ページであるかどうかを判断する。詳細な判断をした後、非対訳ページと判断した対訳ページ候補は、非対訳ページ蓄積手段３２に蓄積する。
【０１１２】
（Ｄ−２）対訳ページ候補蓄積手段１３、対訳ページ蓄積手段１５、対訳データ蓄積手段２２、非対訳ページ蓄積手段３２にページのペアを格納する方法としては、それぞれのペアのページを一意に特定できるＵＲＬのような名前であってもよい。
【０１１３】
（Ｄ−３）対訳ページ決定手段１４、３１において対訳ページであるかの判断は、文献１の技術に限るものではない。例えば、２つのページのタグ数をカウントしてカウント数が一致した場合に対訳ページと判断する。また、タグの出現順位に基づいて対訳ページと判断する等、様々な方法を適用することができる。このように対訳ページ決定手段１４、３１において文対応を作成しない場合は、文対応結果を記憶する記憶手段は必要ない。
【０１１４】
（Ｄ−４）対訳データ生成手段２１は、必要な対訳データを生成する手段であって文単位の対訳データを生成することに限るものではない。例えば、表の中の単語のみを対訳データとして生成する場合がある。
【０１１５】
また、対訳ページ決定手段１４、３１においてタグが挿入された文が対応付けられた場合は、タグを除去した対訳データを出力するものとする。例として「This is <Italic>a book </Italis>」と「これは<Italic>本 </Italis>です」が対応付けられた場合はタグを除去した「This is a book 」と「これは本です」が対訳データとして出力される。
【０１１６】
また、対訳ページ決定手段１４、３１において、文対応結果を作成しない場合であって文単位の対訳データが必要な場合は、対訳データ生成手段２１において文単位の対応付けを行う構成にしても良い。
【０１１７】
（Ｄ−５）上記（Ｄ−３）と（Ｄ−４）に記載した通り、対訳ページ決定手段１４、３１と対訳データ生成手段２１は様々な方法を適用することができるため、両手段を適宜組み合わせて構成することが可能である。
【０１１８】
【発明の効果】
以上に説明したとおり、本発明の第１の実施形態では、対訳ページとなるページのペアは、それぞれに直接リンクが張られているか、あるいは、そのペアを結ぶリンクの経路の中心に、直接リンクが張られた別の対訳ページのペアが存在することが多いという性質を利用することで、対訳ページ間の距離が１より離れているページ同士が対訳ページのペアであるかどうかを調べる探索範囲を適切に絞り込むことができる。
【０１１９】
また、第２の実施形態では、対訳データを生成する際に、対訳ページ決定手段１４が対訳ページ候補のペアが対訳ページであるかどうかを判断するときに作成する対訳ページ候補の文対応結果を利用することで、対訳ページ出力手段１６が出力した対訳ページに基き一括して対訳データを生成する場合と比較して生成効率が向上する。
【０１２０】
また、第３の実施形態では、一度非対訳ページであると判断した非対訳ページのペアを非対訳ページ蓄積手段３２に蓄積することで、複数の探索始点から対訳ページを収集するような場合において、再度対訳ページ候補が対訳ページであるかどうかを詳細に判断する必要がなくなり処理速度を向上することができる。
【０１２１】
さらに、非対訳ページ蓄積手段３２が非対訳ページの名称とその非対訳ページの内容を示すハッシュ値を蓄積し、対訳ページのペアに対して計算したハッシュ値と非対訳ページ蓄積手段３２に蓄積されているハッシュ値を比較することで、同一内容のページを複数の名称で表現している場合においても再度対訳ページであるかどうかを詳細に判断する必要がなくなる。
【図面の簡単な説明】
【図１】本発明の対訳情報収集装置の第１の実施形態を示すブロック図である。
【図２】ＷＷＷデータのリンク例を示す図である。
【図３】本発明の対訳情報収集装置の第１の実施形態の動作を示すフローチャートである。
【図４】距離１対訳ページ候補蓄積手段の例を示す図である。
【図５】距離３対訳ページ候補蓄積手段の例を示す図である。
【図６】対訳ページの出力例を示す図である。
【図７】本発明の対訳情報収集装置の第２の実施形態を示すブロック図である。
【図８】本発明の対訳情報収集装置の第２の実施形態の動作を示すフローチャートである。
【図９】対訳データの出力例を示す図である。
【図１０】本発明の対訳情報収集装置の第３の実施形態を示すブロック図である。
【図１１】本発明の対訳情報収集装置の第３の実施形態の動作を示すフローチャートである。
【図１２】図１１のステップ３１およびステップ３３の動作を示すフローチャートである。
【図１３】非対訳ページ蓄積手段の例を示す図（１）である。
【図１４】非対訳ページ蓄積手段の例を示す図（２）である。
【符号の説明】
１１・・探索始点入力手段、１２・・対訳ページ候補生成手段、１３・・対訳ページ候補蓄積手段、１３１・・距離１対訳ページ候補蓄積手段、１３２・・距離３対訳ページ候補蓄積手段、１４、３１・・対訳ページ決定手段、１５・・対訳ページ蓄積手段、１５１・・距離１対訳ページ蓄積手段、１５２・・距離３対訳ページ蓄積手段、１６・・対約ページ出力手段、２１・・対訳データ生成手段、２２・・対訳データ蓄積手段、２２１・・距離１対訳データ蓄積手段、２２２・・距離３対訳データ蓄積手段、２３・・対訳データ出力手段、３２・・非対訳ページ蓄積手段。
Claims (4)
- 同一内容の文書を異なる言語で記述した対訳ページを収集する検索開始点を入力する検索始点入力手段と、
検索開始点のページと該検索開始点から距離１離れたページのペアを対訳ページ候補のペアとして生成する中心対訳ページ候補生成手段と、
前記中心対訳ページ候補生成手段が生成した対訳ページ候補のペアを格納する中心対訳ページ候補蓄積手段と、
前記中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアに対して対訳ページ度を数値化し、該数値と予め設定した閾値を比較して該対訳ページ候補のペアが対訳ページであるかどうかを判断する中心対訳ページ決定手段と、
前記中心対訳ページ決定手段が対訳ページであると判断した対訳ページのペアを格納する中心対訳ページ蓄積手段と、
前記中心対訳ページ蓄積手段に格納された対訳ページに対し、対訳ページのペアのうち一方の対訳ページからリンクをたどり距離１〜ｍ離れたページと他方の対訳ページからリンクをたどり距離１〜ｍ離れたページをすべて抽出し、該抽出の際に起点とした対訳ページからの距離が同一であるページで、かつ、該一方の対訳ページを利用して抽出されたページと該他方の対訳ページを利用して抽出されたページ同士をすべて組合せて対訳ページ候補のペアを生成する対訳ページ候補生成手段と、
前記対訳ページ候補生成手段が生成した対訳ページ候補のペアを格納する対訳ページ候補蓄積手段と、
前記対訳ページ候補蓄積手段に格納された対訳ページ候補のペアに対して対訳ページ度を数値化し、該数値と予め設定した閾値を比較して該対訳ページ候補のペアが対訳ページであるかどうかを判断する対訳ページ決定手段と、
前記対訳ページ決定手段が対訳ページであると判断した対訳ページのペアを格納する対訳ページ蓄積手段と、
前記中心対訳ページ蓄積手段と前記対訳ページ蓄積手段に格納された対訳ページのペアを出力する対訳ページ出力手段とを有することを特徴とする対訳情報収集装置。 - 請求項１に記載の対訳情報収集装置において、
前記中心対訳ページ蓄積手段と前記対訳ページ蓄積手段に格納された対訳ページのペアに基づいて対訳データを生成する対訳データ生成手段と、
前記対訳データ生成手段が生成した対訳データを格納する対訳データ格納手段と、
前記対訳データ格納手段に格納された対訳データを出力する対訳データ出力手段を有することを特徴とする対訳情報収集装置。 - 請求項１または２に記載の対訳情報収集装置において、
対訳ページではないと判断した対訳ページ候補のペアを非対訳ページのペアとして蓄積する非対訳ページ蓄積手段をさらに有し、
前記中心対訳ページ決定手段は、前記中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアが前記非対訳ページ蓄積手段に蓄積された非対訳ページのペアと一致する場合は、該対訳ページ候補のペアを非対訳ページであると判断し、
前記対訳ページ決定手段は、前記対訳ページ候補蓄積手段に格納された対訳ページ候補のペアが前記非対訳ページ蓄積手段に蓄積された非対訳ページのペアと一致する場合は、該対訳ページ候補のペアを非対訳ページであると判断することを特徴とする対訳情報収集装置。 - 請求項１または２に記載の対訳情報収集装置において、
対訳ページではないと判断した対訳ページ候補のペアを非対訳ページのペアとして、該非対訳ページのペアのページ名称とページ内容を示す値を蓄積する非対訳ページ蓄積手段をさらに有し、
前記中心対訳ページ決定手段は、前記中心対訳ページ候補蓄積手段に格納された対訳ページ候補のペアのページ名称が前記非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ名称と一致するかを判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、一致しない場合は対訳ページ候補のペアのページ内容を示す値を求め、前記非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ内容を示す値と一致するかを再度判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、
前記対訳ページ決定手段は、前記対訳ページ候補蓄積手段に格納された対訳ページ候補のペアのページ名称が前記非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ名称と一致するかを判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定し、一致しない場合は対訳ページ候補のペアのページ内容を示す値を求め、前記非対訳ページ蓄積手段に蓄積された非対訳ページのペアのページ内容を示す値と一致するかを再度判断し、一致する場合は対訳ページ候補のペアを非対訳ページであると決定することを特徴とする対訳情報収集装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25867599A JP3685660B2 (ja) | 1999-09-13 | 1999-09-13 | 対訳情報収集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25867599A JP3685660B2 (ja) | 1999-09-13 | 1999-09-13 | 対訳情報収集装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001084258A JP2001084258A (ja) | 2001-03-30 |
| JP3685660B2 true JP3685660B2 (ja) | 2005-08-24 |
Family
ID=17323552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25867599A Expired - Fee Related JP3685660B2 (ja) | 1999-09-13 | 1999-09-13 | 対訳情報収集装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3685660B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8676782B2 (en) | 2008-10-08 | 2014-03-18 | International Business Machines Corporation | Information collection apparatus, search engine, information collection method, and program |
| US8543598B2 (en) * | 2010-03-01 | 2013-09-24 | Microsoft Corporation | Semantic object characterization and search |
-
1999
- 1999-09-13 JP JP25867599A patent/JP3685660B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001084258A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Resnik | Parallel strands: A preliminary investigation into mining the web for bilingual text | |
| EP2041669B1 (en) | Text categorization using external knowledge | |
| JP2009104591A (ja) | ウェブ文書クラスタリング方法およびシステム | |
| GB2401972A (en) | Identifying special word usage in a document | |
| JP2008234645A (ja) | 訳文生成方法及び装置並びに機械翻訳 | |
| US20080168049A1 (en) | Automatic acquisition of a parallel corpus from a network | |
| US8296319B2 (en) | Information retrieving apparatus, information retrieving method, information retrieving program, and recording medium on which information retrieving program is recorded | |
| CN109948154A (zh) | 一种基于邮箱名的人物获取及关系推荐系统和方法 | |
| JP3685660B2 (ja) | 対訳情報収集装置 | |
| EP2122503B1 (en) | A method of filtering sections of a data stream | |
| JP2009205499A (ja) | ウェブページ特定装置、ウェブページ特定方法およびウェブページ特定用プログラム | |
| JP2004046438A (ja) | テキスト検索方法及び装置及びテキスト検索プログラム及びテキスト検索プログラムを格納した記憶媒体 | |
| KR100659370B1 (ko) | 시소러스 매칭에 의한 문서 ｄｂ 형성 방법 및 정보검색방법 | |
| Kaddu et al. | To extract informative content from online web pages by using hybrid approach | |
| JPWO2014002212A1 (ja) | 文書関連付け方法および文書検索方法、文書関連付け装置および文書検索装置、並びにそのためのプログラム | |
| Ikeda et al. | Eliminating useless parts in semi-structured documents using alternation counts | |
| JP3598738B2 (ja) | 情報抽出装置、情報検索方法及び情報抽出方法 | |
| JP3043596B2 (ja) | キーワード抽出装置 | |
| Fukushima et al. | A fast and accurate method for detecting English-Japanese parallel texts | |
| JP2007011892A (ja) | 語彙獲得方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
| Pimpalshende et al. | Pre-processing phase of Hindi language text summarization System | |
| JP5495425B2 (ja) | 未知語を含む文章を修正するための文章修正プログラム、方法及び文章解析サーバ | |
| KR101541297B1 (ko) | 사용자 디스크립션에 기반한 다국어 관계망 생성 방법 및 장치 | |
| Patel et al. | A Research on Web Content Extraction and Noise Reduction through Text Density Using Malicious URL Pattern Detection | |
| JP5614338B2 (ja) | 検索装置、プログラム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |