JP5959163B2 - 文書収集システムおよび方法 - Google Patents

Description

本発明は、サイトで文書を収集するシステムおよび方法に関し、より詳しくは、検索対象となる文書のうちアップデートが発生した文書を収集する文書収集システムおよび方法に関する。

一般に、検索サービスの業者はウェブロボットを用いてインターネット上に存在する複数のサイトで文書のコンテンツを収集する。このとき、ウェブロボットはランダムアクセス方式の巡回（ｃｒａｗｌｅｒ）方式を用いて文書に含まれたコンテンツを収集する。具体的には、検索サービスの業者はランダムにシードＵＲＬを抽出し、抽出されたシードＵＲＬに基づいてウェブロボットによって文書を収集する。これによって、各文書の固有ＵＲＬとは関係なく文書が収集される。

上記のような方式によって文書が収集される場合、ウェブロボットのランダムアクセスによってウェブサイトに多くの負荷が発生する問題が存在する。また、ウェブロボットがランダムに収集することによって、検索サービスの業者は検索要求と関係のない文書を検索結果として提供していた。すなわち、定形化されていないＵＲＬと文書内容により、検索サービスの業者が文書収集の結果を分析することが困難であった。

したがって、ウェブサイトに負荷を与えることなく正確なウェブ文書を収集することのできるシステムおよび方法が求められている。

本発明の目的は、識別情報によってアップデートが発生した文書を収集することによって、ランダム巡回によるサイトの負荷を減らすことのできるシステムおよび方法を提供することにある。

本発明の目的は、コンテンツ提供者が文書のアップデートと関連する識別情報を検索業者に伝達することによって、コンテンツ提供者が希望する文書だけを検索結果に反映することのできるシステムおよび方法を提供することにある。

本発明の目的は、アップデートが発生した文書をＸＭＬ形式で収集することによって、題名、内容、タグなどの文書の構造が検索結果として正確に反映できるシステムおよび方法を提供することにある。

本発明の一実施形態に係る文書収集システムは、文書のアップデートが発生したとき、少なくとも１つのサイトから前記文書のアップデート情報を収集するために動作し、前記サイトからアップデートが発生した文書の識別情報を受信する識別情報受信部と、前記サイトから前記識別情報を受信することによって前記サイトに前記識別情報に対応する前記文書のアップデート情報の収集要求を伝達する収集要求伝達部と、前記収集要求に対応して、前記サイトから前記文書のアップデート情報を収集するアップデート情報収集部と、を備え、前記アップデート情報収集部は、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含む文書形式で収集し、前記要素が複数である場合、要素グループに設定して収集する。

本発明の一実施形態に係る文書収集方法は、文書のアップデートが発生したとき、少なくとも１つのサイトから前記文書のアップデート情報を収集するために動作し、前記サイトからアップデートが発生した文書の識別情報を受信し、前記サイトから前記識別情報を受信することによって前記サイトに前記識別情報に対応する前記文書のアップデート情報の収集要求を伝達し、前記収集要求に対応して、前記サイトから文書のアップデート情報を少なくとも１つの要素を含む文書形式で収集し、前記要素が複数である場合、要素グループに設定して収集することを含む。

本発明の一実施形態によれば、識別情報によってアップデートが発生した文書を収集することによって、ランダム巡回によるサイトの負荷を減らすことができる。

本発明の一実施形態によれば、コンテンツ提供者が文書のアップデートと関連する識別情報を検索業者に伝達することによって、コンテンツ提供者が希望する文書だけを検索結果として反映することができる。

本発明の一実施形態によれば、アップデートが発生した文書をＸＭＬ形式で収集することによって、題名、内容、タグなどの文書の構造が検索結果として正確に反映することができる。

本発明の一実施形態による文書を収集する過程を説明するための図である。 本発明の一実施形態に係る文書収集システムの細部の構成を示すブロックダイアグラムである。 本発明で用いられるリソースの構造を示す図である。 本発明の一実施形態に係る文書収集方法を示すフローチャートである。 本発明の他の実施形態による収集した文書を検索するシステムの一例である。

以下、本発明の実施形態を添付された図面を参照して詳細に説明する。本発明の一実施形態に係る文書収集方法は、文書収集システムによって行われてもよい。

図１は、本発明の一実施形態により文書を収集する過程を説明するための図である。

図１に示すように、サイト１１０は、文書のアップデートが発生した場合、ｐｉｎｇプロトコルのような識別情報を文書収集システム１２０に送信してもよい。例えば、文書のアップデートは、文書に含まれたコンテンツに登録／修正／削除などが発生したことを意味する。また、ｐｉｎｇとは、文書のアップデートが発生したという一種の信号を意味する。

ここで、文書収集システム１２０は、識別情報の受信に対応してサイト１１０にアップデートが発生した文書を要求する。このとき、文書収集システム１２０はＡｔｏｍ配信フォーマット（Ａｔｏｍ Ｓｙｎｄｉｃａｔｉｏｎ Ｆｏｒｍａｔ）を満足するシンジケーション文書を要求する。

サイト１１０は、文書収集システム１２０の要求に応答してアップデートが発生した文書を文書収集システム１２０に伝達してもよい。具体的に、文書収集システム１２０は、ＸＭＬ構造で構成されたシンジケーション文書をサイト１１０から収集してもよい。

ここで、サイト１１０は、検索されたい文書と関連する識別情報を文書収集システム１２０に送信することによって、望まない文書が文書収集システム１２０に収集されることを防止することができる。このとき、検索されたい文書に、コンテンツの登録、削除、修正などのアップデートが発生すると、サイト１１０がｐｉｎｇのような識別情報を文書収集システム１２０に送信することによって、ランダムな巡回による負荷を減らすことができる。

図２は、本発明の一実施形態に係る文書収集システムの細部の構成を示すブロックダイアグラムである。

図２に示すように、文書収集システム１２０は、識別情報受信部２１０、収集要求伝達部２２０、アップデート情報収集部２３０、および検索結果提供部２４０を備えてもよい。

識別情報受信部２１０は、サイト１１０からアップデートが発生した文書の識別情報を受信してもよい。ここで、識別情報はコンテンツの登録／修正／削除のようなアップデートが発生した文書と関連するｐｉｎｇプロトコルを含んでもよい。

このとき、識別情報受信部２１０は、アップデートが発生した文書と関連するリンク情報を含む識別情報を受信してもよい。ここで、リンク情報はサイト１１０においてアップデートが発生した文書の位置を示すＵＲＬを含んでもよい。すなわち、サイト１１０は、収集されたい文書を、リンク情報を含む識別情報によって文書収集システム１２０に伝達してもよい。

収集要求伝達部２２０は、識別情報によってサイト１１０に文書の収集要求を伝達してもよい。具体的には、収集要求伝達部２２０は、識別情報に含まれたリンク情報に指定された経路を用いて、サイト１１０に文書の収集要求を伝達してもよい。一例として、収集要求伝達部２２０は、リンク情報を用いてＸＭＬ形式で構成されたシンジケーション文書をサイト１１０に要求してもよい。

識別情報のｐｉｎｇプロトコルに含まれたリンク情報は次のように構成してもよい。

ｈｔｔｐ：／／［ＤＯＭＡＩＮ］／ａｔｏｍ．ｃｇｉ？ｉｄ＝［ＲＥＳＯＵＲＣＥ＿ＩＤ］＆ｔｙｐｅ＝［ＲＥＳＯＵＲＣＥ＿ＴＹＰＥ］ ＆＆ｓｔａｒｔ−ｔｉｍｅ＝［ＳＴＡＲＴ＿ＴＩＭＥ］＆ｅｎｄ−ｔｉｍｅ＝［ＥＮＤ＿ＴＩＭＥ］＆ｍａｘ−ｅｎｔｒｙ＝［ＭＡＸ＿ＥＮＴＲＹ］＆ｐａｇｅ＝［ＰＡＧＥ］

一例として、リンク情報に含まれたパラメータは下記の表１によって定義されてもよい。

また、表１において、ｉｄパラメータはＡｔｏｍ配信フォーマットで提案する「Ｔａｇ ＵＲＩ」によって表現されてもよい。このとき、Ｔａｇ ＵＲＩにおいてｃｈａｎｎｅｌ ＩＤに「−」のセパレータ文字が含まれれば、Ｔａｇ ＵＲＩはＵＲＬ符号化によって表現されてもよい。

Ｔａｇ ＵＲＩはリソースを含んでもよい。一例として、リソースはサイト（ｓｉｔｅ）、チャネル（ｃｈａｎｎｅｌ）、記事（ａｒｔｉｃｌｅ）を含んでもよい。リソースの種類別に実際のリソースリンクをＴａｇ ＵＲＩに表現した一例は表２の通りである。

また、収集要求伝達部２０２が要求するＸＭＬ形式のシンジケーション（ｓｙｎｄｉｃａｔｉｏｎ）文書に含まれるリソースの範囲はｉｄとｔｙｐｅパラメータ値に応じて決定されてもよい。一例として、リソースの範囲は表３のように決定されてもよい。

一例として、識別情報受信部２１０が受信した識別情報に含まれたｉｄがｓｉｔｅであり、タイプがｃｈａｎｎｅｌである場合、収集要求伝達部２２０はサイト１１０に含まれた全てのチャネルの情報を要求するシンジケーション文書の収集要求をサイト１１０に送信してもよい。このとき、サイト１１０は収集要求に応じて、サイト１１０に含まれた全てのチャネルのアップデート情報を文書収集システム１２０に送信してもよい。

アップデート情報収集部２３０は、文書の収集要求に対応してサイト１１０から送信された文書のアップデート情報を収集してもよい。

このとき、アップデート情報収集部２３０がサイト１１０から収集する文書のアップデート情報は、少なくとも１つの要素を含むＸＭＬの文書形式であってもよい。具体的に、アップデート情報収集部２３０は、サイト１１０からＸＭＬ形式に構成されたシンジケーション文書が伝達されて文書のアップデート情報を収集してもよい。

また、文書のアップデート情報は下記の表４のような要素を含んでもよい。

このとき、リンク（ｌｉｎｋ）要素のｒｅｌ属性値は下記の表５のように指定してもよい。具体的に、表５に指定される値に応じてシンジケーション文書と関連するリソースは変わり得る。

また、アップデート情報収集部２３０が受信するＸＭＬ形式の文書のシンジケーション文書の最小単位はエントリ（ｅｎｔｒｙ）要素１つに構成されたエントリ文書である。

また、アップデート情報収集部２３０は要素が複数である場合、要素グループに設定して収集してもよい。具体的には、１つのシンジケーション文書に複数のエントリ要素を含む場合、アップデート情報収集部２３０は、複数のエントリ要素をフィード（ｆｅｅｄ）要素にグループ化して収集してもよい。このとき、フィード要素でグループ化された文書のアップデート情報はフィード文書の形式であってもよい。

一例として、１つのシンジケーション文書に複数のエントリ要素が含まれる場合、エントリ要素の他に下記の表６のような要素がフィード要素に追加的に含まれてもよい。

また、アップデート情報収集部２３０は、識別情報に含まれた配布期間に基づいて文書のアップデート情報を収集してもよい。具体的には、アップデート情報収集部２３０は、識別情報に表１のｓｔａｒｔ−ｔｉｍｅとｅｎｄ−ｔｉｍｅが含まれた場合、識別情報に該当する文書はｓｔａｒｔ−ｔｉｍｅに設定された時間からｅｎｄ−ｔｉｍｅに設定された時間までアップデート情報を収集してもよい。

以上の構成はサイト１１０から文書のアップデート情報を収集する過程を説明したものである。文書収集システム１２０はサイト１１０から収集した文書のアップデート情報を検索に活用してもよい。

サイト１１０から検索要求を受信した場合、検索結果提供部２４０は検索要求に対応する検索結果をサイト１１０にリターンしてもよい。このとき、検索要求はキーワードとキーワードによるオプションを含んでもよい。

具体的には、検索結果提供部２４０は、アップデート情報収集部２３０が収集した文書のアップデート情報から検索要求に対応する検索結果を抽出してサイト１１０に提供してもよい。このとき、サイト１１０は、サイトインタフェースによって文書収集システム１２０から受信した検索結果をレンダリングして表示してもよい。すなわち、文書収集システム１２０はサイト１１０に対する個別の検索ＤＢの役割を行ってもよい。

図３は、本発明で用いられるリソースの構造を示す図である。

本発明で用いられるリソースは、図３に示すようにサイト３１０、チャネル３２０、および記事３３０の階層的な構造を有してもよい。

具体的には、サイト３１０は、第１チャネル３２１、第２チャネル３２２〜第Ｎチャネル３２３のように複数のチャネル３２０から構成されてもよい。また、各チャネルは、第１記事３３１、第２記事３３２〜第ｎ記事３３３のように複数の記事３３０により構成してもよい。このとき、記事は文書に対応する。

一例として、識別情報のｉｄがｓｉｔｅであり、タイプがａｒｔｉｃｌｅである場合、サイト１１０は、表３によってサイト３１０に含まれた全ての記事３３０のアップデート情報を文書収集システム１２０に送信してもよい。すなわち、サイト１１０は文書の収集範囲を表３のようなパラメータによって決定してもよい。

図４は、本発明の一実施形態に係る文書収集方法を示すフローチャートである。

ステップＳ４１０において、識別情報受信部２１０はサイト１１０からアップデートが発生した文書の識別情報を受信してもよい。このとき、識別情報は文書と関連するリンク情報を含んでもよい。

ステップＳ４２０において、収集要求伝達部２２０は、ステップＳ４１０で受信した識別情報によってサイト１１０に文書の収集要求を伝達してもよい。このとき、収集要求伝達部２２０は、識別情報に含まれたリンク情報に指定された経路を用いてサイト１１０に文書の収集要求を伝達してもよい。

ステップＳ４３０において、アップデート情報収集部２３０は、ステップＳ４２０で送信した文書の収集要求に対応してサイト１１０から文書のアップデート情報を収集してもよい。このとき、アップデート情報収集部２３０がサイト１１０から収集する文書のアップデート情報は少なくとも１つの要素を含むＸＭＬ形式の文書であってもよい。

ステップＳ４１０〜ステップＳ４３０は、文書収集システム１２０がサイト１１０から文書のアップデート内容を収集する過程を示す。その後、ステップＳ４４０〜ステップＳ４６０は、文書収集システム１２０が文書のアップデート内容に基づいて検索結果を提供する過程を示す。

ステップＳ４４０において、検索結果提供部２４０はサイト１１０から検索要求を受信してもよい。

ステップＳ４５０において、検索結果提供部２４０は、ステップＳ４４０で受信した検索要求を用いてステップＳ４３０で収集した文書のアップデート情報から検索結果を抽出してもよい。

ステップＳ４６０において、検索結果提供部２４０は、ステップＳ４５０で抽出した検索結果をサイト１１０に送信してもよい。このとき、サイト１１０は、受信した検索結果をサイトインタフェースによってレンダリングして表示してもよい。

図５は、本発明の他の実施形態によって収集した文書を検索するシステムの一例である。

本発明に係る文書収集システム１２０は、図５に示すように収集した文書のアップデート情報を検索する検索サーバ５００を別に分離してもよい。

このとき、文書収集システム１２０は、識別情報受信部２１０、収集要求伝達部２２０、およびアップデート情報収集部２３０を用いてサイト１１０で文書を収集し、検索サーバ５１０の要求に応じて収集された文書を検索し、検索結果を検索サーバ５００に提供してもよい。

検索サーバ５００は、サイト１１０から検索要求を受信した場合、文書収集システム１２０に検索要求を送信し、文書収集システム１２０から検索要求に対応する検索結果を受信してサイト１１０に提供してもよい。

このとき、検索サーバ５００は、サイト受信部５１０、収集システム送信部５２０、収集システム受信部５３０、サイト送信部５４０を備えてもよい。

このとき、サイト受信部５１０はサイト１１０から検索要求を受信し、収集システム送信部５２０は文書収集システム１２０にサイト１１０から受信した検索要求を送信してもよい。

また、収集システム受信部５３０は文書収集システム１２０から送信した検索要求に対応する検索結果を受信し、サイト送信部５４０は受信した検索結果をサイト１１０に提供してもよい。

すなわち、本発明の一実施形態によれば、サイトから文書のアップデート情報と関連する識別情報に対応する文書だけを収集することによって検索されたくない文書が文書収集システムに収集されることを防止することができる。

本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態に実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などの単独または組み合わせたものを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェア階層で作動するように構成されてもよい。

上述したように、本発明は、一例として限定された実施形態と図面とによって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。

したがって、本発明の範囲は説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。

２１０ 識別情報受信部
２２０ 収集要求伝達部
２３０ アップデート情報収集部
２４０ 検索結果提供部

Claims (20)

1. 文書収集システムであって、
   文書のアップデートが発生したとき、少なくとも１つのサイトから前記文書のアップデート情報を収集するために動作し、前記サイトからアップデートが発生した文書の識別情報を受信する識別情報受信部と、
   前記サイトから前記識別情報を受信することによって前記サイトに前記識別情報に対応する前記文書のアップデート情報の収集要求を伝達する収集要求伝達部と、
   前記収集要求に対応して、前記サイトから前記文書のアップデート情報を収集するアップデート情報収集部と、
   を備え、
   前記アップデート情報収集部は、
   前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含む文書形式で収集し、
   前記要素が複数である場合、要素グループに設定して収集することを特徴とする文書収集システム。
2. 前記識別情報受信部は、前記文書と関連するリンク情報を含む識別情報を受信することを特徴とする請求項１に記載の文書収集システム。
3. 前記アップデート情報収集部は、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含むＸＭＬの文書形式で収集することを特徴とする請求項１に記載の文書収集システム。
4. 前記アップデート情報収集部は、前記識別情報に含まれた配布期間に基づいて前記文書のアップデート情報を収集することを特徴とする請求項３に記載の文書収集システム。
5. 前記サイトは、サイトインタフェースによって検索結果をレンダリングして表示することを特徴とする請求項１に記載の文書収集システム。
6. 文書のアップデートが発生したとき、少なくとも１つのサイトから前記文書のアップデート情報を収集するために動作し、前記サイトからアップデートが発生した文書の識別情報を受信し、前記サイトから前記識別情報を受信することによって前記サイトに前記識別情報に対応する前記文書のアップデート情報の収集要求を伝達し、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含む文書形式で収集し、前記要素が複数である場合、要素グループに設定して収集する文書収集システムにサイトから受信した検索要求を送信する文書システム送信部と、
   前記文書収集システムから前記検索要求に対応する検索結果を受信する文書システム受信部と、
   前記検索結果を前記サイトに提供するサイト送信部と、
   を備えることを特徴とする検索サーバ。
7. 前記サイトは、サイトインタフェースによって前記検索結果をレンダリングして表示することを特徴とする請求項６に記載の検索サーバ。
8. 前記前記文書収集システムは、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含むＸＭＬの文書形式に収集することを特徴とする請求項６に記載の検索サーバ。
9. 前記文書収集システムは、前記識別情報に含まれた配布期間に基づいて前記文書のアップデート情報を収集することを特徴とする請求項６に記載の検索サーバ。
10. 文書のアップデートが発生したとき、少なくとも１つのサイトから前記文書のアップデート情報を収集するために動作し、前記サイトからアップデートが発生した文書の識別情報を受信し、
    前記サイトから前記識別情報を受信することによって前記サイトに前記識別情報に対応する前記文書のアップデート情報の収集要求を伝達し、
    前記収集要求に対応して、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含む文書形式で収集し、前記要素が複数である場合、要素グループに設定して収集すること、
    を含むことを特徴とする文書収集方法。
11. 前記識別情報を受信することは、前記文書と関連するリンク情報を含む識別情報を受信することを特徴とする請求項１０に記載の文書収集方法。
12. 前記アップデート情報を収集することは、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含むＸＭＬの文書形式で収集することを特徴とする請求項１０に記載の文書収集方法。
13. 前記アップデート情報を収集することは、前記要素が複数である場合、要素グループに設定して収集することを特徴とする請求項１２に記載の文書収集方法。
14. 前記アップデート情報を収集することは、前記識別情報に含まれた配布期間に基づいて前記文書のアップデート情報を収集することを特徴とする請求項１２に記載の文書収集方法。
15. 前記サイトがサイトインタフェースによって検索結果をレンダリングして表示することをさらに含むことを特徴とする請求項１０に記載の文書収集方法。
16. 文書のアップデートが発生したとき、少なくとも１つのサイトから前記文書のアップデート情報を収集するために動作し、前記サイトからアップデートが発生した文書の識別情報を受信し、前記サイトから前記識別情報を受信することによって前記サイトに前記識別情報に対応する前記文書のアップデート情報の収集要求を伝達し、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含む文書形式で収集し、前記要素が複数である場合、要素グループに設定して収集する文書収集システムにサイトから受信した検索要求を送信し、
    前記文書収集システムから前記検索要求に対応する検索結果を受信し、
    前記検索結果を前記サイトに提供すること、
    を含むことを特徴とする検索方法。
17. 前記サイトは、サイトインタフェースによって前記検索結果をレンダリングして表示することを特徴とする請求項１６に記載の検索方法。
18. 前記文書収集システムは、前記サイトから前記文書のアップデート情報を少なくとも１つの要素を含むＸＭＬの文書形式で収集することを特徴とする請求項１６に記載の検索方法。
19. 前記文書収集システムは、前記識別情報に含まれた配布期間に基づいて前記文書のアップデート情報を収集することを特徴とする請求項１６に記載の検索方法。
20. 請求項１０乃至請求項１９のいずれか１項の方法を実行するためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。

Images