JP5396869B2 - 情報処理装置、情報検索装置、情報処理方法、情報処理プログラム及び記録媒体 - Google Patents

Description

本発明は、情報処理装置、情報検索装置、情報処理方法、情報処理プログラム及び記録媒体に関し、特に検索対象として保存する情報の選別に関する。

オフィスにおいて扱われる文書は、急速に電子化が進んでいる。電子文書には、ネットワークを介したやり取りが容易であることや、蓄積に際して省スペース化が図れること等の利点がある。また、検索性も優れており、蓄積された文書から必要なものを簡単に見つけ出すことが可能である。

情報の電子化による蓄積の態様として、文書に含まれる情報から重要部分を抽出して保存する方法が提案されている（例えば、特許文献１参照）。特許文献１に開示された方法においては、ユーザによって指定されたタグやキーワード等を用いて文書に含まれる情報を検索し、文書の主要部分を特定する。これにより、文書情報の主要部分のみを蓄積するため、記憶媒体の有効利用、検索結果におけるノイズの低減等を図ることができる。
特開２００３−３４５９２０号公報 特開２００４−１９９４０９号公報

上述したように、特許文献１に開示された方法においては、文書の重要部分の判断に際して、タグやキーワードの指定が必要であり、ユーザがタグやキーワードを指定する必要があるため、ユーザにとって負担である。また、タグやキーワードが適正に指定されなければ、文書の重要部分を適正に特定することができない。更に、文書情報の情報形式は多岐に亘るため、上記タグやキーワード等を好適に指定することはユーザにとって更に負担となる。

本発明は、上記実情を考慮してなされたものであり、検索対象とすべき情報を抽出して保存する情報処理システムにおいて、ユーザの負担の軽減及び主要部抽出の精度の向上を目的とする。

上記課題を解決するために、請求項１に記載の発明は、ネットワーク上に公開されている情報を取得して検索対象として記憶媒体に記憶させる情報処理装置であって、前記ネットワーク上に公開されている情報であるコンテンツ情報を取得するコンテンツ情報取得部と、前記コンテンツ情報の少なくとも一部を含み、該前記コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得する通知情報取得部と、前記取得されたコンテンツ情報に含まれる情報のうち前記検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定する検索対象特定部と、前記特定された情報を前記検索対象として前記記憶媒体に記憶させるコンテンツ情報記憶処理部とを含む。

また、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記検索対象特定部は、前記取得されたコンテンツ情報に含まれる情報であって前記コンテンツ情報を複数の情報群に分割するように前記コンテンツ情報の構造を示す情報である構造情報を参照し、前記複数の情報群のうち前記コンテンツ通知情報に含まれる情報と一致する情報が含まれる情報群を前記検索対象として特定することを特徴とする。

また、請求項３に記載の発明は、請求項２に記載の情報処理装置において、前記検索対象特定部は、前記コンテンツ通知情報に含まれる前記複数の情報群のうち前記情報群を示すタグによって囲まれた部分を前記検索対象として特定することを特徴とする。

また、請求項４に記載の発明は、請求項１乃至３いずれかに記載の情報処理装置において、配信されている前記コンテンツ通知情報を蓄積する通知情報蓄積部と、前記通知情報蓄積部に蓄積するために前記コンテンツ通知情報を受信する通知情報受信部とを更に有し、前記通知情報取得部は、前記通知情報蓄積部から前記コンテンツ通知情報を取得することを特徴とする。

また、請求項５に記載の発明は、請求項４に記載の情報処理装置において、前記通知情報受信部は、受信すべき前記コンテンツ通知情報が提供されているネットワーク上のアドレスである通知アドレス情報を記憶しており、前記通知アドレス情報に基づいて前記コンテンツ通知情報を受信することを特徴とする。

また、請求項６に記載の発明は、請求項５に記載の情報処理装置において、前記コンテンツ通知情報は、当該コンテンツ通知情報が対象とする前記コンテンツ情報が提供されているネットワーク上のアドレスである提供アドレス情報を含み、前記コンテンツ情報取得部は、前記通知情報受信部が前記コンテンツ通知情報を受信した際に、前記取得されたコンテンツ通知情報に含まれる前記提供アドレス情報に基づいて前記コンテンツ情報を取得することを特徴とする。

また、請求項７に記載の発明は、請求項１乃至６いずれかに記載の情報処理装置において、前記特定された主要部分を明示して表示するための表示情報を生成する表示情報生成部を更に含むことを特徴とする。

また、請求項８に記載の発明は、請求項１乃至７いずれかに記載の情報処理装置において、前記コンテンツ情報記憶処理部は、前記検索対象として特定された情報を、前記取得されたコンテンツ情報が提供されているネットワーク上のアドレスである提供アドレス情報と関連付けて記憶させることを特徴とする。

また、請求項９に記載の発明は、入力された条件に基づいてネットワーク上に公開されているコンテンツ情報を検索する情報検索装置であって、前記コンテンツ情報を取得するコンテンツ情報取得部と、前記取得されたコンテンツ情報の少なくとも一部を含む情報であって前記コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得する通知情報取得部と、前記取得されたコンテンツ情報に含まれる情報のうち検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定する検索対象特定部と、前記検索対象として特定された情報を前記検索対象として記憶媒体に記憶させるコンテンツ情報記憶処理部と、前記入力された条件に基づいて前記検索対象として記憶された情報を抽出する情報検索部とを含む。

また、請求項１０に記載の発明は、ネットワーク上に公開されている情報を取得して検索対象として記憶媒体に記憶させる情報処理方法であって、前記ネットワーク上に公開されている情報であるコンテンツ情報を取得し、前記コンテンツ情報の少なくとも一部を含み、該前記コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得し、前記取得されたコンテンツ情報に含まれる情報のうち前記検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定し、前記検索対象として特定された情報を前記検索対象として記憶媒体に記憶させる。

また、請求項１１に記載の発明は、情報処理装置にネットワーク上に公開されている情報を取得して検索対象として記憶媒体に記憶させる処理を実行させる情報処理プログラムであって、前記ネットワーク上に公開されている情報であるコンテンツ情報を取得するステップと、前記コンテンツ情報の少なくとも一部を含み、該コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得するステップと、前記取得されたコンテンツ情報に含まれる情報のうち前記検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定するステップと、前記特定された情報を前記検索対象として記憶媒体に記憶させるステップとを前記情報処理装置に実行させる。

また、請求項１２に記載の発明は、記録媒体であって、請求項１１に記載の情報処理プログラムを情報処理装置が読取可能な形式で記録したことを特徴とする。

本発明の一態様によれば、検索対象とすべき情報を抽出して保存する情報処理システムにおいて、ユーザの負担の軽減及び主要部抽出の精度の向上を図ることができる。

本発明の実施形態に係る文書検索システムの運用形態を示す図である。 本発明の実施形態に係る情報処理端末のハードウェア構成を模式的に示すブロック図である。 本発明の実施形態に係る文書検索サーバの機能構成を示すブロック図である。 本発明の実施形態に係るフォード登録情報に含まれる情報の例を示す図である。 本発明の実施形態に係るフィード情報に含まれる情報の例を示す図である。 本発明の実施形態に係るフィードＤＢに登録される情報の例を示す図である。 本発明の実施形態に係る文書登録動作を示すフローチャートである。 本発明の実施形態に係る文書情報としてのサイト情報の例を示す図である。 本発明の実施形態に係る文書情報解析部が抽出する情報の例を示す図である。 本発明の実施形態に係る文書情報ＤＢに格納される情報の例を示す図である。 本発明の他の実施形態に係る文書情報解析部が抽出する情報の例を示す図である。 本発明の他の実施形態に係る文書情報としてのサイト情報を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。図１は、本実施の形態に係る文書検索システムの運用形態の例を示す図である。図１に示すように、本実施形態に係る文書検索システムは、文書検索サーバ１、ウェブサーバ２及びクライアント装置３を含む。文書検索サーバ１は、ウェブサーバ２によって提供されるウェブサイトの情報を蓄積し、クライアント装置３からの検索要求に応じて蓄積した情報を検索する。即ち、文書検索サーバ１が文書検索装置として機能する。また、本実施形態においては、ウェブサーバ２が提供するウェブサイトの情報、即ちコンテンツ情報が文書情報として用いられる。文書検索サーバ１の機能が、本実施形態の要旨の１つである。

ウェブサーバ２は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式などのウェブサイトの情報（以降、サイト情報とする）を記憶し、クライアント装置３からの要求に応じて上記サイト情報を送信する。クライアント装置３とウェブサーバ２とのサイト情報のやり取りは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によって実行される。また、ウェブサーバ２は、自身が提供しているウェブサイトの更新等をユーザに通知するための情報であるフィード情報を提供する。即ち、フィード情報が、コンテンツ通知情報として用いられる。本実施形態に係る文書検索サーバ１は、このフィード情報を取得することにより、ウェブサーバ２が提供するウェブサイトの主要部分を特定する。

ここで、ウェブサイトの主要部分について説明する。ウェブサイトには、情報発信者の意図によって開示される情報に加えて、ウェブサイトのメニューを示す情報や、スポンサーによって付加される広告の情報等、付加的な情報が含まれる。これらの情報のうち、ウェブサイトの主要部分とは、情報発信者の意図によって開示される情報である。

また、主要部分とは、ユーザによる検索対象とすべき情報である。例えば、所定のキーワードに基づいて検索を実行した際に、ウェブサイトに含まれるメニューや広告の情報等の付加的な情報は、ユーザの意図しない検索結果、即ちノイズである可能性が高い。他方、情報発信者の意図によって開示される情報は、ユーザが検索によって取得すべき情報であり、ウェブサイトの主要部分と言うことができる。

クライアント装置３は、ユーザが操作する情報処理端末である。文書検索サーバ１、ウェブサーバ２及びクライアント装置３は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の一般的な情報処理装置によって構成される。

次に、本実施形態に係る文書検索サーバ１、ウェブサーバ２及びクライアント装置３等の、情報処理端末のハードウェア構成について説明する。図２は、本実施形態に係る情報処理端末のハードウェア構成を示すブロック図である。以降、図２の説明においては、文書検索サーバ１のハードウェア構成として説明する。

図２に示すように、本実施形態に係る文書検索サーバ１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を有する。即ち、本実施形態に係る文書検索サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。

ＣＰＵ１０は演算手段であり、文書検索サーバ１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。

Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが文書検索サーバ１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが文書検索サーバ１に情報を入力するためのユーザインタフェースである。尚、図１において説明したように、本実施形態に係る文書検索サーバ１、ウェブサーバ２は、サーバとして運用される。従って、ＬＣＤ６０及び操作部７０等のユーザインタフェースは省略可能である。

このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０の制御に従って動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る文書検索サーバ１等の情報処理端末の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る文書検索サーバ１の機能ブロックについて、図３を参照して説明する。図３は、本実施形態に係る文書検索サーバ１の機能ブロックを示すブロック図である。図３に示すように、本実施形態に係る文書検索サーバ１は、ＲＳＳ処理部１００、文書蓄積部１１０、検索制御部１２０、ネットワークＩ／Ｆ１３０、フィードＤＢ１４０及び文書情報ＤＢ１５０を有する。

ネットワークＩ／Ｆ１３０は、文書検索サーバ１がネットワークを介して情報を取得し、若しくはネットワークを介して情報を送信するためのインタフェースであり、図２に示すＩ／Ｆ５０によって実現される。ネットワークＩ／Ｆ１３０は、具体的には、例えばＥｔｈｅｒｎｅｔ（登録商標）接続のインタフェースや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続のインタフェースによって実現される。

ＲＳＳ処理部１００は、ウェブサーバ２によって提供されるフィード情報を処理する機能を有し、フィード取得部１０１及びフィード解析部１０２を含む。ここで、ＲＳＳとは、フィード情報のフォーマットの名称である。ＲＳＳには、“ＲＤＦ（Ｒｅｓｏｕｒｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｆｒａｍｅｗｏｒｋ） Ｓｉｔｅ Ｓｕｍｍａｒｙ”、“Ｒｉｃｈ Ｓｉｔｅ Ｓｕｍｍａｒｙ”、“Ｒｅａｌｌｙ Ｓｉｍｐｌｅ Ｓｙｎｄｉｃａｔｉｏｎ”等の複数の規格が存在し、ＲＳＳとはその総称である。

本実施形態に係るＲＳＳ処理部１００は、ＲＳＳの規格として、Ｒｅａｌｌｙ Ｓｉｍｐｌｅ Ｓｙｎｄｉｃａｔｉｏｎを用いる。ＲＤＦ Ｓｉｔｅ Ｓｕｍｍａｒｙ以外のＲＳＳの規格は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式の情報によってフィード情報が構成される。

フィード取得部１０１は、ウェブサーバ２によって提供されるフィード情報をネットワークＩ／Ｆ１３０を介して取得する。フィード取得部１０１は、図４に示すような、フィード情報の登録情報（以降、フィード登録情報とする）を記憶している。図４に示すように、フィード登録情報は、フィード情報毎に、そのフィード情報が提供されるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）の情報を含む。このＵＲＬは、コンテンツ通知情報であるフィード情報が提供されるアドレスを示す通知アドレス情報として用いられる。図４に示すようなフィード情報が提供されるＵＲＬは、そのフィード情報が対象とするウェブサイトのＨＴＭＬ中に記述されて示されることが一般的である。

フィード取得部１０１は、図４に示すフィード登録情報に含まれるＵＲＬにアクセスし、ウェブサーバ２からフィード情報を取得する。即ち、フィード取得部１０１が、ウェブサーバ２からネットワークを介してコンテンツ通知情報であるフィード情報を受信する通知情報受信部として機能する。図５に、フィード取得部１０１がウェブサーバ２から取得するフィード情報の例を示す。図５に示すように、本実施形態においては、ＸＭＬ形式の情報がフィード情報として用いられる。

図５に示すように、本実施形態に係るフィード情報は、タイトル情報、ＵＲＬ情報及び内容情報を含む。また、図５に示すように、本実施形態に係るフィード情報に含まれる各情報は、“＜ｉｔｅｍ＞＜／ｉｔｅｍ＞”のタグで囲まれており、この“＜ｉｔｅｍ＞＜／ｉｔｅｍ＞”のタグを連結することにより一のフィード情報中に複数の記事に関する情報が含まれる。タイトル情報は、“＜ｔｉｔｌｅ＞＜／ｔｉｔｌｅ＞”のタグで囲まれた情報であり、図５に示す“にんじんの栄養素について”や“本日の野菜相場”という文字情報のように、フィード情報によって更新が通知される記事の表題を示す。

ＵＲＬ情報は、“＜ｌｉｎｋ＞＜／ｌｉｎｋ＞”のタグで囲まれた情報であり、フィード情報によって更新が通知される記事のＵＲＬを示す。内容情報は、“＜ｄｅｓｃｒｉｐｔｉｏｎ＞＜／ｄｅｓｃｒｉｐｔｉｏｎ＞”のタグや“＜ｃｏｎｔｅｎｔ：ｅｎｃｏｄｅｄ＞＜／ｃｏｎｔｅｎｔ：ｅｎｃｏｄｅｄ＞”のタグで囲まれた情報であり、フィード情報によって更新が通知される記事の内容の一部を示す。

図５に示すフィード情報は、“Ｆｅｅｄ ｆｏｒ Ｖｅｇｅｔａｂｌｅ Ｎｅｗｓ”というタイトルであり、ウェブサイトの更新情報として、“にんじんの栄養素について”という記事及び“本日の野菜相場”という記事を通知するための情報である。

フィード解析部１０２は、フィード取得部１０１が取得したフィード情報を解析し、フィードＤＢ１４０に登録する。即ち、フィードＤＢ１４０が、通知情報蓄積部として機能する。また、フィード取得部１０１は、フィードＤＢ１４０に蓄積するためにフィード情報をウェブサーバ２から受信する。フィード取得部１０１が図５に示すフィード情報を取得した場合にフィード解析部１０２がフィードＤＢ１４０に登録する情報を図６に示す。

図６に示すように、フィード解析部１０２は、フィード情報から夫々の記事毎にＵＲＬ、タイトル及び内容の情報を抽出し、フィードＤＢ１４０に登録する。また、フィード解析部１０２は、フィードＤＢ１４０に登録する情報が新規な情報である場合、即ち、フィードＤＢ１４０に登録されていない情報である場合、そのＵＲＬを文書蓄積制御部１１０に通知する。このＵＲＬは、ネットワーク上においてコンテンツが提供されているアドレスを示す提供アドレス情報である。

ウェブサーバ２が提供するフィード情報に含まれる情報は、ウェブサイトの更新に伴って経時的に更新され、古い情報が削除される。従って、作成されてから時間の経ったフィード情報をウェブサーバ２から取得することはできない。これに対して、ＲＳＳ処理部１００の機能によりフィードＤＢ１４０にフィード情報を蓄積しておくことにより、古いフィード情報であっても参照することが可能となる。

文書蓄積制御部１１０は、ウェブサーバ２によって提供されるウェブサイトの情報（以降、サイト情報）を文書情報ＤＢ１５０に登録する機能を有し、文書情報取得部１１１、文書解析部１１２、内容判断部１１３及び結果出力部１１４を含む。文書情報取得部１１１は、ウェブサーバ２によって提供されるサイト情報をネットワークＩ／Ｆ１３０を介して取得する。即ち、文書情報取得部１１１が、コンテンツ情報取得部として機能する。

文書情報取得部１１１によるサイト情報の取得処理は、文書検索サーバ１を管理する管理者の操作に応じて実行される。上述したように、文書検索サーバ１は、サーバとして運用され、ユーザインタフェースを有さないため、ネットワークに接続された管理者用の端末を管理者が操作することにより、ネットワークＩ／Ｆ１３０を介して、文書検索サーバ１にサイト情報の取得命令が入力される。

また、上述したフィード解析部１０２による新規な記事のＵＲＬの通知は、文書蓄積制御部１１０において文書情報取得部１１１に入力される。文書情報取得部１１１は、上述したユーザによる操作の他、フィード解析部１０２からの通知に応じて、フィード解析部１０２から通知されたＵＲＬにアクセスし、サイト情報を取得する。

文書解析部１１２は、文書情報取得部１１１が取得したサイト情報を解析してウェブサイトに含まれる段落を抽出し、夫々の段落がウェブサイトにおいて配置される位置や段落の内容の文字列を取得する。文書解析部１１２の機能については後に詳述する。

内容判断部１１３は、フィードＤＢ１４０に登録された情報及び文書解析部１１２によって抽出された情報に基づき、ウェブサイトの主要部を判断する。内容判断部１１３の機能については、後に詳述する。結果出力部１１４は、内容判断部１１３によってウェブサイトの主要部と判断された情報を文書情報ＤＢ１５０に登録する。

検索制御部１２０は、ユーザからの検索要求に応じて文書情報ＤＢ１５０に登録された情報を検索する機能を有し、検索条件取得部１２１、検索実行部１２２及び検索結果出力部１２３を含む。検索条件取得部１２１は、文書情報ＤＢ１５０から抽出する文書の条件、即ち検索条件をネットワークＩ／Ｆ１３０を介して取得する。即ち、ユーザがクライアント装置３を操作することにより、検索条件がネットワークを介して文書検索サーバ１に入力される。

検索実行部１２２は、検索条件取得部１２１が取得した検索条件に基づいて検索を実行し、文書情報ＤＢ１５０に記憶されている情報を抽出する。検索結果出力部１２３は、検索実行部１２２によって抽出された情報を表示するための情報を生成し、検索を要求した端末にネットワークＩ／Ｆ１３０を介して送信する。

尚、図３に示す構成の他、情報を表示するための表示部や、ユーザが文書検索サーバ１を直接操作するための操作部を設けても良い。

次に、本実施形態に係る文書検索システムにおける文書情報の蓄積動作について、図を参照して説明する。図７は、本実施形態に係る文書検索システムにおける文書情報の蓄積動作を示すフローチャートである。図７に示すように、まず文書情報取得部１１１がウェブサーバ２によって提供されているサイト情報を文書情報として取得する（Ｓ７０１）。文書情報取得部１１１は、取得したサイト情報を文書解析部１１２に入力する。

本実施形態において文書情報取得部１１１が取得するサイト情報の例を図８に示す。図８に示すように、本実施形態に係るサイト情報においては、“＜ｄｉｖ＞＜／ｄｉｖ＞”タグによって、ウェブサイトがヘッダ部、メイン部及びフッタ部に分割されている。即ち、この“＜ｄｉｖ＞＜／ｄｉｖ＞”タグが、コンテンツの構造を複数の情報群に分割することを示す構造情報として用いられる。また、メイン部は、ナビゲーション部とコンテンツ部とに分割されている。夫々の部分は、“＜ｓｔｙｌｅ＞＜／ｓｔｙｌｅ＞”タグによってサイト上の表示位置が指定されている。

図８の例においては、

のタグで指定されたコンテンツ部の中に、夫々“＜ｐ＞＜／ｐ＞”タグで指定された３つの段落が含まれている。夫々の段落には、“今回はにんじんの栄養価について考察します。”という文章、“以下のグラフはにんじんにふくまれる栄養素の割合を示しています。”という文章及び“ｒａｔｅ．ｇｉｆ”というファイル名で指定される画像が表示されている。

文書解析部１１２は、文書情報取得部１１１から入力されたサイト情報を解析し（Ｓ７０２）、ウェブサイトを構成する部分や段落の表示位置及び含まれる文字列を抽出する。図８に示すサイト情報を取得した場合に文書解析部１１２が抽出する情報の例を図９に示す。

図９に示すように、Ｓ７０２において、文書解析部１１２は、サイト情報にはヘッダ部、ナビゲーション部、コンテンツ部及びフッタ部が含まれることを抽出する。また、コンテンツ部に含まれる文字列として、“今回はにんじんの栄養価について考察します。”及び“以下のグラフはにんじんにふくまれる栄養素の割合を示しています。”という文字列を抽出する。文書解析部１１２は、図９に示すように抽出した情報（以降、解析済文書情報とする）を内容判断部１１３に入力する。

内容判断部１１３は、文書情報取得部１１１が取得したサイト情報のＵＲＬに基づき、そのウェブサイトに係るフィード情報のうち“内容”の情報をフィードＤＢ１４０から取得する（Ｓ７０３）。即ち、内用判断部１１３が、コンテンツ通知情報であるフィード情報をフィードＤＢ１４０から取得する通知情報取得部として機能する。本実施形態において、内容判断部１１３は、図６に示す情報のうち、ＩＤ“００１”のフィード情報の内容である“今回は・・・”という情報を取得する。Ｓ７０３において取得された情報は、サイト情報において検索対象とすべき主要な情報を判断するための情報、即ち、主要部判断情報として用いられる。

次に、内容判断部１１３は、取得した主要部判断情報が文書解析部１１２から取得した解析済文書情報に含まれるか否か検索する（Ｓ７０４）。本実施形態に係るＳ７０４において、内容判断部１１３は、“今回はにんじんの栄養価について考察します。”という文章を検索条件として検索する。その結果、内容判断部１１３は、図９に示すように、主要部判断情報と同一の文章がコンテンツ部の一段落として含まれていることを認識する。

内容判断部１１３は、Ｓ７０４の処理により主要部判断情報と同一の文章が含まれている部分を特定すると、その部分をウェブサイトの主要部であり、検索対象とすべき情報として特定する（Ｓ７０５）。即ち、内用判断部１１３が、検索対象特定部として機能する。本実施形態においては、図９に示すコンテンツ部が、検索対象とすべき情報として特定される。

より具体的には、内用判断部１１３は、上述した構造情報としての“＜ｄｉｖ＞＜／ｄｉｖ＞”タグによって分割された情報群のうち、上述した主要部判断情報と一致する情報が含まれる情報群、即ち、“＜ｄｉｖ＞＜／ｄｉｖ＞”タグによって囲まれている部分を主要部分として特定する。

内容判断部１１３は、ウェブサイトの主要部を特定すると、文書解析部１１２から取得した解析済文書情報のうち、主要部として特定された部分の情報（以降、主要文書情報とする）、ウェブサイトのＵＲＬ及びウェブサイトのタイトルを結果出力部１１４に入力する。

結果出力部１１４は、内容判断部１１３から取得した情報を、文書情報ＤＢ１５０に格納し（Ｓ７０６）、処理を終了する。即ち、結果出力部１１４が、コンテンツ情報記憶処理部として機能する。本実施形態に係るＳ７０６において、結果出力部１１４が文書情報ＤＢ１５０に格納する情報の例を図１０に示す。図１０に示すように、結果出力部１１４が文書情報ＤＢ１５０に格納する情報には、文書ＩＤ、文書ＵＲＬ、文書タイトル及び主要文書情報が含まれる。このような処理により、本実施形態に係る文書検索システムにおける文書情報の蓄積動作が完了する。

図１０において説明したように、本実施形態に係る文書情報ＤＢ１５０には、ウェブサイトに含まれる情報のうち主要部として特定された主要文書情報が格納される。即ち、本実施形態に係る文書検索システムにおいては、ウェブサイトに含まれる情報のうち主要部と判断されなかった部分は、文書情報ＤＢ１５０に格納されないため、検索制御部１２０による検索対象とならない。

例えば、図９に示すヘッダ部、フッタ部及びナビゲーション部に含まれる情報は、コンテンツ部に記述された情報とは無関係な情報である場合が多く、検索においてノイズになり易い。本実施形態に係る文書検索システムのように、ヘッダ部、フッタ部及びナビゲーション部の情報を検索対象から除外することにより、検索におけるノイズを低減することができる。

また、図７に示す文書情報の蓄積動作は、ユーザの指示によって実行される場合もある。この場合、図７の処理の結果、主要部として特定された部分をユーザに提示することが好ましい。主要部として特定された部分をユーザに提示する場合、結果出力部１１４が、Ｓ７０５において主要部として特定された情報を明示して表示するための表示情報を生成し、ネットワークＩ／Ｆ１３０を介してユーザに送信する。また、上述したように、文書検索サーバ１に表示部を設ける場合、結果出力部１１４は、生成した表示情報をその表示部に入力する。即ち、結果出力部１１４が、表示情報生成部として機能する。

また、本実施形態においては、ウェブサイトにおける主要部を判断する際に、そのウェブサイトを提供しているウェブサーバ２から提供されるフィード情報を参照し、フィード情報の内容と一致する部分をウェブサイトの主要部であると判断する。上述したように、フィード情報は、ウェブサイトの更新を通知するための情報であり、そのウェブサイトが開示する情報の一部を含むため、好適にウェブサイトの主要部を判断することができる。

また、上述したように、本実施形態においては、主要部判断情報と同一の文章のみならず、その文章が含まれている部分を主要部として特定する。これにより、検索対象とすべき情報を漏れなく文書情報ＤＢ１５０へ登録することができる。

尚、本実施形態においては、主要部として抽出する範囲を“＜ｐ＞＜／ｐ＞”タグで囲まれた１つの段落から、“＜ｄｉｖ＞＜／ｄｉｖ＞”タグで囲まれた範囲に拡大する。この他、＜ｔａｂｌｅ＞タグの範囲や、＜ｌｉ＞タグの範囲若しくは＜ｆｒａｍｅ＞タグによって指定されている１つのフレームの範囲等、情報のまとまりを示す範囲であれば、同様に適用可能である。

例えば＜ｔａｂｌｅ＞タグが用いられると、セルが行列上に配置された表が生成される。従って、主要部判断情報と同一の文章が抽出されたセルを主要部として特定する他、同一の列、若しくは同一の行全体を主要部として特定することができる。更には、＜ｔａｂｌｅ＞タグによって描画される表から主要部判断情報と同一の文章が抽出された場合、その表全体を主要部として特定しても良い。

また、上記実施形態においては、文書情報としてウェブサイトを構成するＨＴＭＬ情報を例とする場合が説明されている。この他、文書情報の例としては、拡張子“ｐｄｆ”、“ｔｘｔ”及び“ｄｏｃ”等の情報が考えられる。これらの情報の場合、上述したように文書がタグによって構造化されていないため、上記と同様の手法を用いることができない。以下に、文書情報として構造化されていない文書を用いる場合の例について説明する。

構造化されていない文書を取得して文書情報ＤＢ１５０に格納する場合、文書情報解析部１１２は、図７のＳ７０２において、取得した文書情報の情報形式に応じたアプリケーションを用いて文書情報を読み込んで解析する。具体的には、文書情報解析部１１２は、拡張子“ｐｄｆ”、“ｄｏｃ”等の各情報形式に対応したアプリケーションを用いて、取得した文書情報を解析する。

そして、文書情報解析部１１２は、上記解析において、文書情報に含まれる文字情報、画像情報及び書式情報等の配置に関するアプリケーション固有のルールを用いて文字情報や画像情報の各段落が文書情報中で占める位置、大きさを抽出すると共に、各段落に含まれる文字情報を抽出する。尚、拡張子“ｐｄｆ”、“ｊｐｇ”等、文字情報が画像として含まれる文書情報の場合、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）により、文字情報を抽出することができる。

Ｓ７０３、Ｓ７０４については、上記説明と同様に処理が実行される。Ｓ７０４の処理により、Ｓ７０２において抽出した文字情報と同一の文章が含まれている部分が特定されると、Ｓ７０５において、内用判断部１１３は、同一の文章を含む段落をその文書情報の主要部として特定する。

その後、Ｓ７０６において、結果出力部１１４は、Ｓ７０１において取得した文書情報の全てを文書情報ＤＢ１５０に格納する。この際、Ｓ７０５において特定された主要部を他の部分と区別するための情報を付して格納処理を行う。この場合に文書情報ＤＢ１５０に格納される情報の例を図１１に示す。図１１に示すように、構造化されていない文書を取得して文書情報ＤＢ１５０に格納する場合、文書情報ＤＢ１５０に含まれる情報は、文書ＩＤ、文書ＵＲＬ、文書タイトル、主要部特定情報及び文書情報を含む。

文書ＩＤ、文書ＵＲＬ及び文書タイトルは図１０において説明した情報と同様である。文書情報は、Ｓ７０１に取得され、Ｓ７０２において解析された文書の情報である。尚、Ｓ７０２の処理の結果抽出された各段落には段落毎のＩＤが付される。図１０に示す文書情報には、上記付与されたＩＤも含まれる。尚、主要部として特定された段落を太字、下線若しくは色変え等により強調表示しても良い。

主要部特定情報は、Ｓ７０５において特定された主要部を示す情報である。具体的には、主要部として特定された段落に付されたＩＤが、主要部特定情報として用いられる。

図１１に示すような情報が文書情報ＤＢ１５０に格納された場合、検索実行部１２２は、文書情報ＤＢ１５０に格納された文書情報のうち、主要部特定情報によって主要部として特定されている情報のみを検索対象とする。これにより、上記と同様に検索におけるノイズを低減することができる。尚、構造化された文書情報であっても、図１１に示すような情報を文書情報ＤＢ１５０に格納するようにしても良い。

また、上記実施形態においては、文書情報として構造化された文書を用いる場合に、＜ｄｉｖ＞タグや＜ｔａｂｌｅ＞タグ等を解析して主要部を特定する方法を説明した。この他、ウェブサイトにおける座標を特定するようにしても良い。以下に、そのような場合について説明する。尚、以下の例においては、図７のＳ７０１において、図１２に示すＨＴＭＬ情報を取得した場合を例とする。

この場合、Ｓ７０２において、文書情報解析部１１２は、サイト情報に含まれる＜ｐ＞要素毎に解析を行う。ＨＴＭＬによるウェブサイトは、描画領域の横幅によって表示・印刷時の描画位置が変化する。ここでは、仮に横幅を７００ピクセルとする。また、描画データの左上を原点とし、下方向にy座標、右方向にx座標をとるものとする。このときの座標を（ｘ，ｙ）として表す。ウェブサイトに表示されるすべての内容は＜ｂｏｄｙ＞要素の中に記述書かれるため、＜ｂｏｄｙ＞要素は描画データの左上を（０，０）とし、描画領域の横幅いっぱいに広がる領域となる。そして、＜ｂｏｄｙ＞要素のうち、描画データ中で面積を持つ要素は決まっているので、それらを再帰的にたどりながら、大きさを決定していく。

まず、文書情報解析部１１２は、最初に出現する＜ｐ＞要素の大きさを、描画領域の上から、＜ｐ＞要素に入っている文字列をデフォルトのフォントサイズで表示した場合の大きさとして計算する。図１２に示すように、最初の＜ｐ＞要素は“今回はにんじんの栄養価について考察します”という文章である。この文章をデフォルトのフォントサイズで表示した場合の大きさが横に７００ピクセル縦に１００ピクセルであるとすると、最初の＜ｐ＞要素の表示範囲は、（０，０）と（７００，１００）で画定される長方形の範囲となる。

同様に、２つめの＜ｐ＞要素である“以下のグラフはにんじんにふくまれる栄養素の割合を示しています。”という文章についても、同様に表示範囲が計算される。この場合、２つめの＜ｐ＞要素は、１つめの＜ｐ＞要素の下に表示されるため、２つめの＜ｐ＞要素の左上の座標は（０，１００）となる。仮に、２つめの＜ｐ＞要素の表示範囲を（０，１００）と（７００，２００）で画定される長方形の範囲とする。

３つ目の＜ｐ＞要素には、画像情報である＜ｉｍｇ＞要素のみが含まれるため、その画像情報である“ｒａｔｅ．ｇｉｆ”の大きさが表示範囲となる。仮に、ｒａｔｅ．ｇｉｆの幅を５４０、高さを４００とすると、３つめの＜ｐ＞要素の表示範囲は、（０，２００）と（５４０，６００）で画定される長方形の範囲である。このように、Ｓ７０２の処理において、文書情報解析部１１２が夫々の＜ｐ＞要素毎に表示範囲を判断するようにしても良い。

１ 文書検索サーバ、
２ ウェブサーバ、
３ クライアント装置、
１０ ＣＰＵ、
２０ ＲＡＭ、
３０ ＲＯＭ、
４０ ＨＤＤ、
５０ Ｉ／Ｆ、
６０ ＬＣＤ、
７０ 操作部、
８０ バス、
１００ ＲＳＳ処理部、
１０１ フィード取得部、
１０２ フィード解析部、
１１０ 文書蓄積制御部、
１１１ 文書情報取得部、
１１２ 文書情報解析部、
１１３ 内用判断部、
１１４ 結果出力部、
１２０ 検索制御部、
１２１ 検索条件取得部、
１２２ 検索実行部、
１２３ 検索結果出力部、
１３０ ネットワークＩ／Ｆ、
１４０ フィードＤＢ、
１５０ 文書情報ＤＢ

Claims (12)

1. ネットワーク上に公開されている情報を取得して検索対象として記憶媒体に記憶させる情報処理装置であって、
   前記ネットワーク上に公開されている情報であるコンテンツ情報を取得するコンテンツ情報取得部と、
   前記コンテンツ情報の少なくとも一部を含み、該コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得する通知情報取得部と、
   前記取得されたコンテンツ情報に含まれる情報のうち前記検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定する検索対象特定部と、
   前記特定された情報を前記検索対象として前記記憶媒体に記憶させるコンテンツ情報記憶処理部と、を含む情報処理装置。
2. 前記検索対象特定部は、前記取得されたコンテンツ情報に含まれる情報であって前記コンテンツ情報を複数の情報群に分割するように前記コンテンツ情報の構造を示す情報である構造情報を参照し、前記複数の情報群のうち前記コンテンツ通知情報に含まれる情報と一致する情報が含まれる情報群を前記検索対象として特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記検索対象特定部は、前記コンテンツ通知情報に含まれる前記複数の情報群のうち前記情報群を示すタグによって囲まれた部分を前記検索対象として特定することを特徴とする請求項２に記載の情報処理装置。
4. 配信されている前記コンテンツ通知情報を蓄積する通知情報蓄積部と、
   前記通知情報蓄積部に蓄積するために前記コンテンツ通知情報を受信する通知情報受信部とを更に有し、
   前記通知情報取得部は、前記通知情報蓄積部から前記コンテンツ通知情報を取得することを特徴とする請求項１乃至３いずれかに記載の情報処理装置。
5. 前記通知情報受信部は、受信すべき前記コンテンツ通知情報が提供されているネットワーク上のアドレスである通知アドレス情報を記憶しており、前記通知アドレス情報に基づいて前記コンテンツ通知情報を受信することを特徴とする請求項４に記載の情報処理装置。
6. 前記コンテンツ通知情報は、当該コンテンツ通知情報が対象とする前記コンテンツ情報が提供されているネットワーク上のアドレスである提供アドレス情報を含み、
   前記コンテンツ情報取得部は、前記通知情報受信部が前記コンテンツ通知情報を受信した際に、前記取得されたコンテンツ通知情報に含まれる前記提供アドレス情報に基づいて前記コンテンツ情報を取得することを特徴とする請求項５に記載の情報処理装置。
7. 前記特定された主要部分を明示して表示するための表示情報を生成する表示情報生成部を更に含むことを特徴とする請求項１乃至６いずれかに記載の情報処理装置。
8. 前記コンテンツ情報記憶処理部は、前記検索対象として特定された情報を、前記取得されたコンテンツ情報が提供されているネットワーク上のアドレスである提供アドレス情報と関連付けて記憶させることを特徴とする請求項１乃至７いずれかに記載の情報処理装置。
9. 入力された条件に基づいてネットワーク上に公開されているコンテンツ情報を検索する情報検索装置であって、
   前記コンテンツ情報を取得するコンテンツ情報取得部と、
   前記取得されたコンテンツ情報の少なくとも一部を含む情報であって前記コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得する通知情報取得部と、
   前記取得されたコンテンツ情報に含まれる情報のうち検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定する検索対象特定部と、
   前記検索対象として特定された情報を前記検索対象として記憶媒体に記憶させるコンテンツ情報記憶処理部と、
   前記入力された条件に基づいて前記検索対象として記憶された情報を抽出する情報検索部と、を含む情報検索装置。
10. ネットワーク上に公開されている情報を取得して検索対象として記憶媒体に記憶させる情報処理方法であって、
    前記ネットワーク上に公開されている情報であるコンテンツ情報を取得し、
    前記コンテンツ情報の少なくとも一部を含む情報み、該コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得し、
    前記取得されたコンテンツ情報に含まれる情報のうち前記検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定し、
    前記検索対象として特定された情報を前記検索対象として前記記憶媒体に記憶させる、情報処理方法。
11. 情報処理装置にネットワーク上に公開されている情報を取得して検索対象として記憶媒体に記憶させる処理を実行させる情報処理プログラムであって、
    前記ネットワーク上に公開されている情報であるコンテンツ情報を取得するステップと、
    前記コンテンツ情報の少なくとも一部を含み、該前記コンテンツ情報をユーザに通知するために配信されるコンテンツ通知情報を取得するステップと、
    前記取得されたコンテンツ情報に含まれる情報のうち前記検索対象とすべき情報を、前記取得されたコンテンツ通知情報に含まれる前記コンテンツ情報の少なくとも一部に基づいて特定するステップと、
    前記特定された情報を前記検索対象として前記記憶媒体に記憶させるステップと、を前記情報処理装置に実行させる情報処理プログラム。
12. 請求項１１に記載の情報処理プログラムを情報処理装置が読取可能な形式で記録したことを特徴とする、記録媒体。

Images