JP3708894B2 - 知識情報収集システムおよび知識情報収集方法 - Google Patents
知識情報収集システムおよび知識情報収集方法 Download PDFInfo
- Publication number
- JP3708894B2 JP3708894B2 JP2002108480A JP2002108480A JP3708894B2 JP 3708894 B2 JP3708894 B2 JP 3708894B2 JP 2002108480 A JP2002108480 A JP 2002108480A JP 2002108480 A JP2002108480 A JP 2002108480A JP 3708894 B2 JP3708894 B2 JP 3708894B2
- Authority
- JP
- Japan
- Prior art keywords
- collection
- document
- file
- information
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明はナレッジマネジメントシステムで用いられる知識情報収集システムおよび知識情報収集方法に関し、特に知識データベースに登録すべき文書情報をネットワーク上から収集するための知識情報収集システムおよび知識情報収集方法に関する。
【0002】
【従来の技術】
近年、企業を中心に複数のユーザ間で情報共有を行うためのグループウェアの導入が進められている。代表的なグループウェアとしては、電子メールシステムやワークフローシステムなどが知られているが、最近では、知識情報の共有支援を図るためのナレッジマネジメントシステムも開発され始めている。
【0003】
このナレッジマネジメントシステムは、個人のノウハウなどの知識情報を知識データベースに蓄積・管理するためのものであり、自然言語検索などの検索機能と組み合わせることにより、蓄積された知識情報の効率的な活用が可能となる。
【0004】
ところで、このようなナレッジマネジメントシステムにおいては、知識情報をいかに効率よく収集・蓄積するかが重要なポイントとなる。特にインターネット上のWeb情報は知識の宝庫であるので、インターネット上から必要な情報を効率良く収集するための仕組みが必要とされている。
【0005】
【発明が解決しようとする課題】
しかし、インターネットからのWeb情報の収集に際してはリンク情報を辿りながら互いに関連する大量の文書ファイル群それぞれを順次収集することが必要となるので、その収集処理には通常多くの時間を要する。このため、一旦収集処理を開始すると、全ての文書ファイル群の収集が完了するまではシステムを稼働し続けなければならない。また収集処理を強制的に終了させることも可能であるが、この場合には、後に同一の収集処理を最初から実行し直すことが必要となるので無駄が多くなる。
【0006】
さらに、インターネット上のWeb情報は静的なものではなく、そのWeb情報を構成する文書ファイルの更新、追加、削除により、Web情報の内容は動的に変化されるのが通常である。このため、インターネットからWeb情報を収集してそれをナレッジマネジメントシステムの知識データベースに登録する場合には、インターネット上でのWeb情報の更新に合わせて知識データベースの登録内容も最新の内容に維持するための仕組みが必要となる。この場合、一度行った収集処理と同一のWeb情報全てを新たに収集し直すことにより、知識データベースの登録内容を最新の内容に維持することができる。
【0007】
ところが、インターネット上にはWeb情報の更新、追加、削除が頻繁に繰り返されるWebサイトや、そのWeb情報の更新、追加、削除がほとんど行われないWebサイト、さらには一定周期で例えばニュースなどの一部のWeb情報のみの更新が行われるWebサイトなど、様々なWebサイトが存在する。よって、一度行った収集処理と同一のWeb情報全てを新たに収集し直すという処理のみでは、Webサイトによっては無駄な収集処理が繰り返されることになる。
【0008】
本発明はこのような事情を考慮してなされたものであり、インターネットなどのネットワーク上からの文書ファイルの収集処理を必要に応じて中断および再開できるようにし、ネットワーク上からの文書収集処理を効率よく行うことが可能な知識情報収集システムおよび知識情報収集方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、知識データベースに登録すべき文書情報をネットワーク上から収集する知識情報収集システムにおいて、予め設定された設定情報で指定される起点アドレス情報に基づいて、当該起点アドレス情報で指定される文書ファイルを起点にそれに関連する文書ファイル群を前記ネットワーク上から収集する文書収集処理を実行する文書収集手段と、前記文書収集手段による文書収集結果を保持する手段と、前記文書収集手段によって収集された各文書ファイルの文書情報を前記知識データベースに登録する登録手段と、前記文書収集手段によって実行中の文書収集処理に対する中断要求に応じて、当該文書収集処理の実行を中断する手段とを具備し、前記文書収集手段は、前記中断された文書収集処理を再開する際の再収集モードとして、前記起点アドレス情報を起点にして前記文書ファイル群を新たに収集する第1再収集モードと、前記保持されている文書収集結果を用いて、以前の収集で未収集の文書ファイルのみを収集する第2再収集モードと、前記保持されている文書収集結果を用いて、以前の収集時点から更新された文書ファイルのみを収集する第3再収集モードとを有し、前記中断された文書収集処理に対する再開要求を受けた場合、前記第1乃至第3の再収集モードの中から前記設定情報で指定された再収集モードを選択し、その選択した再収集モードを用いて前記文書ファイル群の再収集処理を実行する手段を含むことを特徴とする。
【0012】
この知識情報収集システムにおいては、ネットワーク上からの文書ファイルの収集処理の中断および再開を行うことができるとともに、中断された文書収集処理を再開する際の再収集モードとして、起点アドレス情報を起点にして前記文書ファイル群を新たに収集する第1再収集モードと、保持されている文書収集結果を用いて、以前の収集で未収集の文書ファイルのみを収集する第2再収集モードと、保持されている文書収集結果を用いて、以前の収集時点から更新された文書ファイルのみを収集する第3再収集モードとが用意されており、どの再収集モードを使用するかについては設定情報によって予め指定することが出来る。このように、再開時に実行すべき再収集モードを選択できるように構成することにより、文書収集処理の再開時に、収集先のWebサイトや収集目的などに対応する最適な再収集モードを使用することが可能となる。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【0014】
図1には、本発明の一実施形態に係る知識情報収集システムを用いたナレッジマネジメントシステム全体の構成が示されている。このナレッジマネジメントシステムは知識情報の収集・分析・検索等のサービスを提供するためのものであり、Web収集システム11、登録モジュール12、および知識エンジン13などから構成されている。これらWeb収集システム11、登録モジュール12および知識エンジン13は、サーバコンピュータ上で実行されるプログラムとして実現されている。Web収集システム11および登録モジュール12は、ナレッジマネジメントシステムで用いられる知識情報を収集するための知識情報収集システムを構成する。この知識情報収集システムは、Webページなどの文書をインターネット/イントラネット30上から収集してその文書の内容をナレッジマネジメントシステムの知識データベース(知識DB)131に登録するという処理を実行する。Web収集システム11は、Web収集モジュール111、管理インターフェース112、および登録ディレクトリ113から構成されている。
【0015】
Web収集モジュール111はインターネット/イントラネット30上の各種文書ファイルを収集してそれを知識DB131に登録できる形式で出力するためプログラムである。このWeb収集モジュール111はマルチスレッド構造を有しており、HTTP(HyperText Transfer Protocol)によるインターネット/イントラネット30上からの文書ファイル取得処理を並列的に行うことが出来る。HTTPはインターネット/イントラネット30上の情報サイト(Webサイト)である各Webサーバ31からHTML(Hyper Text Markup Language)で記述された文書を取得するための通信プロトコルである。Web収集モジュール111は、Web収集条件を指定する設定情報で指定されたURL(Uniform Resource Locator)の文書ファイルをインターネット/イントラネット30上から取得し、取得した文書ファイルにリンク先のURLが含まれていればそのURLの文書ファイルをさらに取得する、という再帰的な処理を行って、インターネット/イントラネット30上から関連する文書ファイル群を順次取得する。この場合、他の文書ファイルへのリンク情報(URL)を検出するためには取得した文書ファイルを解析することが必要となるが、その解析処理の中では、リンク情報の検出のみならず、知識DB131に登録すべきテキストデータの抽出も併せて実行される。
【0016】
収集対象の文書ファイルは、他のファイルへのリンク情報であるURLを記述可能なハイパーテキストファイル(HTMLファイル)のみならず、テキストファイル(plane text)、さらには各種アプリケーションプログラムによって作成された様々なファイル形式の文書ファイル(例えば、Portable Document Format形式のファイル、ワードプロセッサソフトウェアで作成した文書ファイル、表計算ソフトウェアで作成したファイル、プレゼンテーションデータ作成ソフトウェアで作成したプレゼンテーションデータのファイル、など)も収集対象となる。
【0017】
Web収集モジュール111では、インターネット/イントラネット30上から収集した各文書ファイルに対して知識DB131に登録すべき属性情報の取得と上述のテキストデータの抽出が行われる。各文書ファイルから取得される属性情報は、例えば、当該文書ファイルのURL、ファイル作成日時(更新日時)等である。そして、Web収集モジュール111では、それら各文書ファイルの属性情報とテキストデータが記述された登録ファイルが作成されて、それが登録ディレクトリ113上に出力される。ここで、登録ファイルとは、ファイル形式の異なる複数種の文書ファイルそれぞれの文書情報を知識DB131に登録するための共通インターフェースとして予め決められた記述形式を持つファイルを意味する。この登録ファイルは、複数種の文書ファイルそれぞれの文書情報を知識DB131に共通フォーマットで登録するために利用される。本実施形態では、登録ファイルとしてXML(eXtensible Markup Language)を使用する。
【0018】
管理インターフェース112は、Web収集モジュール111に実行させる各Web収集処理(以下、Web収集処理タスクという)の内容を設定するためのプログラムであり、各Web収集処理タスク毎にそのWeb収集条件の設定および管理、Web収集モジュール111の起動・停止の制御、さらには各Web収集処理タスクの収集状況の管理・提示等の機能を有している。この管理インターフェース112は、管理者ユーザがそのユーザ端末のWebブラウザ21上から必要な操作を行えるように、Webサーバ22がCGI(Common Gateway Interface)を通じて起動可能な外部プログラム(CGIプログラム)として実現されている。
【0019】
またWeb収集システム11には、Web収集モジュール111の動作を管理・制御するためのファイルとして、図示のように、ロックファイル201、制御ファイル202、設定ファイル203、結果ファイル204、およびログファイル205が設けられている。
【0020】
ロックファイル201はWeb収集モジュール111の2重起動を防止するための排他制御用のファイルである。制御ファイル202は管理インターフェース112がWeb収集モジュール111を停止させるために使用するファイルであり、例えば、管理者ユーザからの指示に応答して、実行中のWeb収集処理タスクを途中で中断させる場合などに利用される。収集実行中における中断の指定は、管理者ユーザが管理インターフェース112を通じて行うことができる。
【0021】
設定ファイル203は、各Web収集処理タスク毎にそのWeb収集条件を指定する設定情報を記述するためのファイルであり、ここには複数のWeb収集処理タスクそれぞれに対応する複数の設定情報を保持することが出来る。各Web収集処理タスクのWeb収集条件は、管理者ユーザによって設定される。Web収集条件には、少なくとも、インターネット/イントラネット30からの情報収集の起点とすべき文書ファイルの所在を示す起点アドレス情報(起点URL)と、収集対象とすべき文書ファイル数またはリンク段数の上限値を示す収集範囲情報、等が含まれている。このWeb収集条件に基づいてWeb収集モジュール111のWeb収集動作が制御される。すなわち、Web収集モジュール111は、起点URLで指定される文書ファイルを起点にそれに関連する文書ファイル群を、収集範囲情報で規定される範囲内で順次収集する。
【0022】
また、Web収集条件には、登録先の知識データベースを指定する知識データベース名も含まれている。すなわち、知識DB131においては蓄積文書の種類が互いに異なる複数の知識データベースが定義されており、それら複数の知識データベースがそれぞれの知識データベース名で管理されている。設定ファイル203の設定情報によってWeb収集タスク毎に登録先の知識データベース名を指定することにより、収集した文書情報を知識DB131内の任意の知識データベースに登録することが出来る。
【0023】
さらに、収集範囲情報として、収集対象とすべきファイル形式の種類、再収集を行う時の収集条件、等を設定することもできる。ここで、再収集とは、例えばWeb収集モジュール111に同一のWeb収集処理タスクを定期的に実行させる場合における2度目以降のWeb収集処理や、一旦中断したWeb収集処理タスクを再開させた場合のWeb収集処理を言う。本実施形態では、3つの再収集モードが用意されており、Web収集処理タスク毎に使用すべき再収集モードを指定することが出来る。3つの再収集モードそれぞれの内容は、図10以降で詳述する。
【0024】
結果ファイル204は、以前に収集した文書ファイルの一覧等をWeb収集処理の結果として各Web収集タスク毎に管理するためのファイルであり、ここには、Web収集の結果として取得したURLのリスト、取得日時、取得した文書ファイル件数、などが各Web収集処理タスク毎に出力される。この結果ファイル204はWeb収集処理タスクそれぞれの収集状況をユーザに提示する目的と、再収集の効率化の目的に用いられる。この結果ファイル204を用いることにより、過去に収集済みの文書ファイルの中でインターネット/イントラネット30上の情報サイトから削除された文書ファイルを検出したり、Web収集処理を途中で中断した場合における再開ポイントの検出、さらには以前の収集時点からインターネット/イントラネット30上で更新されている文書ファイルの検出などを行うことが出来る。
【0025】
ログフィル205は、Web収集モジュール111による文書ファイルの取得の成否やエラーの種類などを管理するファイルである。
【0026】
登録ディレクトリ113は、知識DB131に登録すべき文書内容を出力するための記憶領域である。ここには、Web収集モジュール111によって各文書ファイルから抽出された属性情報とテキストデータが記述された上述の登録ファイルが出力される。Web収集モジュール111は、テキストデータの抽出に関して第1および第2の2つの処理モードを有する。
【0027】
第1処理モードでは、全てのファイル形式の文書ファイルを対象に解析処理を行ってテキストデータの抽出、さらにはリンク情報(URL)の検出が行われる(URLの検出はHTMLファイルのみが対象)。第2処理モードでは、HTMLファイルとテキストファイル(PlainText)のみを対象に解析処理を行ってテキストデータの抽出、さらにはリンク情報(URL)の検出が行われ(URLの検出はHTMLファイルのみが対象)、例えばPortable Document Format等の他のファイル形式の文書ファイル(以下、コンテンツファイルという)に対しては解析処理は行われない。
【0028】
第2処理モードを使用した場合、HTMLとPlainTextについては、そのテキストデータと属性情報が登録ファイル上に記述されて登録ディレクトリ113上に出力される。一方、Portable Document Formatなど他の形式のファイルについてはそのコンテンツファイルがそのまま登録ディレクトリ113上に出力され、登録ファイル上には当該ファイルの属性情報とコンテンツファイルのパス名が記述される。なお、第2処理モードにおいては、リンク情報の検出のための解析処理が必要なファイルを対象にその解析処理の中でテキストデータの抽出も併せて実行するという点が肝要であるので、HTMLファイルのみを対象にテキストデータの抽出を行うようにしても良い。
【0029】
第1および第2のどちらの処理モードにおいても、Web収集モジュール111は実行中のWeb収集タスクの処理が完了した時に、登録モジュール12に対して登録要求ファイルを発行して文書の登録を登録モジュール12に要求する。登録要求ファイルには、登録ファイルのファイル名、登録先の知識データベース名などが記述されている。
【0030】
登録モジュール12は、Web収集モジュール111によって収集された各文書ファイルの属性情報およびテキストデータを知識DB131に登録する。すなわち、登録モジュール12は、Web収集モジュール111からの登録要求に応答して該当する登録ファイルを取得し、その登録ファイル上に文書ファイル毎に記述されている属性情報およびテキストデータを取り出して、知識DB131の登録先知識データベースに登録する。また、この登録モジュール12はテキストデータの抽出機能も有しており、登録ファイルにコンテンツファイルのパス名が記述されている場合は、登録モジュール12は、そのパス名で指定されるコンテンツファイルからテキストデータを抽出して知識DB131の該当する登録先知識データベースに登録する。
【0031】
さらに、登録モジュール12は、Web収集モジュール111以外の他の収集モジュールによって収集された文書の登録処理も実行する。他の収集モジュールとしては、例えば、電子ファイリングシステムのファイルサーバから文書情報を収集するファイル収集モジュール、RDBデータベースサーバからそこに管理されている文書情報を収集するRDB収集モジュール、電子掲示板形式のコミュニティからそこに投稿された文書情報を収集するコミュニティ収集モジュール、ユーザが任意の各種アプリケーションプログラムの文書ファイルを登録ファイル(XML)の出力形式に変換するために使用するユーザ収集モジュール等がある。登録モジュール12はこれら各収集モジュールによって共通に利用される。どの収集モジュールについても、登録モジュール12に対するインターフェースとしては上述のXML形式の登録ファイルが用いられる。
【0032】
知識エンジン13は、知識DB131に蓄積された情報を活用するための知識分析処理を行う。この知識分析処理では、知識DB131に蓄積された大量の文書情報それぞれの特徴を分析して重要語を抽出する処理や、それら文書情報を特徴別に複数のカテゴリに分類および整理するクラスタリング処理などが行われる。この知識エンジン13には自然言語検索を行うための知識エンジン132が設けられており、各ユーザはそのユーザ端末のWebブラウザ41からWebサーバ42を通じて知識エンジン132をアクセスすることにより、Webブラウザ41上から知識DB131に蓄積された知識の検索を行うことが出来る。知識DB131に蓄積された各文書の属性情報にはその文書のURLも含まれているので、そのオリジナル文書を該当する情報サイトから取得してWebブラウザ41上に表示することが出来る。なお、検索処理は、ある知識データベース名を選択してその選択した知識データベースのみを対象に行ったり、あるいは知識DB131内の全ての知識データベースを対象に行うことが出来る。
【0033】
次に、図2を参照して、Web収集モジュール111の機能構成について説明する。
【0034】
Web収集モジュール111は、図示のように、収集制御部301、属性抽出部302、テキスト抽出部303、およびフォーマット変換部304を有している。収集制御部301は、設定ファイル203に保持されている全ての設定情報それぞれについて、その設定情報で指定されたWeb収集タスクを順番に一つずつ実行する。各Web収集タスク毎に設定情報で指定された起点URLを起点として、インターネット/イントラネット30から関連する文書ファイル群を順次収集する。取得した文書ファイルに含まれるリンク先文書へのURLはURLリスト305に追加されて行き、URLリスト305からURLを取得しながらが収集処理が再帰的に実行される。URLリスト305としては、上述の結果ファイル204を用いることが出来る。収集範囲は設定ファイル203に保持されている収集条件によって制限される。
【0035】
収集された各文書ファイルはまず属性抽出部302に送られ、そこで各文書ファイルの属性情報が取得される。次いで、テキスト抽出部303にて文書の解析処理が行われ、知識DB131に登録すべきテキストデータと、次に取得すべきリンク先URLの抽出が行われる。例えば、HTMLファイルに対しては、テキストデータの抽出は、HTMLのタグ以外の部分を抜き出すことによって行う。抽出されたテキストはタイトルとボディ(本文)とに分けられる。リンク先URLの取得は、Aタグ、AREFタグのHREFの値、FRAMEタグ、IFRAMEタグ、LAYERタグのSRCの値、METAタグのREFRESHの値を取得することによって行われる。上述の第2の処理モードで動作する場合には、テキスト抽出部303の処理はHTMLファイルとテキストファイルに対してのみ行われ、Portable Document Format等の他のファイル形式の文書ファイルに対しては行われない。
【0036】
各文書ファイルから取得された属性情報とテキストデータはフォーマット変換部304に送られ、そこでXMLの登録ファイルの記述形式に従う出力フォーマットに整形されて登録ディレクトリ113上に出力される。一つの登録ファイルには、例えば1000個程度の文書ファイルについての属性情報およびテキストデータが記述される。テキスト抽出が行われなかった文書ファイルについては属性情報とパス名が登録ファイル上に記述される。
【0037】
以上の処理は、再収集によって収集された各文書ファイルに対しても同様に行われる。
【0038】
次に、図3および図4を参照して、登録ファイルの出力フォーマットの例を説明する。
【0039】
図3は、テキスト抽出部303にてテキスト抽出を行う場合の出力フォーマットの例を示している。ファイルの先頭のタグ<?xml version="1.0" encoding="Shift_JIS"?>、<KnowledgeSystem>はファイルの始まりを示し、また末尾のタグ</KnowledgeSystem>はファイルの終わりを示している。
【0040】
<RECORD>と</RECORD>で囲まれた各レコード内に、1つの文書ファイルの属性情報とテキストデータが記述される。各レコード内のタグの意味は次の通りである。
【0041】
MODE :登録モジュール12の動作モードを指定するモード情報である。このモード情報は、各文書ファイル毎に知識DB131に対する文書情報(テキストデータおよび属性)の登録または削除を指示する。2=登録(上書き)か、0=削除、のいずれかとなる。削除の場合は、下記のタグのうち、TYPEとUNIQUE以外は出力されない。
【0042】
TYPE :収集のタイプを示す。本例では常に“Web収集”となる。
【0043】
UNIQUE :知識DB131に登録される当該文書ファイルを識別するためのユニークキーである。通常は、当該文書のURLがユニークキーとして用いられる。
【0044】
ORGDATE :文書ファイルの作成日時(または更新日時)を示す。
【0045】
TITLE :文書ファイルのタイトルを示す。HTMLファイルのタイトル部から抽出されたテキストデータがタイトルとなる。HTMLファイル以外のファイルについてはタイトルは出力されない。このタイトルは、検索画面上に表示される各文書ファイルのタイトルとして使用される。
【0046】
AUTHOR :文書ファイルを所有する情報サイトのホスト名(URLのホストアドレス)を記述する。
【0047】
DATE :上記ORGDATEの日付部分を記述する。
【0048】
URL :文書ファイルのURL。UNIQUEと同じ値である。
【0049】
BODY :文書ファイルから抽出されたテキストデータが記述される。
【0050】
図4は、テキスト抽出部303にてテキスト抽出を行わなかった文書ファイルに関する出力フォーマットの例を示している。
【0051】
BODYにはテキストデータは記述されず、<BDYFILE></BDYFILE>で囲まれた領域のPATH1に、登録ディレクトリ113上に出力される上記コンテンツファイルへのパス名が記述される。DEL=1は、登録モジュール12に対してコンテンツファイルからのテキストデータの抽出後に登録ディレクトリ113上の元ファイルを削除することを指示するものである。Web収集モジュール111が第2処理モードで動作する場合には、HTMLファイルとプレーンテキストについてはBODYにはテキストデータが記述され、他のファイル形式の文書ファイル(コンテンツファイル)についてはBDYFILEにそのコンテンツファイルのパス名が記述されることになる。
【0052】
次に、図5のフローチャートを参照して、収集した文書ファイルに対してWeb収集モジュール111内で実行される一連の処理の手順について説明する。
【0053】
まず、収集した文書ファイルから知識DB131に登録すべき属性情報(URL、AUTHOR、ORGDATE、DATE)が取得される(ステップS101)。属性情報の取得は、HTTPによって情報サイトから返される値や、収集した文書ファイル内に付加されている値などを用いる事が出来る。この後、第2処理モードにおいては、収集した文書ファイルの拡張子などに基づいてそのファイル種別が判定され、HTMLファイルまたはプレーンテキストファイルであるか、あるいはそれ以外の他のファイル形式のファイルであるかが判別される(ステップS102,S103)。収集した文書ファイルがHTMLファイルまたはプレーンテキストファイルである場合には(ステップS103のYES)、上述のテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンクURLの検出)が実行され(ステップS104)、そして属性情報とテキストデータを上述の形式で登録ファイル上に記述する処理(テキストデータをBODYに挿入)が行われる(ステップS105)。一方、HTMLファイルまたはプレーンテキストファイル以外の他のファイル形式のファイルであれば(ステップS103のNO)、当該ファイルが登録ディレクトリ113上にそのまま出力され(ステップS106)、その後、属性情報と当該ファイルのパス名を登録ファイル上に記述する処理(パス名をBDYFILEに記述)が行われる(ステップS107)。
【0054】
なお、目的のURLの文書ファイルがインターネット/イントラネット30上から取得できなかった場合には、当該文書ファイルの内容が既に知識DB131に登録されていることを条件に、モード情報(MODE)=0(削除)が登録ファイル上に記述される。
【0055】
また、第1処理モードにおいては、ステップS102,S103の処理は行われず、全ての取得ファイルを対象にステップS104,S105の処理が実行される。
【0056】
次に、図6のフローチャートを参照して、登録モジュール12によって実行される登録処理の手順を説明する。
【0057】
Web収集モジュール111から登録要求を受けた登録モジュール12は、Web収集モジュール111からの登録要求ファイルで指定された登録ファイル(XMLファイル)を登録ディレクトリ113から取得し、そしてその登録ファイルから1つずつレコードを取り出しながら、レコード毎に以下の処理を行う。まず、処理対象レコード内のモード情報がMODE=0であるかMODE=2であるかが調べられる(ステップS111,S112)。
【0058】
MODE=2の場合は、登録モジュール12は、レコード内の各タグに従って、そのタグ内に記述されたデータ項目(TYPE、UNIQUE、ORGDATE、TITLE、AUTHOR、DATE、URL、BODYそれぞれの内容)を、登録要求ファイルで指定された知識DB131内の登録先知識データベースに登録する(ステップS113)。BODYのタグ内にテキストデータが存在しない場合には、そのテキストデータの登録は行われない。次いで、BDYFILEのタグ内にパス名が記述されているかどうかが判定される(ステップS114)。パス名が記述されている場合には(ステップS114のYES)、そのパス名で指定される記憶領域から該当するコンテンツファイルが取得され(ステップS115)、そのコンテンツファイルからテキストデータを抽出する処理が行われる(ステップS116)。そして、その抽出された内容が該当する文書ファイルのテキストデータとして登録先知識データベースに登録される(ステップS117)。
【0059】
MODE=0の場合は、レコード内のUNIQUEで指定される登録済みの文書ファイルの属性情報とテキストデータが知識DB131からサーチされ、その登録内容が登録先知識データベースから削除される(ステップS118)。
【0060】
図7には、インターネット/イントラネット30上における文書ファイル(Webコンテンツ)の状態と知識DB131に対して行うべき登録/削除処理との関係が示されている。本実施形態においては、出来る限りインターネット/イントラネット30上における最新のWebコンテンツの状態を知識DB131に反映させるというポリシーに基づき、以下の処理が行われる。
【0061】
(1)更新されたWebコンテンツは、知識DB131に上書きする(MODE=2)。更新されたWebコンテンツの属性情報およびテキストデータを登録する場合、そのUNIQUEは、知識DB131に既に登録されている更新前のWebコンテンツのUNIQUEと同一である。よって、MODE=2により、知識DB131に既に登録されている更新前のWebコンテンツの属性情報およびテキストデータが、更新されたWebコンテンツの属性情報およびテキストデータに更新(上書き)される。
【0062】
(2)追加されたWebコンテンツは、知識DB131に追加登録する(MODE=2)。追加されたWebコンテンツの属性情報およびテキストデータを登録する場合、そのUNIQUEは、知識DB131に未登録である。よって、MODE=2により、追加されたWebコンテンツの属性情報およびテキストデータを知識DB131に追加登録することが出来る。
【0063】
(3)削除されたWebコンテンツは、知識DB131からも削除する(MODE=0)。
【0064】
次に、管理インターフェース112によって提供される機能を具体的に説明する。管理インターフェース112は上述のようにWeb収集タスクの設定・管理・実行を行うためのユーザインタフェースであり、1)Web収集タスクの設定を複数個作成して設定ファイル204に保存する機能、2)収集の設定の一覧表示、削除、などの管理作業を行う機能、3)収集の起動と終了(中断と再開)を行う機能、4)収集の状況や実績をリアルタイムに確認する機能、を管理者ユーザに提供する。
【0065】
管理インターフェース112によって管理者ユーザのWebブラウザ21に表示される画面は、図8に示すように、「一覧画面」、「設定画面」、「状況画面」の3つの画面より構成され、管理インターフェース112を起動すると、一覧画面が最初に表示される。3つの画面は各画面上で管理者ユーザによって行われる操作に応じて遷移する。一覧画面には、現在作成されている設定の一覧と各設定の最新の収集結果が表示される。この一覧画面上で、例えば、作成済みの設定を選択してその選択した設定に関する設定画面または状況画面に遷移した場合には、設定画面上では当該設定内容の追加/削除等を行うことが出来、また状況画面上では当該設定に関する起動と終了(中断と再開)の指定などを行うことが出来る。また、一覧画面上で、設定の新規作成を選択すると設定画面に遷移し、その設定画面上で設定の新規作成のための処理を行うことが出来る。以下、一覧画面、設定画面、状況画面それぞれについて具体的に説明する。
【0066】
図9には、一覧画面の例が示されている。この一覧画面上には、図示のように、「一覧」アンカ501、「設定アンカ」502、「状況」アンカ503が表示される。これら「一覧」アンカ501、「設定アンカ」502、「状況」アンカ503は、それぞれ一覧画面、設定画面、状況画面それぞれに対するリンクである。一覧画面上で「一覧」アンカ501がクリックされると、一覧画面の表示内容が最新状態に更新される。さらに、一覧画面上には、「新規設定」フィールド504、「作成」ボタン505、および状態一覧表示部506が設けられている。新規作成すべきWeb収集タスクの設定名を「新規設定」フィールド504に入力して、「作成」ボタン505をクリックすると、設定画面に遷移してその設定名に関する設定情報を新規作成する事が出来る。
【0067】
状態一覧表示部506には、上述の結果ファイル204に保持されている内容等に基づき、既に作成・登録済みのWeb収集タスクそれぞれについての収集状況が一覧表示される。Web収集タスク毎に以下の項目が表示される。
【0068】
「設定名」:登録してある設定の名称
「知識データベース名」:収集したデータを登録するデータベース名
「状態」:設定の現在の状態(未収集/収集中/終了/中断/異常終了のいずれか)
「開始」:最後に起動した日時
「終了」:最後に終了した日時
「ファイル」:前回のタスク実行で収集したファイル数(今回)と、これまでに実行した中で収集されたファイルの総数の最大値(全体)
このように、本実施形態においては、複数のWeb収集タスクを設定することが出来、しかもそれら複数のWeb収集タスクそれぞれの収集状況を一覧画面上で確認することが出来る。
【0069】
次に、図10を参照して、設定画面の例について説明する。設定画面上には、図示のように、上述の「一覧」アンカ501、「設定アンカ」502、「状況」アンカ503の他、「設定名」フィールド601、「知識データベース名」フィールド602、「プロキシサーバ」設定フォーム603、「収集ファイル形式」設定フォーム604、「取得要求」設定フォーム605、「認証情報」設定フォーム606、および「収集サイト」設定フォーム607等が設けられており、これらを用いて以下の設定編集操作を行うことが出来る。
【0070】
(1)設定名: 「設定名」フィールド601には一覧画面にて新規設定の作成または既存の設定の選択により指定された設定名が表示される。
(2)DB選択: 「知識データベース名」フィールド602に知識データベース名を入力することにより、収集したデータを登録する登録先知識データベースを選択する。
【0071】
(3)プロキシ: 「プロキシサーバ」設定フォーム603を用いて、収集に使用するプロキシサーバの設定を行う。
(4)収集するファイル形式: 「収集ファイル形式」設定フォーム604上で収集対象のファイル形式を選択する。HTMLおよびTEXTファイルはデフォルトで選択されており、この他、Portable Document Format, その他の様々なファイル形式を収集対象として選択することが出来る。
【0072】
(5)取得要求: 「取得要求」設定フォーム605上でURL取得時のタイムアウト時間、リトライ回数を指定する。
(6)認証情報: 「認証情報」設定フォーム606上で、ユーザ認証が必要なURLをアクセスするときに必要な認証情報を設定する。
【0073】
(7)収集サイト: 「収集サイト」設定フォーム607上では以下の項目の設定を行う。
【0074】
・起点URLの設定
・リンク段数の上限設定: 収集する起点URLからの最大リンク段数を指定する。
・ファイル数の上限設定: 収集する最大ファイル数を指定する。
・再収集の設定: 設定対象の収集タスクが同じ起点URLからの再収集を行った時の振る舞いを指定する(中断からの再開時も同じ)。再収集には3つの再収集モード(「全てのファイルを新たに収集」、「未収集のファイルのみ収集」、「更新されたファイルのみ収集(削除機能あり)」)があり、Web収集タスク毎に任意の一つの再収集モードを指定する事が出来る。各再収集モードの意味は次の通りである。
【0075】
1)再収集モード1: 「全てのファイルを新たに収集」
「全てのファイルを新たに収集」モードとは、収集対象のURLを全て再収集するモードを意味する。即ち、以前に収集したかどうかにかかわらず、起点URLから全ての文書ファイルを新たに収集しなおす。
【0076】
2)再収集モード2: 「未収集のファイルのみ収集」
「未収集のファイルのみ収集」モードとは、以前収集したURLはそのリンク先も含めて収集せずに、起点URLからの全ての文書ファイル群の内で以前の収集で未収集の文書ファイルのみを収集するモードである。
【0077】
3)再収集モード3: 「更新されたファイルのみ収集(削除機能あり)」
「更新されたファイルのみ収集(削除機能あり)」モードは、以前の収集時点から更新された文書ファイルのみ収集するモードである。更新の有無のチェック対象となる文書は、以前の収集において、現在よりも指定日数以上前に収集したURLである。「更新チェック頻度」フィールドに入力された値が指定日数となる。指定日数のデフォルトは「1日」である。以前の収集において、現在よりも指定日数以上前に収集したURLがインターネット/イントラネット30上の該当する情報サイトから削除されており、当該URLから文書ファイルを取得できなかった場合には、その文書ファイルに対応する登録情報は知識DB131から削除される。
【0078】
・収集範囲: 「ドメイン内のみ収集する」を指定すると、起点URLのドメイン内のみ収集を行う。
【0079】
・収集するURLのパターン: 収集対象とすべきURLの文字列のパターンを指定する。収集しようとするURLの中で、指定された文字列のパターンを含むURLのみが収集される。
【0080】
・収集しないURLのパターン: 収集対象から除外すべきURLの文字列のパターンを指定する。収集しようとするURLの中で、指定された文字列のパターンを含むURLは収集されない。
【0081】
図11には、状況画面の例が示されている。例えば、一覧画面または設定画面上で「状況」アンカ503を選択することで、現在表示しているタスクの状況画面に遷移する。この状況画面上には、当該タスクの「設定名」、「知識データベース名」、「状態」等が表示される。「設定名」の横には、収集開始/中止(再開/中断)を指示するためのボタン701が表示されている。「状態」には、タスクの状態(収集中/終了/未収集/中断/異常終了)が表示され、さらに、当該タスクの起点URL、収集したリンク段数(今回/最大/上限)、およびファイル数(今回/全体/上限)等の状況情報702も表示される。
【0082】
当該タスクの状態が未収集、終了、または中断の場合には、図11に示すように、ボタン701には「収集開始」と表示される。「収集開始」ボタン701を選択すると、当該タスクの実行がWeb収集モジュール111によって開始される。現在の状態が終了または中断の場合には、再収集が開始されることになる。また、当該タスクの現在の状態が収集中である場合には、図12に示すように、ボタン701には「収集中断」と表示される。「収集中断」ボタン701を選択すると、稼働中の収集タスクは中断される。中断される以前までに収集されたURLのリストは文書収集結果として結果ファイル204内に保持される。
【0083】
次に、図13乃至図15を参照して、状況画面上のボタン操作による収集処理の中断および再開(再収集)動作について具体的に説明する。
【0084】
この中断・再開機能は、実行中のWeb収集処理を一旦停止して、後日再開する様な場合に利用される機能である。Web収集モジュール111によるWeb収集処理は、インターネット/イントラネット30からの文書ファイルの取得を行う度にそのURLや成否を示すステータスコード等を進捗状況(収集結果)情報として結果ファイル204に書き込みながら実行される。取得した文書ファイルにリンク先のURLがあればそのURLが結果ファイル204に追加され、結果ファイル204に未収集のURLが無くなるまで、処理が繰り返される。この収集処理の途中で「収集中断」ボタン701が押されると、実行中のWeb収集タスクはその時点で中断される。そして、後に、その中断されたWeb収集タスクを選択した状態で「収集開始」ボタン701が押されると、中断されていたWeb収集タスクが再開されて再収集が開始される。例えば、再収集モードとして上述の「未収集のファイルのみ収集」モードが選択されていた場合には、結果ファイル204に保持されている未収集のURLから収集処理が再開されることになる。すなわち、中断されたWeb収集タスクによって収集済みの文書ファイルに後続する未収集の文書ファイルが結果ファイル204の文書収集結果から検出され、当該検出された文書ファイルからの収集処理が実行される。このように本実施形態においては、インターネット/イントラネット30上からの文書ファイルの収集処理を必要に応じて中断でき、且つ中断された文書収集処理の続きから文書収集処理を再開することができる。
【0085】
図14には、結果ファイル204に進捗状況情報として保持されるURLリストの例が示されている。結果ファイル204には、図示のように、取得対象のURL毎にその「URL」に加え、「収集日」、「収集日時」、「ステータスコード」、「起点URL」、および「リンク段数」が記録される。「リンク段数」は、起点URLから見た場合の当該取得対象URLのリンクの段数を示す。未収集のURLについては「収集日」、「収集日時」、「ステータスコード」の情報は空欄となる。これにより、Web収集処理を途中で中断した場合における再開ポイントを検出することができる。「ステータスコード」は収集処理の成否を示すものであり、これは、Webページの取得先となる相手先Webサーバから返されるHTTPステータスコードである。このHTTPステータスコードの種類は次の通りである。
【0086】
200: 正常終了、すなわちファイル取得が成功したことを示す。
304: 未更新(条件付き取得要求へのレスポンス)である。「更新されたファイルのみ収集」モードでは、このステータスコードが返されたURLは取得しない。
403: アクセス権限によるエラーを示す。
404: 当該ファイルが見つからないことによるエラーを示す。削除された文書ファイルの取得要求に対するレスポンスである。
408: タイムアウトエラー
図15のフローチャートには、Web収集が開始されてから中断されるまでの一連の処理手順が示されている。
【0087】
Web収集モジュール111は、最初に起点URLで指定される文書ファイルの取得を行い(ステップS121)、その結果(収集日、収集日時、ステータスコード、起点URL、リンク段数、URL(起点URLと同じ)を結果ファイル204に登録して進捗状況情報の更新を行う(ステップS122)。取得が成功した場合には、収集した文書ファイルから知識DB131に登録すべき属性情報が取得され(ステップS122)、次いでテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンク先URLの検出)が実行される(ステップS124)。リンク先URLが検出された場合には、そのURLと、上述の起点URLおよびリンク段数が結果ファイル204のURLリストに追加登録される(ステップS125)。この後、属性情報とテキストデータを登録ファイル上に記述する処理が行われる(ステップS126)。ここで、中断指示の有無が判定される(ステップS127)。中断指示が無い場合には(ステップS127のNO)、結果ファイル204に未収集のURLが登録されているかどうかによってWeb収集処理が完了したかどうかが判断される(ステップS128)。
【0088】
結果ファイル204に未収集のURLが登録されている場合には(ステップS128のNO)、上述のステップS121からの処理が繰り返される。すなわち、結果ファイル204に追加されたURLで指定される文書ファイルの取得を行い(ステップS121)、その結果(収集日、収集日時、ステータスコード)を結果ファイル204に登録して進捗状況情報の更新を行う(ステップS122)。取得が成功した場合には、収集した文書ファイルから知識DB131に登録すべき属性情報が取得され(ステップS122)、次いでテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンク先URLの検出)が実行される(ステップS124)。リンク先URLが検出された場合には、そのURLと、起点URLおよびリンク段数が結果ファイル204のURLリストに追加登録される(ステップS125)。この後、属性情報とテキストデータを登録ファイル上に記述する処理が行われる(ステップS126)。
【0089】
ここで、中断指示の有無が判定される(ステップS127)。もし「収集中断」ボタン701が押されたならば、制御ファイル202を通じて管理インターフェース112からWeb収集モジュール111に中断指示が発行される。この場合(ステップS127のYES)、Web収集モジュール111によって実行中のWeb収集タスクが中断される。
【0090】
次に、図16乃至図19を参照して、再収集処理の動作について説明する。再収集処理とは上述したように以前行った収集タスクを再度実行する場合の収集処理を意味する。一旦中断したWeb収集処理タスクを再開させた場合のWeb収集処理は再収集処理であり、また終了されたWeb収集処理タスクを次に実行させる場合におけるWeb収集処理も再収集処理である。これら再収集処理は、例えば、中断または終了されたWeb収集タスクが選択された状態で上述の「収集開始」ボタン701が押された場合に実行される。またWeb収集モジュール111をオペレーティングシステムのタスク管理機能に登録することなどによってWeb収集モジュール111を定期的に自動起動することもできるので、この場合には、中断または終了されたWeb収集タスクが自動実行されて再収集処理が開始されることになる。
【0091】
図16のフローチャートに示すように、再収集処理が開始されると、まず、そのWeb収集タスクに関する再収集モードが設定ファイル203の設定情報に基づいて判別される(ステップS131)。もし「全てのファイルを新たに収集」モードであれば、当該Web収集タスクに関する以前の結果ファイル204の内容は破棄され、起点URLからの収集処理が新たに開始される(ステップS132)。この場合、これまで説明した通常のWeb収集処理と同じ処理が実行されることになる。またもし「未収集のファイルのみ収集」モードであった場合には、既に収集済みの文書ファイルの収集は行われず、未収集の文書ファイルのみの収集が行われる。この場合、結果ファイル204に保持されている当該Web収集タスクに関する以前の収集結果の内容から再開ポイントが検出されて、以前の収集処理で未収集のURLからの収集処理が開始される(ステップS133)。再収集処理の収集結果は、結果ファイル204上に保持されている当該Web収集タスクに関する以前の収集結果に追加されていく。またもし「更新されたファイルのみ収集(削除機能あり)」モードであった場合には、以前の収集時点から更新された文書ファイルのみ収集が行われる(ステップS134)。再収集処理の収集結果は、結果ファイル204上に保持されている当該Web収集タスクに関する以前の収集結果に追加されていく。
【0092】
図17のフローチャートには、「未収集のファイルのみ収集」モードにおける再収集処理の手順が示されている。まず、結果ファイル204に保持されている当該Web収集タスクに関する以前の収集結果の内容から未収集のURL(収集日、収集日時が登録されていないURLの先頭)が検出され、それが再開ポイントとして決定される(ステップS201)。そして、その再開ポイントのURLで指定される文書ファイルの取得を行い(ステップS202)、その結果(収集日、収集日時、ステータスコード)を結果ファイル204に登録して進捗状況情報の更新を行う(ステップS203)。取得が成功した場合には、収集した文書ファイルから知識DB131に登録すべき属性情報が取得され(ステップS204)、次いでテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンク先URLの検出)が実行される(ステップS205)。リンク先URLが検出された場合には、そのURLと、起点URLおよびリンク段数が結果ファイル204のURLリストに追加登録される(ステップS206)。この後、属性情報とテキストデータを登録ファイル上に記述する処理が行われる(ステップS207)。そして、中断指示が発行されるか、あるいは収集処理が完了するまで、結果ファイル204から追加されたURLを取得しながらステップS202からの処理が繰り返し実行される(ステップS208,S209)。
【0093】
次に、「更新されたファイルのみ収集(削除機能あり)」モードにおける最収集処理の手順について説明する。
【0094】
このモードにおいては、図18に示すように、再収集を開始する現在の日時をD1、現在よりも指定日数だけ前の時点をD2とすると、D2までに取得された当該Web収集タスクに関するURLの中で、現時点までに更新されているURLのみが収集される。
【0095】
図19のフローチャートに示されているように、まず、結果ファイル204に保持されている当該Web収集タスクに関する以前の収集結果の内容から以前に収集したURLが一つずつ取得され(ステップS301)、その各URLについて以下の処理が行われる。最初に、当該URLに対応する文書ファイルがD2までに収集された文書ファイルであるかどうかが判断される(ステップS302)。D2までに収集された文書ファイルである場合には、そのURLで指定される文書ファイルが以前の収集日時から更新されているかどうかが調べられる(ステップS303)。もし更新されていれば、そのURLの文書ファイルの取得が行われる(ステップS304)。ステップS303,304の処理は、例えば、以前の収集日時を含む条件付きの取得要求を当該URLで指定されるWebサーバに発行して、更新されている場合のみ当該文書ファイルをWebサーバに返送させる、という仕組みを用いて実現することが出来る。
【0096】
当該URLの文書ファイルが更新されており、且つその取得が成功した場合には(ステップS305のYES)、その結果(収集日、収集日時、ステータスコード、起点URL、URL)を結果ファイル204に登録して進捗状況情報の更新を行う(ステップS306)。そして、収集した文書ファイルから知識DB131に登録すべき属性情報が取得され(ステップS307)、次いでテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンク先URLの検出)が実行される(ステップS308)。リンク先URLが検出された場合には、そのURLと、起点URLおよびリンク段数が結果ファイル204のURLリストに追加登録される(ステップS309)。この後、属性情報とテキストデータを登録ファイル上に記述する処理が行われる(ステップS310)。そして、中断指示が発行されるか、あるいは収集処理が完了するまで、以前に収集されたURLを対象にステップS301の処理が繰り返し実行される(ステップS311,S312)。
【0097】
もし、取得要求に対してWebサーバからステータスコード404が返された場合、つまり当該URLの文書ファイルがWebサーバから削除されていた場合には(ステップS305のNO)、結果ファイル204に保持されている当該URLの以前の収集結果のステータスコードが200であるかどうかによって、以前正常に収集された文書ファイルであるかどうかが判断される(ステップS313)。以前正常に収集された文書ファイルである場合には、その文書情報を知識データベース131から削除するための削除処理が実行される(ステップS314,S310)。ここでは、まずその結果(収集日、収集日時、ステータスコード200、起点URL、URL)を結果ファイル204に登録した後、MODE=0が選択され、MODE=0と当該URLのUNIQUE等が登録ファイル上に記述される。これにより、再収集終了後に、登録モジュール12によって知識データベース131から該当する文書情報が削除される。
【0098】
以上のように、本実施形態によれば、ユーザからの指示で文書ファイルの収集処理を中断でき、且つその中断された文書収集処理の続きから文書収集処理を再開できるので、インターネット/イントラネット30上から大量の文書ファイル群を効率よく収集することが可能となる。また、中断された文書収集処理を再開する際の再収集モードとして、起点アドレス情報を起点にして文書ファイル群を新たに収集する「全てのファイルを新たに収集」モードと、以前の収集で未収集の文書ファイルのみを収集する「未収集のファイルのみ収集」モードと、以前の収集時点から更新された文書ファイルのみを収集する「更新されたファイルのみ収集(削除機能あり)」とが用意されており、どの再収集モードを再開時に使用するかについては設定情報によってWeb収集タスク毎に予め指定することが出来る。よって、収集先のWebサイトや収集目的などに応じて最適な再収集処理を行うことが可能となり、再収集処理を効率よく行うことが可能となる。
【0099】
なお、本実施形態の知識情報収集システムの機能は全てコンピュータプログラムにより実現されているので、そのコンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記憶しておき、その記憶媒体を通じて本コンピュータプログラムを、コンピュータネットワーク接続可能な通常のコンピュータに導入して実行させるだけで、本実施形態と同様の効果を容易に得ることができる。
【0100】
また本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0101】
【発明の効果】
以上説明したように、本発明によれば、インターネットなどのネットワーク上からの文書ファイルの収集処理を必要に応じて中断および再開できるようになり、ネットワーク上からの文書収集処理を効率よく行うことが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る知識情報収集システムの構成を示すブロック図。
【図2】同実施形態の知識情報収集システムに設けられたWeb収集モジュールの機能構成を示すブロック図。
【図3】同実施形態の知識情報収集システムで用いられる登録ファイルの出力形式の例を示す図。
【図4】同実施形態の知識情報収集システムで用いられる登録ファイルの出力形式の他の例を示す図。
【図5】同実施形態の知識情報収集システムに設けられたWeb収集モジュールの処理手順を示すフローチャート。
【図6】同実施形態の知識情報収集システムに設けられた登録モジュールの処理手順を示すフローチャート。
【図7】同実施形態の知識情報収集システムおけるWebコンテンツとその登録処理との関係を示す図。
【図8】同実施形態の知識情報収集システムにより提供される3つの画面とその遷移を説明するための図。
【図9】同実施形態の知識情報収集システムで用いられる一覧画面の例を示す図。
【図10】同実施形態の知識情報収集システムで用いられる設定画面の例を示す図。
【図11】同実施形態の知識情報収集システムで用いられる状況画面の例を示す図。
【図12】同実施形態の知識情報収集システムで用いられる状況画面の例を示す図。
【図13】同実施形態の知識情報収集システムにおけるWeb収集処理の中断/再開動作を説明するための図。
【図14】同実施形態の知識情報収集システムに設けられた結果ファイルの内容の例を示す図。
【図15】同実施形態の知識情報収集システムにおけるWeb収集処理の開始から中断までの処理手順を示すフローチャート。
【図16】同実施形態の知識情報収集システムにおける再収集処理の手順を示すフローチャート。
【図17】同実施形態の知識情報収集システムにおける「未収集ファイルのみ収集」モードの再収集処理の手順を示すフローチャート。
【図18】同実施形態の知識情報収集システムにおける「更新ファイルのみ収集」モードの再収集処理を説明するための図。
【図19】同実施形態の知識情報収集システムにおける「更新ファイルのみ収集」モードの再収集処理の手順を示すフローチャート。
【符号の説明】
11…Web収集システム
12…登録モジュール
13…知識エンジン
30…インターネット/イントラネット
111…Web収集モジュール
112…管理インターフェース
113…登録ディレクトリ
131…知識データベース
132…検索エンジン
201…ロックファイル
202…制御ファイル
203…設定ファイル
204…結果ファイル
205…ログファイル
301…収集制御部
302…属性抽出部
303…テキスト抽出部
304…フォーマット変換部
Claims (5)
- 知識データベースに登録すべき文書情報をネットワーク上から収集する知識情報収集システムにおいて、
予め設定された設定情報で指定される起点アドレス情報に基づいて、当該起点アドレス情報で指定される文書ファイルを起点にそれに関連する文書ファイル群を前記ネットワーク上から収集する文書収集処理を実行する文書収集手段と、
前記文書収集手段による文書収集結果を保持する手段と、
前記文書収集手段によって収集された各文書ファイルの文書情報を前記知識データベースに登録する登録手段と、
前記文書収集手段によって実行中の文書収集処理に対する中断要求に応じて、当該文書収集処理の実行を中断する手段とを具備し、
前記文書収集手段は、
前記中断された文書収集処理を再開する際の再収集モードとして、前記起点アドレス情報を起点にして前記文書ファイル群を新たに収集する第1再収集モードと、前記保持されている文書収集結果を用いて、以前の収集で未収集の文書ファイルのみを収集する第2再収集モードと、前記保持されている文書収集結果を用いて、以前の収集時点から更新された文書ファイルのみを収集する第3再収集モードとを有し、前記中断された文書収集処理に対する再開要求を受けた場合、前記第1乃至第3の再収集モードの中から前記設定情報で指定された再収集モードを選択し、その選択した再収集モードを用いて前記文書ファイル群の再収集処理を実行する手段を含むことを特徴とする知識情報収集システム。 - 前記文書収集手段は、
前記第2再収集モードによる再収集処理を実行する場合、前記保持されている文書収集結果に基づいて、前記起点アドレス情報で指定される文書ファイルに関連する文書ファイル群の内で、前記中断された文書収集処理によって収集済みの文書ファイルに後続する未収集の文書ファイルを検出する手段と、
前記検出された文書ファイルから前記文書ファイル群の再収集処理を開始する手段とを含むことを特徴とする請求項1記載の知識情報収集システム。 - 前記文書収集手段は、
前記第3再収集モードによる再収集処理を実行する場合、前記保持されている文書収集結果で示される収集済みの各文書ファイルおよびその収集日時に基づいて、収集済みの各文書ファイル毎にその収集日時を含むファイル取得要求を前記ネットワーク上に発行することにより、以前の収集時点から更新された文書ファイルを前記ネットワークから収集することを特徴とする請求項1記載の知識情報収集システム。 - 前記文書収集手段によって前記第3再収集モードによる再収集処理が実行される場合、前記保持されている文書収集結果と、前記文書収集手段による再収集処理における各文書ファイルの収集の成否を示すステータス情報とに基づいて、以前に収集された文書ファイルの中で前記ネットワーク上から削除された文書ファイルを検出する手段と、
前記ネットワーク上から削除された文書ファイルに関する文書情報を前記知識データベースから削除する手段とをさらに具備することを特徴とする請求項1記載の知識情報収集システム。 - 知識情報収集システムによって、知識データベースに登録すべき文書情報をネットワーク上から収集する知識情報収集方法において、
知識情報収集システムが、予め設定された設定情報で指定される起点アドレス情報に基づいて、当該起点アドレス情報で指定される文書ファイルを起点にそれに関連する文書ファイル群を前記ネットワーク上から収集する文書収集処理を実行する文書収集ステップと、
知識情報収集システムが、前記文書収集ステップによる文書収集結果を保持するステップと、
知識情報収集システムが、前記文書収集ステップによって収集された各文書ファイルの文書情報を前記知識データベースに登録する登録ステップと、
知識情報収集システムが、前記文書収集ステップによって実行中の文書収集処理に対する中断要求に応じて、当該文書収集処理の実行を中断するステップとを具備し、
知識情報収集システムは、
前記中断された文書収集処理を再開する際の再収集モードとして、前記起点アドレス情報を起点にして前記文書ファイル群を新たに収集する第1再収集モードと、前記保持されている文書収集結果を用いて、以前の収集で未収集の文書ファイルのみを収集する第2再収集モードと、前記保持されている文書収集結果を用いて、以前の収集時点から更新された文書ファイルのみを収集する第3再収集モードとを有し、前記中断された文書収集処理に対する再開要求を受けた場合、知識情報収集システムが、前記第1乃至第3の再収集モードの中から前記設定情報で指定された再収集モードを選択し、その選択した再収集モードを用いて前記文書ファイル群の再収集処理を実行することを特徴とする知識情報収集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002108480A JP3708894B2 (ja) | 2002-04-10 | 2002-04-10 | 知識情報収集システムおよび知識情報収集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002108480A JP3708894B2 (ja) | 2002-04-10 | 2002-04-10 | 知識情報収集システムおよび知識情報収集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003303203A JP2003303203A (ja) | 2003-10-24 |
JP3708894B2 true JP3708894B2 (ja) | 2005-10-19 |
Family
ID=29392250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002108480A Expired - Fee Related JP3708894B2 (ja) | 2002-04-10 | 2002-04-10 | 知識情報収集システムおよび知識情報収集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3708894B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287024A (ja) * | 2009-06-11 | 2010-12-24 | Yaskawa Information Systems Co Ltd | アーカイブシステム、アーカイブシステム用検索プログラムならびにアーカイブシステムによる検索方法 |
JP5437335B2 (ja) * | 2011-09-09 | 2014-03-12 | ヤフー株式会社 | 集約装置、集約方法及び集約プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3445912B2 (ja) * | 1997-01-24 | 2003-09-16 | シャープ株式会社 | ハイパーテキスト自動取得装置 |
JPH11219313A (ja) * | 1998-02-02 | 1999-08-10 | Mitsubishi Electric Corp | コンテンツ先読み方法 |
JP2000122912A (ja) * | 1998-10-12 | 2000-04-28 | Fuji Xerox Co Ltd | 資源収集方法及び資源収集装置 |
JP3429225B2 (ja) * | 1999-07-22 | 2003-07-22 | 株式会社ジャストシステム | データ検索プログラムを記憶した記憶媒体 |
-
2002
- 2002-04-10 JP JP2002108480A patent/JP3708894B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003303203A (ja) | 2003-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1799051B (zh) | 使用页面存储文件浏览内容的方法 | |
US8887036B2 (en) | Automatic linking of documents | |
US6105028A (en) | Method and apparatus for accessing copies of documents using a web browser request interceptor | |
US8346769B2 (en) | System, method and program to manage alternate bookmarks | |
US6832220B1 (en) | Method and apparatus for file searching, accessing file identifiers from reference page | |
CN101484892B (zh) | 使用集成文档管理网络服务的方法 | |
US20050216825A1 (en) | Local storage of script-containing content | |
JP2004164623A (ja) | 表示データ生成装置、表示データ生成システム、表示データ生成方法、表示データ生成プログラム及び記録媒体 | |
US20060195426A1 (en) | Information management apparatus, information management method, and information management program | |
JP4253315B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3708893B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3725087B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3708894B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
US6754900B1 (en) | System for providing web browser access to an operating system desktop | |
KR100756421B1 (ko) | 해외 과학기술 전자원문 수집/색인/추출 시스템 및 그 방법 | |
JP3725088B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP2001184355A (ja) | 情報収集システム、コンテンツサーバ、情報収集装置及び記録媒体 | |
JP3725837B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3725836B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3725835B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JPH10171703A (ja) | サイトマップ表示装置および文書閲覧支援装置 | |
JP2002082936A (ja) | コンテンツデータ表示装置とコンテンツデータ表示システム | |
JP2003303198A (ja) | 知識情報収集方法および知識情報収集システム | |
JP4028795B2 (ja) | 電子メール収集・検索システム | |
JP2005031867A (ja) | ウエブ情報収集装置及びウエブ情報収集方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050804 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |