JPH11327995A - 情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体 - Google Patents
情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体Info
- Publication number
- JPH11327995A JPH11327995A JP10135195A JP13519598A JPH11327995A JP H11327995 A JPH11327995 A JP H11327995A JP 10135195 A JP10135195 A JP 10135195A JP 13519598 A JP13519598 A JP 13519598A JP H11327995 A JPH11327995 A JP H11327995A
- Authority
- JP
- Japan
- Prior art keywords
- information
- resources
- group
- collection
- contents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
(57)【要約】
【課題】本発明の課題は、ＷＷＷページの内容を解析
し、収集が必要なリソースを予測及び学習することによ
り、内容予測型リソース収集を行うことにある。 【解決手段】本発明は、ネットワーク上に分散している
リソースを内容毎に分類し、必要なリソースのみを、選
択的かつ自動的に収集する情報収集において、既に収集
したリソースの集合を既収集群とし、未収集の集合を未
収集群としたときに、既収集群の内容を形態素解析する
ことにより、未収集群の内容を予測し必要なリソースの
みを自動的に収集することを特徴とする。
し、収集が必要なリソースを予測及び学習することによ
り、内容予測型リソース収集を行うことにある。 【解決手段】本発明は、ネットワーク上に分散している
リソースを内容毎に分類し、必要なリソースのみを、選
択的かつ自動的に収集する情報収集において、既に収集
したリソースの集合を既収集群とし、未収集の集合を未
収集群としたときに、既収集群の内容を形態素解析する
ことにより、未収集群の内容を予測し必要なリソースの
みを自動的に収集することを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、通信においてデー
タを選択的かつ自動的に収集する内容予測型情報収集方
法及び装置並びに情報収集プログラムを記録した記録媒
体に関する。
タを選択的かつ自動的に収集する内容予測型情報収集方
法及び装置並びに情報収集プログラムを記録した記録媒
体に関する。
【０００２】
【従来の技術】インターネット上に膨大にあるリソース
の発見および自動収集を行う技術として、ＷＷＷ（Ｗｏ
ｒｌｄ Ｗｉｄｅ Ｗｅｂ）ロボット技術が有効に働
く。ＷＷＷロボット技術は主として、情報検索システム
のリソース収集において使用され、既に実用化され、そ
の有用性が認められている。また、ＷＷＷロボットの評
価ポイントは、収集の速度、リソースを提供するサーバ
に対する負荷の低さ、収集のマナー（リソース提供者が
収集を希望するもののみを収集する。）である。収集速
度が速く、情報提供サーバに対する負荷が低く、マナー
の良いＷＷＷロボットが良いＷＷＷロボットである。
の発見および自動収集を行う技術として、ＷＷＷ（Ｗｏ
ｒｌｄ Ｗｉｄｅ Ｗｅｂ）ロボット技術が有効に働
く。ＷＷＷロボット技術は主として、情報検索システム
のリソース収集において使用され、既に実用化され、そ
の有用性が認められている。また、ＷＷＷロボットの評
価ポイントは、収集の速度、リソースを提供するサーバ
に対する負荷の低さ、収集のマナー（リソース提供者が
収集を希望するもののみを収集する。）である。収集速
度が速く、情報提供サーバに対する負荷が低く、マナー
の良いＷＷＷロボットが良いＷＷＷロボットである。
【０００３】上記にも示したように、ＷＷＷロボットは
主に情報検索システムで使用される。現在、動作してい
る情報検索システムの多くが、検索対象として、インタ
ーネット上に提供される全ての分野のリソースを用いて
いる。
主に情報検索システムで使用される。現在、動作してい
る情報検索システムの多くが、検索対象として、インタ
ーネット上に提供される全ての分野のリソースを用いて
いる。
【０００４】図４は従来のＷＷＷロボットを示す構成説
明図である。すなわち、インターネット１と通信を行う
ネットワーク通信部２に収集候補選択部３からリソース
収集要求があると、前記ネットワーク通信部２からデー
タ保存部４にデータが供給されデータの保存が行われ
る。前記データ保存部４からハイパーリンク抽出部５に
データが供給されハイパーリンクの抽出が行われる。こ
のハイパーリンク抽出部５で抽出されたハイパーリンク
はハイパーリンク評価部６に供給されハイパーリンクの
評価が行われ、前記ハイパーリンク評価部６からのハイ
パーリンクの評価データは収集候補選択部３に供給され
る。前記ネットワーク通信部２からハイパーリンクＤＢ
（Ｄａｔａｂａｓｅ）管理部７に変更要求がなされ、前
記ハイパーリンク抽出部５からハイパーリンクＤＢ管理
部７に追加要求がなされ、前記収集候補選択部３からハ
イパーリンクＤＢ管理部７に変更要求がなされる。
明図である。すなわち、インターネット１と通信を行う
ネットワーク通信部２に収集候補選択部３からリソース
収集要求があると、前記ネットワーク通信部２からデー
タ保存部４にデータが供給されデータの保存が行われ
る。前記データ保存部４からハイパーリンク抽出部５に
データが供給されハイパーリンクの抽出が行われる。こ
のハイパーリンク抽出部５で抽出されたハイパーリンク
はハイパーリンク評価部６に供給されハイパーリンクの
評価が行われ、前記ハイパーリンク評価部６からのハイ
パーリンクの評価データは収集候補選択部３に供給され
る。前記ネットワーク通信部２からハイパーリンクＤＢ
（Ｄａｔａｂａｓｅ）管理部７に変更要求がなされ、前
記ハイパーリンク抽出部５からハイパーリンクＤＢ管理
部７に追加要求がなされ、前記収集候補選択部３からハ
イパーリンクＤＢ管理部７に変更要求がなされる。
【０００５】しかし従来のロボットは、図４に示すよう
に、ハイパーリンクについては評価を行い必要なリソー
スとそうでないものの取捨選択を行うが、内容について
は評価を行っていない。
に、ハイパーリンクについては評価を行い必要なリソー
スとそうでないものの取捨選択を行うが、内容について
は評価を行っていない。
【０００６】従って、検索対象を限定した情報検索シス
テムのリソース収集に、従来のロボットを使用すると、
不要なリソースも収集してしまうという欠点がある。更
に、不要なリソースの収集は、収集速度の低下を招くだ
けではなく、ネットワーク、リソースを提供する計算機
及び収集を行う計算機の負荷を助長する。
テムのリソース収集に、従来のロボットを使用すると、
不要なリソースも収集してしまうという欠点がある。更
に、不要なリソースの収集は、収集速度の低下を招くだ
けではなく、ネットワーク、リソースを提供する計算機
及び収集を行う計算機の負荷を助長する。
【０００７】
【発明が解決しようとする課題】従来のＷＷＷロボット
には上記のような欠点があった。本発明では、上記の欠
点を解決するために、以下の３点を解決する。 １．従来のＷＷＷロボットに加え、ＷＷＷページの内容
の解析を行い、実際の収集を行うこと無く、収集が必要
と思われるリソースの予測が可能となる情報収集方法及
び装置並びに情報収集プログラムを記録した記録媒体を
与えること。
には上記のような欠点があった。本発明では、上記の欠
点を解決するために、以下の３点を解決する。 １．従来のＷＷＷロボットに加え、ＷＷＷページの内容
の解析を行い、実際の収集を行うこと無く、収集が必要
と思われるリソースの予測が可能となる情報収集方法及
び装置並びに情報収集プログラムを記録した記録媒体を
与えること。
【０００８】２．従来のＷＷＷロボットと比較して、必
要なリソースを学習し、再収集の際には優先的に必要な
リソースを収集することが可能な情報収集方法及び装置
並びに情報収集プログラムを記録した記録媒体を与える
こと。
要なリソースを学習し、再収集の際には優先的に必要な
リソースを収集することが可能な情報収集方法及び装置
並びに情報収集プログラムを記録した記録媒体を与える
こと。
【０００９】３．従来のＷＷＷロボットと比較して、必
要なリソースの収集に要する時間が短い情報収集方法及
び装置並びに情報収集プログラムを記録した記録媒体を
与えること。
要なリソースの収集に要する時間が短い情報収集方法及
び装置並びに情報収集プログラムを記録した記録媒体を
与えること。
【００１０】
【課題を解決するための手段】上記課題を達成するため
に本発明の情報収集は、ネットワーク上に分散している
リソースを内容毎に分類し、必要なリソースのみを、選
択的かつ自動的に収集することを特徴とする。
に本発明の情報収集は、ネットワーク上に分散している
リソースを内容毎に分類し、必要なリソースのみを、選
択的かつ自動的に収集することを特徴とする。
【００１１】また本発明は、上記情報収集において、既
に収集したリソースの集合を既収集群とし、未収集の集
合を未収集群としたときに、既収集群の内容を形態素解
析することにより、未収集群の内容を予測し必要なリソ
ースのみを自動的に収集することを特徴とする。
に収集したリソースの集合を既収集群とし、未収集の集
合を未収集群としたときに、既収集群の内容を形態素解
析することにより、未収集群の内容を予測し必要なリソ
ースのみを自動的に収集することを特徴とする。
【００１２】また本発明は、上記情報収集において、既
収集群の内容からパターンマッチによる情報抽出を行う
ことで、未収集群の内容を予測し必要なリソースのみを
自動的に収集することを特徴とする。
収集群の内容からパターンマッチによる情報抽出を行う
ことで、未収集群の内容を予測し必要なリソースのみを
自動的に収集することを特徴とする。
【００１３】また本発明は、既に収集したＷＷＷページ
中に含まれるアンカーラベルの位置情報を抽出し、ＷＷ
Ｗのリソースを選択的に収集することを特徴とする。本
発明では、ＷＷＷページの内容を解析し、収集が必要な
リソースを予測および学習することにより、内容予測型
リソース収集を行うことが出来る。その結果、特定の分
野に関するＷＷＷリソースのみを収集することが出来
る。また、必要なリソース収集速度は従来のＷＷＷロボ
ットと比較して高速にすることが出来る。
中に含まれるアンカーラベルの位置情報を抽出し、ＷＷ
Ｗのリソースを選択的に収集することを特徴とする。本
発明では、ＷＷＷページの内容を解析し、収集が必要な
リソースを予測および学習することにより、内容予測型
リソース収集を行うことが出来る。その結果、特定の分
野に関するＷＷＷリソースのみを収集することが出来
る。また、必要なリソース収集速度は従来のＷＷＷロボ
ットと比較して高速にすることが出来る。
【００１４】
【発明の実施の形態】以下図面を参照して本発明の実施
の形態例を詳細に説明する。図１は本発明の一実施形態
例を示す構成説明図、図２は図１の内容解析部の一例を
示す構成説明図、図３は図１の内容予測および学習部の
一例を示す構成説明図である。図において、図４と同一
部分は同一符号を付してその説明を省略する。
の形態例を詳細に説明する。図１は本発明の一実施形態
例を示す構成説明図、図２は図１の内容解析部の一例を
示す構成説明図、図３は図１の内容予測および学習部の
一例を示す構成説明図である。図において、図４と同一
部分は同一符号を付してその説明を省略する。
【００１５】すなわち、図１に示すように、データ保存
部４に保存されたデータのＷＷＷ文書はハイパーリンク
抽出部５およびハイパーリンク評価部６を介して内容解
析部１１に供給される。
部４に保存されたデータのＷＷＷ文書はハイパーリンク
抽出部５およびハイパーリンク評価部６を介して内容解
析部１１に供給される。
【００１６】前記内容解析部１１は図２に示すように、
ＷＷＷ文書２１が形態素解析処理部２２、パターンマッ
チ情報抽出処理部２３およびＨＴＭＬ（Ｈｙｐｅｒ Ｔ
ｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）解析処理部
２４にそれぞれ供給される。内容解析部１１の各処理部
の機能の概要は以下の通りである。
ＷＷＷ文書２１が形態素解析処理部２２、パターンマッ
チ情報抽出処理部２３およびＨＴＭＬ（Ｈｙｐｅｒ Ｔ
ｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）解析処理部
２４にそれぞれ供給される。内容解析部１１の各処理部
の機能の概要は以下の通りである。
【００１７】段階１［形態素解析処理部２２］ ＷＷＷ文書２１を形態素解析し、名詞、固有名詞および
未定義語を抽出し、文書毎にこれらの単語のリストを生
成して内容予測および学習部１２に供給する。
未定義語を抽出し、文書毎にこれらの単語のリストを生
成して内容予測および学習部１２に供給する。
【００１８】段階２［パターンマッチ情報抽出処理部２
３］ ＷＷＷ文書２１から特定の分野に特徴的なパターン
（例：電話番号なら０ｘ−ｘｘｘｘ−ｘｘｘｘ等）を抽
出し、文書毎に一覧を生成して内容予測および学習部１
２に供給する。
３］ ＷＷＷ文書２１から特定の分野に特徴的なパターン
（例：電話番号なら０ｘ−ｘｘｘｘ−ｘｘｘｘ等）を抽
出し、文書毎に一覧を生成して内容予測および学習部１
２に供給する。
【００１９】段階３［ＨＴＭＬ解析処理部（ＨＴＭＬパ
ーサ）２４］ ＷＷＷ文書２１から、ＨＴＭＬタグを抽出し（アンカー
の抽出）、ハイパーリンクを示すもののみの一覧を生成
して内容予測および学習部１２に供給する。
ーサ）２４］ ＷＷＷ文書２１から、ＨＴＭＬタグを抽出し（アンカー
の抽出）、ハイパーリンクを示すもののみの一覧を生成
して内容予測および学習部１２に供給する。
【００２０】図３に示すように、前記内容予測および学
習部１２の各処理部の機能の概要は以下の通りである。 段階１［抽出単語重み付け処理部３１］ 内容解析部１１の形態素解析処理部２２により抽出され
た単語と特定分野辞書３５を比較することにより、単語
に特定分野への関連の度合（重み）を与える。それらの
重みを総合して、重みによる優先順位再計算部３４へ出
力する。
習部１２の各処理部の機能の概要は以下の通りである。 段階１［抽出単語重み付け処理部３１］ 内容解析部１１の形態素解析処理部２２により抽出され
た単語と特定分野辞書３５を比較することにより、単語
に特定分野への関連の度合（重み）を与える。それらの
重みを総合して、重みによる優先順位再計算部３４へ出
力する。
【００２１】段階２［ハイパーリンク重み付け処理部３
２］ ＨＴＭＬ解析処理部（ＨＴＭＬパーサ）２４より抽出さ
れたハイパーリンク（アンカー）中の文字列と特定分野
辞書３５を比較することにより、ハイパーリンク中のＵ
ＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔ
ｏｒ）に対する重み付けを行う。この未収集のＷＷＷ文
書に対する重み（予測用重み）を重みによる優先順位再
計算部３４へ出力する。
２］ ＨＴＭＬ解析処理部（ＨＴＭＬパーサ）２４より抽出さ
れたハイパーリンク（アンカー）中の文字列と特定分野
辞書３５を比較することにより、ハイパーリンク中のＵ
ＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔ
ｏｒ）に対する重み付けを行う。この未収集のＷＷＷ文
書に対する重み（予測用重み）を重みによる優先順位再
計算部３４へ出力する。
【００２２】段階３［パターン評価および重み付け処理
部３３］ パターンマッチ情報抽出処理部２３より抽出されたパタ
ーンをその種類毎に評価し、パターンに応じた重みをＷ
ＷＷ文書に与える。この収集されたＷＷＷ文書に対する
重み（学習用重み）は、重みによる優先順位再計算部３
４へ出力される。
部３３］ パターンマッチ情報抽出処理部２３より抽出されたパタ
ーンをその種類毎に評価し、パターンに応じた重みをＷ
ＷＷ文書に与える。この収集されたＷＷＷ文書に対する
重み（学習用重み）は、重みによる優先順位再計算部３
４へ出力される。
【００２３】段階４［重みによる優先順位再計算部３
４］ 各重み付け処理部３１、３２、３３から出力された重み
をもとに、収集済および未収集のＷＷＷページに対し
て、収集の優先順位を計算する。優先順位は収集が行わ
れるたびに動的に変更され、その結果は収集優先順位Ｄ
Ｂ３６へ追加、変更されて保存される。ＷＷＷロボット
はこの優先順位が大きいものを早く収集する。
４］ 各重み付け処理部３１、３２、３３から出力された重み
をもとに、収集済および未収集のＷＷＷページに対し
て、収集の優先順位を計算する。優先順位は収集が行わ
れるたびに動的に変更され、その結果は収集優先順位Ｄ
Ｂ３６へ追加、変更されて保存される。ＷＷＷロボット
はこの優先順位が大きいものを早く収集する。
【００２４】前記内容予測および学習部１２からハイパ
ーリンクＤＢ管理部７に変更要求がなされる。本発明に
は次のような発明が含まれる。
ーリンクＤＢ管理部７に変更要求がなされる。本発明に
は次のような発明が含まれる。
【００２５】１、ネットワーク上に分散しているリソー
スを内容毎に分類し、必要なリソースのみを、選択的か
つ自動的に収集することを特徴とする情報収集方法。 ２、上記１の情報収集方法において、既に収集したリソ
ースの集合を既収集群とし、未収集の集合を未収集群と
したときに、既収集群の内容を形態素解析することによ
り、未収集群の内容を予測し必要なリソースのみを自動
的に収集することを特徴とする情報収集方法。
スを内容毎に分類し、必要なリソースのみを、選択的か
つ自動的に収集することを特徴とする情報収集方法。 ２、上記１の情報収集方法において、既に収集したリソ
ースの集合を既収集群とし、未収集の集合を未収集群と
したときに、既収集群の内容を形態素解析することによ
り、未収集群の内容を予測し必要なリソースのみを自動
的に収集することを特徴とする情報収集方法。
【００２６】３、上記２の情報収集方法において、既収
集群の内容からパターンマッチによる情報抽出を行うこ
とで、未収集群の内容を予測し必要なリソースのみを自
動的に収集することを特徴とする情報収集方法。
集群の内容からパターンマッチによる情報抽出を行うこ
とで、未収集群の内容を予測し必要なリソースのみを自
動的に収集することを特徴とする情報収集方法。
【００２７】４、既に収集したＷＷＷページ中に含まれ
るアンカーラベルの位置情報を抽出し、ＷＷＷのリソー
スを選択的に収集することを特徴とする情報収集方法。 ５、ネットワーク上に分散しているリソースを内容毎に
分類する分類手段と、この分類手段による分類から必要
なリソースのみを、選択的かつ自動的に収集する収集手
段とを具備することを特徴とする情報収集装置。
るアンカーラベルの位置情報を抽出し、ＷＷＷのリソー
スを選択的に収集することを特徴とする情報収集方法。 ５、ネットワーク上に分散しているリソースを内容毎に
分類する分類手段と、この分類手段による分類から必要
なリソースのみを、選択的かつ自動的に収集する収集手
段とを具備することを特徴とする情報収集装置。
【００２８】６、上記１の情報収集装置において、既に
収集したリソースの集合である既収集群の内容を形態素
解析する解析手段と、この解析手段の解析から未収集の
集合である未収集群の内容を予測し必要なリソースのみ
を自動的に収集する収集手段とを具備することを特徴と
する情報収集装置。
収集したリソースの集合である既収集群の内容を形態素
解析する解析手段と、この解析手段の解析から未収集の
集合である未収集群の内容を予測し必要なリソースのみ
を自動的に収集する収集手段とを具備することを特徴と
する情報収集装置。
【００２９】７、上記２の情報収集装置において、既収
集群の内容からパターンマッチによる情報抽出を行う抽
出手段と、この抽出手段で抽出した情報から未収集群の
内容を予測し必要なリソースのみを自動的に収集する収
集手段とを具備することを特徴とする情報収集装置。
集群の内容からパターンマッチによる情報抽出を行う抽
出手段と、この抽出手段で抽出した情報から未収集群の
内容を予測し必要なリソースのみを自動的に収集する収
集手段とを具備することを特徴とする情報収集装置。
【００３０】８、既に収集したＷＷＷページ中に含まれ
るアンカーラベルの位置情報を抽出する抽出手段と、こ
の抽出手段で抽出した位置情報からＷＷＷのリソースを
選択的に収集する収集手段とを具備することを特徴とす
る情報収集装置。
るアンカーラベルの位置情報を抽出する抽出手段と、こ
の抽出手段で抽出した位置情報からＷＷＷのリソースを
選択的に収集する収集手段とを具備することを特徴とす
る情報収集装置。
【００３１】９、ネットワーク上に分散しているリソー
スを内容毎に分類する分類手順、この分類手順による分
類から必要なリソースのみを、選択的かつ自動的に収集
する収集手順を実行させるための情報収集プログラムを
記録した記録媒体。
スを内容毎に分類する分類手順、この分類手順による分
類から必要なリソースのみを、選択的かつ自動的に収集
する収集手順を実行させるための情報収集プログラムを
記録した記録媒体。
【００３２】１０、上記１の情報収集プログラムを記録
した記録媒体において、既に収集したリソースの集合で
ある既収集群の内容を形態素解析する解析手順、この解
析手順の解析から未収集の集合である未収集群の内容を
予測し必要なリソースのみを自動的に収集する収集手順
を実行させるための情報収集プログラムを記録した記録
媒体。
した記録媒体において、既に収集したリソースの集合で
ある既収集群の内容を形態素解析する解析手順、この解
析手順の解析から未収集の集合である未収集群の内容を
予測し必要なリソースのみを自動的に収集する収集手順
を実行させるための情報収集プログラムを記録した記録
媒体。
【００３３】１１、上記２の情報収集プログラムを記録
した記録媒体において、既収集群の内容からパターンマ
ッチによる情報抽出を行う抽出手順、この抽出手順で抽
出した情報から未収集群の内容を予測し必要なリソース
のみを自動的に収集する収集手順を実行させるための情
報収集プログラムを記録した記録媒体。
した記録媒体において、既収集群の内容からパターンマ
ッチによる情報抽出を行う抽出手順、この抽出手順で抽
出した情報から未収集群の内容を予測し必要なリソース
のみを自動的に収集する収集手順を実行させるための情
報収集プログラムを記録した記録媒体。
【００３４】１２、既に収集したＷＷＷページ中に含ま
れるアンカーラベルの位置情報を抽出する抽出手順、こ
の抽出手順で抽出した位置情報からＷＷＷのリソースを
選択的に収集する収集手順を実行させるための情報収集
プログラムを記録した記録媒体。
れるアンカーラベルの位置情報を抽出する抽出手順、こ
の抽出手順で抽出した位置情報からＷＷＷのリソースを
選択的に収集する収集手順を実行させるための情報収集
プログラムを記録した記録媒体。
【００３５】
【発明の効果】以上述べたように本発明によれば次のよ
うな効果がある。 １．本発明のＷＷＷロボットは、特殊な場合として従来
のＷＷＷロボットを包含する。すなわち、内容解析部お
よび内容予測、学習部の機能に無効とすると、従来のＷ
ＷＷロボットになる。
うな効果がある。 １．本発明のＷＷＷロボットは、特殊な場合として従来
のＷＷＷロボットを包含する。すなわち、内容解析部お
よび内容予測、学習部の機能に無効とすると、従来のＷ
ＷＷロボットになる。
【００３６】２．本発明のＷＷＷロボットは、従来のＷ
ＷＷロボットと比較してネットワークおよびＷＷＷロボ
ットを動作させる計算機への負荷は同等である。その根
拠は、ネットワークおよび情報提供サーバに対する負荷
分散には従来のＷＷＷロボットのものを使用するからで
あり、また、内容解析および内容予測、学習は、ＷＷＷ
ロボットの情報提供サーバとの通信待ち時間に行われる
ために、ＷＷＷロボットの動作への影響は少ないからで
ある。
ＷＷロボットと比較してネットワークおよびＷＷＷロボ
ットを動作させる計算機への負荷は同等である。その根
拠は、ネットワークおよび情報提供サーバに対する負荷
分散には従来のＷＷＷロボットのものを使用するからで
あり、また、内容解析および内容予測、学習は、ＷＷＷ
ロボットの情報提供サーバとの通信待ち時間に行われる
ために、ＷＷＷロボットの動作への影響は少ないからで
ある。
【００３７】３．本発明のＷＷＷロボットは、従来のＷ
ＷＷロボットと比較して、特定分野に属するリソースの
収集速度が高速である。その根拠は、従来のＷＷＷロボ
ットが内容を考慮せずにリソース収集を行うのに対し、
本発明のＷＷＷロボットは、収集前にリソースの内容を
予測および学習し、有用なものを優先的に収集するため
である。
ＷＷロボットと比較して、特定分野に属するリソースの
収集速度が高速である。その根拠は、従来のＷＷＷロボ
ットが内容を考慮せずにリソース収集を行うのに対し、
本発明のＷＷＷロボットは、収集前にリソースの内容を
予測および学習し、有用なものを優先的に収集するため
である。
【図１】本発明の一実施形態例を示す構成説明図であ
る。
る。
【図２】図１の内容解析部の一例を示す構成説明図であ
る。
る。
【図３】図１の内容予測および学習部の一例を示す構成
説明図である。
説明図である。
【図４】従来のＷＷＷロボットを示す構成説明図であ
る。
る。
１ インターネット ２ ネットワーク通信部 ３ 収集候補選択部 ４ データ保存部 ５ ハイパーリンク抽出部 ６ ハイパーリンク評価部 ７ ハイパーリンクＤＢ管理部 １１ 内容解析部 １２ 内容予測および学習部 ２１ ＷＷＷ文書 ２２ 形態素解析処理部 ２３ パターンマッチ情報抽出処理部 ２４ ＨＴＭＬ解析処理部 ３１ 抽出単語重み付け処理部 ３２ ハイパーリンク重み付け処理部 ３３ パターン評価および重み付け処理部 ３４ 重みによる優先順位再計算部 ３５ 特定分野辞書 ３６ 収集優先順位ＤＢ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 島 健一 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 鷲坂 光一 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内
Claims (12)
- 【請求項１】 ネットワーク上に分散しているリソース
を内容毎に分類し、必要なリソースのみを、選択的かつ
自動的に収集することを特徴とする情報収集方法。 - 【請求項２】 請求項１記載の情報収集方法において、
既に収集したリソースの集合を既収集群とし、未収集の
集合を未収集群としたときに、既収集群の内容を形態素
解析することにより、未収集群の内容を予測し必要なリ
ソースのみを自動的に収集することを特徴とする情報収
集方法。 - 【請求項３】 請求項２記載の情報収集方法において、
既収集群の内容からパターンマッチによる情報抽出を行
うことで、未収集群の内容を予測し必要なリソースのみ
を自動的に収集することを特徴とする情報収集方法。 - 【請求項４】 既に収集したＷＷＷページ中に含まれる
アンカーラベルの位置情報を抽出し、ＷＷＷのリソース
を選択的に収集することを特徴とする情報収集方法。 - 【請求項５】 ネットワーク上に分散しているリソース
を内容毎に分類する分類手段と、この分類手段による分
類から必要なリソースのみを、選択的かつ自動的に収集
する収集手段とを具備することを特徴とする情報収集装
置。 - 【請求項６】 請求項１記載の情報収集装置において、
既に収集したリソースの集合である既収集群の内容を形
態素解析する解析手段と、この解析手段の解析から未収
集の集合である未収集群の内容を予測し必要なリソース
のみを自動的に収集する収集手段とを具備することを特
徴とする情報収集装置。 - 【請求項７】 請求項２記載の情報収集装置において、
既収集群の内容からパターンマッチによる情報抽出を行
う抽出手段と、この抽出手段で抽出した情報から未収集
群の内容を予測し必要なリソースのみを自動的に収集す
る収集手段とを具備することを特徴とする情報収集装
置。 - 【請求項８】 既に収集したＷＷＷページ中に含まれる
アンカーラベルの位置情報を抽出する抽出手段と、この
抽出手段で抽出した位置情報からＷＷＷのリソースを選
択的に収集する収集手段とを具備することを特徴とする
情報収集装置。 - 【請求項９】 ネットワーク上に分散しているリソース
を内容毎に分類する分類手順、この分類手順による分類
から必要なリソースのみを、選択的かつ自動的に収集す
る収集手順を実行させるための情報収集プログラムを記
録した記録媒体。 - 【請求項１０】 請求項１記載の情報収集プログラムを
記録した記録媒体において、既に収集したリソースの集
合である既収集群の内容を形態素解析する解析手順、こ
の解析手順の解析から未収集の集合である未収集群の内
容を予測し必要なリソースのみを自動的に収集する収集
手順を実行させるための情報収集プログラムを記録した
記録媒体。 - 【請求項１１】 請求項２記載の情報収集プログラムを
記録した記録媒体において、既収集群の内容からパター
ンマッチによる情報抽出を行う抽出手順、この抽出手順
で抽出した情報から未収集群の内容を予測し必要なリソ
ースのみを自動的に収集する収集手順を実行させるため
の情報収集プログラムを記録した記録媒体。 - 【請求項１２】 既に収集したＷＷＷページ中に含まれ
るアンカーラベルの位置情報を抽出する抽出手順、この
抽出手順で抽出した位置情報からＷＷＷのリソースを選
択的に収集する収集手順を実行させるための情報収集プ
ログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10135195A JPH11327995A (ja) | 1998-05-18 | 1998-05-18 | 情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10135195A JPH11327995A (ja) | 1998-05-18 | 1998-05-18 | 情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11327995A true JPH11327995A (ja) | 1999-11-30 |
Family
ID=15146076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10135195A Pending JPH11327995A (ja) | 1998-05-18 | 1998-05-18 | 情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11327995A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054312A (ko) * | 2000-06-01 | 2000-09-05 | 최우석 | 맞춤 웹정보 구축 제공 방법 |
| KR20010069940A (ko) * | 2001-05-21 | 2001-07-25 | 주형순 | 인터넷을 이용한 홍보 관리 장치 및 방법 |
| JP2002007431A (ja) * | 2000-06-27 | 2002-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 情報探索装置、情報探索方法および記録媒体 |
| KR20020036114A (ko) * | 2000-11-08 | 2002-05-16 | 구자홍 | 통신망을 이용하여 맞춤신문을 제공하는 방법 및 시스템 |
| KR20030094967A (ko) * | 2002-06-11 | 2003-12-18 | 주식회사 코스모정보통신 | 인터넷자료 자동수집방법 |
-
1998
- 1998-05-18 JP JP10135195A patent/JPH11327995A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054312A (ko) * | 2000-06-01 | 2000-09-05 | 최우석 | 맞춤 웹정보 구축 제공 방법 |
| JP2002007431A (ja) * | 2000-06-27 | 2002-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 情報探索装置、情報探索方法および記録媒体 |
| KR20020036114A (ko) * | 2000-11-08 | 2002-05-16 | 구자홍 | 통신망을 이용하여 맞춤신문을 제공하는 방법 및 시스템 |
| KR20010069940A (ko) * | 2001-05-21 | 2001-07-25 | 주형순 | 인터넷을 이용한 홍보 관리 장치 및 방법 |
| KR20030094967A (ko) * | 2002-06-11 | 2003-12-18 | 주식회사 코스모정보통신 | 인터넷자료 자동수집방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yi et al. | Web page cleaning for web mining through feature weighting | |
| JP4489994B2 (ja) | 話題抽出装置、方法、プログラム及びそのプログラムを記録する記録媒体 | |
| US7117200B2 (en) | Synthesizing information-bearing content from multiple channels | |
| US7516397B2 (en) | Methods, apparatus and computer programs for characterizing web resources | |
| US9110985B2 (en) | Generating a conceptual association graph from large-scale loosely-grouped content | |
| US20080208858A1 (en) | Method of managing websites registered in search engine and a system thereof | |
| CN102207936B (zh) | 用于提示电子文档内容变更的方法和系统 | |
| CN110929145B (zh) | 舆情分析方法、装置、计算机装置及存储介质 | |
| JP2001519952A (ja) | データ要約装置 | |
| US20040015485A1 (en) | Method and apparatus for improved internet searching | |
| CN103942268B (zh) | 搜索与应用相结合的方法、设备以及应用接口 | |
| US20040117363A1 (en) | Information processing device and method, recording medium, and program | |
| KR20040017008A (ko) | 검색엔진을 활용한 정보 제공 시스템 및 그 방법 | |
| CN112307303A (zh) | 基于云计算的网络页面高效精准去重系统 | |
| CN112328806A (zh) | 一种数据的处理方法、系统、计算机设备和存储介质 | |
| CN114491034B (zh) | 一种文本分类方法及智能设备 | |
| KR100557874B1 (ko) | 과학기술 정보분석 방법 및 그 방법에 대한 컴퓨터프로그램을 저장한 기록매체 | |
| JPH11327995A (ja) | 情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体 | |
| CN112597370A (zh) | 指定需求范围的网页信息自主搜集筛选系统 | |
| JP3746233B2 (ja) | 知識分析システムおよび知識分析方法 | |
| CN101840402B (zh) | 从多语言网站构建多语言的对象层次结构的方法和系统 | |
| KR100667917B1 (ko) | 웹사이트 검색 서비스 제공 방법 및 그 시스템 | |
| JP2005092443A (ja) | クラスター分析装置およびクラスター分析方法 | |
| CN113297447A (zh) | 一种基于关键词的相关知识产权信息抓取、挖掘及可视化分析系统及方法 | |
| Fu et al. | Using XPath to discover informative content blocks of web pages |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040629 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041026 |