JPH1049553A - 情報収集方法 - Google Patents

情報収集方法

Info

Publication number
JPH1049553A
JPH1049553A JP8206144A JP20614496A JPH1049553A JP H1049553 A JPH1049553 A JP H1049553A JP 8206144 A JP8206144 A JP 8206144A JP 20614496 A JP20614496 A JP 20614496A JP H1049553 A JPH1049553 A JP H1049553A
Authority
JP
Japan
Prior art keywords
data
time
update
hyperlink
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8206144A
Other languages
English (en)
Other versions
JP3618917B2 (ja
Inventor
Tetsuya Yamane
徹也 山根
Setsu Suzuoka
節 鈴岡
Shinsuke Sawajima
信介 澤島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP20614496A priority Critical patent/JP3618917B2/ja
Priority to US08/906,618 priority patent/US6167436A/en
Publication of JPH1049553A publication Critical patent/JPH1049553A/ja
Application granted granted Critical
Publication of JP3618917B2 publication Critical patent/JP3618917B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

(57)【要約】 【目的】 ネットワーク上に分散されたデータを収集す
るにあたって、各データの更新の頻度と同程度の頻度で
データ参照を行うことを可能とし、またデータ収集の効
率向上を図ることを可能とする情報収集方法を提供する
こと。 【構成】 ネットワーク上に分散されたデータを収集す
る情報収集方法において、所定の間隔で、登録された各
ハイパーリンクの指し示すデータの取得を試行し、取得
されたデータの更新状況を監視するとともに、前記デー
タの更新状況の監視結果から求めたデータ更新歴更をも
とに、該データを参照する前記所定の間隔を決定するこ
とを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ネットワーク上に
分散され時刻と共に変化するデータを収集する情報収集
方法に関する。
【0002】
【従来の技術】ネットワーク上に分散して存在するデー
タの収集を、データ内のハイパーリンクを連鎖的に参照
することで達成する、ネットワークロボットと呼ばれる
装置がある。
【0003】本明細書で用いる語句について説明する。
「ハイパーリンク」とは、ネットワーク上の特定データ
を指示する表現である。
【0004】「ハイパーリンク群」とは、1以上のハイ
パーリンクの集まりを意味する。「初期ハイパーリンク
群」とは、ネットワークロボットが動作するにあたり、
初期値として用いられるハイパーリンク群を意味する。
【0005】「未取得モード」とは、(ハイパーリンク
を記録格納する記録格納部内で)ハイパーリンクに付随
する属性の一つで、そのハイパーリンクに指し示される
データの取得が完了していないことを示す。
【0006】「既取得モード」とは、(ハイパーリンク
を記録格納する記録格納部内で)ハイパーリンクに付随
する属性の一つで、そのハイパーリンクに指し示される
データの取得が完了したことを示す。
【0007】図11に、最も簡単な従来のネットワーク
ロボットの一構成例を示す。なお、図11に示される構
成のうち、点線枠に囲まれた内側が、ネットワークロボ
ットである。
【0008】ここで、図中のハイパーリンク入力装置1
101は、ネットワークロボットとは独立に存在し、ネ
ットワークロボットの動作の発端となる初期ハイパーリ
ンク群を入力する機能を持つ。
【0009】データ処理装置1102は、ネットワーク
ロボットは独立に存在し、ネットワークロボットが動作
中に取得したデータを用いて所定の処理を行う装置であ
る。ネットワーク1103は、ネットワークロボットと
は独立に存在し、ネットワークロボットが通信対象とす
るサーバーとの通信を提供する装置である。
【0010】次に、図11のネットワークロボットの構
成について説明する。図11のように、本ネットワーク
ロボットは、ハイパーリンクスタック部1104、ハイ
パーリンクマッチング部1151、ハイパーリンク記録
格納部1152、送受信部1107、ハイパーリンク抽
出部1109を備えている。
【0011】ハイパーリンクスタック部1104は、ハ
イパーリンクを任意数格納できるデータ構造を有する。
例えば、内部にハイパーリンクを要素としてもつリスト
構造を有することで実現される。
【0012】ハイパーリンクマッチング部1151は、
ハイパーリンクの登録とモード変更を行なう。ハイパー
リンク記録格納部1152は、任意数のハイパーリンク
を、未取得モードもしくは既取得モードという2つのモ
ードのどちらかを持つ形で、格納できるデータ構造を持
つ。例えば、内部にハイパーリンク及びそのモードを示
すための二値変数を要素として有するリスト構造を持つ
ことで実現される。
【0013】送受信部1107は、ネットワーク110
3との送受信を行なう。ハイパーリンク抽出部1109
は、データまたはその一部であるハイパーテキストから
ハイパーリンクを抽出する。
【0014】この動作に関するフローチャートを図12
に示し、そのネットワークロボットの動作機構を以下に
示す。ハイパーリンク入力装置1101は、ネットワー
クロボットに向けて初期ハイパーリンク群を伝送する
(ステップS1101)。初期ハイパーリンク群は、ハ
イパーリンクスタック部1104に格納される。
【0015】ハイパーリンクマッチング部1151は、
ハイパーリンクスタックが空でない場合、データリンク
を取り出し、それがハイパーリンク記録格納部1152
に存在しないときにのみ、ハイパーリンク記録格納部1
152に格納する(ステップS1102,S1103,
S1104,S1105)。
【0016】次に、ステップS1102でハイパーリン
クスタックが空であれば、ハイパーリンクマッチング部
104は、ハイパーリンク記録格納部1152に未取得
モードで格納されているハイパーリンクが存在するかど
うか調べる(ステップS1106)。そして、未取得モ
ードで格納されているハイパーリンクが存在しない場合
は、ネットワークロボットとしての動作を終えるべく停
止する。
【0017】一方、未取得モードで格納されているハイ
パーリンクが存在する場合は、ハイパーリンク記録格納
部1152に未取得モードで格納されているハイパーリ
ンクの一部または全部を送受信部1107へ伝送する
(S1107)。
【0018】次に、送受信部1107は、ネットワーク
通信を行ない、ステップS1107でハイパーリンクマ
ッチング部1151から得たハイパーリンクに指し示さ
れるデータの取得を試みる(ステップS1108)。
【0019】送受信部1107は、ステップS1108
の完了をもって、ステップS1108で取得したデータ
を、データ処理装置1102へ出力するとともに、ハイ
パーリンク抽出部1109へ伝送する(ステップS11
09,S1112)。これらの実行の順序は、通常問わ
れない。
【0020】また、送受信部1107は、ステップS1
108の完了をもって、ステップS1108でハイパー
リンクマッチング部1151から得たハイパーリンクの
モードを未取得モードから既取得モードへ変更する信号
をハイパーリンクマッチング部1151へ伝送する(ス
テップS1110)。そして、ハイパーリンクマッチン
グ部1151は、ハイパーリンク記録格納部1152内
の該当するデータリンクのモードを未取得モードから既
取得モードへ変更する(S1111)。
【0021】ハイパーリンク抽出部1109は、ステッ
プS1112で伝送されたデータからハイパーリンク群
を抽出し(ステップS1113)、このハイパーリンク
群を未取得モードでハイパーリンクスタック部1104
へ伝送する(ステップS1114)。
【0022】そして、ステップS1102へ戻り、前述
のようにハイパーリンクマッチング部1151は、ステ
ップS1113で抽出されたハイパーリンク群のそれぞ
れについて、それがハイパーリンク記録格納部1152
にないときにのみ、ハイパーリンク記録格納部1152
に格納する(ステップS1102〜S1105)。
【0023】以降、上記したような手順が繰り返し行わ
れ、前述のようにステップS1106ハイパーリンク記
録格納部1152に未取得モードで格納されているハイ
パーリンクが存在しなくなれば、ネットワークロボット
としての動作を終えるべく停止する。
【0024】ここで、ハイパーリンクマッチング部11
51の出力は、参照に関する重複のないリンクであると
同時に、ネットワークロボットがその探索対象とするこ
とを禁止されていないリンクとなる。
【0025】また、通常、ネットワーク上の同一のサー
バーに連続するアクセスを抑制するために、ハイパーリ
ンクマッチング部は、以前に出力したハイパーリンクを
記録しており、それと同一のサーバーに対する連続した
通信をできるだけ避ける構成をとる。
【0026】既存のネットワークロボットの具体例とし
ては、インターネット・ワールドワイドウェブ上のAl
ta Visa検索サービス(1995,URL=ht
tp://www.altavista.digita
l.com/)がある。
【0027】
【発明が解決しようとする課題】上記のような従来のネ
ットワークロボットでは、例えば以下に示すような種々
の問題点があった。 (1)データの内容が更新されてもすぐに参照すること
ができなかった。
【0028】(2)上記とは逆に、データの内容が非更
新であるにもかかわらず無駄に参照してしまう場合があ
った。つまり、非更新のデータの参照を省略することに
よる参照の効率化、処理速度の向上が期待できなかっ
た。
【0029】(3)データを収集する際、ネットワーク
の動的な負荷やデータの更新の頻度に対する無計画性が
律速となり、収集の効率及び速度に限界があった。例え
ば、12時から14時(以下時間帯SAと呼ぶ)間は、
ネットワーク負荷が重く参照速度が低下するサーバー群
A上のデータ群aがある場合、aの多くが常に時間帯S
Aに参照されると、時間帯SA以外ではaのデータの参
照が速やかであるにも関わらずその参照の間隔が不適当
に伸ばされたり、常に負荷の高い状況下での参照をした
りということが容易に予想される。
【0030】本発明は、上記事情を考慮してなされたも
のであり、ネットワーク上に分散されたデータを収集す
るにあたって、各データの更新の頻度と同程度の頻度で
データ参照を行うことを可能とする情報収集方法を提供
することを目的とする。
【0031】また、本発明は、更新されていないデータ
に対する不要な参照を事前に抑えることを可能とする情
報収集方法を提供することを目的とする。また、本発明
は、各データ及びそれを有するサーバーに対する参照に
最も適した時刻あるいは時間帯での参照を可能とする情
報収集方法を提供することを目的とする。
【0032】
【課題を解決するための手段】本発明は、ネットワーク
上に分散されたデータを収集する情報収集方法におい
て、所定の間隔で、登録された各ハイパーリンクの指し
示すデータの取得を試行し、取得されたデータの更新状
況を監視するとともに、前記データの更新状況の監視結
果から求めたデータ更新履歴をもとに、該データを参照
する前記所定の間隔を決定することを特徴とする。
【0033】例えば、更新の間隔が短いデータについて
は参照の間隔を短くするように調整し、更新の間隔が長
いものは参照の間隔を長くするように調整する。これら
の調整は動的に行われる。
【0034】好ましくは、前記更新履歴からデータの次
回更新予測時刻を求め、該次回更新予測時刻を該データ
の次回参照時刻とすることを特徴とする。これは、例え
ば、データの更新の有無の判定がデータを取得する迄不
能または困難である場合に有効である。
【0035】好ましくは、サーバとの通信状況に応じ
て、次回のデータの取得を試行する時刻を変更すること
を特徴とする。例えば、各データの取得に掛かるネット
ワークの回線負荷が設定値よりも大きい際もしくはデー
タの取得に要した時間が設定値よりも長い際にそのデー
タの次回更新予測時刻の前または後への変更を必要に応
じて行う。
【0036】また、例えば、ネットワーク上に存在し参
照対象とするデータを有する各サーバーの使用が可能な
時間帯及び上記の時間帯の有限分割の中で平均して最も
速やかな応答が期待される部分時間帯をサーバーに関す
る通信履歴から算出し、必要に応じて上記の時間帯及び
部分時間帯内に対象サーバーとの通信を行なう。
【0037】好ましくは、前記データ更新履歴をもと
に、規定値より短い期間での更新の頻度が一定期間内に
一定回数よりも多く生じたデータについては、データの
取得の試行の停止または次回のデータの取得を試行する
時刻を変更することを特徴とする。
【0038】好ましくは、一定期間だけ取得不能となっ
たデータについては、再度取得可能となった後も、取得
不能となる以前の前記データ更新履歴を継続して用いる
ことを特徴とする。
【0039】すなわち、データを消去し同じハイパーリ
ンクで指し示されるデータを再度設ける際にそのデータ
を新規に作成されたものでなく更新されたものとして処
理する。
【0040】好ましくは、データが次回に変更される予
定時刻を該データ自体から求めることができる場合、該
データについては、次の取得の試行の時刻を、該データ
から求めた該予定時刻以降とすることを特徴とする。
【0041】好ましくは、データの大きさが設定値を超
える場合、該データについては設定値を超えない範囲に
相当する部分のみを前記取得の試行及び更新状況の監視
の対象とすることを特徴とする。
【0042】好ましくは、同一のハイパーリンクで有限
複数個の種類内でデータが切り替わり得るハイパーリン
クを扱う場合、該種類別に前記取得の試行及び更新状況
の監視を行なうことを特徴とする。
【0043】本発明の他の発明は、ネットワーク上に分
散されたデータを収集する情報収集方法において、登録
された各ハイパーリンクの指し示すデータの取得を試行
し、取得されたデータの更新状況を監視するとともに、
データを提供するサーバーとの通信状況をも監視して該
サーバーの使用可能な時間帯を求め、求められた前記時
間帯にデータの取得を試行することを特徴とする。
【0044】例えば、ネットワーク上に存在し参照対象
とするデータを有する各サーバーの使用が可能な時間帯
及び上記の時間帯の有限分割の中で平均して最も速やか
な応答が期待される部分時間帯をサーバーに関する通信
履歴から算出し、必要に応じて上記の時間帯及び部分時
間帯内に対象サーバーとの通信を行なう。
【0045】好ましくは、サーバーの使用可能な時間帯
の有限分割の中で統計的に最も速やかな通信が期待され
る時間帯区分内に、データの取得を試行することを特徴
とする。
【0046】好ましくは、データの取得に要した時間が
設定値よりも長い場合、データの取得の試行を行う前記
時間帯区分を変更することを特徴とする。本発明では、
各データの更新履歴情報を蓄積し、これをもとに各デー
タの更新の特性を推定して、参照の時刻あるいは時間帯
をスケジューリングすることにより、各データの更新の
頻度と同程度の頻度でのデータ参照を実現することがで
きる。
【0047】また、更新されていないデータに対する不
要な参照を事前に抑えることができる。これによって、
データ収集の効率向上を図ることができる。さらに、各
データの内容の特性をも考慮することにより、さらなる
データ収集の効率向上を図ることができる。
【0048】また、本発明では、各データ取得の際の通
信状況を蓄積して、通信特性を把握し、これを考慮して
参照の時刻あるいは時間帯をスケジューリングすること
により、各データ及びそれを有するサーバーに対する参
照に最も適した時刻あるいは時間帯での参照を実現する
ことができる。これによって、データ収集の効率向上を
図ることができる。
【0049】例えば、時間帯SA間はネットワーク負荷
が重く参照速度が低下するサーバー群A上のデータ群a
と、時間帯SA間において参照速度が高いサーバー群B
上のデータ群bがあることが把握できれば、時間帯SA
間にbのデータを探索対象とし、時間帯SA外でaのデ
ータを探索対象とすることにより、効率的なデータ取得
が期待できる。
【0050】あるいは、より取得しにくいデータについ
ては、次にハイパーリンクを選出する間隔を、より取得
しやすいデータのハイパーリンクを選出する間隔よりも
長く設定するなどといった制御も可能となる。
【0051】このように本発明によれば、データ収集の
効率と速度の向上と、最新もしくはそれに近いデータの
参照を実現できる。なお、以上の各方法に係る発明は、
装置に係る説明としても成立する。ところで、上記の発
明は、相当する処理を実行させるためのプログラムを格
納した記憶媒体としても成立する。
【0052】
【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。 (第1の実施の形態)まず、本発明の第1の実施形態に
ついて説明する。
【0053】図1に、本実施形態に係る情報収集装置の
一構成例を示す。なお、図1に示される構成のうち、点
線枠に囲まれた内側が、本実施形態に係る情報収集装置
である。
【0054】ハイパーリンク入力装置201は、ネット
ワークロボットとは独立に存在し、ネットワークロボッ
トの動作の発端となる初期ハイパーリンク群を入力する
機能を持つ。
【0055】データ処理装置202は、ネットワークロ
ボットは独立に存在し、ネットワークロボットが動作中
に取得したデータを用いて、処理する装置である。ネッ
トワーク203は、ネットワークロボットとは独立に存
在し、ネットワークロボットが通信対象とするサーバー
との通信を提供する装置である。
【0056】次に、図11のネットワークロボットの構
成について説明する。本情報収集装置は、ハイパーリン
クスタック部204、次回更新予測時刻格納部205、
時計部206、送受信部207、更新履歴格納部20
8、ハイパーリンク抽出部209を備えている。
【0057】ハイパーリンクスタック部204は、ハイ
パーリンクを任意数格納できるデータ構造を有する。例
えば、内部にハイパーリンクを要素としてもつリスト構
造を有することで実現される。
【0058】次回更新予測時刻格納部205は、ハイパ
ーリンクとそれが指し示すデータの次回更新予測時刻を
組とする構造体を持ち、その構造体の次回更新予測時刻
を出力及び更新する機能をもつ。
【0059】時計部206は、動作時の現在時刻を出力
する。更新履歴格納部208は、ハイパーリンクとそれ
が指し示すデータの更新履歴からなる構造体を記録し、
その構造体内の更新履歴を追加し、及び各ハイパーリン
クの次回更新予測時刻をその構造体の更新履歴から算出
する機能を持つ。
【0060】送受信部207は、ネットワーク203と
の送受信を行なう。ハイパーリンク抽出部209は、デ
ータまたはその一部であるハイパーテキストからハイパ
ーリンクを抽出する。
【0061】以下、本実施形態に係る情報収集装置の動
作について説明する。図2は、本情報収集装置の動作を
示すフローチャートである。ステップS201におい
て、ハイパーリンク入力装置201は、ハイパーリンク
スタック部204に初期ハイパーリンク群を伝送する。
【0062】ハイパーリンクスタック部204は、ステ
ップS201またはステップS212で伝送されたハイ
パーリンク群のそれぞれを、次回更新予測時刻格納部2
05へ伝送する(ステップS202、S203)。
【0063】次回更新予測時刻格納部205は、ステッ
プS203で伝送されたハイパーリンクが未登録のもの
であれば、初期時刻と組にして登録する(ステップS2
04、S205)。
【0064】ここで、本実施形態では、初期時刻には本
情報収集装置の始動した時刻を用いるものとする。な
お、初期時刻の値は、時計部206の出力と比較対象に
なり得て少なくともその時点で時計部206が出力する
時刻よりも未来を指すものでなければ良く、例えば、時
刻の最古値を用いても良い。
【0065】次に、ステップS202においてデータリ
ンクスタックが空になれば、次回更新予測時刻格納部2
05は、時計部206から現在時刻を得る(ステップS
206)。また、他の例として、次回更新予測時刻格納
部205から時計部206に現在時刻を求める通知をせ
ず、時計部206側から自発的に次回更新予測時刻格納
部205へ現在時刻の情報を伝送する構成にしても良
い。
【0066】次回更新予測時刻格納部205は、その対
応する次回更新予測時刻がステップS206で伝送され
た時刻以前であるハイパーリンクの一部もしくは全部を
送受信部207へ伝送する(ステップS207)。
【0067】送受信部207は、ネットワーク203と
の通信を行ない、ステップS2087で伝送されたハイ
パーリンクに指し示されるデータの取得を試みる(ステ
ップS208)。
【0068】データの取得にあたっては、予めある既定
値を設定しておき、この既定値以上に大きいデータを取
得対象とすることが、通信前もしくは通信制御中に判明
している場合は、先頭から一定値までのみを実際に取得
するようにしても良い。
【0069】また、データのうちハイパーリンクが含ま
れない部分は実際には取得しないことで、実際に取得す
るサイズを減少させるようにしても良い。送受信部20
7は、ステップS208で取得したデータを、データ処
理装置202へ出力するとともに、更新履歴格納部20
8及びハイパーリンク抽出部209へ伝送する(ステッ
プS209)。その際、出力及び伝送の順序は問わな
い。
【0070】更新履歴格納部208は、ステップS20
9で伝送されたデータ内に最新の更新時刻の情報が存在
するとき、その最新の更新時刻を抽出する(ステップS
210)。
【0071】なお、上記ステップは、全データ内に最新
の更新時刻の情報が存在することを仮定した場合である
が、全データ内に最新の更新時刻の情報が存在しない場
合は、例えば、データに関する更新の有無を判定し、更
新があると判断された場合に、時計部206からの現在
時刻もしくはステップS206で得られた時刻などを、
最新の更新時刻の代用としても良い。また、データ内に
最新の更新時刻の情報が存在するものとしないものが混
在する可能性のある場合は、例えば、まず、データ内に
最新の更新時刻の情報が存在するか否か判断し、存在す
る場合はその最新の更新時刻を抽出し、存在しない場合
は、データ内の他の情報をもとにした推定あるいは最後
に参照した同一ハイパーリンクにより指し示されるデー
タとの比較などにより、データに関する更新の有無を判
定し、更新があると判断された場合に、時計部206か
らの現在時刻もしくはステップS206で得られた時刻
などを、最新の更新時刻の代用としても良い。
【0072】また、データがハイパーリンクの指し示す
該当内容が実質的に存在しないことを示すものであるよ
うな場合がある。このような場合は、その際の最新の更
新時刻は、時計部206からの現在時刻もしくはステッ
プS206での時刻とする。
【0073】なお、実質的なデータを指し示さないハイ
パーリンクに関しては、更新履歴格納部208及び次回
更新予測時刻格納部205からの消去をせずに、参照対
象として残しておく方法がある。例えば、実質的なデー
タを指し示さないハイパーリンクの発生として、サーバ
ー側でデータを更新するために一時的に取得不可となっ
ているデータの取得を試みた場合が想定され、このよう
な場合にはサーバー側での更新作業が完了すれば取得可
能となるので、上記のように参照対象として残しておく
と有効である。
【0074】なお、データの提供の中止あるいは長期間
の中断などのために実質的なデータを指し示さないハイ
パーリンクが発生する場合も想定されるので、規定した
期間以上、実質的なデータを指し示さないものとなった
ハイパーリンクを、更新履歴格納部208及び次回更新
予測時刻格納部205から消去するようにしても良い。
【0075】また、他の例としては、実質的なデータを
指し示さないハイパーリンクを、即時に更新履歴格納部
208及び次回更新予測時刻格納部205から消去し、
記憶容量を節約する方法が挙げられる。
【0076】次に、更新履歴格納部208は、ステップ
S207で送受信部207へ伝送されたハイパーリンク
に対応する更新履歴に、上記のようにして抽出した最新
の更新時刻を追加する(ステップS210)。
【0077】さらに、更新履歴格納部208は、上記の
追加更新された更新履歴から、次回更新予測時刻を算出
する(ステップS210)。次回更新予測時刻は、例え
ば、更新履歴内のハイパーリンクに対応する最新時刻T
0と、T0の直前の更新履歴に記録された時刻T1とを
用いて、T0+(T0−T1)で算出する方法がある。
また、他の例として、最新からの一定数あるいは全ての
記録された時刻を引数とし、統計分布関数を用いて次回
更新予測時刻を算出する方法が挙げられる。その他、種
々の方法が考えられる。
【0078】なお、情報収集開始当初のデータについて
は、更新履歴に記録された時刻情報が、所定の次回更新
予測時刻算出方法にとって十分な数量ではない場合があ
る。例えば、上記のT0+(T0−T1)で算出する方
法では、少なくとも2つの更新時刻の情報が必要であ
り、最新からの一定数の記録された時刻を引数とし統計
分布関数を用いて算出する方法では、少なくとも該一定
数の更新時刻の情報が必要なものがある。このような場
合、例えば、最新時刻T0に予め定めた定数を加えるこ
とにより次回更新予測時刻を算出し、あるいは上記一定
数よりも少ない数を引数とした他の統計分布関数を用い
て算出するなどの方法を取れば良い。
【0079】更新履歴格納部208は、ステップS21
0で算出された次回更新予測時刻を次回更新予測時刻格
納部205へ伝送する。次回更新予測時刻格納部205
は、ステップS207で送受信部207へ伝送されたハ
イパーリンクに対応する先回更新予測時刻を、伝送され
た次回更新予測時刻に置換する(ステップS211)。
【0080】一方、ハイパーリンク抽出部209は、ス
テップS209で伝送されたデータからハイパーリンク
群を抽出し(ステップS212)、このハイパーリンク
群をハイパーリンクスタック部204へ伝送する。
【0081】ハイパーリンクスタック部204は、伝送
されたハイパーリンク群を格納する(S213)。な
お、このステップS212およびS213は、ステップ
S210、S211のいずれとも独立に実行可能であ
る。
【0082】次に、ステップS202へ戻り、前述のよ
うにハイパーリンクスタック部204は、ステップS2
12で抽出されたハイパーリンク群のそれぞれについ
て、それが次回更新予測時刻格納部205に登録された
ものではないときにのみ、初期時刻と組にして次回更新
予測時刻格納部205に登録する(ステップS202〜
S205)。
【0083】以降、上記したような手順が繰り返し行わ
れる。以上のように本実施形態によれば、各データの更
新履歴情報を蓄積し、これをもとに各データの更新の特
性を推定して、参照の時刻をスケジューリングすること
により、各データの更新の頻度と同程度の頻度でのデー
タ参照を実現することができる。
【0084】また、更新されていないデータに対する不
要な参照を事前に抑えることができる。これによって、
データ収集の効率向上を図ることができる。 (第2の実施の形態)次に、本発明の第2の実施形態に
ついて説明する。
【0085】図3に、本実施形態に係る情報収集装置の
一構成例を示す。なお、図3に示される構成のうち、点
線枠に囲まれた内側が、本実施形態に係る情報収集装置
である。
【0086】本情報収集装置は、ハイパーリンクスタッ
ク部304、次回更新予測時刻格納部305、時計部3
06、送受信部307、更新履歴格納部308、予想時
刻変更部310、ハイパーリンク抽出部309を備えて
いる。
【0087】本実施形態におけるハイパーリンクスタッ
ク部304、次回更新予測時刻格納部305、時計部3
06、送受信部307、更新履歴格納部308、ハイパ
ーリンク抽出部309は、それぞれ、第1の実施形態に
おけるハイパーリンクスタック部204、次回更新予測
時刻格納部205、時計部206、送受信部207、更
新履歴格納部208、ハイパーリンク抽出部209と同
様である。
【0088】すなわち、本実施形態に係る情報収集装置
は、第1の実施形態に係る情報収集装置の構成に予想時
刻変更部310を付加したものである。この予想時刻変
更部310は、送受信に要した時間差と更新履歴格納部
308から伝送される次回更新予測時刻から、調整する
次回更新予測時刻を出力するものである。
【0089】なお、本実施形態におけるハイパーリンク
入力装置301、データ処理装置302、ネットワーク
303は、それぞれ、第1の実施形態におけるハイパー
リンク入力装置201、データ処理装置202、ネット
ワーク203と同様である。
【0090】以下、本実施形態に係る情報収集装置の動
作について説明する。図4は、本情報収集装置の動作を
示すフローチャートである。ステップS301におい
て、ハイパーリンク入力装置301は、ハイパーリンク
スタック部304に初期ハイパーリンク群を伝送する。
【0091】ハイパーリンクスタック部304は、ステ
ップS301またはステップS314で伝送されたハイ
パーリンク群のそれぞれを、次回更新予測時刻格納部3
05へ伝送する(ステップS302、S303)。
【0092】次回更新予測時刻格納部305は、ステッ
プS303で伝送されたハイパーリンクが未登録のもの
であれば、初期時刻と組にして登録する(ステップS3
04、S305)。
【0093】ここで、本実施形態では、初期時刻には本
情報収集装置の始動した時刻を用いるものとする。な
お、初期時刻の値は、時計部306の出力と比較対象に
なり得て少なくともその時点で時計部306が出力する
時刻よりも未来を指すものでなければよく、例えば、時
刻の最古値を用いても良い。
【0094】次に、ステップS202においてデータリ
ンクスタックが空になれば、次回更新予測時刻格納部3
05は、時計部306から現在時刻を得る(ステップS
306)。また、他の例として、次回更新予測時刻格納
部305から時計部306に現在時刻を求める通知をせ
ず、時計部306側から自発的に次回更新予測時刻格納
部305へ現在時刻の情報を伝送する構成にしても良
い。
【0095】次回更新予測時刻格納部305は、その対
応する次回更新予測時刻がステップS306で伝送され
た時刻以前であるハイパーリンクの一部もしくは全部を
送受信部307へ伝送する(ステップS307)。
【0096】送受信部307は、ネットワーク303と
の通信を行ない、ステップS307で伝送されたハイパ
ーリンクに指し示されるデータの取得を試みる(ステッ
プS308)。また、本実施形態では、その際に時計部
306との通信により、送受信に要した時間の算出を行
なっておく。
【0097】なお、第1の実施形態で述べたように、デ
ータの取得にあたっては、予めある既定値を設定してお
き、この既定値以上に大きいデータを取得対象とするこ
とが、通信前もしくは通信制御中に判明している場合
は、先頭から一定値までのみを実際に取得するようにし
ても良い。また、データのうちハイパーリンクが含まれ
ない部分は実際には取得しないことで、実際に取得する
サイズを減少させるようにしても良い。
【0098】送受信部307は、ステップS308で取
得したデータを、データ処理装置302へ出力するとと
もに、更新履歴格納部308及びハイパーリンク抽出部
309へ伝送し、また、ステップS308で算出した送
受信に要した時間の情報を予想時刻変更部310に伝送
する(ステップS309)。その際、出力及び伝送の順
序は問わない。
【0099】更新履歴格納部308は、ステップS30
9で伝送されたデータ内に最新の更新時刻の情報が存在
するとき、その最新の更新時刻を抽出する(ステップS
310)。
【0100】なお、上記ステップは、全データ内に最新
の更新時刻の情報が存在することを仮定した場合である
が、全データ内に最新の更新時刻の情報が存在しない場
合は、例えば、データに関する更新の有無を判定し、更
新があると判断された場合に、時計部306からの現在
時刻もしくはステップS306で得られた時刻などを、
最新の更新時刻の代用としても良い。また、データ内に
最新の更新時刻の情報が存在するものとしないものが混
在する可能性のある場合は、例えば、まず、データ内に
最新の更新時刻の情報が存在するか否か判断し、存在す
る場合はその最新の更新時刻を抽出し、存在しない場合
は、データに関する更新の有無を判定し、更新があると
判断された場合に、時計部306からの現在時刻もしく
はステップS306で得られた時刻などを、最新の更新
時刻の代用としても良い。
【0101】また、データがハイパーリンクの指し示す
該当内容が実質的に存在しないことを示すものであるよ
うな場合がある。このような場合は、その際の最新の更
新時刻は、時計部306からの現在時刻もしくはステッ
プS306での時刻とする。
【0102】なお、実質的なデータを指し示さないハイ
パーリンクに関しては、第1の実施の形態で述べたよう
に、更新履歴格納部308及び次回更新予測時刻格納部
305からの消去をせずに、参照対象として残しておく
方法、規定した期間以上、実質的なデータを指し示さな
いものとなったハイパーリンクを消去する方法、実質的
なデータを指し示さないハイパーリンクを、即時に消去
する方法などが考えられる。
【0103】次に、更新履歴格納部308は、ステップ
S307で送受信部307へ伝送されたハイパーリンク
に対応する更新履歴に、上記のようにして抽出した最新
の更新時刻を追加する(ステップS310)。
【0104】さらに、更新履歴格納部308は、上記の
追加更新された更新履歴から、次回更新予測時刻を算出
する(ステップS310)。次回更新予測時刻は、例え
ば、更新履歴内のハイパーリンクに対応する最新時刻T
0と、T0の直前の更新履歴に記録された時刻T1とを
用いて、T0+(T0−T1)で算出する方法がある。
また、他の例として、最新からの一定数あるいは全ての
記録された時刻を引数とし、統計分布関数を用いて次回
更新予測時刻を算出する方法が挙げられる。その他、種
々の方法が考えられる。
【0105】なお、情報収集開始当初のデータについて
は、更新履歴に記録された時刻情報が、所定の次回更新
予測時刻算出方法にとって十分な数量ではない場合があ
る。例えば、上記のT0+(T0−T1)で算出する方
法では、少なくとも2つの更新時刻の情報が必要であ
り、最新からの一定数の記録された時刻を引数とし統計
分布関数を用いて算出する方法では、少なくとも該一定
数の更新時刻の情報が必要なものがある。このような場
合、例えば、最新時刻T0に予め定めた定数を加えるこ
とにより次回更新予測時刻を算出し、あるいは上記一定
数よりも少ない数を引数とした他の統計分布関数を用い
て算出するなどの方法を取れば良い。
【0106】次に、更新履歴格納部308は、ステップ
S310で算出された次回更新予測時刻を予測時刻変更
部310へ伝送する。予想時刻変更部310は、ステッ
プS309で伝送された送受信に要した時間に関し、そ
れが予め設定してある時間値よりも大きかった場合に
は、ステップS310で伝送された次回更新予測時刻に
対して予め設定した時間遅延値を加えて更新し、この更
新後の次回更新予測時刻を次回更新予測時刻格納部30
5へ伝送する(ステップS311)。
【0107】また、他の例として、次回更新予測時刻に
予め設定した時間進み値(負の値)を加えることで、次
回更新予測時刻の更新を遅延ではなく前倒し向きにする
ことが挙げられる。
【0108】予想時刻変更部310により次回更新予測
時刻を進める変更を行うか、遅延させる変更を行うか
は、予めどちらかに決めておく方法と、当該次回更新予
測時刻の値に応じて決めるなど、そのときの状況等に応
じて決める方法が考えられる。また、次回更新予測時刻
に加える変更量も、予め決めておく方法と、送受信に要
した時間の程度に応じて決めるなど、そのときの状況等
に応じて決める方法が考えられる。
【0109】次回更新予測時刻格納部305は、ステッ
プS307で送受信部307へ伝送されたハイパーリン
クに対応する次回更新予測時刻を、ステップS311で
伝送された次回更新予測時刻に置換する(ステップS3
12)。
【0110】一方、ハイパーリンク抽出部309は、ス
テップS309で伝送されたデータからハイパーリンク
群を抽出し(ステップS313)、このハイパーリンク
群をハイパーリンクスタック部304へ伝送する。
【0111】ハイパーリンクスタック部304は、伝送
されたハイパーリンク群を格納する(S314)。な
お、このステップS313およびS314は、ステップ
S310、S311、S312のいずれとも独立に実行
可能である。
【0112】次に、ステップS302へ戻り、前述のよ
うにハイパーリンクスタック部304は、ステップS3
13で抽出されたハイパーリンク群のそれぞれについ
て、それが次回更新予測時刻格納部305に登録された
ものではないときにのみ、初期時刻と組にして次回更新
予測時刻格納部305に登録する(ステップS302〜
S305)。
【0113】以降、上記したような手順が繰り返し行わ
れる。本実施形態では、送受信部307が予想時刻変更
部310へ通信に要した時間を伝送するという形をとる
が、その代わりに、送受信部307がデータの取得に関
する通信負荷を監視する機能を持つ際、その通信負荷値
を予想時刻変更部310へ伝送し、予想時刻変更部31
0はその通信負荷値が一定値以上であることで次回更新
予測時刻の変更を行なうようにしても良い。
【0114】以上のように本実施形態によれば、各デー
タの更新履歴情報を蓄積し、これをもとに各データの更
新の特性を推定して、参照の時刻をスケジューリングす
ることにより、各データの更新の頻度と同程度の頻度で
のデータ参照を実現することができる。
【0115】また、更新されていないデータに対する不
要な参照を事前に抑えることができる。これによって、
データ収集の効率向上を図ることができる。また、各デ
ータ取得の際の通信状況を蓄積して、通信特性を把握
し、これを考慮して参照の時刻をスケジューリングする
ことにより、各データ及びそれを有するサーバーに対す
る参照に最も適した時刻での参照を実現することができ
る。これによって、データ収集の効率向上を図ることが
できる。
【0116】(第3の実施の形態)次に、本発明の第3
の実施形態について説明する。図5に、本実施形態に係
る情報収集装置の一構成例を示す。なお、図5に示され
る構成のうち、点線枠に囲まれた内側が、本実施形態に
係る情報収集装置である。
【0117】本情報収集装置は、ハイパーリンクスタッ
ク部404、次回更新予測時刻格納部405、時計部4
06、送受信部407、サーバー監視部411、サーバ
ー通信歴格納部412、更新履歴格納部408、ハイパ
ーリンク抽出部409を備えている。
【0118】本実施形態におけるハイパーリンクスタッ
ク部404、次回更新予測時刻格納部405、時計部4
06、送受信部407、更新履歴格納部408、ハイパ
ーリンク抽出部409は、それぞれ、第1の実施形態に
おけるハイパーリンクスタック部204、次回更新予測
時刻格納部205、時計部206、送受信部207、更
新履歴格納部208、ハイパーリンク抽出部209と同
様である。
【0119】すなわち、本実施形態に係る情報収集装置
は、第1の実施形態に係る情報収集装置の構成にサーバ
ー監視部411とサーバー通信歴格納部412を付加し
たものである。
【0120】サーバー監視部411は、サーバー通信歴
格納部412との入出力を行なう。サーバー通信歴格納
部412は、各サーバーとネットワークロボットとの送
受信時刻と通信速度に関する履歴を持つ。
【0121】なお、図5におけるサーバー監視部411
から更新履歴格納部408への点線矢印は、ネットワー
クロボット内で(ここでは更新履歴格納部408で)、
サーバー監視部411の算出した結果を用いる場合に対
応するものである。
【0122】本実施形態におけるハイパーリンク入力装
置401、データ処理装置402、ネットワーク403
は、それぞれ、第1の実施形態におけるハイパーリンク
入力装置201、データ処理装置202、ネットワーク
203と同様である。
【0123】以下、本実施形態に係る情報収集装置の動
作について説明する。図6は、本情報収集装置の動作を
示すフローチャートである。ステップS401におい
て、ハイパーリンク入力装置401は、ハイパーリンク
スタック部404に初期ハイパーリンク群を伝送する。
【0124】ハイパーリンクスタック部404は、ステ
ップS401またはステップS417で伝送されたハイ
パーリンク群のぞれぞれを、次回更新予測時刻格納部4
05へ伝送する(ステップS402、S403)。
【0125】次回更新予測時刻格納部405は、ステッ
プS403で伝送されたハイパーリンクが未登録のもの
であれば、初期時刻と組にして登録する(ステップS4
04、S405)。
【0126】ここで、本実施形態では、初期時刻には本
情報収集装置の始動した時刻を用いるものとする。な
お、初期時刻の値は、時計部406の出力と比較対象に
なり得て少なくともその時点で時計部406が出力する
時刻よりも未来を指すものでなければ良く、例えば、時
刻の最古値を用いても良い。
【0127】次に、ステップS202においてデータリ
ンクスタックが空になれば、次回更新予測時刻格納部4
05は、時計部406から現在時刻を得る(ステップS
406)。また、他の例として、次回更新予測時刻格納
部205から時計部206に現在時刻を求める通知をせ
ず、時計部206側から自発的に次回更新予測時刻格納
部205へ現在時刻の情報を伝送する構成にしても良
い。
【0128】次回更新予測時刻格納部405は、その対
応する次回更新予測時刻がステップS406で伝送され
た時刻以前であるハイパーリンクの一部もしくは全部を
送受信部407及びサーバー監視部411へ伝送する
(ステップS407)。
【0129】送受信部407は、ネットワーク403と
の通信を行ない、ステップS407で伝送されたハイパ
ーリンクを指し示されるデータの取得を試みる(ステッ
プS408)。また、本実施形態では、その際に時計部
306との通信により、送受信に要した時間の算出を行
なっておく。
【0130】なお、第1の実施形態で述べたように、デ
ータの取得にあたっては、予めある既定値を設定してお
き、この既定値以上に大きいデータを取得対象とするこ
とが、通信前もしくは通信制御中に判明している場合
は、先頭から一定値までのみを実際に取得するようにし
ても良い。また、データのうちハイパーリンクが含まれ
ない部分は実際には取得しないことで、実際に取得する
サイズを減少させるようにしても良い。
【0131】送受信部407は、ステップS408で取
得したデータを、データ処理装置402へ出力するとと
もに、更新履歴格納部408及びハイパーリンク抽出部
409へ伝送する(ステップS409)。その際、出力
及び伝送の順序は問わない。
【0132】また、送受信部407は、ステップS40
8で算出した送受信に要した時間と取得したデータの大
きさから通信速度を算出し、送信時刻とあわせてサーバ
ー監視部411に伝送する(ステップS410)。
【0133】なお、ステップS410とステップS40
9とは、実行の順序を入れ換えても良いし、並列的に実
行しても良い。サーバー監視部411は、ステップS4
07で伝送されたハイパーリンクからネットワーク上の
サーバー名を抽出する(ステップS411)。
【0134】なお、ステップS411は、ステップS4
07以降、ステップS412以前であれば、例えばステ
ップS407直後など、どのタイミングで行なっても良
い。サーバー監視部411は、ステップS410で伝送
された送信時刻が予め設定しておいた時間帯区内のどこ
に属するかを算出し、その時間帯区分番号と、ステップ
S410で伝送された通信速度と、ステップS411で
抽出したサーバー名を、サーバー通信歴格納部412へ
伝送する。
【0135】サーバー通信歴格納部412は、伝送され
たサーバー名と時間帯区分番号と通信速度を組として追
加登録する(ステップS412)。そして、サーバー通
信歴格納部412は、伝送されたサーバー名と組になっ
て登録されている通信速度の値の中で最も高速である値
を示すものを選出し、これと組となっている時間帯区分
番号をサーバー監視部411へ伝送する(ステップS4
13)。他の例として、同じサーバー名を持つ組につい
て、各時間帯区分番号ごとの平均通信速度値を算出し、
この平均通信速度値が最高速を示す時間帯区分番号を伝
送することや、さらに各時間帯区分番号ごとの平均通信
速度値の集まりを正規分布等の統計分布関数に当ては
め、分布関数上最高速を示す時間帯区分番号を算出し伝
送することが挙げられる。
【0136】サーバー監視部411は、サーバー名と上
記の伝送された時間帯区分番号をデータ処理装置402
へ伝送する(ステップS413)。なお、この処理の代
わりにまたはこの処理に加えて、前述したようにサーバ
ー監視部411は、サーバー名と上記の時間帯区分番号
を更新履歴格納部408へ伝送し、更新履歴格納部40
8の次回更新予測時刻算出の引数とするようにしても良
い。
【0137】更新履歴格納部408は、ステップS40
9で伝送されたデータに最新の更新時刻の情報が存在す
るとき、その最新の更新時刻を抽出する(ステップS4
14)。
【0138】なお、上記ステップは、全データ内に最新
の更新時刻の情報が存在することを仮定した場合である
が、全データ内に最新の更新時刻の情報が存在しない場
合は、例えば、データに関する更新の有無を判定し、更
新があると判断された場合に、時計部406からの現在
時刻もしくはステップS406で得られた時刻などを、
最新の更新時刻の代用としても良い。また、データ内に
最新の更新時刻の情報が存在するものとしないものが混
在する可能性のある場合は、例えば、まず、データ内に
最新の更新時刻の情報が存在するか否か判断し、存在す
る場合はその最新の更新時刻を抽出し、存在しない場合
は、データに関する更新の有無を判定し、更新があると
判断された場合に、時計部406からの現在時刻もしく
はステップS406で得られた時刻などを、最新の更新
時刻の代用としても良い。
【0139】また、データがハイパーリンクの指し示す
該当内容が実質的に存在しないことを示すものであるよ
うな場合がある。このような場合は、その際の最新の更
新時刻は、時計部206からの現在時刻もしくはステッ
プS206での時刻とする。
【0140】なお、実質的なデータを指し示さないハイ
パーリンクに関しては、第1の実施の形態で述べたよう
に、更新履歴格納部408及び次回更新予測時刻格納部
405からの消去をせずに、参照対象として残しておく
方法、規定した期間以上、実質的なデータを指し示さな
いものとなったハイパーリンクを消去する方法、実質的
なデータを指し示さないハイパーリンクを、即時に消去
する方法などが考えられる。
【0141】次に、更新履歴格納部408は、ステップ
S407で送受信部407へ伝送されたハイパーリンク
に対応する更新履歴に、上記のようにして抽出した最新
の更新時刻を追加する(ステップS414)。
【0142】さらに、更新履歴格納部408は、上記の
追加更新された更新履歴から、次回更新予測時刻を算出
する(ステップS414)。次回更新予測時刻は、例え
ば、更新履歴内のハイパーリンクに対応する最新時刻T
0と、T0の直前の更新履歴に記録された時刻T1とを
用いて、T0+(T0−T1)で算出する方法がある。
また、他の例として、最新からの一定数あるいは全ての
記録された時刻を引数とし、統計分布関数を用いて次回
更新予測時刻を算出する方法が挙げられる。その他、種
々の方法が考えられる。
【0143】なお、情報収集開始当初のデータについて
は、更新履歴に記録された時刻情報が、所定の次回更新
予測時刻算出方法にとって十分な数量ではない場合があ
る。例えば、上記のT0+(T0−T1)で算出する方
法では、少なくとも2つの更新時刻の情報が必要であ
り、最新からの一定数の記録された時刻を引数とし統計
分布関数を用いて算出する方法では、少なくとも該一定
数の更新時刻の情報が必要なものがある。このような場
合、例えば、最新時刻T0に予め定めた定数を加えるこ
とにより次回更新予測時刻を算出し、あるいは上記一定
数よりも少ない数を引数とした他の統計分布関数を用い
て算出するなどの方法を取れば良い。
【0144】ところで、前述のようにステップS413
でサーバー監視部411から更新履歴格納部408にサ
ーバー名と時間帯区分番号を伝送する場合は、例えば、
該当するサーバー内のデータについての次回更新予測時
刻を、上記のようにして求められた次回更新予測時刻の
直後にあるこの時間帯区分番号上の時刻とするようにし
ても良い。
【0145】更新履歴格納部408は、ステップS41
4で算出された次回更新予測時刻を次回更新予測時刻格
納部405へ伝送する。次回更新予測時刻格納部405
は、ステップS407で送受信部407へ伝送されたハ
イパーリンクに対応する次回更新予測時刻を、伝送され
た次回更新予測時刻に置換する(ステップS415)。
【0146】一方、ハイパーリンク抽出部409は、ス
テップS409で伝送されたデータからハイパーリンク
群を抽出し(ステップS416)、このハイパーリンク
群をハイパーリンクスタック部404へ伝送する。
【0147】ハイパーリンクスタック部404は、伝送
されたハイパーリンク群を格納する(S417)。な
お、このステップS416およびS417は、ステップ
S410〜S415のいずれとも独立に実行可能であ
る。
【0148】次に、ステップS402へ戻り、前述のよ
うにハイパーリンクスタック部404は、ステップS4
16で抽出されたハイパーリンク群のそれぞれについ
て、それが次回更新予測時刻格納部405に登録された
ものではないときにのみ、初期時刻と組にして次回更新
予測時刻格納部405に登録する(ステップS402〜
S405)。
【0149】以降、上記したような手順が繰り返し行わ
れる。以上のように本実施形態によれば、各データの更
新履歴情報を蓄積し、これをもとに各データの更新の特
性を推定して、参照の時刻あるいは時間帯をスケジュー
リングすることにより、各データの更新の頻度と同程度
の頻度でのデータ参照を実現することができる。
【0150】また、更新されていないデータに対する不
要な参照を事前に抑えることができる。これによって、
データ収集の効率向上を図ることができる。また、各デ
ータ取得の際の通信状況をサーバーと関連付けて蓄積し
て、通信特性を把握し、これを考慮して参照の時刻ある
いは時間帯をスケジューリングすることにより、各デー
タ及びそれを有するサーバーに対する参照に最も適した
時刻あるいは時間帯での参照を実現することができる。
これによって、データ収集の効率向上を図ることができ
る。
【0151】(第4の実施の形態)次に、本発明の第4
の実施形態について説明する。図7に、本実施形態に係
る情報収集装置の一構成例を示す。なお、図7に示され
る構成のうち、点線枠に囲まれた内側が、本実施形態に
係る情報収集装置である。
【0152】図7(a)に示される情報収集装置は、ハ
イパーリンクスタック部504、次回更新予測時刻格納
部505、時計部506、送受信部507、更新頻度監
視部513、更新履歴格納部508、ハイパーリンク抽
出部509を備えている。
【0153】本実施形態におけるハイパーリンクスタッ
ク部504、次回更新予測時刻格納部505、時計部5
06、送受信部507、更新履歴格納部508、ハイパ
ーリンク抽出部509は、それぞれ、第1の実施形態に
おけるハイパーリンクスタック部204、次回更新予測
時刻格納部205、時計部206、送受信部207、更
新履歴格納部208、ハイパーリンク抽出部209と同
様である。
【0154】すなわち、本実施形態に係る情報収集装置
は、第1の実施形態に係る情報収集装置の構成に更新頻
度監視部513を付加したものである。更新頻度監視部
513は、データの更新の間隔を監視する機能を持つ。
【0155】なお、図7(b)に示されるように、さら
にデータ分類部514を付加した構成も考えられる。本
実施形態におけるハイパーリンク入力装置501、デー
タ処理装置502、ネットワーク503は、それぞれ、
第1の実施形態におけるハイパーリンク入力装置20
1、データ処理装置202、ネットワーク203と同様
である。
【0156】以下、本実施形態に係る情報収集装置の動
作について説明する。図8は、本情報収集装置の動作を
示すフローチャートである。ステップS501におい
て、ハイパーリンク入力装置501は、ハイパーリンク
スタック部504に初期ハイパーリンク群を伝送する。
【0157】ハイパーリンクスタック部504は、ステ
ップS501またはS515で伝送されたハイパーリン
ク群のそれぞれを、次回更新予測時刻格納部505へ伝
送する(ステップS502、S503)。
【0158】次回更新予測時刻格納部405は、ステッ
プS503で伝送されたハイパーリンクが未登録のもの
であれば、初期時刻と組にして登録する(ステップS5
04、S505)。
【0159】ここで、本実施形態では、初期時刻には本
情報収集装置の始動した時刻を用いるものとする。な
お、初期時刻の値は、時計部506の出力と比較対象に
なり得て少なくともその時点で時計部506が出力する
時刻よりも未来を指すものでなければ良く、例えば、時
刻の最古値を用いても良い。
【0160】次に、ステップS502においてデータリ
ンクスタックが空になれば、次回更新予測時刻格納部5
05は、ステップS502においてデータリンクスタッ
クが空ならば、時計部506から現在時刻を得る(ステ
ップS506)。また、他の例として、次回更新予測時
刻格納部505から時計部506に現在時刻を求める通
知をせず、時計部506側から自発的に次回更新予測時
刻格納部505へ現在時刻の情報を伝送する構成にして
も良い。
【0161】次回更新予測時刻格納部505は、その対
応する次回更新予測時刻がステップS506で伝送され
た時刻以前であるハイパーリンクの一部もしくは全部を
送受信部507へ伝送する(ステップS507)。
【0162】送受信部507は、ネットワーク503と
の通信を行ない、ステップS507で伝送されたハイパ
ーリンクに指し示されるデータの取得を試みる(ステッ
プS508)。
【0163】なお、第1の実施形態で述べたように、デ
ータの取得にあたっては、予めある既定値を設定してお
き、この既定値以上に大きいデータを取得対象とするこ
とが、通信前もしくは通信制御中に判明している場合
は、先頭から一定値までのみを実際に取得するようにし
ても良い。また、データのうちハイパーリンクが含まれ
ない部分は実際には取得しないことで、実際に取得する
サイズを減少させるようにしても良い。
【0164】送受信部507は、ステップS508で取
得したデータを、データ処理装置502へ出力するとと
もに、更新履歴格納部508及びハイパーリンク抽出部
509へ伝送する(ステップS509)。その際、出力
及び伝送の順序は問わない。
【0165】更新履歴格納部508は、ステップS50
9で伝送されたデータに最新の更新時刻の情報が存在す
るとき、その最新の更新時刻を抽出する(ステップS5
10)。
【0166】なお、上記ステップは、全データ内に最新
の更新時刻の情報が存在することを仮定した場合である
が、全データ内に最新の更新時刻の情報が存在しない場
合は、例えば、データに関する更新の有無を判定し、更
新があると判断された場合に、時計部206からの現在
時刻もしくはステップS206で得られた時刻などを、
最新の更新時刻の代用としても良い。また、データ内に
最新の更新時刻の情報が存在するものとしないものが混
在する可能性のある場合は、例えば、まず、データ内に
最新の更新時刻の情報が存在するか否か判断し、存在す
る場合はその最新の更新時刻を抽出し、存在しない場合
は、データに関する更新の有無を判定し、更新があると
判断された場合に、時計部206からの現在時刻もしく
はステップS206で得られた時刻などを、最新の更新
時刻の代用としても良い。
【0167】また、データがハイパーリンクの指し示す
該当内容が実質的に存在しないことを示すものであるよ
うな場合がある。このような場合は、その際の最新の更
新時刻は、時計部206からの現在時刻もしくはステッ
プS206での時刻とする。
【0168】なお、実質的なデータを指し示さないハイ
パーリンクに関しては、第1の実施の形態で述べたよう
に、更新履歴格納部308及び次回更新予測時刻格納部
305からの消去をせずに、参照対象として残しておく
方法、規定した期間以上、実質的なデータを指し示さな
いものとなったハイパーリンクを消去する方法、実質的
なデータを指し示さないハイパーリンクを、即時に消去
する方法などが考えられる。
【0169】次に、更新履歴格納部508は、ステップ
S507で送受信部507へ伝送されたハイパーリンク
に対応する更新履歴に、上記のようにして抽出した最新
の更新時刻を追加する(ステップS510)。
【0170】さらに、更新履歴格納部508は、上記の
追加更新された更新履歴のうち、時計部506が示す現
在時刻以前の予め設定した時間帯にある部分を更新頻度
監視部513へ伝送する(ステップS511)。他の例
として、時計部506が示す現在時刻でなく、ステップ
S505の際の時刻を用いることが挙げられる。
【0171】更新頻度監視部513は、ステップS51
1で伝送された部分的な更新履歴から、各更新間の間隔
を算出し、その間隔が予め設定した値よりも低いものの
回数を算出する(ステップS512)。他の例として、
既にステップS507の時点で、各更新間の間隔が予め
設定した値よりも低いものの回数を、更新頻度監視部5
13が算出及び保存しておき、ステップS511では更
新履歴格納部508が、ステップS510で抽出した最
新の更新時刻とその直前の更新時刻のみを更新頻度監視
部513へ伝送し、このステップS512では、最新の
更新の間隔のみを新たに追加する検査対象とすることが
挙げられる。
【0172】更新頻度監視部513は、ステップS51
3で算出した回数値が予め設定した値よりも大きいか否
かの情報を、更新履歴格納部508へ伝送する(ステッ
プS512)。ここでは、ステップS513で算出した
回数値が予め設定した値よりも大きい場合、情報の内容
を真とし、大きくない場合、情報の内容を偽とする。
【0173】なお、図7(b)に示されるように、「デ
ータの先頭から一定長の部分を切り出し、それを数種類
保持することで、同一のハイパーリンクでデータが数種
類交替する場合に、保持してあるデータ部分との比較を
行ない、データごとの予め設定しておいた上限枠内での
分類を行ない、その分類別に更新の間隔を算出する機
能」を持つデータ分類部514を、更新履歴格納部50
8と更新頻度監視部513の中間に置くことで、同一の
ハイパーリンクでデータが数種類交替する場合に、更新
の間隔の取り扱いをより緩やかな扱いとすることができ
る。
【0174】更新履歴格納部508は、ステップS51
0で追加更新された更新履歴から、次回更新予測時刻の
仮値を算出する(ステップS512)。次回更新予測時
刻の仮値は、例えば、更新履歴内のハイパーリンクに対
応する最新時刻T0と、T0の直前の更新履歴に記録さ
れた時刻T1とを用いて、T0+(T0−T1)で算出
する方法がある。また、他の例として、最新からの一定
数あるいは全ての記録された時刻を引数とし、統計分布
関数を用いて次回更新予測時刻の仮値を算出する方法が
挙げられる。その他、種々の方法が考えられる。
【0175】なお、情報収集開始当初のデータについて
は、更新履歴に記録された時刻情報が、所定の次回更新
予測時刻の仮値の算出方法にとって十分な数量ではない
場合がある。例えば、上記のT0+(T0−T1)で算
出する方法では、少なくとも2つの更新時刻の情報が必
要であり、最新からの一定数の記録された時刻を引数と
し統計分布関数を用いて算出する方法では、少なくとも
該一定数の更新時刻の情報が必要なものがある。このよ
うな場合、例えば、最新時刻T0に予め定めた定数を加
えることにより次回更新予測時刻の仮値を算出し、ある
いは上記一定数よりも少ない数を引数とした他の統計分
布関数を用いて算出するなどの方法を取れば良い。
【0176】更新履歴格納部508は、更新頻度監視部
513から伝送された値が真である(回数値が予め設定
した値よりも大きい)場合に、ステップS512で算出
した次回更新予測時刻の仮値に予め設定した値を加えて
次回更新予測時刻とし、偽である場合に、次回更新予測
時刻の仮値をそのまま次回更新予測時刻とする(ステッ
プS512)。他の例として、更新頻度監視部513か
ら伝送された値が偽である場合は、次回更新予測時刻の
仮値をそのまま次回更新予測時刻とするが、真である場
合は、参照の一時停止を意味する値を次回更新予測時刻
として用いる方法や、更新履歴格納部508と次回更新
予測時刻格納部505と必要に応じて更新頻度監視部5
13からステップS507で送受信部507へ伝送され
たハイパーリンクに関する登録を消去する方法が挙げら
れる。
【0177】更新履歴格納部508は、ステップS51
2で算出された次回更新予測時刻を次回更新予測時刻格
納部505へ伝送する。次回更新予測時刻格納部505
は、ステップS507で送受信部507へ伝送されたハ
イパーリンクに対応する次回更新予測時刻を、ステップ
S517で伝送された次回更新予測時刻に置換する(ス
テップS513)。
【0178】一方、ハイパーリンク抽出部509は、ス
テップS508で伝送されたデータからハイパーリンク
群を抽出し(ステップS514)、このハイパーリンク
群をハイパーリンクスタック部504へ伝送する。
【0179】ハイパーリンクスタック部504は、伝送
されたハイパーリンク群を格納する(S516)。な
お、このステップS514およびS515は、ステップ
S510〜S513のいずれとも独立に実行可能であ
る。
【0180】次に、ステップS502へ戻り、前述のよ
うにハイパーリンクスタック部504は、ステップS5
12で抽出されたハイパーリンク群のそれぞれについ
て、それが次回更新予測時刻格納部505に登録された
ものではないときにのみ、初期時刻と組にして次回更新
予測時刻格納部505に登録する(ステップS502〜
S505)。
【0181】以降、上記したような手順が繰り返し行わ
れる。以上のように本実施形態によれば、各データの更
新履歴情報を蓄積し、これをもとに各データの更新の特
性を推定して、参照の時刻あるいは時間帯をスケジュー
リングすることにより、各データの更新の頻度と同程度
の頻度でのデータ参照を実現することができる。
【0182】また、更新されていないデータに対する不
要な参照を事前に抑えることができる。これによって、
データ収集の効率向上を図ることができる。また、本実
施形態によれば、頻繁に変更されるデータを監視し、そ
のようなデータについては、参照を遅延させたり、参照
を一時停止させたり、そのはーパーリンクの情報の登録
を消去して参照不可とするなど、所定の対応をとること
ができる。れによって、データ収集の効率向上を図るこ
とができる。
【0183】(第5の実施の形態)次に、本発明の第5
の実施形態について説明する。図9に、本実施形態に係
る情報収集装置の一構成例を示す。なお、図9に示され
る構成のうち、点線枠に囲まれた内側が、本実施形態に
係る情報収集装置である。
【0184】ここで、図中のハイパーリンク入力装置1
001は、ネットワークロボットとは独立に存在し、ネ
ットワークロボットの動作の発端となる初期ハイパーリ
ンク群を入力する機能を持つ。
【0185】データ処理装置1002は、ネットワーク
ロボットとは独立に存在し、ネットワークロボットが通
信対象とするサーバーとの通信を提供する装置である。
ネットワーク1003は、ネットワークロボットとは独
立に存在し、ネットワークロボットが通信対象とするサ
ーバーとの通信を提供する装置である。
【0186】次に、図11に示す本実施形態の情報収集
装置の構成について説明する。図11のように、本情報
収集装置は、ハイパーリンクスタック部1004、次回
参照時間帯格納部1005、時計部1006、送受信部
1007、サーバー監視部1011、サーバー通信歴格
納部1012、ハイパーリンク抽出部1009を備えて
いる。
【0187】ハイパーリンクスタック部1004は、ハ
イパーリンクを任意数格納できるデータ構造を有する。
次回参照時間帯格納部1005は、ハイパーリンクとそ
れが指し示すデータの次回参照時間帯区分を組とする構
造体を持ち、その構造体の次回参照時間帯区分を出力及
び更新する機能を持つ。
【0188】時計部1006は、動作時の現在時刻を出
力する。送受信部1007は、ネットワーク1003と
の送受信を行う。サーバー監視部1011は、サーバー
通信履歴格納部1012との入出力を行う。
【0189】サーバー通信履歴格納部1012は、各サ
ーバーとネットワークロボットとの送受信時間帯区分
と、「通信異常」、「通信不適」、「通信適当」のいず
れかの値との組からなる情報の履歴を持つ。
【0190】ハイパーリンク抽出部1009は、データ
またはその一部であるハイパーテキストからハイパーリ
ンクを抽出する。以下、本実施形態に係る情報収集装置
の動作について説明する。
【0191】図10は、本情報収集装置の動作を示すフ
ローチャートである。ステップS1001において、ハ
イパーリンク入力装置1001は、ハイパーリンクスタ
ック部1004に初期ハイパーリンク群を伝送する(ス
テップS1001)。
【0192】ハイパーリンクスタック部1004は、ス
テップS1001もしくはステップS1016で伝送さ
れたハイパーリンク群のそれぞれを、次回参照時間帯格
納部1005へ伝送する(ステップS1002、S10
03)。
【0193】次回更新予測時刻格納部405は、ステッ
プS503で伝送されたハイパーリンクが未登録のもの
であれば、初期時間帯区分と組にして登録する(ステッ
プS1004、S1005)。
【0194】次に、ステップS502においてデータリ
ンクスタックが空になれば、次回参照時間帯格納部10
05は、時計部1006から現在時刻を得る(ステップ
S1006)。また、他の例として、次回参照時間帯格
納部(1005)から時計部1006に現在時刻を求め
る通知をせず、時計部1006側から自発的に次回参照
時間帯格納部1005へ現在時刻の情報を伝送する構成
にしても良い。
【0195】次回参照時間帯格納部1005は、ステッ
プS1006で伝送された時刻に対応する時間帯区分を
持つハイパーリンクの一部もしくは全部を送受信部10
07へ伝送する(ステップS1008)。
【0196】送受信部1007は、ネットワーク100
3との通信を行い、ステップS1007で伝送されたハ
イパーリンクに指し示されているデータの取得を試みる
(ステップS1008)。
【0197】なお、第1の実施形態で述べたように、デ
ータの取得にあたっては、予めある既定値を設定してお
き、この既定値以上に大きいデータを取得対象とするこ
とが、通信前もしくは通信制御中に判明している場合
は、先頭から一定値までのみを実際に取得するようにし
ても良い。また、データのうちハイパーリンクが含まれ
ない部分は実際には取得しないことで、実際に取得する
サイズを減少させるようにしても良い。
【0198】送受信部1007は、サーバー監視部10
11へ、ステップS1008の結果として、通信機構が
正常状態を示さない場合、あるいはその時点でのデータ
参照の不能がデータによらず判明する場合、通信異常を
示す情報を伝送し、上記以外の場合、通信時間と取得デ
ータのサイズから得られる通信単位サイズ当たりの通信
速度を伝送する(ステップS1009)。
【0199】また、送受信部1007は、ステップS1
008で取得したデータを、データ処理部1002へ出
力するとともに、ハイパーリンク抽出部1012へ伝送
する(ステップS1010)。その際、出力及び伝送の
順序は問わない。
【0200】なお、上記のステップS1009とステッ
プS1010の実行順序は、入れ替えても良いし、並列
的に実行しても良い。サーバー監視部1011は、ステ
ップS1009で通信単位サイズ当たりの通信速度が伝
送された場合、その値が設定値以上である場合、通信不
適を示す情報を、設定値以上でない場合、通信適当を示
す情報を、通信異常を示す情報が伝送された場合、通信
異常を示す情報を、通信履歴格納部1012へ伝送する
(ステップS1011)。
【0201】通信履歴格納部1012は、ステップS1
011で伝送された情報をその時間帯区分と併せて通信
したサーバーとの通信履歴に追加し、次回の参照に適当
である時間帯区分を算出し、次回参照時間帯としてサー
バー監視部1011へ伝送する(ステップS101
2)。また、一定条件を満たす時間帯区分がない場合
に、通信拒否を示す情報をサーバー監視部1011へ伝
送するようにしても良い。
【0202】サーバー監視部1011は、ステップS1
012で伝送された時間帯区分を、次回参照時間帯格納
部1005へ伝送する。なお、データ処理装置1002
が必要とする場合に、ステップS1012で伝送された
時間帯区分もしくはステップS1008を行った時間帯
区分や通信単位サイズ当たりの通信速度や通信時間や取
得データのサイズを、データ処理装置1002へ出力す
るようにしても良い。
【0203】次回参照時間帯格納部1005は、ステッ
プS1010で送受信部1007へ伝送されたハイパー
リンクに対応する次回参照時間帯区分を、ステップS1
013で伝送された次回参照時間帯に置換する(ステッ
プS1014)。
【0204】一方、ハイパーリンク抽出部1012は、
ステップS1009で伝送されたデータからハイパーリ
ンク群を抽出し(ステップS1015)、このハイパー
リンク群をハイパーリンクスタック部1004へ伝送す
る。
【0205】ハイパーリンクスタック部1004は、伝
送されたハイパーリンク群を格納する(S1016)。
なお、このステップS1015およびS1016は、ス
テップS1011〜S1014のいずれとも独立に実行
可能である。
【0206】次に、ステップS1002へ戻り、前述の
ようにハイパーリンクスタック部1004は、ステップ
S1012で抽出されたハイパーリンク群のそれぞれに
ついて、それが次回参照時間帯格納部1005に登録さ
れたものではないときにのみ、初期時刻と組にして次回
参照時間帯格納部1005に登録する(ステップS10
02〜S1005)。
【0207】以降、上記したような手順が繰り返し行わ
れる。以上のように本実施形態によれば、各データの更
新履歴情報を蓄積し、これをもとに各データの更新の特
性を推定して、参照の時間帯をスケジューリングするこ
とにより、各データの更新の頻度と同程度の頻度でのデ
ータ参照を実現することができる。
【0208】また、更新されていないデータに対する不
要な参照を事前に抑えることができる。これによって、
データ収集の効率向上を図ることができる。また、各デ
ータ取得の際の通信状況を蓄積して、通信特性を把握
し、これを考慮して参照の時間帯をスケジューリングす
ることにより、各データ及びそれを有するサーバーに対
する参照に最も適した時間帯での参照を実現することが
できる。これによって、データ収集の効率向上を図るこ
とができる。本発明は、上述した実施の形態に限定され
るものではなく、その技術的範囲において種々変形して
実施することができる。
【0209】
【発明の効果】本発明によれば、各データの更新履歴情
報をもとに各データの参照の時刻あるいは時間帯をスケ
ジューリングすることにより、各データの更新の頻度と
同程度の頻度でのデータ参照を実現することができる。
【0210】また、本発明によれば、各データの更新履
歴情報をもとに各データの参照の時刻あるいは時間帯を
スケジューリングすることにより、更新されていないデ
ータに対する不要な参照を事前に抑えることができる。
これによって、データ収集の効率向上を図ることができ
る。
【0211】また、本発明によれば、各データ取得の際
の通信特性をもとに各データの参照の時刻あるいは時間
帯をスケジューリングすることにより、各データ及びそ
れを有するサーバーに対する参照に最も適した時刻ある
いは時間帯での参照を実現することができる。これによ
って、データ収集の効率向上を図ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る情報収集装置
の構成を示す図
【図2】同実施の形態に係る情報収集装置の動作を示す
フローチャート
【図3】本発明の第2の実施の形態に係る情報収集装置
の構成を示す図
【図4】同実施の形態に係る情報収集装置の動作を示す
フローチャート
【図5】本発明の第3の実施の形態に係る情報収集装置
の構成を示す図
【図6】同実施の形態に係る情報収集装置の動作を示す
フローチャート
【図7】本発明の第4の実施の形態に係る情報収集装置
の構成を示す図
【図8】同実施の形態に係る情報収集装置の動作を示す
フローチャート
【図9】本発明の第5の実施の形態に係る情報収集装置
の構成を示す図
【図10】同実施の形態に係る情報収集装置の動作を示
すフローチャート
【図11】従来のネットワークロボットの一構成例を示
す図
【図12】図11のネットワークロボットの動作を示す
フローチャート
【符号の説明】
201,301,401,501,1001…ハイパー
リンク入力装置 202,302,402,502,1002…データ処
理装置 203,303,403,503,1003…ネットワ
ーク 204,304,404,504,1004…ハイパー
リンクスタック部 205,305,405,505,1005…次回更新
予測時刻格納部 206,306,406,506,1006…時計部 207,307,407,507,1007…送受信部 208,308,408,508,1008…更新履歴
格納部 209,309,409,509,1009…ハイパー
リンク抽出部 310…予想時刻変更部 411,1011…サーバー監視部 412,1012…サーバー通信歴格納部 513…更新頻度監視部 514…データ分類部

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】ネットワーク上に分散されたデータを収集
    する情報収集方法において、 所定の間隔で、登録された各ハイパーリンクの指し示す
    データの取得を試行し、取得されたデータの更新状況を
    監視するとともに、 前記データの更新状況の監視結果から求めたデータ更新
    履歴をもとに、該データを参照する前記所定の間隔を決
    定することを特徴とする情報収集方法。
  2. 【請求項2】前記更新履歴からデータの次回更新予測時
    刻を求め、該次回更新予測時刻を該データの次回参照時
    刻とすることを特徴とする請求項1に記載の情報収集方
    法。
  3. 【請求項3】サーバとの通信状況に応じて、次回のデー
    タの取得を試行する時刻を変更することを特徴とする請
    求項1に記載の情報収集方法。
  4. 【請求項4】前記データ更新履歴をもとに、規定値より
    短い期間での更新の頻度が一定期間内に一定回数よりも
    多く生じたデータについては、データの取得の試行の停
    止または次回のデータの取得を試行する時刻を変更する
    ことを特徴とする請求項1に記載の情報収集方法。
  5. 【請求項5】一定期間だけ取得不能となったデータにつ
    いては、再度取得可能となった後も、取得不能となる以
    前の前記データ更新履歴を継続して用いることを特徴と
    する請求項1に記載の情報収集方法。
  6. 【請求項6】データが次回に変更される予定時刻を該デ
    ータ自体から求めることができる場合、該データについ
    ては、次の取得の試行の時刻を、該データから求めた該
    予定時刻以降とすることを特徴とする請求項1に記載の
    情報収集方法。
  7. 【請求項7】データの大きさが設定値を超える場合、該
    データについては設定値を超えない範囲に相当する部分
    のみを前記取得の試行及び更新状況の監視の対象とする
    ことを特徴とする請求項1に記載の情報収集方法。
  8. 【請求項8】同一のハイパーリンクで有限複数個の種類
    内でデータが切り替わり得るハイパーリンクを扱う場
    合、該種類別に前記取得の試行及び更新状況の監視を行
    なうことを特徴とする請求項1に記載の情報収集方法。
  9. 【請求項9】ネットワーク上に分散されたデータを収集
    する情報収集方法において、 登録された各ハイパーリンクの指し示すデータの取得を
    試行し、取得されたデータの更新状況を監視するととも
    に、 データを提供するサーバーとの通信状況をも監視して該
    サーバーの使用可能な時間帯を求め、 求められた前記時間帯にデータの取得を試行することを
    特徴とする情報収集方法。
  10. 【請求項10】サーバーの使用可能な時間帯の有限分割
    の中で統計的に最も速やかな通信が期待される時間帯区
    分内に、データの取得を試行することを特徴とする請求
    項9に記載の情報収集方法。
  11. 【請求項11】データの取得に要した時間が設定値より
    も長い場合、データの取得の試行を行う前記時間帯区分
    を変更することを特徴とする請求項10に記載の情報収
    集方法。
JP20614496A 1996-08-05 1996-08-05 情報収集方法 Expired - Fee Related JP3618917B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP20614496A JP3618917B2 (ja) 1996-08-05 1996-08-05 情報収集方法
US08/906,618 US6167436A (en) 1996-08-05 1997-08-05 Data acquisition system and storage medium for storing the data used in the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20614496A JP3618917B2 (ja) 1996-08-05 1996-08-05 情報収集方法

Publications (2)

Publication Number Publication Date
JPH1049553A true JPH1049553A (ja) 1998-02-20
JP3618917B2 JP3618917B2 (ja) 2005-02-09

Family

ID=16518526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20614496A Expired - Fee Related JP3618917B2 (ja) 1996-08-05 1996-08-05 情報収集方法

Country Status (2)

Country Link
US (1) US6167436A (ja)
JP (1) JP3618917B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312172A (ja) * 1998-04-28 1999-11-09 Sharp Corp 情報処理装置及び方法並びにその制御プログラムを記憶した媒体
JPH11328191A (ja) * 1998-05-13 1999-11-30 Nec Corp Wwwロボット検索システム
JPH11345059A (ja) * 1998-06-02 1999-12-14 Access:Kk 参照予測サブセットの選択方法および情報処理装置
JP2001168776A (ja) * 1999-12-06 2001-06-22 Osaki Electric Co Ltd 端末データ収集方法
JP2003271494A (ja) * 2002-03-13 2003-09-26 Ntt Comware Corp 情報収集システム、情報収集方法、情報収集プログラムおよび記録媒体
US6738567B2 (en) 2000-08-25 2004-05-18 Omron Corporation Photograph vending machine
JP2007323672A (ja) * 2003-09-22 2007-12-13 Fujitsu Ltd プログラム、情報処理装置、アクセス分散方法、システム
JP2008090369A (ja) * 2006-09-29 2008-04-17 Sharp Corp コンテンツ受信装置およびコンテンツ受信方法
JP2008158589A (ja) * 2006-12-20 2008-07-10 Oki Electric Ind Co Ltd 更新情報通知装置及び更新情報通知プログラム
JP2008186157A (ja) * 2007-01-29 2008-08-14 Mitsubishi Electric Corp Webページ再収集方式
JP2008226088A (ja) * 2007-03-15 2008-09-25 Hitachi Ltd ディザスタリカバリシステムおよび方法
CN100461185C (zh) * 2004-05-18 2009-02-11 通用电气公司 用来获得数据的系统和方法
JP2009223507A (ja) * 2008-03-14 2009-10-01 Mitsubishi Electric Corp 周期更新データ管理システム
JP2010128812A (ja) * 2008-11-27 2010-06-10 Mitsubishi Electric Corp データ管理システム及びデータ管理方法及びデータ管理プログラム
JP2010279115A (ja) * 2009-05-27 2010-12-09 Mitsubishi Electric Corp 電力系統インピーダンス推定装置および電力系統インピーダンス推定方法
JP2012068734A (ja) * 2010-09-21 2012-04-05 Yahoo Japan Corp クロール装置及びその方法
JP2012519923A (ja) * 2009-03-09 2012-08-30 アリババ・グループ・ホールディング・リミテッド 画像データベース内の画像を更新するための方法およびシステム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421723B2 (en) * 1999-01-07 2008-09-02 Nielsen Media Research, Inc. Detection of media links in broadcast signals
US7653654B1 (en) * 2000-09-29 2010-01-26 International Business Machines Corporation Method and system for selectively accessing files accessible through a network
US6760813B1 (en) * 2001-12-20 2004-07-06 Cisco Technology, Inc. Devices, softwares and methods for preemptively updating expiring entries in a cache memory to anticipate future inquiries
JP2005122704A (ja) * 2003-09-22 2005-05-12 Fujitsu Ltd プログラム
JP4271162B2 (ja) * 2005-03-30 2009-06-03 株式会社東芝 通信装置、通信方法及び通信制御プログラム
JP2007334864A (ja) * 2006-05-16 2007-12-27 Fujifilm Corp 表示システム、表示方法、および表示プログラム
EP2030439B1 (en) 2006-06-15 2018-09-19 The Nielsen Company (US), LLC Methods and apparatus to meter content exposure using closed caption information
US20090222505A1 (en) * 2008-02-28 2009-09-03 Honeywell International Inc. Peer to peer software license management system for temporarily relocating available software licenses
US20090222926A1 (en) * 2008-02-28 2009-09-03 Honeywell International Inc. Software license management system that functions in a disconnected or intermittently connected mode
JP5328177B2 (ja) * 2008-03-07 2013-10-30 キヤノン株式会社 情報処理装置、情報処理装置のデータ処理方法、記憶媒体及びプログラム
JP2010252049A (ja) * 2009-04-15 2010-11-04 Sony Corp 通信装置及び通信方法、コンピューター・プログラム、並びに通信システム
CN112231353B (zh) * 2020-10-15 2023-05-23 中电工业互联网有限公司 一种数据采集方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04318637A (ja) * 1991-04-17 1992-11-10 Fuji Xerox Co Ltd 分散ディレクトリ装置
JPH0589019A (ja) * 1991-09-26 1993-04-09 Nec Corp 電子計算機方式
JPH08287095A (ja) * 1995-04-19 1996-11-01 Fujitsu Ltd 自動情報取得装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972367A (en) * 1987-10-23 1990-11-20 Allen-Bradley Company, Inc. System for generating unsolicited messages on high-tier communication link in response to changed states at station-level computers
US4855906A (en) * 1987-10-23 1989-08-08 Allen-Bradley Company, Inc. System for handling unsolicited messages from lower-tier controllers
US5142623A (en) * 1988-06-10 1992-08-25 Westinghouse Electric Corp. High performance memory imaging network for a real time process control system
US5471461A (en) * 1993-04-28 1995-11-28 Allen-Bradley Company, Inc. Digital communication network with a moderator station election process
US5855020A (en) * 1996-02-21 1998-12-29 Infoseek Corporation Web scan process
US5852717A (en) * 1996-11-20 1998-12-22 Shiva Corporation Performance optimizations for computer networks utilizing HTTP

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04318637A (ja) * 1991-04-17 1992-11-10 Fuji Xerox Co Ltd 分散ディレクトリ装置
JPH0589019A (ja) * 1991-09-26 1993-04-09 Nec Corp 電子計算機方式
JPH08287095A (ja) * 1995-04-19 1996-11-01 Fujitsu Ltd 自動情報取得装置および方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312172A (ja) * 1998-04-28 1999-11-09 Sharp Corp 情報処理装置及び方法並びにその制御プログラムを記憶した媒体
JPH11328191A (ja) * 1998-05-13 1999-11-30 Nec Corp Wwwロボット検索システム
JPH11345059A (ja) * 1998-06-02 1999-12-14 Access:Kk 参照予測サブセットの選択方法および情報処理装置
JP2001168776A (ja) * 1999-12-06 2001-06-22 Osaki Electric Co Ltd 端末データ収集方法
US6738567B2 (en) 2000-08-25 2004-05-18 Omron Corporation Photograph vending machine
JP2003271494A (ja) * 2002-03-13 2003-09-26 Ntt Comware Corp 情報収集システム、情報収集方法、情報収集プログラムおよび記録媒体
JP2007323672A (ja) * 2003-09-22 2007-12-13 Fujitsu Ltd プログラム、情報処理装置、アクセス分散方法、システム
CN100461185C (zh) * 2004-05-18 2009-02-11 通用电气公司 用来获得数据的系统和方法
JP2008090369A (ja) * 2006-09-29 2008-04-17 Sharp Corp コンテンツ受信装置およびコンテンツ受信方法
JP2008158589A (ja) * 2006-12-20 2008-07-10 Oki Electric Ind Co Ltd 更新情報通知装置及び更新情報通知プログラム
JP2008186157A (ja) * 2007-01-29 2008-08-14 Mitsubishi Electric Corp Webページ再収集方式
JP2008226088A (ja) * 2007-03-15 2008-09-25 Hitachi Ltd ディザスタリカバリシステムおよび方法
JP2009223507A (ja) * 2008-03-14 2009-10-01 Mitsubishi Electric Corp 周期更新データ管理システム
JP2010128812A (ja) * 2008-11-27 2010-06-10 Mitsubishi Electric Corp データ管理システム及びデータ管理方法及びデータ管理プログラム
JP2012519923A (ja) * 2009-03-09 2012-08-30 アリババ・グループ・ホールディング・リミテッド 画像データベース内の画像を更新するための方法およびシステム
JP2010279115A (ja) * 2009-05-27 2010-12-09 Mitsubishi Electric Corp 電力系統インピーダンス推定装置および電力系統インピーダンス推定方法
JP2012068734A (ja) * 2010-09-21 2012-04-05 Yahoo Japan Corp クロール装置及びその方法

Also Published As

Publication number Publication date
JP3618917B2 (ja) 2005-02-09
US6167436A (en) 2000-12-26

Similar Documents

Publication Publication Date Title
JPH1049553A (ja) 情報収集方法
US5751963A (en) Hierarchical network management system operating as a proxy agent for enhancing processing efficiency
GB2391963A (en) Method and apparatus for preloading caches
US20090112952A1 (en) Low latency optimization for generational garbage collection
CN110417901A (zh) 数据处理方法、装置及网关服务器
CN105095495B (zh) 一种分布式文件系统缓存管理方法和系统
CN106874402A (zh) 搜索方法和装置
CN111143158A (zh) 一种监控数据实时存储方法、系统、电子设备及存储介质
JP5322019B2 (ja) 関連する情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
CN109542612A (zh) 一种热点关键字获取方法、装置及服务器
JP5272428B2 (ja) アクセス頻度の高い情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
JPH1069498A (ja) プラントデータ収集収録装置
JPH11261580A (ja) ネットワークの情報検索経路調整装置および情報検索経路調整方法
US9477736B2 (en) Apparatus and method for active and passive data gathering using stochastic model in control network
CN108829735B (zh) 并行执行计划的同步方法、装置、服务器及存储介质
CN105653646B (zh) 一种并发查询条件下的动态查询系统及方法
JP2003271494A (ja) 情報収集システム、情報収集方法、情報収集プログラムおよび記録媒体
JP2919240B2 (ja) 入出力優先順位制御方式
JPH06243011A (ja) データベースの自動メンテナンス方式
CN112000668A (zh) 统计数据清理方法、装置、设备及存储介质
JP3699267B2 (ja) 検索方法及び検索装置並びにデータベース方法及びデータベース装置
JPS61235957A (ja) デ−タ制御方式
JP4013809B2 (ja) データ処理装置
CN115455284A (zh) 一种基于海量数据并发检索的方法、装置和设备
JP4902621B2 (ja) ログ通信システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041111

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees